データベースエンジニアとデータエンジニアの違い

最近耳にするようになったデータエンジニアとはどんな職種でしょうか。データベースエンジニアの違いはなんでしょう。またデータサイエンティストとの関係はどう考えればよいでしょうか。

データエンジニアとはデータ分析のためにデータを整理し管理する仕事です。その際、必要に応じてデータをどう取得しどういう形で保存するのか決めることもします。

結論を先に提示するパターンで構成すると
データエンジニアとデータベースエンジニアの違い
はどこに記述するのか序文か本文最初か
後者の場合現在の見出し構成で可能か

データエンジニアとは

データエンジニアは、おおざっぱに言えばデータ基盤の設計・構築・管理運用を行います。
具体的には

少し抽象的ですね。3「データの欠落と補完」と4「データの可視化」を例に具体的な内容を見ていきましょうい。

実際にあった例を挙げて説明します。
あるお客様から性別のデータを分析すると件数が合わない。と相談がありました。

そこで性別データ項目の値を確認すると「男性」「男」「M」といったデータが混在している事が分かりました。

件数が合わないとおっしゃったお客様は、性別項目＝「男」という条件だけで分析していたようです。

この場合の男性データ抽出条件は
性別項目＝「男性」or 性別項目＝「男」or 性別項目＝「M」という長い記述をしないと正しい分析はできません。

分析のたびに毎回長い抽出条件を指定するのは面倒であり、他の条件と組み合わせるときに注意が注意が必要になります。

そこでお客様と相談の上、表記の揺らぎをを統一する事にしました。具体的は３つの値を統一し「M」としました。

この変更を実施後、男性データを抽出には性別項目＝「M」という条件だけで済むようになりました。

データをグラフ化する作業も実際にデータベースエンジニアである私が、経験しています。

店舗別の売り上げ推移や商品別売り上げ構成比について、企業経営に必要な指標としてデータを抽出し
てグラフ化する要望がありました。

そこで抽出に必要なSQLとそのデータをグラフ化するエクセルのテンプレートを作成しお渡ししました。
これによっていつでも新しいデータでグラフを作成する事ができます。

助力を請われた時、魚を渡すのではなく釣り方を教えたという事ですね。

私がデータベースエンジニアの仕事を始めた頃はデータエンジニアは存在しませんでした。
そもそもデータべースエンジニアという呼称も一般的でなく、データベースを取り扱うシステムエンジニアという位置づけでした。

天下餅の歌をご存知でしょうか。
「織田がつき、羽柴がこねし天下餅、座りしままに、食ふは徳川」

データ分析に当てはめると

という流れになります。

データサイエンティストが餅を食らっている(労せず分析結果を得ている)わけではありませんが、データサイエンティストがもてはやされている昨今、縁の下の力持ちとなっているデータベースエンジニアやデータエンジニアの立ち位置は天下餅の歌に近いものがあります。

また、徳川が企業内の分析ユーザであれば、「座りしままに、食ふ」事は当然の事ですね。何しろそのためにお金を払っているわけですから。

データエンジニアの仕事は多岐にわたりますが、一番重要なのはデータを整える作業と私は考えています。

現在はデータ分析結果を確実に利益につなげている企業は多くありません。

そのためデータを整える作業に人を雇うことはなく、データベースエンジニアか分析者であるユーザやデータサイエンティストが行っています。

今後、データ分析結果を企業の施策に反映させ、確実に利益につなげられる時代になると私は確信しています。

そういう時代にはデータ分析の需要が爆発的に拡大すると私は考えています。

その際、一般の分析ユーザとデータサイエンティストが分析に専念できるようデータを整える作業をデータエンジニアに選任させるようになると考えています。

データベースエンジニアとデータエンジニアは、広義の意味では仕事内容に重複する部分も多くあります。

しかしすべての基本は、データベースエンジニアとしてのスキルにあります。

データベースエンジニアとしてキャリアを積んでデータエンジニアとしての仕事もこなせるよう意識してスキルアップをしていく事が大事だと私は考えています。