需要急増「データエンジニア」はなぜアツいの？「縁の下の力持ち」を面白がるデータのスペシャリストたちを直撃

データエンジニアは、データ分析の基盤を支えるスペシャリストとして、これから10～20年にわたり期待の高まる職種。一方、「データエンジニアって一体どんな仕事をしているの？」「データアナリストやデータサイエンティストと何が違うの？」と疑問に思っている人も少なくない。

そこで、業界屈指のデータスペシャリスト集団を牽引する２名のCTOを迎え、データエンジニアという職種の魅力や、市場での必要性、この仕事に就くための条件を聞いた。

• keyboard_arrow_down データの流れを止めるな！ データエンジニアは社会のインフラをつくる仕事
• keyboard_arrow_down 次に来るのはレガシー業界。大量のデータを「コスパよく」扱える人が重宝される
• keyboard_arrow_down 仲間となら乗り越えられる。データエンジニアの苦楽とは
• keyboard_arrow_down 意外とハードルが低い？データエンジニアになるための絶対条件とは

——そもそもデータを扱う仕事として、データエンジニアとデータサイエンティスト、データアナリストがありますよね。この3つの職種の違いは何でしょうか？

菱沼：いずれも「データを使って価値創造する人」という点では同じです。ただ、主軸とする仕事内容はそれぞれ違います。

まず、データエンジニアの仕事は生の状態のデータを活用可能な形に処理し、データ分析のための基盤を構築することです。データは、最初から我々企業やエンジニアにとって使いやすい形に整えられているわけではありません。様々な形でシステムの隅に眠っているものなんです。クライアントのシステムに触っていると、「なんでここにこんな価値の高いデータがあるの⁉」と驚くこともよくあります。こうしたデータを使いやすいように処理し、整え、他の職種やビジネスの下支えをしています。

一方、データサイエンティストは、統計学や数学の知識を背景に、機械学習・AIなどの分析モデルやアルゴリズムを構築することが主な仕事です。もう1つの職種、データアナリストは、どちらかというとビジネス寄りの仕事です。社内にある多種多様なデータ分析モデルを用いてダッシュボードで集計・分析し、経営やマーケティング、セールスなど事業推進のための意思決定を支援しています。

データエンジニアの仕事とは、データサイエンティストとデータアナリストが行う仕事の基盤をつくることです。

光田：もともと「データを扱う人」でひと括りになっていた職種が、市場のニーズが多様化するに従い、複数の職種に細分化したのだと思います。

最初にデータを分析する「アナリスト」が誕生し、その後より高度な統計・数学知識を持ち合わせている人が求められ、アルゴリズムのモデリングを構築する「サイエンティスト」という仕事が生まれた。そして彼らが分析を行う上で、どうデータを集め、その集める作業をいかに効率化するかが重要になり、「データエンジニア」が誕生することになりました。つまり、仕事をより効率的に進められるよう、専門性に特化していったんです。

菱沼：近年、多くの企業がデータドリブン経営にシフトするなど、社会全体でデータに対する需要がどんどん大きくなっています。毎分毎秒、目に見えないところで膨大な量のデータが流れているんです。

データエンジニアの仕事は、このデータ社会におけるインフラをつくる仕事です。インフラエンジニアがサーバを構築したり、ネットワークを設計したりするように、データエンジニアも分析基盤を構築したり、データが流れるパイプラインを設計したりしています。これから先、データは社会の発展に不可欠なものになります。その流れを決して止めてはならない。「データを止めるな！」——その気概で、日々大量のデータと向き合っています。まあ、僕はデータが大量であればあるほど楽しいタイプなんで、どんどん仕事が楽しくなりますね（笑）。

最近では企業のMLOps（機械学習の開発チームと運用チームが協力し、プロジェクトを円滑に進めるための管理体制。DevOpsの機械学習版）が話題になっており、ここでもデータエンジニアが大きな役割を果たしています。「良いデータエンジニアのいる企業はMLOpsに強い」と言われることもありますね。

——お二方はゲーム業界でのご経験がありますが、その経験はデータエンジニアのお仕事にも活かされていますか？

菱沼：僕の場合はとても活かされていますね。前職ではスマートフォン向けのソーシャルゲームなどを開発していて、サーバにものすごい数のアクセスが一気に集まることがよくあったんです。すると、大量なログが発生してしまいます。そのログからユーザーの行動を読み取ってプロダクトに活かすために、データを蓄積する仕組みをつくったり、データを見える化するための分析基盤を構築したりしていました。そのとき培った経験が、今のデータエンジニアとしてのスキルにつながっています。

光田：特にオンラインゲームはすべてのパーツがデジタル化されているので、データ分析との相性はいいですね。多分はじめにデータエンジニアの需要が高まったのはソーシャルゲーム業界だと思います。そこでログ分析の経験を積んで他業界に移ったデータエンジニアは多いはずです。

——お二方が体感したデータエンジニアの市場需要の変化についてお教えください。

菱沼：「ビックデータ」がバズワードとして流行り出したのが2010年頃で、当時と比べて今我々が扱っているデータの量は10倍から100倍にもなっています。最近では、扱うデータの単位が「テラ」を超えて「ペタバイト」（1024テラバイト）クラスになることもあるくらいです。正直、「ペタ」クラスのデータなんて、一般に公開されていないですよ。

このような膨大なデータを処理するためには大量のリソースを使いますし、クラウドサービスを扱うにしてもデータ量の増加に伴ってかかる費用が膨らんでいきます。そこで、データエンジニアは扱うデータ量とかかるコストのバランスをよく考えながら、最良のアーキテクチャを提案するスキルが必要です。大規模なデータを「コスパよく」扱えるデータエンジニアは今後、多くの企業で必要とされるでしょう。

光田：データの量が増大しているだけでなく、種類も多様化していますね。数年前まで、データというとデータベースに格納されているような数字データがほとんどでした。しかし現在は、画像や音声、動画を扱ったり、あとは工場の機械などに取り付けられているセンサーのデータを扱ったりすることも増えました。その分、データエンジニアに求められるスキルの幅も広がってきています。さらに、画像を処理するのが得意なエンジニアには画像の案件が集中するなど、より専門性に特化したデータエンジニアが増えていくでしょう。

——これからとくにデータの需要が高まるのは、どのような業界でしょう？

菱沼：すでにデータ量の多い領域、例えばインターネット広告やデジタルマーケティングの領域はさらに伸びる可能性があります。ただ、データの利活用が進みすぎたがゆえにCookieの規制がかかるなど、外部要因によって成長スピードが遅くなる可能性もあります。なので、データ量の多い業界が必ず伸びるとは一概には言えません。

光田：逆にこれまでデータの利活用が遅れてきた、いわゆる「レガシー業界」の需要は伸びていくと思います。例えば、飲食や小売業界には膨大な売り上げ・販売データが貯まっているんですよ。こうした業界もいまは積極的にデータドリブン経営にシフトしています。工場のデータ活用とか、これからアツい分野だと思いますね。企業内でも、経理や法務、人事など、データは集まるにもかかわらず利活用が進んでこなかったポジションに特化したデータエンジニアはより一層必要とされるかもしれません。

——昨今「花形」の職業ともいわれるデータサイエンティストに比べて、データエンジニアの仕事はそれほどまだ知られていないように思います。データエンジニアとして働く楽しさ、面白さは何でしょう？

光田：普段仕事の中で常に新しい技術に触れられるところが、個人的にすごく面白いですね。「決まり切ったやり方でやればいい」ということはあまりなくて、試行錯誤しながら仕事を進めることが多いです。そういう過程を楽しめる人にとっては魅力的な仕事だと思います。

菱沼：僕は一般公開されていない大量なデータを扱えるのがなにより楽しいですね。とくにDATUM STUDIOとちゅらデータが所属するSupershipグループは、KDDIのグループであり、事業としてアドテクや検索ソリューション/OMO、データコンサルなどを展開しているため、業務を遂行する上で、大量のデータを扱っています。日常の業務で「ペタ」クラスの実データに触れられるのは大きな魅力です。今でもオープンデータなら自分で調べてたどり着くことができます。しかし実務上扱うデータは、世間に公開されていない情報です。こうした非公開データをアレンジして企業や社会の発展に貢献できるのは、データエンジニアだからこそできることだと思いますね。

いまはまだデータの利活用を進められていない領域が多いので、手を動かした分だけ「昨日より今日の方が絶対世界はよくなる」という実感を持てます。以前、ある世界的なメーカーのプロジェクトに携わったとき、それまで手をつけられていなかったデータを活用しただけで、ものすごい事業インパクトにつながったんです。眠っているデータを掘り起こし、それを自分の手で「料理」すれば世界をよくする糧に変えられる。こういう経験ができるのはたまらず楽しいですね。

——逆に難しい部分はありますか？

光田：データエンジニアという職種はまだ歴史が浅いし、扱う技術の新陳代謝も速いので、情報収集をするのが難しいと思います。新しいツールを取り入れたくても、ネットで検索しても、ドキュメントを読んでも分からないことがよくあるんです。そういう時は直接ベンダーに問い合わせたり、自分で試行錯誤したりして答えを出さなければなりません。大変ですが、面白いところでもあります。

菱沼：クライアントやデータサイエンティストと二人三脚で仕事をすることが多いので、彼らの期待に応えられない時が一番つらいですね。例えば、問題解決に最適なアーキテクチャを提案したけれど、コストが超過してしまい使えなかったことがあります。あるいは、リクエストを受けてデータ量を計算したけれど、そもそも現代のテクノロジーでは解決できない内容だったということもありました。作業していくうちに、組み合わせの量がどんどん膨らんで、地球上のコンピュータ資源を全部使っても足りないかもしれない、という事態になったことも（笑）。クライアントのニーズにはどうしても応えたいので、なにか良い手はないかとすごく悩みましたね。日々こうした様々な壁にぶち当たっています。

——そういう壁にぶつかった時、どのように乗り越えていますか？

菱沼：まずはクライアントに交渉して、対応できない理由を説明した上で最善の施策を考えます。１人では太刀打ちできないと思っても、諦めずにチームと相談しています。チーム一丸で取り組めば八方塞がりだったことにも解決策が見出せます。

日々、チーム全員で情報収集し、良さそうなツールを見つけたらとにかく試し、新しい技術をキャッチアップできているからこそ、実現できたプロジェクトも多い。直近だと、「Snowflake」や「Amazon Sagemaker Studio」といったものを導入しています。「データを扱うエンジニア」と聞くと、一人で黙々とデータベースに向き合っているイメージが強いと思いますが、実際のところは違う。仲間の力が不可欠です。ひとりでは乗り越えない壁も、仲間とだったら乗り越えられることが多いと思います。

——データエンジニアはどういうキャリアを歩んできた方が多いでしょうか？

菱沼：DATUM STUDIOとちゅらデータの場合、製造系や金融系のSIerに勤めていたシステムエンジニアが多いですね。設計書や仕様を組んだり、クライアントにヒアリングしたりする経験はデータエンジニアの仕事にも活かせるので、システムエンジニアの方にとって、次のキャリアとして選びやすい職種だと思います。ほかにはゲーム業界のような大量なエンドユーザーを抱えるto C向けのサービスに携わっていた方もいるし、様々な背景を持つ方がいますね。

——理系出身でないとデータエンジニアになるのは難しいと聞いていますが、文系出身でも目指せますか？

光田：学歴は関係ないと思います。知識ももちろん大切ですが、何より現場での経験が重視されます。「理系出身じゃなきゃダメかな」とか考えずに挑戦してみればいいと思います。

菱沼：そうですね。採用でも特に学歴は気にしていません。ただし、プログラミング未経験だと、さすがに厳しい。実務では、データ処理に使われるプログラムを組むことが多いので、まったく未経験の方には少し難しいかもしれません。

——データエンジニアとして働く上で、どのようなマインドセットが必要ですか？

光田：正直さ・善良さは必須です。なぜならデータには「嘘」を簡単に混入させることができるんですよ。クライアントから怒られるのが嫌だからとデータの欠損を隠したり、それほど進んでいないのにデータ入力の進捗を都合のいいように報告したりすると、いくら小さな嘘でも大きな問題に繋がりかねません。クライアントは僕たちが提供したデータをもとに経営の意思決定を行っています。ということは、こちらの嘘一つで企業の経営判断が間違った方向性に偏ってしまうこともありえるのです。当たり前のように聞こえるかもしれませんが、誠実さを持って業務に取り組める人が向いています。

菱沼：光田さんと近いんですが、数字に敏感で慎重な人がいいです。例えばデータを2つに分けると言われたとき、「分けて終わり」ではなくもう一度合算して数字が合っているかダブルチェックできる人が向いていると思います。

——最後にデータエンジニアを目指す方に向けて、どのような準備が必要か教えてください。

光田：すごく初歩的な話からすると、SQLが書けてデータベース周りの基礎知識をしっかり身につけることが大切です。もっと大量なデータを扱う場合、分散処理についてのスキルが必要になってきますが、それをローカル環境で独学するのはかなり難しいと思います。基礎的な理論知識を勉強したら、あとは実務に携わりながら吸収したほうが速いと思います。

菱沼：おそらく皆さんが思っているより、データエンジニアになるハードルは低いです。市場のニーズはとても高いにもかかわらず、圧倒的に人材が不足しています。モチベーションのある方は、勇気をもって挑戦して欲しいと思います。

光田：実は、データエンジニアって総合格闘家みたいなものなんですよ。働く上でさまざまなスキルが必要で、学ぶべきことは無限に出てきます。ただ、菱沼さんがいうように現場に飛び込んで実データを触ってみないとわからない部分が圧倒的に多いんです。調べてたどり着けるオープンデータや、技術書にあるサンプルデータだけでは、実務で活かせるスキルを身につけるのはどうしても難しい。SQLの勉強を終えたら、やってみたいという気持ちさえあれば、「私でもできますかね？」くらいの軽い気持ちでデータエンジニアの門を叩いてほしいです。

企画・取材：王雨舟
執筆：大橋博之
編集：王雨舟・石川香苗子