データエンジニアとはどんな仕事？未経験から就くには？

データエンジニアとはどんな仕事？

膨大なデータを分析するためにデータの整理や管理を行ったり、複雑で大規模なデータが活用できるよう情報基盤の構築や運用を行います。

情報化が進展した今日、膨大なデータ（ビッグデータ）が蓄積され、利用・活用されるようになっています。また、AI(人工知能)も様々な場面で応用が進んでいるが、その実用化のためには大量のデータが必要となります。このような膨大なデータのエキスパートと言えるエンジニアです。

データエンジニアに似た職業にデータサイエンティストがあります。データサイエンティストがデータを分析し、新たな商品やサービスを生み出したり、業務プロセスを革新する知見を引き出すのに対し、データエンジニアはこのためのデータの収集、整理、管理、そして情報基盤の構築や運用を行います。

また、データエンジニアとは呼ばれていなかったが、システムエンジニアの中にはデータの収集と整理に関する開発、また、データを活用するための情報基盤の構築と運用を行う人も居り、この人達もデータエンジニアと同じような仕事をしていたといえます。そして、データエンジニアの中で分析に特化し、専門性を高めていきデータサイエンティストとなったり、機械学習に特化しAIエンジニアになっていく人もいます。データエンジニアとシステムエンジニア、データサイエンティスト、AIエンジニアの関係はこのように整理することができます。

データエンジニアの具体的な業務としては以下の３つがあります。

第一に、データはそのままでは利用できないことが多く、欠損しているデータを補ったり、データの重複を整理したり、表記の揺れ（サーバーとサーバ、西暦と和暦、年齢区分、centerとcentre等々）などを統一する作業であり、分析できるようツールを使いデータを整理、加工する業務である（データの前処理）。また、このデータの整理、加工のためにプログラムを作成することもあります。

第二に、データを収集し、蓄積し、利用できるような情報基盤を設計し、構築する業務です。具体的には、IoTなどにより集まってくる膨大なデータからデータベースを作成し、データサイエンティストやデータを分析する人が必要な形で取り出せるよう、情報インフラを開発する業務です。近年では、膨大なデータを廉価に効率的に格納し、利用するためにクラウドサービスを利用することが多い。この場合、データエンジニアはクラウド上にデータを蓄積し、利用する情報システムをクラウド上で開発、運用します。データをグラフ等で見やすく視覚化することもあります。データサイエンティストの仕事と重なるが、データをビジネスにどう活かすかを検討することもあります。

第三に、AI（人工知能）開発における「教師データ」の作成があります。AIに学習させるためには「教師データ」が必要であり、そのデータを作成します。データを整理し、データを整える業務です。このデータ整理のためにプログラムを作成することもあります。AIを運用しその結果から、教師データを作り直すこともあります。

よく使う道具、機材、情報技術等

収集・解析ツール（データ検索・収集するElasticsearch、グラフ化するKibana 、解析するBeats 、Logstashから構成されるElastic Stack）、統合開発環境（IDE:integrated development environment、Visual Studio、Eclipse、Xcode等）、クラウドデータストレッジ(AWS：Amazon Web Services、GCP：Google Cloud Platform等)、 ビッグデータの分散処理のためのHadoop、表計算ツール（Google Googleスプレッドシート等）、パソコン

実際にどんな作業をするの？

厚生労働省「job tag」のアンケートをもとに、実際にこの仕事をしている人が「やっている」と答えた作業を実施率の高い順に紹介します。

• データの加工、整理の方法について検討する。（実施率 98%）
• データを加工するプログラムを作成する。（実施率 96%）
• データの背景となる業務知識を習得する。（実施率 93%）
• 欠損しているデータを補う。（実施率 93%）
• データの重複を整理する。（実施率 93%）

賃金・労働条件はどうなの？

厚生労働省の統計データによると、データエンジニアの年収は609.8万円、平均年齢は42.2歳、月間労働時間は160時間です。

有効求人倍率は2.25で、求人賃金（月額）は32.3万円となっています。

未経験からデータエンジニアになるには？

新卒採用では理工系の大学、大学院の者が多いが、文系でも、心理学や経済学等データを扱っていたという卒業生も多い。高専や専門学校の情報系の卒業生もいます。システムエンジニアとして一括して新卒採用し、その中からデータエンジニアとして育てていく会社もあります。

中途採用の場合、システムエンジニア等IT関係のエンジニアから転職という人が多い。また、金融、医療、製造、教育等、何らかの分野に詳しい業務知識を持っていると中途採用では有利となります。

資格関連では民間が運営する海外のものがあり(Google認定プロフェッショナルデータエンジニア等)、この認定を持っているとデータエンジニアのスキルがあると国の内外で評価されます。

データエンジニアそのものの資格ではないが、情報処理振興機構（IPA）のデータベーススペシャリスト試験、システムアーキテクト試験などは関連する知識を持っている証明となります。

新卒採用の場合、入社後、社内で必要に応じて、基礎スキルの研修（プログラミング、数学、データ分析、データベース、分散処理、機械学習、AI等）、業務知識の習得（データの背景を把握するための顧客の業務の理解等）、プロジェクトのマネジメント（チーム管理やアジャイル開発）等の研修を行う会社が多い。開発のスピードアップが求められる今日、以前のウォーターフォール型でない、アジャイル開発のスキルが求められています。

このような研修を受け、その後は社内でプロジェクトに参加し、仕事をしながら、また、関連するKaggle等のコミュニティに参加し、力をつけていきます。KaggleとはそのトップページにYour Machine Learning and Data Science Communityとあるように、世界中の機械学習とデータサイエンスに携わる数十万人が集まるコミュニティです。

この後のキャリアとしてはプロジェクトのマネジメントをし、さらにグループのマネジメントをするようになるというように管理職的なキャリアを歩む人と、専門性を高めエキスパートになっていく人がいます。専門性を高め、データサイエンティストやAIエンジニアになる人もいます。

データエンジニアに必要なスキルとしては、微分積分、線形代数、確率統計などの数学のスキル、Python 、Scala（スカラ）、Java、Rなどのプログラミングのスキル、ビッグデータ分析のための環境をアマゾン、グーグルなどのクラウド上で設計、構築し、運用するスキルが求められます。また、Hadoopなどによる大規模なデータを分散処理する知識などが求められます。そしてAI開発が盛んな今日、機械学習の知識が求められることも多い。また、データを扱う上では対象分野の業務知識が非常に重要です。業務知識が無ければ、どのようなデータでどのように処理すれば良いかが分からない。技術動向や社会、経済の動きを把握していることも必要です。

収集・解析に必要なプログラム作成に生成AIを活用することも多くなっており、生成AIで仮のものを作り、修正、加筆したり、作動確認し、利用します。

膨大で複雑なデータを丹念に処理していく必要があることから、根気があり、粘り強いことが求められます。データの分析では自分の思い込みがないか、自分の考えを客観的にとらえられることも必要です。技術や分析に対する好奇心、新しい手法を積極的に取り入れるチャレンジ精神も求められます。

関連する資格

• Google認定プロフェッショナルデータエンジニア