Azure Databricksによってデータ活用基盤を構築分散していた顧客情報を統合し、データに基づく意思決定の文化醸成を目指す～小さく始め、大きく育てるデータ基盤のつくり方～
(左より)
双日テックイノベーション株式会社
コーポレート本部 経営企画部
情報企画課 藤岡 謙 氏
部長補佐 丸山 伸之 氏
エンタープライズ事業本部 マイクロソフト事業部
インテグレーション課 浜中 優人 氏
※インタビュー当時
企業名：双日テックイノベーション（旧：日商エレクトロニクス）株式会社
東京都千代田区に本社を置く総合商社双日グループのICT中核企業。
50年以上に渡り、「Innovation-Leading Company」として、最先端ICTを提供してきた双日テックイノベーション。数多くの実績を持つITインフラやネットワークインフラに加え、アプリケーション、クラウド、データ活用などの分野で、日本企業・団体のデジタルトランスフォーメーションを支援している。顧客が抱える課題の発見・解決や、新たな価値の創造など、信頼される存在を目指し、自らも変革に取り組んでいる。
設立：1969年2月24日
資本金：143億3,687万5,000円
売上高：2021年3月期 39,797百万円（連結） 37,299百万円（個別）
従業員数：（連結）996名 （個別）797名 （2021年3月31日現在）
各所に点在したデータによって意思決定に遅れが生じていた
双日テックイノベーションは、ネットワークやITインフラ、システム開発・運用・保守、DX支援などを手掛けるICTソリューション提供企業。次代を見抜く力、実績に基づく技術力、ビジネス共創の提案力を強みとし、常に最先端技術や業界動向を探りながら、顧客に価値をもたらすソリューションを提案している。そのために、自社でもさまざまな先端技術を活用し、さまざまな学びを業務に活かしている。
同社の社内インフラや業務システムを企画・運用しているのがコーポレート本部 IT企画部で、このたび社内のデータ基盤を統合するプロジェクトを推進した。その背景についてIT企画部 部長補佐の丸山 は、「データを使った意思決定によって競争力を高めるため、データ活用プロジェクトを立ち上げました」と語る。
2009年に導入した基幹システムは、カスタマイズなどを続けてきたものの、各所でデータがサイロ化し、ビジネスの変化に柔軟な対応ができなくなっていたのだ。「顧客の売上実績や保守契約期限などのデータを活用したいとき、いろいろなシステムに点在したデータを集め、手作業で資料を作らなければならず、経営や営業の判断が遅くなってしまう課題がありました」（丸山）。
双日テックイノベーションの基幹システムはレガシーなものもあるが、クラウド基盤としてMicrosoft Azure環境も積極的に活用している。丸山は、Azureサービスの活用によってデータ活用の課題を解決可能なデータ基盤を構築できると構想し、エンタープライズ事業本部 マイクロソフト事業部の浜中に相談した。
浜中は「いくつかのAzureサービスが候補に挙がりましたが、あらゆるデータソースに接続するハブとして機能し、必要なデータ加工もできるAzure Databricksが最適だと推薦しました。認証基盤のAzure ADと親和性が高く、セキュリティやガバナンスの対応もできます。負担をかけずにスモールスタートできるコスト面のメリットもポイントでした」と振り返った。
コメント：
経営企画部の社員が、週、月、四半期ごとに売上利益等の予実績資料を作成しています。作成には1〜2日かかっていますが、データ基盤によって、この作業が大きく軽減されるのは大きいですね。
基幹システムや営業支援システムから顧客関連データを1つに集約
データ活用プロジェクトは、2022年の夏頃から経営層や営業担当へのヒアリングを行い課題の整理をした後、10月から始まった。Azure Databricksの採用を決定すると、浜中を中心に3カ月ほどかけて環境構築が行われた。その後2023年1月から3月までの間にIT企画部によって、基幹システムと営業支援システムのデータをAzure Databricksのデータレイクに取り込み、Microsoft Power BI（以下、Power BI）などから参照できる仕組みができあがった。
このデータ活用基盤を構築したのは、当時IT企画部 情報企画課に異動したばかりの藤岡だった。藤岡は以前の部署でデータパイプライン構築の経験があったことから、その知見を活かして今回のデータ基盤構築に取り組んだ。藤岡は、各システムからSQLを使って必要なデータを取得してCSVに出力し、データレイクに転送するスクリプトを書き、データを蓄積していく仕組みを構築していった。
異なるシステムからのデータ収集時、インターフェースや取得するデータのフォーマットなどを整理しておかないと、新たなデータのサイロ化につながるリスクがある。構築時の工夫について藤岡は「各所からデータを収集する際、システムごとに連携するインターフェースが整理されていませんでした。データの組み替えやマッピング、認証などに悩みました。データの仕様を決めた後は、Azureの変換ユーティリティを使うことで比較的容易に構築できました。データ収集と連携のしやすさはAzure Databricksを利用したからこそのメリットだと評価しています」と語った。
コメント：
このデータ基盤を社内にいるエンジニアに開放して、データ活用の民主化をしていきたいです。
資料作成業務から解放さらにデータを活用できる基盤へ成長
データ統合基盤の構築によって、これまで手作業でまとめていた、顧客ごとの受注データや契約情報、提案の状況などを自動的に整理できるようになった。成果について丸山は「経営企画部の社員が、週、月、四半期ごとに売上利益等の予実績資料を作成しています。それぞれ作成には1〜2日かかっているはずです。これからデータ基盤を本格活用していくなかで、この作業が大きく軽減されるのは大きいと考えています 」と語った。
2023年4月から9月の間には、顧客別に整理した集計データを、部門別や状態別などさまざまな視点から参照できるようにするなど、次の段階に成長させていきたいとしている。藤岡は「このデータ基盤を社内にいるエンジニアに開放して、データ活用の民主化を促進していきたいです」と語った。
さらに次の段階ではデータ統合基盤に集めたデータを全社員に公開できるようにし、各社員がPowerBIを利用し、個別にアドホック分析が出来るようなデータマートの整備も構想している。「データが追加されていくなかで、社員がデータをどのように使いたいかヒアリングしながら公開範囲を調整していきたいです。データカタログの機能をうまく使うなどして、セキュリティやガバナンスも考慮しながら 、役立つ基盤を作っていきたいですね」（浜中）。
丸山も「ビジネスをわかっているのは現場の人です。その人たちが考えるデータ活用方法があるはずです。Azure DatabricksではBIとしてもAIとしてもデータを活用できるので、それぞれのニーズに合わせてデータ活用できる基盤が作れたと考えています 。今後は、現場で必要としているものを充実化していきたいですね」とコメントした。
次のフェーズに向け、機能面だけでなく、運用面の課題もある。収集・整理したデータが壊れたり、欠けてしまったりした場合の復旧など、さまざまな利用を想定したテスト環境を準備しているのだ。藤岡は「インフラ構成管理ツールであるTerraformを活用しているチームの力も借りながら、サービスの安定性を高めていきたいと思っています」と述べた。将来的には、バックアップからの復旧の自動化などにも取り組んでいく。
ヒアリングから設計、構築、改善の知見を顧客に提供していく
データによる意思決定に関する悩みを解消するべく、顧客データ基盤構築を進めている双日テックイノベーション。今回自社向けに構築したAzure Databricksによるデータ基盤プロジェクトを通じて、ユーザーが抱える課題のヒアリングから、適切なサービス選定、システム設計・構築、そして改善活動と、多くの学びを得た。今後は、ICTプロダクトのディストリビューターとしてソリューション化し、同じような悩みを抱える顧客へ提供したいと考えている。
浜中は、Microsoft製品担当者として、さまざまな製品の知見を顧客に提供できるとし「Azure Databricksなどによるデータ基盤構築からPower BIを使った可視化・分析などの知識がありますので、お客様のさまざまなご相談にお応えしていきたいです」と抱負を述べた。
顧客に寄り添いながらも、最終的には顧客が自走できるデータ基盤の仕組みづくりを支援していくという。
※記載内容は2023年3月 現在のものです
コメント：
当社にはAzure Databricksなどによるデータ基盤構築からPower BIによる可視化も含めた知識がありますので、お客様の様々なご相談にお応えしていきたいです。
