Microsoft主催
「OpenHack Modern Data Warehousing」
に参加して
Synapse Analytics 触ってきました！
先日行われたMicrosoft主催の「OpenHack Modern Data Warehousing」に参加したので、参加した感想と実際にAzureのDataAI関連リソースをさわった所感を書こうと思います！
本ブログはこんな方にオススメです
- OpenHackがどんなものなのか知りたい
- Azure Synapse Analyticsの概要を知りたい
目次
1. OpenHackに参加した目的、スキルセット
目的
- 自社のデータ基盤にAzureを使用していくことを計画しており、勉強目的で参加。
- 巷でよくきくAzure Synapse Analyticsを触ってみたい。
スキルセット
- Azureは2年ほど触っているがインフラ寄り。
- RDBはOracleのストアドを少し書いてたくらい。あとSQL Serverを少し勉強した程度。
- Pythonは自主学習レベルで業務では使用した試しなし。
- Azure Devopsはほぼノータッチ。
2. Hack概要
スケジュール
今回のOpenHackは3日間にかけて行われました。
基本的にはHackの時間ですが、所々でこの先のHackで使うことになるであろうリソースの説明を受ける時間が設けられました。
Hackの進め方
5人1チームとなり、チームごとにTEAMS会議を立ち上げてHackをしていきます。
各チームにはMicrosoftのコーチが専属で1名つく形となります。今回は全5チーム構成でした。
Hackの進め方としてはDriverと呼ばれる画面共有件作業担当を決めて、それを時間や区切りのいいところでチームメンバー内で交代していく感じ。
ドキドキした自己紹介
Hackが開始されたらチームごとのTEAMS会議に参加してまずは自己紹介。
私はAzureはよく触っているのですがデータ関連はあまり知識がなく、チームメンバーがエキスパートばかりで場違いだったらどうしようとヒヤヒヤしていましたが、参加者の皆さんのスキルセットはバラバラでAzureを全く触ったことない人や、私と同じようなインフラの人寄りもいてほっとしました。
3日間がんばるぞ！
課題に取り組む
Hackはシナリオが用意されており、架空の会社の社員になり切って様々な業務課題を解決していく形式。
チームは課題に対しての解決策を考え、それを形にして(デプロイ)、コーチに確認してもらいオッケーが出れば次の課題が与えられます。
この課題が実際にありそうな課題で大変よくできており、課題を一通り解決することでAzureのDataAI関連のコールドパスリソースの主要機能を一通り触れる構成になっていました。
構成にもよりますが、下図の半分くらいのサービスに触れることができました。
余談ですがチームメンバーがとてもお優しく。比較的知識があるメンバーが知識のないメンバーに教えながら解決していくような体制が自然と出来上がりとてもいいチームワークで課題を進められました。
チームメンバーだった方々、有難うございました！
3. 3日間を終えて
最終的にはすべての課題のうちの半分ちょっとを終えたところで3日間が終わってしまいました。
ただ、すべての課題を終えられたチームは過去にまだないよう。
ある条件を満たせばバッチあもらえるのですが、何とかバッチをゲット！
今回のOpenHackに参加した感想としては以下の2つにまとめられます。
感想①とにかく楽しかった！！
チームメンバーと協力して新しい知識を使って課題に取り組んでいくというのを
3日間体験できてとても楽しかったです。
自分だけでは考えつかない解決方法を出してくれるメンバー、行き詰った際に
ヒントをくれる優しいコーチのもとのびのびとHackをし、知識を吸収することが出来ました。
関係者の皆さん、本当に有難うございました。
感想② Synapse便利！
課題を進めていく中でAzure Synapse Analyticsを使用する場面がありましたが、とても便利でした。
個人的に便利に思った点Top3をSynapseの機能を簡単にまとめながら上げてみます。
4. 参加して実感！Synapseの便利機能TOP3
第3位 「管理画面で簡易にGUI操作が可能」
Azure Synapse Analyticsは複数の機能を併せ持つ統合インフラストラクチャです。
機能は図に記載のある4つとなります。それらを一つのWeb画面で簡易に設定が可能です。
例えば自社に導入した際は運用メンバーはSynapseの操作を覚える必要がありますが、
RDBやバッチ運用システムになれていない方でもとっつきやすいシステムとなっていると感じました。
第2位 「コネクタが豊富」
Synapse Pipelineを使用して様々なシステムからデータをデータレイクまたはSynapse Dedicated SQLに同期する構成が考えられます。Synapseでは各システムとの接続設定が行えるよう数多くのコネクタを用意しています。
これらのコネクタを使用することで容易にPipelineを作成することができます。
また、各システムとの接続設定はAzure Key Vaultに保管することでセキュアな構成とすることも可能となっています。
Azure Data Factory と Azure Synapse Analytics のコネクタの概要 ❙ Microsoft Docs >
第1位 「様々なスキルセットに対応」
Synapseはデータの分析加工処理を実施するにあたり以下のような様々なアプローチを選択できます。
これにより運用者のスキルセットに応じた構成が可能になります。
- Spark PoolのNotebookをPythonまたはScalaで作成
- Serverless SQLでクエリをT-SQLで作成
- PipelineでPipeline、データフローをGUI画面で作成
5. Azure Synapse Analyticsをもっと知りたい方へ
弊社では、製品概要をまとめた資料を無償でご提供しています。
アーキテクチャ・パフォーマンス・価格などを掲載しておりますので、Azure Synapse Analyticsの全体像を知っていただけます。
「もっとAzure Synapse Analyticsを詳しく知りたい！」という方、ぜひダウンロードしてみてくださいね。
Azure Synapse概要資料ダウンロードはこちらデータエンジニアが執筆するブログもございます。情報収集にお役立ていただければ幸いです。
関連ブログ
この記事を書いた人
セミナーの参加レポートや製品の検証結果などを皆さんにお伝えしていきます！
こんな検証ができないか、等ありましたら是非当社までご連絡ください！
この投稿者の最新の記事