目次
1.はじめに
皆さんこんにちは。
今回はMicrosoft主催「OpenHack for Cloud Based Data Warehousing」に参加してきたので、そこで学んだ便利な機能と感想を書いていきます！
本記事では、OpenHack for Cloud Based Data Warehousingに参加した感想とAzure Synapse に実際に触った所感を書いていきます。
Microsoft主催「OpenHack for Cloud Based Data Warehousing」に参加してきたpart1（今回）
Microsoft主催「OpenHack for Cloud Based Data Warehousing」に参加してきたpart2
2.OpenHackの概要
OpenHackは、Microsoftが主催する開発者向けのイベントで、開発チームと専門家を結びつけ、実際に手を動かして実験を進めることで、現実世界の一連の課題に取り組むという活動です。
このイベントは、Microsoft社員、顧客、パートナーにとってユニークで楽しいスキルアップ体験を提供します。
OpenHackは、オンラインまたは対面で行われることがあります(今回はオンラインでした)
例えば、OpenHack AI-powered Knowledge Miningでは、AIを使用してデータから知識を抽出する方法について学びます。
また、OpenHack DevOpsでは、DevOpsの基礎から応用まで学ぶことができます。
以上のように、OpenHackは開発者向けのイベントであり、Microsoft社員や顧客などが参加することができます。
3.自分がセミナーに 参加した目的
普段Azure Databricksを業務で扱っていますが、Azure上でのデータ分析基盤の構築と利用方法を学習するために参加しました。
4.セミナーで学んだ便利な機能part1
4-1.Azure Synapse Analytics
Azure Synapse Analyticsは、データウェアハウスやビッグデータシステム全体にわたって分析情報を取得する時間を早めるエンタープライズ分析サービスです。
【便利なところ】
・ビッグデータとデータウェアハウスを統合した分析が可能
・データの準備から分析までの一元管理が可能
・セキュリティが強化されている
・オープンソースのツールとの連携が可能
・ビジネスインテリジェンスツールとの連携が可能
4-2.Synapseパイプライン
データ移動、データ変換、コンピューティングのアクティビティを自動化および統合する複雑なパイプラインを作成できます。
パイプラインは、1つ以上のタスクを連携して実行するアクティビティの論理的なグループです。
Synapseパイプラインは、Azure Data Factoryと同じデータ統合エンジンとエクスペリエンスが含まれているため、多機能で大規模なETLパイプラインを作成できます。
【便利なところ】
・パイプラインは、1つ以上のタスクを連携して実行するアクティビティの論理的なグループであるため、複雑な処理を単純化できる
・パイプラインは、Azure Data Factoryと同じデータ統合エンジンとエクスペリエンスが含まれているため、多機能で大規模なETLパイプラインを作成できる
・Synapse Studioを使用してパイプラインの実行を監視できる
4-3.データをSynapseに格納する
Azure Synapse Analytics は、データを格納するために、Azure Synapse Pipelines を使用してデータを Data Explorer プールにインポートすることができます。
また、Azure Blob Storage や Azure Data Lake Storage からデータをインポートして、専用 SQL プールに格納することもできます。
Azure Synapse Analytics の Lake データベースを使用すると、データベースのデザイン、格納されているデータに関するメタ情報、データを格納する方法と場所を記述できる可能性をまとめることができます。
【便利なところ】
・ビッグデータとリレーショナルデータを統合することができる
・データの取り込み、変換、ロードを簡単に行うことができる
・データのクエリを高速に実行することができる
・データの可視化や分析を簡単に行うことができる
5.ここまでのまとめ
グループディスカッションは、ビデオをつけた状態で行うと緊張するものですが、皆さんもわからないといいつつサクサク課題を進めていき、いつの間にか自分も楽しく作業ができました。
このように、他の人と一緒に作業することで、自分が思っていたよりもスムーズに進められることがあるので、積極的に参加することをお勧めします。
次回の記事でも引き続きOpenHackに参加した感想と、学んだ便利機能について書いていきます。
是非合わせてご覧ください！
本連載では、
Microsoft主催「OpenHack for Cloud Based Data Warehousing」に参加してきたpart1（今回）
Microsoft主催「OpenHack for Cloud Based Data Warehousing」に参加してきたpart2
についてご説明しています。
今回の記事が少しでもAzure Synapse Analyticsを知るきっかけや、OpenHackのご参考になれば幸いです。
Azure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！
お問い合わせはこちら この記事を読んだ方へのオススメコンテンツはこちら
この記事を書いた人
