アクセス権限があるテーブルの情報を取得する為のノートブック利用方法
1.はじめに 皆さんこんにちは。 アクセス権限が付与されたテーブル、ビューがわからなくなってしまった場合、ユーザはデータを検索することができません。 今回は、Azure Databricks Workspace…
Private LinkとNSG を使用して Databricks ワークスペースを保護する方法
1.はじめに 皆さんこんにちは。 ビッグデータ処理フレームワークでセキュリティは非常に重要です。 なかでもファイアウォールはセキュリティを確保するために最も優れた選択肢です。 ただ、システムが1か月に数回しかデータ分析を行わない場合、Azure Firewallを導入するのは非効率です。…
Databricksワークスペース環境に既存Firewallを統合する方法
1.概要 皆さん、こんにちは。 データの保護を考える上で必要な項目として、Databricksワークスペース内でプライベートリンクを展開することが挙げられます。…
Azure Firewall のO365タグを試してみた
Azure Firewall のO365タグを試してみた 皆さんこんにちは！今回は、Azure Firewallに登場したOffice 365タグについてご紹介します。 このタグを利用することでOffice 365 URL および IP…
【Azure Databricks】CSVファイルの読込とテーブルへのマージ
1.はじめに 皆さんこんにちは。 今回は、CSVファイルを取込む方法について説明していきます。 2.前提要件 本書を実施する際の前提条件は ストレージアカウントが作成済みであること Access connectorが作成済みであること ストレージアカウントのBLOB…
【Azure Databricks】Databricksの診断ログを保存してみる
1. はじめに 皆さんこんにちは。 今回は、Databricksで診断ログを保存する方法について説明していきます。 ※ジョブログについては、こちらをご覧ください。 2. 前提要件 本書を実施する際の前提条件は以下の通りです。 ・Log…
Microsoft Sentinel（旧Azure Sentinel）でログ収集・分析基盤を構築してみた② ~クエリによる脅威検知~
Microsoft Sentinel（旧Azure Sentinel） でログ収集・分析基盤を構築してみた② ~クエリによる脅威検知~ はじめに 日商エレクトロニクスのAzure セキュリティ担当エンジニアの髙橋です。 今回は、前回のログ収集編>>に続き分析ルール設定編になります。…
【Azure Databricks】サービスプリンシパルを利用したジョブを実行する
1. はじめに 皆さんこんにちは。 本書では、サービスプリンシパルを利用したジョブ実行方法について説明していきます。 通常、ジョブ作成時には、ジョブ作成者のユーザIDを利用しDatabricksのジョブが実行されます。 ただし、下記の制限があります。…