1. はじめに

皆さんこんにちは。

前回の連載の続きとして、Azure Databricksの「汎用クラスタ作成」について説明していきます。
今回は実際に汎用クラスタの作成したあと、汎用クラスタ変更／権限付与／起動・停止までを実施したいと思います。

第1回：「汎用クラスタ作成」をしてみる （今回）
第2回：「SQL Warehouse作成」をしてみる
第3回：「ジョブクラスタ作成」をしてみる

2.汎用クラスタ作成

2-1.汎用クラスタ作成

こちらの手順でワークスペースにアクセスします。

サイドバーから Computeアイコンをクリックし、展開された画面でCreate compute をクリックします。

各設定をします。

①クラスタ名を入力します。

②ポリシーを選択します。

利用ユーザーを制限しない→Unresticted
個人が利用する場合→Personal Compute
利用ユーザーをカスタムする場合→ポリシーを新規で作成する

③Multi node or Single nodeを選択します。

複数台のホスト稼働、または単体のホスト稼働を選択します。

④アクセスモードを選択します。

Unity Catalogがサポートされているのは、Single user、Shared です。
「Single user」はクラスタを占有して利用するデータアナリスト向けです。
上記以外は、「Shared」を設定します。

⑤アクセスモードが「Single user」の場合に利用するユーザー名を選択します。

参考URL：

クラスターを構成する – Azure Databricks | Microsoft Learn

各設定をします(続き)

⑥Databricks runtime version

最新版を指定します。
または状況に応じて適切なバージョンを選択します。

参考URL:Databricks ランタイム – Azure Databricks | Microsoft Learn

⑦Use Photon Acceleration

Photonは最新のApache Sparkワークロードを加速し、
ワークロード当たりの総コストを削減します。

参考URL: Photon ランタイム – Azure Databricks | Microsoft Learn

Photonを使用する際はチェックを入れます。

⑧Worker type

クラスタのスペックまたはプールを選択します。

⑨Min workers,Max workers

「③」でMulti nodeを選択し、オートスケーリングを有効にした場合にホストの最小数、最大数を入力します。

⑩Driver type

ワーカータイプと同じ値に設定します。

各設定をします(続き)

⑪Spot instances

チェックを入れた場合、
ホストにAzureの余剰リソースを使用します。
80％のコスト削減が見込まれますが、
混雑している場合はクラスタが再起動し、
チェックを入れない場合と同様の専用のインスタンスに
切り替わります。本番環境ではおすすめしません。

参考URL:クラスターを構成する – Azure Databricks | Microsoft Learn

⑫Enable autoscaling

ホストのオートスケーリングの有無を選択します。
チェックを付けた場合、「⑨」で最小数、最大数を設定します。

参考URL:クラスターを構成する – Azure Databricks | Microsoft Learn

⑬Terminate after 120 minutes of inactivity

ホストの自動停止の有無を選択します。
非アクティブ状態が続いた場合、自動で停止させるまでの時間（分）の設定をします。

参考URL:クラスターの管理 – Azure Databricks | Microsoft Learn

各設定をします(続き)

⑭Azure Data Lake Storage credential passthrough

チェックを外します。
※チェックを入れた場合 Unity Catalog にアクセスできません。

参考URL:Azure Active Directory 資格情報パススルーを使用して Azure Data Lake Storage にアクセスする – Azure Databricks | Microsoft Learn

Create Clusterをクリックします。

以上で汎用クラスタ作成が完了です。

2-2.汎用クラスタ変更

作成した汎用クラスタは変更する事が出来ます。

当手順を実施する際の前提条件は以下の通りです。

  • 作業用Azure AD(Databricks)アカウントに下記の権限が付与されていること
    • Databricks構築パッケージの「Admin Group」
      または「Can Manage」権限が付与されたユーザ・グループ

こちらの手順でワークスペースにアクセスします。

サイドバーから Computeアイコンをクリックし、展開された画面で変更する汎用クラスタをクリックします。

Edit をクリックします。

必要な編集をし Confirm をクリックします。

以上で汎用クラスタの変更が完了です。

2-3.汎用クラスタの権限変更

汎用クラスタの権限変更については、別連載のこちらの手順をご確認ください。
※「■汎用クラスターへの権限割り当て」の箇所です

2-4.汎用クラスタの起動

こちらの手順でワークスペースにアクセスします。

サイドバーから Computeアイコンをクリックし、展開された画面で起動させるクラスタをクリックします。

Start をクリックします。

汎用クラスタが起動します(ステータスが緑色になれば起動完了です)。

2-5.汎用クラスタの停止

こちらの手順でワークスペースにアクセスします。

サイドバーから Computeアイコンをクリックし、展開された画面で停止させるクラスタをクリックします。

Terminate をクリックします。

汎用クラスタが停止します(ステータスが灰色になれば停止完了です)。

3. まとめ

本記事ではAzure Databricksにおける「汎用クラスタ作成／変更／起動／停止」「権限付与」について説明しました。

本連載では、
第1回：「汎用クラスタ作成」をしてみる （今回）
第2回：「SQL Warehouse作成」をしてみる
についてご説明しています。

今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。

日商エレクトロニクスでは、Azure Databricksの環境構築パッケージを用意しています。

Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！

Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら

この記事を読んだ方へのオススメコンテンツはこちら

アセスメントサービス

この記事を書いた人

尾島健介