目次
1. はじめに
皆さんこんにちは。
前回の連載の続きとして、Azure Databricksの「ジョブクラスタ作成」について説明していきます。
今回は実際にジョブクラスタの作成したあと、ジョブクラスタ変更、汎用クラスタとジョブクラスタの違いまでを実施したいと思います。
2. ジョブクラスタ作成
2-1.ジョブクラスタ作成
Azure Databricks ジョブ スケジューラーでは、ユーザーが新しいジョブクラスターでジョブを実行するとジョブクラスターが作成され、ジョブが完了するとクラスターが終了します。 ジョブクラスターを再起動することはできません。
ジョブクラスタが再起動できなくても最近終了した最大 30 個のジョブ クラスターのクラスター構成情報を保持します。
①こちらの手順でワークスペースにアクセスします。
②サイドバーから「Workflows」をクリックして、「Create job」ボタンをクリックします。
③ジョブの必要な情報を入力します。ジョブクラスタを作成するために、「Cluster」項目で 
アイコンをクリックします。
④ジョブクラスタ作成のダイアログが表示されます。ジョブクラスタと汎用クラスタの作成画面は同じです。こちらの手順を参考して設定値を入力します。
⑤「Confirm」ボタンをクリックします。
⑥「Cluster」項目でジョブクラスタ情報を確認して、「Create」ボタンをクリックします。
⑦ジョブ名を入力して「Confirm and create」ボタンをクリックします。
ジョブを実行する時にジョブクラスタが自動的に作成されます。
ジョブの実行が完了した時にジョブクラスタが自動的に終了されます。
以上がジョブクラスタの作成方法です。
2-2.ジョブクラスタのジョブ変更
①サイドバーから「Workflows」をクリックし、変更対象のジョブを選択します。
②「Configure」をクリックします。
③必要な情報を編集して、「Confirm」ボタンをクリックします。
以上がジョブクラスタのジョブの変更方法です。
3. 汎用クラスタとジョブクラスタの違い
以下のテーブルでは、ジョブクラスタと汎用クラスタの違いについて表示します。
| 汎用クラスター | ジョブ クラスター | |
| 定義 | 汎用クラスターは、対話型のノートブックと共同作業でデータを分析するために使用される。 | ジョブクラスターは、UIやAPIを使用することで高速で堅牢な自動化ワークフローの実行に使用される。 |
| 使用 | 汎用クラスタは、Notebookを利用した対話型分析を行うことができるので、主に開発段階で使用される。 | 高速で堅牢な自動化ジョブの実行に使用します |
| 値段 | 費用が高い | 費用が安い |
| 不活化 | クラスタの作成にあたり、不活化の場合にシャットダウン時間（＞10分）を設定できる。 | ジョブが完了すると、ジョブクラスタを自動的に終了する。 |
| 作成 | UI、CLIやRESTAPI等で汎用クラスタを作成できる。汎用クラスタを手動で終了し、再起動できる。 | 新規ジョブを実行する時 |
| 終了＆削除 | AzureDatabricksは、過去30日間に終了した最大200個の汎用クラスターと、ジョブスケジューラによって最近終了された最大30個のジョブクラスターのクラスター構成情報を保持する。終了後30日以上経過した後も、汎用クラスターの構成を維持するために、管理者はクラスターをクラスター リストにピン留めすることができる。 | 自動終了 |
| アラート | 汎用クラスターはアラートオプションがない。 | ジョブクラスターはアラートオプションがある。 |
| 起動時間 | 約 5 ～ 10 分かかる。 | 約 5 ～ 10 分かかる。 |
4.まとめ
Azure Databricksのジョブクラスタ作成について説明しました。
本連載では、
についてご説明しています。
今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。
日商エレクトロニクスでは、Azure Databricksの環境構築パッケージを用意しています。
Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！
Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら
この記事を読んだ方へのオススメコンテンツはこちら
この記事を書いた人
