1. はじめに

皆さんこんにちは。

第1回、第2回でAzure Databricksの診断設定 / Azure Log Analytics Workspace / Azure monitorを利用してジョブエラーを検知する方法をご紹介しました。

今回は別の方法でジョブエラーを検知する方法をご紹介したいと思います。

第1回：ジョブ監視をしてみる(前編) 
第2回：ジョブ監視をしてみる(後編) 
第3回：ジョブ監視をしてみる(番外編) （今回）

2.ジョブにエラー通知先を設定する方法

作成したジョブに通知先のメールアドレスを登録する事で、エラー検知する事ができます。

2-1.通知先のメールアドレス設定

この手順で、ジョブを作成します。

作成時、Emailsに通知先のメールアドレスを指定します。今回はエラーの時のみ通知するよう設定します。

以下の手順を従ってジョブ状況の通知メールを設定してください。

①作成済みジョブの「タスク」タブを開き、「通知」項目で「＋追加」ボタンをクリックします。

② 続けて、「＋通知を追加」ボタンをクリックします。

③「配信先」項目のドロップダウンメニューを開き、 「メールアドレス」を選択します。その後、「失敗」のチェックボックスをオンにします。

※Start(開始時) / Success(成功時) / Failure(失敗時)にメールを通知する事が出来ます。

④ 「保存」をクリックして保存します。

⑤ 通知先のメールアドレスを追加したら、「タスクを保存」をクリックして変更内容を保存します。

2-2.設定確認(ジョブ実行)

① 確認のため、ジョブを実行します。

② ジョブエラー後に、エラー通知メールの受信をしました。

③ 詳細を確認するには、「View run in Databricks」をクリックします。

④ 以下のように、エラーの詳細を即座に確認する事が出来ます。

3.ジョブエラーをSlackやWebhookに送信する

ここまでは、エラーの通知先としてメールアドレスを指定してきました。

しかし、システムや運用によってはSlackやWebhookに送信したいといったニーズもあるかもしれません。

3-1.SlackにてIncoming WebhookのURLを取得

予めSlackにてIncoming Webhooksの設定を行い、URLを取得しておきます(※ご参考)。

3-2.通知先作成

こちらの手順でワークスペースにアクセスします。

① 画面右上にアカウントアイコンをクリックし、「設定」を選択します。

②「ワークスペース管理者」設定内で「通知先」までスクロールし、「管理」をクリックします。

③「通知先を追加」ボタンをクリックします。

④ 各項目を設定して、「作成」ボタンをクリックします。

①・・・Slackを選択します。

②・・・任意の名前を設定します。

③・・・予め取得済みのWebhookのURLを設定します。

正常に作成完了すると、一覧に表示されます。

再度開くと、URLが暗号化されていることが分かります。

3-3.ジョブに通知先を指定

続いて、作成した通知先をジョブに指定します。

① メニューから「ジョブパイライン」を選択、ジョブ一覧から対象ジョブをクリックします。

② ジョブ画面右下の「通知を編集」をクリックします。

③その後、「＋通知を追加」ボタンをクリックします。

④ 事前に作成済みの通知先を選択し、「失敗」のチェックボックスをオンにします。

⑤「保存」をクリックします。

⑥ 設定が完了すると、以下のように表示されます。

以上でSlackへの通知設定が完了です。ジョブ実行エラーが発生すると、Slackに通知されます。

4. まとめ

前編・後編ではAzureの診断設定/Azure Log Analytics Workspace/Azure monitorを利用した監視でしたが、

今回はさらに簡単な手順で監視設定ができ、メール通知以外の方法も試すことが出来ました。

ただし、今回の設定方法はジョブ単位に行う必要があり、どちらの監視方法を採用するかは検討が必要です。

本連載では、
第1回：ジョブ監視をしてみる(前編) 
第2回：ジョブ監視をしてみる(後編) 
第3回：ジョブ監視をしてみる(番外編) （今回）

についてご説明しています。

今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。

双日テックイノベーションでは、Azure Databricksの環境構築パッケージを用意しています。

Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！

Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら

この記事を読んだ方へのオススメコンテンツはこちら

アセスメントサービス

この記事を書いた人

尾島健介