1. はじめに
皆さんこんにちは。
今回では、ストレージアカウントへ新規ファイルをアップロードする時にパイプラインが自動的にトリガーされるために、ストレージイベントトリガーを設定する方法について説明していきます。
※ 前提条件
- ファイルをアップロードするストレージアカウントが作成済であること。
- ファイルがストレージアカウントへアップロードされたことをトリガーに実行する、AzureDataFactoryパイプラインが作成済であること。
2. ストレージイベントトリガーを設定する
① インターネットからの通信を許可していないStorageAccountへアクセスできるように、クライエントIPアドレスを追加する必要があります。
②「信頼されたサービスの一覧にある Azure サービスがこのストレージ アカウントにアクセスすることを許可します。」項目をチェックします。
③ ADFのパイプライン画面から[トリガーの追加]をクリックして、[新規/編集]をクリックします。
④ [トリガーの選択]をクリックして、[新規]をクリックします。
⑤ [名前]項目でトリガー名を入力します。[種類]項目で[ストレージイベント]を選択します。
⑥ [Azureサブスクリプションから]を選択して、ストレージアカウントを選択します。[コンテナー名] 項目でイベントを発生させるコンテナー名を入力します。
[次で始まるBLOBパス]項目と[次で終わるBLOBパス]項目にて、トリガーの起動条件に合致するBLOBパスを定義します。
※ [次で始まるBLOBパス] :BLOB パスはフォルダーパスで始める必要があります。
※ [次で終わるBLOBパス] :BLOB パスは、ファイル名または拡張子で終わる必要があります。
【例】
- [次で始まるBLOBパス]:input/aaa_
- [次で終わるBLOBパス]:.csv
- →input/aaa_*.csvに合致するBLOBパスがトリガー条件となります。
⑦ BLOBが新規追加された時にトリガーするには、[イベント]項目で[BLOBが作成されました]を選択します。又は、BLOBが削除された時にトリガーするには、[BLOBが削除されました]を選択します。[続行]をクリックします。
⑧ [続行]をクリックします。
⑨ [OK]をクリックします。
⑩ [すべて発行]をクリックします。
⑪ [発行]をクリックします。
パイプラインのストレージイベントトリガーの作成が完了しました。
⑫ 結果を確認するには設定したストレージアカウントのコンテナーにファイルをアップロードします。
⑬ ADF画面から, アイコンをクリックして、 [Trigger runs]タブでパイプラインが実行されたことを確認できます。
4. まとめ
Azure Data FactoryでADFストレージイベントトリガーを利用する方法について説明しました。
今回の記事が少しでもAzure Data Factoryを知るきっかけや、業務のご参考になれば幸いです。
Azure Data FactoryやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください!
・Azure Data Factory連載シリーズはこちら
この記事を書いた人
- quanna