【Azure Databricks】Apache Airflow を使用して Azure Databricks ジョブを調整する
1. はじめに 皆さんこんにちは。 今回は、Apache Airflow を使用して Azure Databricks ジョブを調整する方法について説明していきます。 ※ 背景 データ処理パイプラインを開発・展開する際、タスク間の複雑な依存関係を管理することが要求されます。Databricks…
【SQLエンジニア向けAzure Data Factoryの利用方法】データフローの結合処理で、レコードの重複発生を回避する
1. はじめに 皆さんこんにちは。 今回は、データフローの結合処理を行った後に、重複したレコードが発生してしまう事象の対策について説明します。 2. 起きた事象と原因 ADFデータフローでJOIN結合を実行する時に、返却されたレコードが2回以上重複される場合があります。 今回の例では、テーブル…