【SQLエンジニア向けAzure Data Factoryの利用方法】データフローの結合処理で、レコードの重複発生を回避する
1. はじめに 皆さんこんにちは。 今回は、データフローの結合処理を行った後に、重複したレコードが発生してしまう事象の対策について説明します。 2. 起きた事象と原因 ADFデータフローでJOIN結合を実行する時に、返却されたレコードが2回以上重複される場合があります。 今回の例では、テーブル…
Web アプリのテストを自動化する「Microsoft Playwright Testing」とは？
Web アプリのテストを自動化する「Microsoft Playwright Testing」とは？
【Azure Data Factory】BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法
1. はじめに 皆さんこんにちは。 今回では、BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法を説明していきます。 用途としては、下記が挙げられます。 BLOBストレージ上にファイルAが存在する場合のみ、コピー処理を実施し、その後に特定の処理を実施したい…
Azure Arcを使って進化するハイブリッド・マルチクラウド管理術
Azure Arcを使って進化するハイブリッド・マルチクラウド管理術 クラウド移行というと、パブリッククラウドにすべてのシステムやデータを移すことをイメージするかもしれません。…
Databricksアシスタントの使用方法
1.はじめに 皆さんこんにちは。 今回はDatabricks アシスタントについて紹介します。 Databricks アシスタントは、Databricks…
Azure Databricks AutoMLの使用方法
1.はじめに 皆さんこんにちは。 今回は、Databricks AutoMLの使用方法について説明していきます。 2.前提要件 実施する際の前提条件は ・操作ユーザーは Azure Databricks ワークスペースにアクセス権限があること。…