Azure Data Factory | Azure導入支援デスク

1. はじめに皆さんこんにちは。今回は、データフローの結合処理を行った後に、重複したレコードが発生してしまう事象の対策について説明します。 2. 起きた事象と原因 ADFデータフローでJOIN結合を実行する時に、返却されたレコードが2回以上重複される場合があります。今回の例では、テーブル…

1. はじめに皆さんこんにちは。今回では、BLOBストレージ上に存在するファイルの名前を、パイプラインの判定処理に利用する方法を説明していきます。用途としては、下記が挙げられます。 BLOBストレージ上にファイルAが存在する場合のみ、コピー処理を実施し、その後に特定の処理を実施したい…

1. はじめに皆さんこんにちは。今回は、AzureDataFactory データフローのデバッグ時に、ソースの読込レコード数を変更する方法処理レコード数を変更する方法を説明していきます。用途として、デバッグ時の読込レコード数はデフォルトで1000行のため、ソースを1000行以上…

1. はじめに皆さんこんにちは。今回は、パイプライン関数での日付操作方法について説明していきます。 ※ 前提条件 ADFパイプラインが作成されたこと。 2. タイムスタンプを任意の形式に変換する方法……

1. はじめに皆さんこんにちは。今回では、目的に応じた関数を探す手間が省け、ADF実装を効率化するためにパイプラインとデータフローでできることが異なるについて説明していきます。 2. 使える関数についてまとめ 2.1 データ関数機能パイプラインデータフロー…

1. はじめに皆さんこんにちは。今回では、Azure Data Factoryのパイプライン上にて、データセットの値を変数として利用する方法を説明していきます。用途としては、月に一度、何かしらの締め日に特定の処理を行うために、締め日の一覧が記載されたデータセットの値を取得し、…

1. はじめに皆さんこんにちは。今回では、ストレージアカウントへ新規ファイルをアップロードする時にパイプラインが自動的にトリガーされるために、ストレージイベントトリガーを設定する方法について説明していきます。 ※ 前提条件……

皆さんこんにちは。このページでは、これまで書いたAzure Data Factoryに関するブログ記事をご紹介します。 Azure Data Factoryに興味のある方に役立つ情報をお届けしています。ぜひ、気になる記事をクリックして読んでみてください。はじめに…

1.はじめに皆さんこんにちは。この連載では、SQLエンジニア向けにAzure Data Factoryの利用方法について説明していきます。 SQLエンジニアがSQLを使ってデータを操作していることを、Azure Data…

1. はじめに皆さんこんにちは。今回は、Azure Data Factoryでインラインビュー、サブクエリーを実現する方法について説明していきます。第1回：SQLコマンドをAzure Data Factoryで実現する第2回：Azure Data…