Delta Sharingを用いたDatabricks間のデータ共有
1.背景 大規模な組織や企業グループにおいては、データは部門ごと(Data Engineering, Data Science, Business Intelligenceなど)に個別のワークスペースで一般的に管理されます。…
Azure Databricks連載記事のまとめページ
皆さんこんにちは。 このページでは、これまで書いたAzure Databricksに関するブログ記事をご紹介します。 Azure Databricksに興味のある方に役立つ情報をお届けしています。 ぜひ、気になる記事をクリックして読んでみてください。 はじめに ・Azure…
【Azure Databricks】 Databricks AI/BI ダッシュボードにおけるGenie Workspaceの使用方法
1.AI/BI Genieのご紹介 皆さんこんにちは。 AI/BI Genieは、開発スキルが不要なユーザーでもRAGアプリケーションを展開できるノーコードインターフェースです。自然言語で質問し、直感的に回答を得ることができます。…
Azureリソースの誤削除を防ぐ「ロック」機能とは
Azureリソースの誤削除を防ぐ「ロック」機能とは 今回は、Azureのリソースを誤って削除してしまうことを防ぐ「ロック」機能についてご紹介します。 ロック機能とは？…
【Azure Databricks】Apache Airflow を使用して Azure Databricks ジョブを調整する
1. はじめに 皆さんこんにちは。 今回は、Apache Airflow を使用して Azure Databricks ジョブを調整する方法について説明していきます。 ※ 背景 データ処理パイプラインを開発・展開する際、タスク間の複雑な依存関係を管理することが要求されます。Databricks…
【Azure Databricks】メダリオンアーキテクチャとは？メダリオンアーキテクチャについて解説
1.はじめに 皆さんこんにちは。 今回は、Azure Databricksのメダリオンアーキテクチャの考え方とどうやってブロンズ、シルバー、ゴールドを使い分けているかについて説明していきます。 2.概要 メダリオン…
