目次
1.はじめに
皆さんこんにちは。
アクセス権限が付与されたテーブル、ビューがわからなくなってしまった場合、ユーザはデータを検索することができません。
今回は、Azure Databricks Workspace でノートブック利用し、アクセス権限があるテーブルの情報を取得する方法について説明していきます。
2.前提要件
本書を実施する際の前提条件は
・操作ユーザーは Azure Databrick ワークスペースにアクセス権限があること。
・操作ユーザーは、ノートブックの作成・実行権限があること。作成していない場合、管理者に権限を付与してもらう様に依頼してください。
3.ノートブックを使用してアクセス権限があるテーブルの情報を取得する
3-1.ノートブックの作成
まず、Databricks ワークスペースでノートブックを作成します。
① Databricksワークスペースにログインします。
② Databricks画面でサイドバーから「 Data science & Engineering 」をクリックします。
③ サイドバーから「新規」をクリックして「ノートブック」を選択します。
④ 新規作成したノートブック画面が表示されるので、ノートブックに名前を付け、デフォルトの言語として Python を選択します。
⑤ 以下のコードをノートブックにコピーします。
※例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 |
# Import necessary packages from pyspark.sql import SparkSession # Create Spark session spark = SparkSession.builder.getOrCreate() # Query to retrieve the list of Catalogs catalog_list = spark.sql("SHOW CATALOGS") # Convert the query result to a list of Catalog names catalog_names = [row['catalog'] for row in catalog_list.collect()] # Iterate over the Catalog names for catalog_name in catalog_names: print("CATALOG: ", catalog_name) # Query to retrieve the list of Schema for each Catalog schema_list = spark.sql(f"SHOW SCHEMAS IN {catalog_name}") # Convert the query result to a list of Schema names schema_names = [row['databaseName'] for row in schema_list.collect()] # Iterate over the Schema names for schema_name in schema_names: print(" SCHEMA: ", schema_name) # Query to retrieve the list of Table for each Schema table_list = spark.sql(f"SHOW TABLES IN {catalog_name}.{schema_name}") # Convert the query result to a list of Table names table_names = [row['tableName'] for row in table_list.collect()] for table_name in table_names: print(" TABLE: ", table_name) |
3-2.ノートブックの実行
①「Shift」+「Enter」キーを押して、コマンドを実行します。
実行後、ユーザーがアクセス権限を持ったテーブル名とビューは、コードの末尾に表示され、該当のカタログとスキーマによって階層化されます。
4.まとめ
Azure Databricks Workspace でノートブック利用し、アクセス権限があるテーブルの情報を取得する方法について説明しました。
今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。
日商エレクトロニクスでは、Azure Databricksの環境構築パッケージを用意しています。
Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！
・Azure Databricks連載シリーズはこちら
お問い合わせはこちら この記事を読んだ方へのオススメコンテンツはこちら
この記事を書いた人
