Databricks SQL の具体化されたビューを使用する

[アーティクル]
11/16/2024

Note

具体化されたビューで Azure Private Link 接続を使う必要がある場合は、Databricks の担当者にお問い合わせください。

この記事では、Databricks SQL の具体化されたビューを作成して使用して、パフォーマンスを向上させ、データ処理と分析ワークロードのコストを削減する方法について説明します。

重要

Databricks SQL で作成された具体化されたビューは、サーバーレス Delta Live Tables パイプラインによってサポートされます。この機能を使用するには、ワークスペースでサーバーレスパイプラインをサポートする必要があります。

具体化されたビューとは

Databricks SQL では、具体化されたビューは Unity Catalog マネージドテーブルであり、ユーザーはソーステーブル内の最新バージョンのデータに基づいて結果を事前計算できます。 Azure Databricks 上の具体化されたビューは、具体化されたビューのクエリ時に常に結果を更新するのではなく、具体化されたビューが最後に更新されたときのデータの状態が返されるので、他の実装とは異なります。具体化されたビューを手動で更新したり、更新をスケジュールしたりできます。

具体化されたビューは、抽出、変換、読み込み (ETL) 処理などのデータ処理ワークロードに対して強力です。具体化されたビューは、コンプライアンス、修正、集計、または一般的な変更データキャプチャ (CDC) のためにデータを処理するための単純な宣言型の方法を提供します。具体化されたビューでは、低速クエリと頻繁に使用される計算を事前に計算することで、コストが削減されクエリの待機時間が短縮されます。具体化されたビューでは、ベーステーブルのクリーニング、エンリッチ、非正規化によって、使いやすい変換も可能になります。具体化されたビューは、場合によってはベーステーブルから変更を増分計算できるため、簡素化されたエンドユーザーエクスペリエンスを提供しながらコストを削減できます。

具体化されたビューは、Delta Live Tables のローンチと共に Azure Databricks で最初にサポートされました。 Databricks SQL ウェアハウスで具体化されたビューを作成すると、サーバーレスパイプラインが作成され、具体化されたビューへの更新が処理されます。 Delta Live Tables UI またはパイプライン API で更新操作の状態を監視できます。「具体化されたビューの更新の状態を表示する」を参照してください。

要件

具体化されたビューを作成または更新するには:

Unity Catalog 対応のプロまたはサーバーレス SQL ウェアハウスを使用する必要があります。
具体化されたビューを更新するには、それを作成したワークスペース内にいる必要があります。
ワークスペースは、サーバーレス SQL ウェアハウスをサポートするリージョンに存在する必要があります。

具体化されたビューに対してクエリを実行するには:

具体化されたビューの所有者であるか、具体化されたビューでの SELECT と、その親での USE SCHEMA および USE CATALOG を持っている必要があります。
以下のいずれかのコンピューティングリソースを使用する必要があります。
- SQL ウェアハウス
- Delta Live Tables インターフェイス
- 共有アクセスモードコンピューティング
- ワークスペースがサーバーレスコンピューティングに対して有効になっている限り、Databricks Runtime 15.4 以降のシングルユーザーアクセスモード。シングルユーザーコンピューティングでの詳細なアクセス制御を参照してください。
- 具体化されたビューの所有者である場合にのみ:14.3 から 15.3 の間で Databricks Runtime を実行している単一ユーザーアクセスモードのコンピューティングリソース。

具体化されたビューの使用に関するその他の制限を確認するには、「制限事項」を参照してください。

具体化されたビューを作成する

Databricks SQL 具体化されたビューの CREATE 操作では、Databricks SQL ウェアハウスを使用して、具体化されたビューでデータを作成し読み込みます。具体化されたビューの作成は同期操作であるため、具体化されたビューが作成され最初のデータ読み込みが完了するまで CREATE MATERIALIZED VIEW コマンドはブロックされます。サーバーレス Delta Live Tables パイプラインは、Databricks SQL 具体化されたビューごとに自動的に作成されます。具体化されたビューが更新されると、Delta Live Tables パイプラインが更新を処理します。

具体化されたビューを作成するには、CREATE MATERIALIZED VIEW ステートメントを使用します。 CREATE ステートメントを送信するには、Azure Databricks UI の SQL エディター、Databricks SQL CLI、または Databricks SQL API を使用します。

Note

具体化されたビューを作成するユーザーは具体化されたビューの所有者であり、次のアクセス許可を持っている必要があります。

具体化されたビューによって参照されるベーステーブルに対する SELECT 権限。
具体化されたビューのソーステーブルを含むカタログとスキーマに対する USE CATALOG および USE SCHEMA 権限。
具体化されたビューのターゲットカタログとスキーマに対する USE CATALOG および USE SCHEMA 権限。
具体化されたビューを含むスキーマに対する CREATE TABLE および CREATE MATERIALIZED VIEW 権限。

次の例では、基本テーブル base_table1 から具体化されたビュー mv1 を作成します。

CREATE MATERIALIZED VIEW mv1
AS SELECT
  date, sum(sales) AS sum_of_sales
FROM
  base_table1
GROUP BY
  date;

ランタイムチャネルを設定する

SQL ウェアハウスを使用して作成された具体化されたビューは、Delta Live Tables パイプラインを使用して自動的に更新されます。 Delta Live Tables パイプラインでは、既定で current チャネルのランタイムが使用されます。リリースプロセスの詳細については、 Delta Live Tables のリリースノートとリリースアップグレードプロセスを参照してください。

Databricks では、運用ワークロードに current チャネルを使用することをお勧めします。新機能は、最初に preview チャネルにリリースされます。パイプラインをプレビュー Delta Live Tables チャネルに設定し、テーブルプロパティとして preview を指定することで、新機能をテストできます。このプロパティは、テーブルを作成するとき、または ALTER ステートメントを使用してテーブルを作成した後に指定できます。

次のコード例は、CREATE ステートメントでチャネルをプレビューに設定する方法を示しています。

CREATE OR REPLACE MATERIALIZED VIEW foo.default.bar
TBLPROPERTIES ('pipelines.channel' = 'preview') as
SELECT
  *
FROM
  range(5)

外部システムからデータを読み込む

Databricks では、サポートされているデータソースについては Lakehouse フェデレーションを使用して外部データを読み込むことをおすすめします。 Lakehouse フェデレーションでサポートされていないソースからデータを読み込む方法については、データ形式のオプションに関するページを参照してください。

具体化されたビューを更新する

REFRESH 操作により、具体化されたビューが更新され、ベーステーブルに対する最新の変更が反映されます。操作は既定では同期的で、更新操作が完了するまでコマンドがブロックされます。具体化されたビューを更新するには、REFRESH MATERIALIZED VIEW ステートメントを使用します。このコマンドの SQL 構文とパラメーターの詳細については、「(具体化されたビューまたはストリーミングテーブル)を更新する」を参照してください。段階的に更新できる具体化されたビューの種類の詳細については、「具体化されたビューの増分更新を参照してください。

更新ステートメントを送信するには、Azure Databricks UI の SQL エディター、SQL 倉庫に接続されたノートブック、Databricks SQL CLI、または Databricks SQL API を使用します。

具体化されたビューを REFRESH できるのは所有者だけです。

次の例では、具体化されたビュー mv1 を更新します。

REFRESH MATERIALIZED VIEW mv1;

Databricks SQL 具体化されたビューはどのように更新されますか?

具体化されたビューは、更新操作を処理するために Delta Live Tables パイプラインを自動的に作成して使います。更新は Delta Live Tables パイプラインによって管理され、アップデートは具体化されたビューの作成に使用される Databricks SQL 倉庫によって監視されます。具体化されたビューは、スケジュールに従って実行される Delta Live Tables パイプラインを使用して更新できます。トリガーされたパイプラインモードと継続的パイプラインモードを参照してください。

Note

Delta Live Tables ランタイムは、Delta 以外のデータソースでの変更を検出できません。テーブルは引き続き定期的に更新されますが、過剰な再計算によってコンピューティングで行われる増分処理が遅くならないように、既定のトリガー間隔は長くなっています。

既定では、更新操作は同期的に実行されます。更新操作を非同期的に実行するように設定することもできます。これは、refresh コマンドを使用して設定できます。 REFRESH (MATERIALIZED VIEW または STREAMING TABLE) を参照してください各アプローチに関連する動作は次のとおりです。

同期: 同期更新では、更新が完了するまで他の操作が続行されなくなります。 Databricks ジョブなどのオーケストレーションツールで更新操作をシーケンス処理する場合など、次の手順で結果が必要な場合は、同期更新を使用します。具体化されたビューをジョブで調整するには、 SQL タスクの種類を使用します。「ワークフローのスケジュールとオーケストレーション」を参照してください。
非同期: 非同期更新は、具体化されたビューの更新が開始されたときに Delta Live Tables コンピューティングでバックグラウンドジョブを開始し、データ読み込みが完了する前にコマンドを返せるようにします。この更新の種類は、操作が必ずしもコマンドが開始されるウェアハウスのコンピューティング容量を保持するとは限らないため、コストを節約できます。更新がアイドル状態になり、他のタスクが実行されていない場合、更新で他の使用可能なコンピューティングが使用されている間は、ウェアハウスをシャットダウンできます。さらに、非同期更新では、複数の操作を並列で開始できます。

一部のクエリは増分更新できます。具体化されたビューについては、「 Incremental refresh」を参照してください。増分更新を実行できない場合は、代わりに完全更新が実行されます。

具体化されたビューの更新をスケジュールする

定義されたスケジュールに基づいて自動的に更新されるように Databricks SQL 具体化されたビューを構成できます。スケジュールをセットするには、次のいずれかの操作を行います。

具体化されたビューを作成する場合、SCHEDULE 句を使用してスケジュールを設定する
具体化されたビューの変更ステートメントを使用してスケジュールを追加します。

スケジュールが作成されると、更新を処理するように新しい Databricks ジョブが自動的に構成されます。

スケジュールを表示するには、次のいずれかを実行します。

Azure Databricks UI で SQL エディターから DESCRIBE EXTENDED ステートメントを実行します。
カタログエクスプローラーを使用して具体化されたビューを表示します。スケジュールは [概要] タブの 更新状態 に表示されます。「カタログエクスプローラーとは」を参照してください。

具体化されたビューの更新の状態を表示する

Note

Delta Live Tables パイプラインが具体化されたビューの更新を管理するため、パイプラインの起動時間によって待機時間が発生します。この時間は、更新の実行に必要な時間に加えて、数秒から数分かかる場合があります。

Delta Live Tables UI で具体化されたビューを管理するパイプラインを表示するか、具体化されたビューの DESCRIBE EXTENDED コマンドによって返される更新情報を表示することで、具体化されたビューの更新の状態を表示できます。

Delta Live Tables イベントログのクエリを実行して、具体化されたビューの更新履歴を表示することもできます。「具体化されたビューの更新履歴を表示する」を参照してください。

クエリ履歴を使用して実行を監視する

クエリ履歴ページを使用すると、ストリーミングテーブルの更新を実行するために使用される Delta Live Tables パイプラインでパフォーマンスの低いクエリやボトルネックを特定するのに役立つクエリの詳細とクエリプロファイルにアクセスできます。クエリ履歴とクエリプロファイルで使用できる情報の種類の概要については、「 Query 履歴および Query プロファイルを参照してください。

重要

この機能はパブリックプレビュー段階にあります。ワークスペース管理者は、プレビュー ページからこの機能を有効にすることができます。「Azure Databricks プレビューを管理する」を参照してください。

具体化されたビューに関連するすべてのステートメントがクエリ履歴に表示されます。 Statement ドロップダウンフィルターを使用して、任意のコマンドを選択し、関連するクエリを調べることができます。すべての CREATE ステートメントの後に、Delta Live Tables パイプラインで非同期的に実行される REFRESH ステートメントが続きます。 REFRESHステートメントには、通常、パフォーマンスの最適化に関する分析情報を提供する詳細なクエリプランが含まれます。

クエリ履歴 UI REFRESH ステートメントにアクセスするには、次の手順に従います。

左側のサイドバーでをクリックして、 Query 履歴 UI を開きます。
Statement ドロップダウンフィルターから REFRESH チェックボックスをオンにします。
クエリステートメントの名前をクリックすると、クエリの期間や集計されたメトリックなどの概要の詳細が表示されます。
クエリプロファイルを表示をクリックして、クエリプロファイルを開きます。クエリプロファイルの移動の詳細については、「 Query プロファイル」を参照してください。
必要に応じて、 Query Source セクションのリンクを使用して、関連するクエリまたはパイプラインを開きます。

Note

具体化されたビューは、 preview チャネルを使用して実行するように構成する必要があります。「ランタイムチャネルの設定」を参照してください。

「具体化されたビュー作成する」を参照してください。

Delta Live Tables UI で更新の状態を表示する

既定では、具体化されたビューを管理する Delta Live Tables パイプラインは Delta Live Tables UI には表示されません。 Delta Live Tables UI でパイプラインを表示するには、パイプラインの [パイプラインの詳細] ページへのリンクに直接アクセスする必要があります。リンクにアクセスするには、以下の方法があります。

DESCRIBE EXTENDED ステートメントによって返されるテーブルの 最新の更新 行に表示されているリンクをコピーして貼り付けます。
具体化されたビューの [系列] タブで、[パイプライン] をクリックし、パイプラインリンクをクリックします。

Azure Databricks UI で SQL エディターを使用して送信された非同期 REFRESH コマンドの場合は、結果パネルに表示されているリンクに従って更新の状態を表示できます。

アクティブな更新を停止する

Delta Live Tables UI でアクティブな更新を停止するには、[パイプラインの詳細] ページで [停止] をクリックしてパイプラインの更新を停止します。また、Databricks CLI、あるいは、Pipelines API の POST /api/2.0/pipelines/{pipeline_id}/stop 操作を使用して更新を停止することもできます。

具体化されたビューの定義を更新する

具体化されたビューの定義を更新するには、最初に削除してから、具体化されたビューを再作成する必要があります。

具体化されたビューを削除する

Note

具体化されたビューを削除するコマンドを削除するには、その具体化されたビューの所有者である必要があります。

具体化されたビューを削除するには、DROP VIEW ステートメントを使用します。 DROP ステートメントを送信するには、Azure Databricks UI の SQL エディター、Databricks SQL CLI、または Databricks SQL API を使用できます。次の例では、具体化されたビュー mv1 を削除します。

DROP MATERIALIZED VIEW mv1;

具体化されたビューの情報を見る

具体化されたビューの列とデータ型を取得するには、DESCRIBE ステートメントを使用します。具体化されたビューの列、データ型、および所有者、場所、作成時刻、更新状態などのメタデータを取得するには、DESCRIBE EXTENDED を使用します。 DESCRIBE ステートメントを送信するには、Azure Databricks UI の SQL エディター、Databricks SQL CLI、または Databricks SQL API を使用します。

具体化されたビューの所有者の変更

メタストア管理者とワークスペース管理者の両方である場合は、具体化されたビューの所有者を変更できます。具体化されたビューでは、Delta Live Tables パイプラインを自動的に作成して使用して変更を処理します。具体化されたビューの所有者を変更するには、次の手順に従います。

具体化されたビューの [系列] タブで、[パイプライン] をクリックし、パイプラインリンクをクリックします。
そのパイプライン名の右側にあるケバブメニューをクリックし、[権限] をクリックします。 [アクセス許可] ダイアログが開きます。
現在の所有名の右側にある "x" をクリックして現在の所有者を削除します。
入力を開始して選択可能なユーザーの一覧をフィルター処理することもできます。新しいパイプライン所有者にするユーザーをクリックします。
[保存] をクリックして変更を保存し、ダイアログを閉じます。

パイプラインで定義された具体化されたビューを含むすべてのパイプライン資産は、新しいパイプライン所有者によって所有されます。すべての将来の更新は、所有者の ID を使用して実行されます。

具体化されたビューへのアクセスを制御する

具体化されたビューでは、プライベートデータの公開を回避しながら、データ共有をサポートする豊富なアクセス制御がサポートされています。具体化されたビューの所有者は、他のユーザーに SELECT 権限を付与できます。具体化されたビューへの SELECT アクセスを持つユーザーは、具体化されたビューによって参照されるテーブルへの SELECT アクセスを必要としません。このアクセス制御により、基になるデータへのアクセスを制御しながらデータ共有が可能になります。

具体化されたビューへの権限を付与する

具体化されたビューへのアクセスを許可するには、GRANT ステートメントを使用します。

GRANT
  privilege_type [, privilege_type ] ...
  ON <mv_name> TO principal;

privilege_type は次のとおりです。

SELECT - ユーザーは具体化されたビューを SELECT できます。
REFRESH - ユーザーは具体化されたビューを REFRESH できます。更新は、所有者のアクセス許可を使用して実行されます。

次の例では、具体化されたビューを作成し、選択および更新の特権をユーザーに付与します。

CREATE MATERIALIZED VIEW <mv_name> AS SELECT * FROM <base_table>;
GRANT SELECT ON <mv_name> TO user;
GRANT REFRESH ON <mv_name> TO user;

具体化されたビューから権限を取り消す

具体化されたビューからアクセスを取り消すには、REVOKE ステートメントを使用します。

REVOKE
  privilege_type [, privilege_type ]
  ON <name> FROM principal;

具体化されたビューの所有者または具体化されたビューに対する SELECT 権限が付与されている他のユーザーからベーステーブルに対する SELECT 権限が取り消された場合、あるいはベーステーブルが削除された場合においても、具体化されたビューの所有者またはアクセス権を付与されたユーザーは、具体化されたビューに対するクエリを実行できます。ただし、次の動作が発生します。

具体化されたビューの所有者または具体化されたビューへのアクセスを失った他のユーザーは、その具体化されたビューに対し REFRESH を実行できなくなり、具体化されたビューは古くなります。
スケジュールが自動化されている場合、次にスケジュールされた REFRESH は失敗するか、実行されません。

次の例では、mv1 から SELECT 権限を取り消します。

REVOKE SELECT ON mv1 FROM user1;

変更データフィードを有効にする

特定の高度なユースケースを除き、具体化されたビューのベーステーブルでは変更データフィードが必要です。ベーステーブルで変更データフィードを有効にするには、次の構文を使用して delta.enableChangeDataFeed テーブルプロパティを設定します。

ALTER TABLE table1 SET TBLPROPERTIES (delta.enableChangeDataFeed = true);

具体化されたビューの更新履歴を表示する

現在および過去の更新など、具体化されたビューに対する REFRESH 操作の状態を表示するには、Delta Live Tables イベントログのクエリを実行します。

SELECT
  *
FROM
  event_log(TABLE(<fully-qualified-table-name>))
WHERE
  event_type = "update_progress"
ORDER BY
  timestamp desc;

<fully-qualified-table-name> を、カタログやスキーマなど、具体化されたビューの完全修飾名に置き換えます。

「Delta Live Tables イベントログのクエリ実行」を参照してください。

制限事項

コンピューティングとワークスペースの要件については、「要件」を参照してください。
具体化されたビューでは、ID 列や代理キーはサポートされていません。
具体化されたビューで NULL 許容列に対して合計集計が使用される場合に、その列に NULL 値のみが残っている場合、具体化されたビューの集計値は NULL ではなく 0 になります。
具体化されたビューから変更データフィードを読み取ることはできません。
タイムトラベルクエリは、具体化されたビューではサポートされません。
具体化されたビューをサポートする基になるファイルには、具体化されたビュー定義に表示されないアップストリームテーブルのデータ (個人を特定できる情報を含む) が含まれる場合があります。このデータは、具体化されたビューの増分更新をサポートするために、基になるストレージに自動的に追加されます。具体化されたビューの基になるファイルは、具体化されたビュースキーマの一部ではないアップストリームテーブルからデータを公開する可能性があるため、Databricks では、基になるストレージを信頼関係のないダウンストリームコンシューマーと共有しないことをお勧めします。たとえば、具体化されたビューの定義に COUNT(DISTINCT field_a) 句が含まれているとします。具体化されたビュー定義には集計 COUNT DISTINCT 句のみが含まれていますが、基になるファイルには field_a の実際の値の一覧が含まれています。

次の方法で共有

Databricks SQL の具体化されたビューを使用する

具体化されたビューとは

要件

具体化されたビューを作成または更新するには:

具体化されたビューに対してクエリを実行するには:

具体化されたビューを作成する

ランタイムチャネルを設定する

外部システムからデータを読み込む

具体化されたビューを更新する

Databricks SQL 具体化されたビューはどのように更新されますか?

具体化されたビューの更新をスケジュールする

具体化されたビューの更新の状態を表示する

クエリ履歴を使用して実行を監視する

Delta Live Tables UI で更新の状態を表示する

アクティブな更新を停止する

具体化されたビューの定義を更新する

具体化されたビューを削除する

具体化されたビューの情報を見る

具体化されたビューの所有者の変更

具体化されたビューへのアクセスを制御する

具体化されたビューへの権限を付与する

具体化されたビューから権限を取り消す

変更データフィードを有効にする

具体化されたビューの更新履歴を表示する

制限事項

フィードバック

その他のリソース

次の方法で共有

Databricks SQL の具体化されたビューを使用する

具体化されたビューとは

要件

具体化されたビューを作成または更新するには:

具体化されたビューに対してクエリを実行するには:

具体化されたビューを作成する

ランタイム チャネルを設定する

外部システムからデータを読み込む

具体化されたビューを更新する

Databricks SQL 具体化されたビューはどのように更新されますか?

具体化されたビューの更新をスケジュールする

具体化されたビューの更新の状態を表示する

クエリ履歴を使用して実行を監視する

Delta Live Tables UI で更新の状態を表示する

アクティブな更新を停止する

具体化されたビューの定義を更新する

具体化されたビューを削除する

具体化されたビューの情報を見る

具体化されたビューの所有者の変更

具体化されたビューへのアクセスを制御する

具体化されたビューへの権限を付与する

具体化されたビューから権限を取り消す

変更データ フィードを有効にする

具体化されたビューの更新履歴を表示する

制限事項

フィードバック

その他のリソース

ランタイムチャネルを設定する

変更データフィードを有効にする