Unity Catalog を Delta Live Tables パイプラインで使う

[アーティクル]
10/19/2024

重要

Unity Catalog の Delta Live Tables サポートはパブリックプレビュー段階です。

Databricks では、Unity カタログを使用して Delta Live Tables パイプラインを構成することをお勧めします。

Unity カタログで構成されたパイプラインは、定義されたすべての具体化されたビューとストリーミングテーブルを、指定されたカタログとスキーマに発行します。 Unity カタログパイプラインは、他の Unity カタログテーブルとボリュームから読み取ることができます。

Unity Catalog パイプラインによって作成されたテーブルに対するアクセス許可を管理するには、GRANT と REVOKE を使用します。

要件

Delta Live Tables パイプラインから Unity カタログにテーブルを作成するために必要なアクセス許可:

USE CATALOG ターゲットカタログに対する特権。
CREATE MATERIALIZED VIEWパイプラインUSE SCHEMAが具体化されたビューを作成する場合は、ターゲットスキーマに対する特権。
CREATE TABLE パイプライン USE SCHEMA によってストリーミングテーブルが作成される場合は、ターゲットスキーマに対する特権が含まれます。
パイプライン設定でターゲットスキーマが指定されていない場合は、ターゲットカタログ内の少なくとも 1 つのスキーマに対する CREATE MATERIALIZED VIEW 権限または CREATE TABLE 権限が必要です。

Unity カタログ対応パイプラインを実行するために必要なコンピューティング:

共有アクセスモードクラスター。 Unity カタログ対応パイプラインは、1 人のユーザー ("割り当て済み") クラスターでは実行できません。 Unity カタログの共有アクセスモードの制限事項を参照してください。

Unity カタログ (ストリーミングテーブルや具体化されたビューを含む) を使用して Delta Live Tables パイプラインによって作成されたテーブルに対してクエリを実行するために必要なコンピューティングには、次のいずれかが含まれます。

SQL ウェアハウス
Databricks Runtime 13.3 LTS 以降の共有アクセスモードクラスター。
シングルユーザー (または "割り当て済み") アクセスモードクラスター。単一ユーザークラスターできめ細かいアクセス制御が有効になっている場合 (つまり、クラスターが Databricks Runtime 15.4 以降で実行されており、ワークスペースに対してサーバーレスコンピューティングが有効になっています)。詳細については、シングルユーザーコンピューティングでのきめ細かなアクセス制御に関するページを参照してください。
テーブル所有者がクエリを実行する場合にのみ、13.3 LTS から 15.3 の単一ユーザー (または "割り当て済み") アクセスモードクラスター。

追加のコンピューティング制限が適用されます。次のセクションを参照してください。

制限事項

Delta Live Tables で Unity Catalog を使用する場合の制限事項を次に示します。

既定では、Unity カタログ対応パイプラインを実行するクラスターのドライバーログを表示できるのは、パイプライン所有者とワークスペース管理者だけです。他のユーザーがドライバーログにアクセスできるようにするには、「管理者以外のユーザーに Unity カタログ対応パイプラインからのドライバーログの表示を許可する」を参照してください。
Hive メタストアを使用する既存のパイプラインは、Unity Catalog を使用するようにアップグレードすることはできません。 Hive メタストアに書き込む既存のパイプラインを移行するには、新しいパイプラインを作成し、データソースからデータを再取り込みする必要があります。
Unity カタログパブリックプレビュー中に作成されたメタストアにアタッチされたワークスペースに、Unity カタログ対応パイプラインを作成することはできません。「特権継承へのアップグレード」を参照してください。
JAR はサポートされていません。サードパーティの Python ライブラリのみがサポートされています。｢Delta Live Tables パイプラインの Python 依存関係を管理する」を参照してください。
ストリーミングテーブルのスキーマを変更するデータ操作言語 (DML) クエリはサポートされていません。
Delta Live Tables パイプラインで作成された具体化されたビューは、別のパイプラインやダウンストリームノートブックなど、そのパイプラインの外部のストリーミングソースとして使用することはできません。
パイプラインが保存場所が管理されているスキーマに発行を行う場合、以降の更新でスキーマを変更できます。ただし、更新されたスキーマが以前に指定されていたスキーマと同じ保存場所を使用する場合に限ります。
テーブルは、ターゲットスキーマの格納場所に格納されます。スキーマストレージの場所が指定されていない場合、テーブルはカタログストレージの場所に格納されます。スキーマとカタログのストレージの場所が指定されていない場合、テーブルはメタストアのルートストレージの場所に格納されます。
[カタログエクスプローラー の履歴 ] タブには、ストリーミングテーブルまたは具体化されたビューの履歴は表示されません。
テーブルを定義する場合、LOCATION プロパティはサポートされません。
Unity Catalog 対応パイプラインは、Hive メタストアに発行できません。
Python UDF のサポートはパブリックプレビュー段階です。
Delta Live Tables の具体化されたビューや、Unity Catalog に発行されたストリーミングテーブルで Delta Sharing を使用することはできません。
パイプラインまたはクエリで event_log テーブル値関数を使用して複数のパイプラインのイベントログにアクセスすることはできません。
event_log テーブル値関数に対して作成されたビューを他のユーザーと共有することはできません。
単一ノードクラスターは、Unity Catalog 対応パイプラインではサポートされていません。 Delta Live Tables では、小さいパイプラインを実行するために単一ノードクラスターが作成される可能性があるので、single-node mode を参照するエラーメッセージと共にパイプラインが失敗する可能性があります。この場合は、コンピューティングの構成時に少なくとも 1 つの worker を指定します。 Delta Live Tables パイプラインのコンピューティングの構成に関する説明を参照してください。

Note

具体化されたビューをサポートする基になるファイルには、具体化されたビュー定義に表示されないアップストリームテーブルのデータ (個人を特定できる情報を含む) が含まれる場合があります。このデータは、具体化されたビューの増分更新をサポートするために、基になるストレージに自動的に追加されます。

具体化されたビューの基になるファイルは、具体化されたビュースキーマの一部ではないアップストリームテーブルからデータを公開する可能性があるため、Databricks では、基になるストレージを信頼関係のないダウンストリームコンシューマーと共有しないことをお勧めします。

たとえば、具体化されたビュー定義に句が含まれていると COUNT(DISTINCT field_a) します。具体化されたビュー定義には集計 COUNT DISTINCT 句のみが含まれていますが、基になるファイルには field_a の実際の値の一覧が含まれています。

Hive メタストアと Unity カタログパイプラインを一緒に使用できますか?

ワークスペースには、Unity カタログと従来の Hive メタストアを使用するパイプラインを含めることができます。ただし、1 つのパイプラインで Hive メタストアと Unity カタログに書き込むことはできません。 Hive メタストアに書き込む既存のパイプラインは、Unity カタログを使用するようにアップグレードすることはできません。

Unity カタログを使用していない既存のパイプラインは、Unity カタログで構成された新しいパイプラインを作成しても影響を受けません。これらのパイプラインは、構成されたストレージの場所を使用して Hive メタストアにデータを保持し続けます。

このドキュメントで特に指定がない限り、既存のすべてのデータソースと Delta Live Tables 機能は、Unity Catalog を使用するパイプラインでサポートされます。 Python と SQL の両方のインターフェイスは、Unity Catalog を使用するパイプラインでサポートされています。

既存の機能に対する変更

Delta Live Tables が Unity Catalog にデータを保持するように構成されている場合、テーブルのライフサイクルは Delta Live Tables パイプラインによって管理されます。パイプラインはテーブルのライフサイクルとアクセス許可を管理するため、

Delta Live Tables パイプライン定義からテーブルが削除されると、次のパイプライン更新時に、対応する具体化されたビューまたはストリーミングテーブルエントリが Unity Catalog から削除されます。実際のデータは、誤って削除された場合に復旧できるように、一定期間保持されます。データを回復するには、具体化されたビューまたはストリーミングテーブルをパイプライン定義に追加し直します。
Delta Live Tables パイプラインを削除すると、そのパイプラインで定義されているすべてのテーブルが削除されます。この変更により、Delta Live Tables UI が更新され、パイプラインの削除を確認するように求められます。
内部バッキングテーブル (サポート APPLY CHANGES INTOに使用するものを含む) は、ユーザーが直接アクセスすることはできません。

Delta Live Tables パイプラインから Unity Catalog にテーブルを書き込む

Note

パイプラインに対してカタログとターゲットスキーマを選択しない場合、テーブルは、Unity Catalog に発行されず、同じパイプライン内のクエリによってのみアクセス可能となります。

テーブルを Unity Catalog に書き込むには、パイプラインを作成するときに、[ストレージのオプション] で [Unity Catalog] を選択し、[カタログ] ドロップダウンメニューでカタログを選択してから、既存のスキーマを選択するか、[ターゲットスキーマ] ドロップダウンメニューで新しいスキーマの名前を入力します。 Unity Catalog カタログの詳細については、「Azure Databricks のカタログとは」を参照してください。 Unity Catalog のスキーマについては、「Azure Databricks のスキーマとは」を参照してください。

Unity Catalog パイプラインにデータを取り込む

Unity Catalog を使用するように構成されたパイプラインは、次の場所からデータを読み取ることができます。

Unity Catalog のマネージドテーブルと外部テーブル、ビュー、具体化されたビュー、ストリーミングテーブル。
Hive メタストアのテーブルとビュー。
read_files() 関数を使用して Unity Catalog の外部の場所から読み取る自動ローダー。
Apache Kafka と Amazon Kinesis。

Unity Catalog テーブルと Hive メタストアテーブルからの読み取りの例を次に示します。

Unity Catalog テーブルからのバッチインジェスト

SQL

CREATE OR REFRESH MATERIALIZED VIEW
  table_name
AS SELECT
  *
FROM
  my_catalog.my_schema.table1;

Python

@dlt.table
def table_name():
  return spark.table("my_catalog.my_schema.table")

Unity Catalog テーブルから変更をストリーム配信する

SQL

CREATE OR REFRESH STREAMING TABLE
  table_name
AS SELECT
  *
FROM
  STREAM(my_catalog.my_schema.table1);

Python

@dlt.table
def table_name():
  return spark.readStream.table("my_catalog.my_schema.table")

Hive メタストアからデータを取り込む

Unity Catalog を使用するパイプラインでは、hive_metastore カタログを使用して Hive メタストアテーブルからデータを読み取ることができます。

SQL

CREATE OR REFRESH MATERIALIZED VIEW
  table_name
AS SELECT
  *
FROM
  hive_metastore.some_schema.table;

Python

@dlt.table
def table3():
  return spark.table("hive_metastore.some_schema.table")

自動ローダーからデータを取り込む

SQL

CREATE OR REFRESH STREAMING TABLE
  table_name
AS SELECT
  *
FROM
  read_files(
    <path-to-uc-external-location>,
    "json"
  )

Python

@dlt.table(table_properties={"quality": "bronze"})
def table_name():
  return (
     spark.readStream.format("cloudFiles")
     .option("cloudFiles.format", "json")
     .load(f"{path_to_uc_external_location}")
 )

既定では、パイプライン所有者のみが、パイプラインによって作成されたデータセットに対してクエリを実行するアクセス許可を持ちます。 GRANT ステートメントを使用すると他のユーザーにテーブルに対してクエリを実行する機能を付与できます。また、REVOKE ステートメントを使用するとクエリアクセスを取り消すことができます。 Unity Catalog での権限の詳細については、「Unity Catalog の権限の管理」を参照してください。

テーブルに SELECT 権限を付与する

GRANT SELECT ON TABLE
  my_catalog.my_schema.table_name
TO
  `user@databricks.com`

テーブルの SELECT 権限を取り消す

REVOKE SELECT ON TABLE
  my_catalog.my_schema.table_name
FROM
  `user@databricks.com`

テーブルの作成または具体化されたビューの作成権限を付与する

GRANT CREATE { MATERIALIZED VIEW | TABLE } ON SCHEMA
  my_catalog.my_schema
TO
  { principal | user }

パイプラインの系列を表示する

Delta Live Tables パイプライン内のテーブルの系列は、カタログエクスプローラーに表示されます。カタログエクスプローラーの系列 UI には、Unity カタログ対応パイプラインの具体化されたビューまたはストリーミングテーブルのアップストリームテーブルとダウンストリームテーブルが表示されます。 Unity Catalog 系列の詳細については、「Unity Catalog を使用したデータ系列のキャプチャと表示」を参照してください。

Unity Catalog 対応 Delta Live Tables パイプラインの具体化されたビューまたはストリーミングテーブルの場合、カタログエクスプローラー系列 UI は具体化されたビューまたはストリーミングテーブルを生成したパイプラインにも、そのパイプラインに現在のワークスペースからアクセスできる場合はリンクします。

ストリーミングテーブルのデータを追加、変更、または削除する

挿入、更新、削除、マージなどのデータ操作言語 (DML) ステートメントを使用して、Unity Catalog に発行されたストリーミングテーブルを変更できます。ストリーミングテーブルに対する DML クエリのサポートにより、一般データ保護規則 (GDPR) に準拠するためにテーブルを更新するなどのユースケースが可能になります。

Note

ストリーミングテーブルのテーブルスキーマを変更する DML ステートメントはサポートされていません。 DML ステートメントがテーブルスキーマの進化を試みないことを確認します。
ストリーミングテーブルを更新する DML ステートメントは、Databricks Runtime 13.3 LTS 以降を使用する共有 Unity Catalog クラスターまたは SQL ウェアハウスでのみ実行できます。
ストリーミングには追加専用のデータソースが必要なため、処理で (DML ステートメントなどによる) 変更を伴うソースストリーミングテーブルからのストリーミングが必要な場合は、ソースストリーミングテーブルを読み取るときに skipChangeCommits フラグを設定します。 skipChangeCommits が設定されていれば、ソーステーブルのレコードを削除または変更するトランザクションは無視されます。処理にストリーミングテーブルが必要ない場合は、具体化されたビュー (追加専用の制限がない) をターゲットテーブルとして使用できます。

ストリーミングテーブル内のレコードを変更する DML ステートメントの例を次に示します。

特定の ID を持つレコードを削除します。

DELETE FROM my_streaming_table WHERE id = 123;

特定の ID を持つレコードを更新します。

UPDATE my_streaming_table SET name = 'Jane Doe' WHERE id = 123;

行フィルターと列マスクを使用してテーブルを発行する

重要

この機能はパブリックプレビュー段階にあります。

行フィルターを使用すると、テーブルスキャンで行がフェッチされるたびにフィルターとして適用される関数を指定できます。これらのフィルターにより、後続のクエリでフィルター述語が true と評価される行のみが返されるようになります。

列マスクを使用すると、テーブルスキャンで行がフェッチされるたびに列の値をマスクできます。その列の今後のクエリでは、列の元の値でなく、評価された関数の結果が返されます。行フィルターと列マスクの使用の詳細については、「行フィルターと列マスクを使用して機密テーブルデータをフィルター処理する」を参照してください。

行フィルターと列マスクの管理

具体化されたビューとストリーミングテーブルの行フィルターと列マスクは、CREATE OR REFRESH ステートメントを通じて追加、更新、または削除する必要があります。

行フィルターと列マスクを使用したテーブルの定義に関する詳細な構文については、「Delta Live Tables SQL 言語リファレンス」および「Delta Live Tables Python 言語リファレンス」を参照してください。

Behavior

Delta Live Tables パイプラインで行フィルターまたは列マスクを使用する場合の重要な詳細情報を次に示します。

所有者権限で更新する: 具体化されたビューまたはストリーミングテーブルがパイプラインの更新によって更新されると、行フィルターと列マスクの関数はパイプライン所有者の権限で実行されます。つまり、テーブルの更新では、パイプラインを作成したユーザーのセキュリティコンテキストが使用されます。 (CURRENT_USER や IS_MEMBER などの) ユーザーコンテキストをチェックする関数は、パイプライン所有者のユーザーコンテキストを使用して評価されます。
クエリ: 具体化されたビューまたはストリーミングテーブルに対してクエリを実行する際に、(CURRENT_USER や IS_MEMBER などの) ユーザーコンテキストをチェックする関数は、呼び出し側のユーザーコンテキストを使用して評価されます。このアプローチでは、現在のユーザーのコンテキストに基づいて、ユーザー固有のデータセキュリティとアクセス制御が適用されます。
行フィルターと列マスクを含むソーステーブルに対する具体化されたビューを作成する場合、具体化されたビューの更新は常に完全更新になります。完全更新では、最新の定義を使用して、ソースで使用可能なすべてのデータが再処理されます。このプロセスでは、ソーステーブルのセキュリティポリシーが最新のデータと定義に基づいて評価され、適用されていることを確認します。

可観測性

DESCRIBE EXTENDED、INFORMATION_SCHEMA、またはカタログエクスプローラーを使用して、特定の具体化されたビューとストリーミングテーブルに適用される既存の行フィルターと列マスクを調べます。この機能により、ユーザーは具体化されたビューとストリーミングテーブルのデータアクセスと保護対策を監査および確認できます。

次の方法で共有

Unity Catalog を Delta Live Tables パイプラインで使う

要件

制限事項

Hive メタストアと Unity カタログパイプラインを一緒に使用できますか?

既存の機能に対する変更

Delta Live Tables パイプラインから Unity Catalog にテーブルを書き込む

Unity Catalog パイプラインにデータを取り込む

Unity Catalog テーブルからのバッチインジェスト

SQL

Python

Unity Catalog テーブルから変更をストリーム配信する

SQL

Python

Hive メタストアからデータを取り込む

SQL

Python

自動ローダーからデータを取り込む

SQL

Python

テーブルに SELECT 権限を付与する

テーブルの SELECT 権限を取り消す

テーブルの作成または具体化されたビューの作成権限を付与する

パイプラインの系列を表示する

ストリーミングテーブルのデータを追加、変更、または削除する

特定の ID を持つレコードを削除します。

特定の ID を持つレコードを更新します。

行フィルターと列マスクを使用してテーブルを発行する

行フィルターと列マスクの管理

Behavior

可観測性

フィードバック

その他のリソース

次の方法で共有

Unity Catalog を Delta Live Tables パイプラインで使う

要件

制限事項

Hive メタストアと Unity カタログ パイプラインを一緒に使用できますか?

既存の機能に対する変更

Delta Live Tables パイプラインから Unity Catalog にテーブルを書き込む

Unity Catalog パイプラインにデータを取り込む

Unity Catalog テーブルからのバッチ インジェスト

SQL

Python

Unity Catalog テーブルから変更をストリーム配信する

SQL

Python

Hive メタストアからデータを取り込む

SQL

Python

自動ローダーからデータを取り込む

SQL

Python

具体化されたビューを共有する

テーブルに SELECT 権限を付与する

テーブルの SELECT 権限を取り消す

テーブルの作成または具体化されたビューの作成権限を付与する

パイプラインの系列を表示する

ストリーミング テーブルのデータを追加、変更、または削除する

特定の ID を持つレコードを削除します。

特定の ID を持つレコードを更新します。

行フィルターと列マスクを使用してテーブルを発行する

行フィルターと列マスクの管理

Behavior

可観測性

フィードバック

その他のリソース

Hive メタストアと Unity カタログパイプラインを一緒に使用できますか?

Unity Catalog テーブルからのバッチインジェスト

ストリーミングテーブルのデータを追加、変更、または削除する