従来の Hive メタストアで Delta Live Tables パイプラインを使用する
この記事では、レガシ Hive メタストアにデータを発行するように構成された Delta Live Tables パイプラインに固有の構成と注意事項について詳しく説明します。 Databricks では、すべての新しいパイプラインに Unity カタログを使用することをお勧めします。 「Unity Catalog を Delta Live Tables パイプラインで使う」を参照してください。
手記
この記事では、パイプラインの現在の既定の発行モードの機能について説明します。 2025 年 2 月 5 日より前に作成されたパイプラインでは、従来の発行モードと LIVE 仮想スキーマが使用される場合があります。 「LIVE スキーマ (レガシ)」を参照してください。
従来の Hive メタストアでストリーミング テーブルと具体化されたビューにクエリを実行する方法
更新が完了したら、スキーマとテーブルの表示、データのクエリ、またはダウンストリーム アプリケーションでのデータの使用を行うことができます。
発行後は、ターゲット スキーマへのアクセス権のあるすべての環境から Delta Live Tables テーブルのクエリを実行することができます。 これには、Databricks SQL、ノートブック、およびその他の Delta Live Tables パイプラインが含まれます。
重要
target 構成を作成すると、テーブルと関連付けられたメタデータのみがパブリッシュされます。 ビューはメタストアにはパブリッシュされません。
Hive メタストアに発行するようにパイプラインを構成する
新しいパイプラインを作成するときに、[ストレージ オプション] で [Hive メタストア] を指定すると、従来の Hive メタストアに発行することができます。 Hive メタストアに発行するときは、既定のターゲット スキーマを指定する必要があります。 「 デルタ ライブ テーブル パイプラインを構成するを参照してください。
ストレージの場所を指定する
Hive メタストアに発行するパイプラインのストレージの場所を指定できます。 場所を指定する主な動機は、パイプラインによって書き込まれるデータのオブジェクトストレージの場所を制御することです。 Databricks では、DBFS ルートへの書き込みを回避するために、常にストレージの場所を特定することをお勧めします。
Delta Live Tables パイプラインのすべてのテーブル、データ、チェックポイント、メタデータは Delta Live Tables によって完全に管理されるため、Delta Live Tables データセットとのほとんどの対話は、Hive メタストアまたは Unity カタログに登録されたテーブルを介して行われます。
クラウド ストレージの構成
Azure ストレージにアクセスするには、クラスター構成の spark.conf 設定を使用して、アクセス トークンなどの必要なパラメーターを構成する必要があります。 Azure Data Lake Storage Gen2 (ADLS Gen2) ストレージ アカウントへのアクセスを構成する例については、「パイプラインでシークレットを使用してストレージの資格情報に安全にアクセスする」をご覧ください。
Unity カタログのないワークスペースのパイプライン ソース コード ノートブックの例
Unity カタログが有効になっていない Azure Databricks ワークスペースに次のノートブックをインポートし、それらを使用して Delta Live Tables パイプラインをデプロイできます。 選択した言語のノートブックをインポートし、Hive メタストアストレージ オプションを使用してパイプラインを構成するときに、Source コード フィールドにパスを指定します。 「 デルタ ライブ テーブル パイプラインを構成するを参照してください。