従来の Hive メタストアで Delta Live Tables パイプラインを使用する
この記事では、レガシ Hive メタストアにデータを発行するように構成された Delta Live Tables パイプラインに固有の構成と注意事項について詳しく説明します。 Databricks では、すべての新しいパイプラインに Unity カタログを使用することをお勧めします。 「Unity Catalog を Delta Live Tables パイプラインで使う」を参照してください。
従来の Hive メタストアにパイプライン データセットを発行する
省略可能ですが、新しいパイプラインの開発とテスト以外に移動するたびに、パイプラインによって作成されたテーブルを発行するターゲットを指定する必要があります。 パイプラインをターゲットに発行すると、Azure Databricks 環境の他の場所でクエリを実行するためにデータセットを使用できるようになります。
Hive メタストアにデータセットを発行することで、パイプラインの出力データを検出可能にし、クエリで利用できるようにすることができます。 メタストアにデータセットを発行するには、パイプラインを作成するときに [ターゲット] フィールドにスキーマ名を入力します。 また、既存のパイプラインにターゲット データベースを追加することもできます。
Delta Live Tables で作成されたすべてのテーブルとビューは、既定でパイプラインに対してローカルです。 テーブルが宣言されているパイプライン外で Delta Live Tables データセットのクエリを実行したり、データセットを使用するには、テーブルをターゲット スキーマに発行する必要があります。
パイプラインから Unity Catalog にテーブルを発行するには、「Delta Live Tables パイプラインで Unity Catalog を使用する」を参照してください。
Delta Live Tables データセットを従来の Hive メタストアに発行する方法
[パイプライン設定] UI と [パイプラインの作成] UI の [ターゲット スキーマ] フィールドを使用して Delta Live Tables パイプライン内のすべてのテーブルのターゲット スキーマを宣言できます。
target 値を設定することで JSON 構成内でスキーマを指定することもできます。
ターゲット スキーマに結果を発行するには、パイプラインの更新を実行する必要があります。
複数の環境構成でこの機能を使用し、環境に基づいてさまざまなスキーマへの発行を行うことができます。 たとえば、開発の場合は dev スキーマに、運用データの場合は prod スキーマに発行を行うことができます。
従来の Hive メタストアでストリーミング テーブルと具体化されたビューにクエリを実行する方法
更新が完了したら、スキーマとテーブルの表示、データのクエリ、またはダウンストリーム アプリケーションでのデータの使用を行うことができます。
発行後は、ターゲット スキーマへのアクセス権のあるすべての環境から Delta Live Tables テーブルのクエリを実行することができます。 これには、Databricks SQL、ノートブック、およびその他の Delta Live Tables パイプラインが含まれます。
重要
target 構成を作成すると、テーブルと関連付けられたメタデータのみがパブリッシュされます。 ビューはメタストアにはパブリッシュされません。
ストレージの場所を指定する
Hive メタストアに発行するパイプラインのストレージの場所を指定できます。 場所を指定する主な動機は、パイプラインによって書き込まれるデータのオブジェクトストレージの場所を制御することです。
Delta Live Tables パイプラインのすべてのテーブル、データ、チェックポイント、メタデータは Delta Live Tables によって完全に管理されるため、Delta Live Tables データセットとのほとんどの対話は、Hive メタストアまたは Unity カタログに登録されたテーブルを介して行われます。
クラウド ストレージの構成
Azure ストレージにアクセスするには、クラスター構成の spark.conf 設定を使用して、アクセス トークンなどの必要なパラメーターを構成する必要があります。 Azure Data Lake Storage Gen2 (ADLS Gen2) ストレージ アカウントへのアクセスを構成する例については、「パイプラインでシークレットを使用してストレージの資格情報に安全にアクセスする」をご覧ください。
Unity カタログのないワークスペースのパイプライン ソース コード ノートブックの例
Unity カタログが有効になっていない Azure Databricks ワークスペースに次のノートブックをインポートし、それらを使用して Delta Live Tables パイプラインをデプロイできます。 選択した言語のノートブックをインポートし、Hive メタストアストレージ オプションを使用してパイプラインを構成するときに、Source コード フィールドにパスを指定します。 「 デルタ ライブ テーブル パイプラインを構成するを参照してください。