Verwenden von Delta Live Tables-Pipelines mit legacy-Hive-Metaspeicher
In diesem Artikel werden Konfigurationen und Einschränkungen speziell für Delta Live Tables-Pipelines beschrieben, die für die Veröffentlichung von Daten im legacy-Hive-Metaspeicher konfiguriert sind. Databricks empfiehlt die Verwendung des Unity-Katalogs für alle neuen Pipelines. Weitere Informationen finden Sie unter Verwenden von Unity Catalog mit Ihren Delta Live Tables-Pipelines.
Anmerkung
In diesem Artikel werden Funktionen für den aktuellen Standardveröffentlichungsmodus für Pipelines erläutert. Pipelines, die vor dem 5. Februar 2025 erstellt wurden, könnten den Legacy-Publishing-Modus und das virtuelle Schema LIVE verwenden. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).
Abfragen von Streamingtabellen und materialisierten Ansichten im legacy-Hive-Metaspeicher
Nach Abschluss einer Aktualisierung können Sie das Schema und die Tabellen anzeigen, die Daten abfragen oder die Daten in nachgeschalteten Anwendungen verwenden.
Nach der Veröffentlichung können Delta Live Tables-Tabellen aus einer beliebigen Umgebung mit Zugriff auf das Zielschema abgefragt werden. Dazu gehören Databricks SQL, Notebooks und andere Delta Live Tables-Pipelines.
Wichtig
Wenn Sie eine target-Konfiguration erstellen, werden nur Tabellen und zugeordnete Metadaten veröffentlicht. Ansichten werden nicht im Metastore veröffentlicht.
Konfigurieren einer Pipeline für die Veröffentlichung im Hive-Metastore
Beim Erstellen einer neuen Pipeline können Sie unter Speicheroptionen die Option Hive-Metastore angeben, um die Veröffentlichung im Legacy-Hive-Metastore durchzuführen. Sie müssen beim Veröffentlichen im Hive-Metaspeicher ein Standardzielschema angeben. Siehe Konfigurieren einer Delta Live Tables-Pipeline.
Angeben eines Speicherorts
Sie können einen Speicherort für eine Pipeline angeben, die im Hive-Metastore veröffentlicht wird. Die primäre Motivation für die Angabe eines Speicherorts besteht darin, den Speicherort des Objekts für von Ihrer Pipeline geschriebene Daten zu steuern. Databricks empfiehlt, immer einen Speicherort zu spezifizieren, um das Schreiben in den DBFS-Stamm zu vermeiden.
Da alle Tabellen, Daten, Prüfpunkte und Metadaten für Delta Live Tables-Pipelines vollständig von Delta Live Tables verwaltet werden, erfolgt die meiste Interaktion mit Delta Live Tables-Datasets über Tabellen, die im Hive-Metastore oder Unity Catalog registriert sind.
Cloudspeicherkonfiguration
Für den Zugriff auf Azure Storage müssen Sie die erforderlichen Parameter, einschließlich Zugriffstoken, mithilfe von spark.conf-Einstellungen in Ihren Clusterkonfigurationen konfigurieren. Ein Beispiel für das Konfigurieren des Zugriffs auf ein Azure Data Lake Storage Gen2 -Speicherkonto (ADLS Gen2) finden Sie unter Sicheres Zugreifen auf Storage-Anmeldeinformationen mit Geheimnissen in einer Pipeline.
Beispiel für Pipeline-Quellcode-Notizbücher für Arbeitsbereiche ohne Unity-Katalog
Sie können die folgenden Notizbücher in einen Azure Databricks-Arbeitsbereich importieren, ohne dass Unity Catalog aktiviert ist, und sie zum Bereitstellen einer Delta Live Tables-Pipeline verwenden. Importieren Sie das Notizbuch Ihrer ausgewählten Sprache, und geben Sie den Pfad im Quellcodefeld an, wenn Sie eine Pipeline mit der Hive-Metastore-Speicheroption konfigurieren. Siehe Konfigurieren einer Delta Live Tables-Pipeline.