Delta Live Tables-pijplijnen gebruiken met verouderde Hive-metastore
In dit artikel worden configuraties en opmerkingen beschreven die specifiek zijn voor Delta Live Tables-pijplijnen die zijn geconfigureerd voor het publiceren van gegevens naar de verouderde Hive-metastore. Databricks raadt het gebruik van Unity Catalog aan voor alle nieuwe pijplijnen. Zie Hoe u Unity Catalog kunt gebruiken met uw Delta Live Tables-pijplijnen.
Notitie
In dit artikel wordt de functionaliteit voor de huidige standaardpublicatiemodus voor pijplijnen besproken. Pijplijnen die vóór 5 februari 2025 zijn gemaakt, kunnen gebruikmaken van de verouderde publicatiemodus en LIVE virtueel schema. Zie LIVE-schema (verouderd):
Uitvoeren van query's op streamingtabellen en gematerialiseerde weergaven in de legacy Hive-metastore
Nadat een update is voltooid, kunt u het schema en de tabellen bekijken, de gegevens opvragen of de gegevens gebruiken in downstreamtoepassingen.
Zodra ze zijn gepubliceerd, kunnen tabellen in Delta Live Tables vanuit elke omgeving worden opgevraagd met toegang tot het doelschema. Dit omvat Databricks SQL, notebooks en andere Delta Live Tables-pijplijnen.
Belangrijk
Wanneer u een target-configuratie maakt, worden alleen tabellen en gekoppelde metagegevens gepubliceerd. Weergaven worden niet gepubliceerd in de metastore.
Een pijplijn configureren voor publiceren naar Hive-metastore
Wanneer u een nieuwe pijplijn maakt, kunt u Hive-metastore opgeven onder de Storage-opties om te publiceren naar de verouderde Hive-metastore. U moet een standaarddoelschema opgeven bij het publiceren naar hive-metastore. Zie Een Delta Live Tables-pijplijn configureren.
Een opslaglocatie opgeven
U kunt een opslaglocatie opgeven voor een pijplijn die naar de Hive-metastore wordt gepubliceerd. De primaire motivatie voor het opgeven van een locatie is het beheren van de opslaglocatie van objecten voor gegevens die zijn geschreven door uw pijplijn. Databricks raadt altijd aan om een opslaglocatie te specificeren om te voorkomen dat er naar de DBFS-hoofdmap wordt geschreven.
Omdat alle tabellen, gegevens, controlepunten en metagegevens voor Delta Live Tables-pijplijnen volledig worden beheerd door Delta Live Tables, gebeurt de meeste interactie met Delta Live Tables-gegevenssets via tabellen die zijn geregistreerd bij de Hive-metastore of Unity Catalog.
Cloudopslagconfiguratie
Als u toegang wilt krijgen tot Azure Storage-, moet u de vereiste parameters configureren, inclusief toegangstokens, met behulp van spark.conf-instellingen in uw clusterconfiguraties. Zie voor een voorbeeld van het configureren van toegang tot een ADLS Gen2-opslagaccount (Azure Data Lake Storage Gen2) Veilig toegang krijgen tot opslagreferenties met geheimen in een pijplijn.
voorbeeld van broncodenotebook voor pijplijnen voor werkruimten zonder Unity Catalog
U kunt de volgende notebooks importeren in een Azure Databricks-werkruimte zonder Unity Catalog ingeschakeld en deze gebruiken om een Delta Live Tables-pijplijn te implementeren. Importeer het notebook van de gekozen taal en geef het pad op in het veld Broncode bij het configureren van een pijplijn met de hive-metastore-opslagoptie . Zie Een Delta Live Tables-pijplijn configureren.