Použití kanálů Delta Live Tables se starší verzí metastoru Hive
Tento článek podrobně popisuje konfigurace a upozornění specifické pro kanály Delta Live Tables nakonfigurované pro publikování dat do staršího metastoru Hive. Databricks doporučuje používat katalog Unity pro všechny nové kanály. Podívejte se na Použití katalogu Unity s pipelinami Delta Live Tables.
Poznámka
Tento článek popisuje funkcionalitu pro aktuální výchozí režim publikování pro potrubí. Kanály vytvořené před 5. únorem 2025 můžou používat starší režim publikování a LIVE virtuální schéma. Viz LIVE schema (starší verze).
Dotazování streamovaných tabulek a materializovaných zobrazení ve starším metastoru Hive
Po dokončení aktualizace můžete zobrazit schéma a tabulky, dotazovat se na data nebo použít data v podřízených aplikacích.
Po publikování se tabulky Delta Live Tables dají dotazovat z libovolného prostředí s přístupem k cílovému schématu. To zahrnuje Databricks SQL, poznámkové bloky a další kanály Delta Live Tables.
Důležité
Při vytváření konfigurace target se publikují pouze tabulky a přidružená metadata. Zobrazení se nepublikují do metastoru.
Konfigurace kanálu pro publikování do metastoru Hive
Při vytváření nového kanálu můžete v části Možnosti úložiště zadat metastoru Hive, kam se má publikovat do staršího metastoru Hive. Při publikování do metastoru Hive musíte zadat výchozí cílové schéma. Viz Konfigurace potrubí Delta Live Tables.
Určení umístění úložiště
Můžete zadat umístění úložiště pro kanál, který publikuje do metastoru Hive. Primární motivací pro určení umístění je řídit umístění úložiště objektů pro data zapsaná kanálem. Databricks doporučuje vždy konkrétní umístění úložiště, aby se zabránilo zápisu do kořenového adresáře DBFS.
Vzhledem k tomu, že všechny tabulky, data, kontrolní body a metadata pro pipelines Delta Live Tables jsou plně spravovány Delta Live Tables, většina interakcí s datovými sadami Delta Live Tables probíhá prostřednictvím tabulek registrovaných v Hive metastoru nebo v Unity katalogu.
Konfigurace cloudového úložiště
Pokud chcete získat přístup k azure Storage, musíte nakonfigurovat požadované parametry, včetně přístupových tokenů, pomocí nastavení spark.conf v konfiguracích clusteru. Příklad konfigurace přístupu k účtu úložiště Azure Data Lake Storage Gen2 (ADLS Gen2) najdete v tématu Zabezpečený přístup k přihlašovacím údajům úložiště s tajnými kódy v kanálu.
Ukázkové poznámkové bloky zdrojového kódu pro data pipelines v pracovních prostorech bez Unity Catalogu
Následující poznámkové bloky můžete importovat do pracovního prostoru Azure Databricks bez zapnutého katalogu Unity a použít je k nasazení pipeline Delta Live Tables. Importujte poznámkový blok vybraného jazyka a při konfiguraci kanálu s možností úložiště metastoru Hive zadejte cestu do pole Zdrojový kód. Viz Konfigurace potrubí Delta Live Tables.
Začínáme s poznámkovým blokem Delta Live Tables v Pythonu
Pořiďte si poznámkový blok
Začínáme s notebookem SQL Delta Live Tables
Pořiďte si poznámkový blok