Použití kanálů Delta Live Tables se starší verzí metastoru Hive
Tento článek podrobně popisuje konfigurace a upozornění specifické pro kanály Delta Live Tables nakonfigurované pro publikování dat do staršího metastoru Hive. Databricks doporučuje používat katalog Unity pro všechny nové kanály. Viz Použití katalogu Unity s kanály Delta Live Tables.
Publikování datových sad kanálu do staršího metastoru Hive
I když je to volitelné, měli byste určit cíl publikování tabulek vytvořených kanálem, kdykoli se přesunete mimo vývoj a testování nového kanálu. Publikování kanálu do cíle zpřístupňuje datové sady pro dotazování jinde v prostředí Azure Databricks.
Výstupní data kanálu můžete zjistit a zpřístupnit k dotazování publikováním datových sad do metastoru Hive. Pokud chcete publikovat datové sady do metastoru, zadejte název schématu do pole Cíl při vytváření kanálu. Můžete také přidat cílovou databázi do existujícího kanálu.
Všechny tabulky a zobrazení vytvořené v rozdílových živých tabulkách jsou ve výchozím nastavení místní pro kanál. Tabulky musíte publikovat do cílového schématu pro dotazování nebo použít datové sady Delta Live Tables mimo kanál, ve kterém jsou deklarovány.
Pokud chcete publikovat tabulky z kanálů do katalogu Unity, přečtěte si téma Použití katalogu Unity s kanály Delta Live Tables.
Publikování datových sad Delta Live Tables do staršího metastoru Hive
Můžete deklarovat cílové schéma pro všechny tabulky v kanálu Delta Live Tables pomocí pole Cílové schéma v nastavení kanálu a vytvořit uživatelská rozhraní kanálu.
Schéma můžete také zadat v konfiguraci JSON nastavením target hodnoty.
Aby kanál publikoval výsledky do cílového schématu, musíte spustit aktualizaci.
Tuto funkci můžete použít s několika konfiguracemi prostředí k publikování do různých schémat na základě prostředí. Můžete například publikovat do schématu dev pro vývoj a prod schéma pro produkční data.
Dotazování streamovaných tabulek a materializovaných zobrazení ve starším metastoru Hive
Po dokončení aktualizace můžete zobrazit schéma a tabulky, dotazovat se na data nebo použít data v podřízených aplikacích.
Po publikování se tabulky Delta Live Tables dají dotazovat z libovolného prostředí s přístupem k cílovému schématu. To zahrnuje Databricks SQL, poznámkové bloky a další kanály Delta Live Tables.
Důležité
Při vytváření target konfigurace se publikují pouze tabulky a přidružená metadata. Zobrazení se nepublikují do metastoru.
Určení umístění úložiště
Můžete zadat umístění úložiště pro kanál, který publikuje do metastoru Hive. Primární motivací pro určení umístění je řídit umístění úložiště objektů pro data zapsaná kanálem.
Vzhledem k tomu, že všechny tabulky, data, kontrolní body a metadata pro kanály delta živých tabulek jsou plně spravovány rozdílovými živými tabulkami, většina interakcí s datovými sadami Delta Live Tables probíhá prostřednictvím tabulek registrovaných v metastoru Hive nebo v katalogu Unity.
Konfigurace cloudového úložiště
Pokud chcete získat přístup ke službě Azure Storage, musíte nakonfigurovat požadované parametry, včetně přístupových tokenů, pomocí spark.conf nastavení v konfiguracích clusteru. Příklad konfigurace přístupu k účtu úložiště Azure Data Lake Storage Gen2 (ADLS Gen2) najdete v tématu Zabezpečený přístup k přihlašovacím údajům úložiště s tajnými kódy v kanálu.
Ukázkové poznámkové bloky zdrojového kódu kanálu pro pracovní prostory bez katalogu Unity
Následující poznámkové bloky můžete importovat do pracovního prostoru Azure Databricks bez povoleného katalogu Unity a použít je k nasazení kanálu Delta Live Tables. Importujte poznámkový blok vybraného jazyka a při konfiguraci kanálu s možností úložiště metastoru Hive zadejte cestu do pole Zdrojový kód. Viz Konfigurace kanálu delta živých tabulek.