Sdílet prostřednictvím

Konfigurace bezserverového kanálu DLT

  • Článek

Tento článek popisuje konfigurace pro bezserverové kanály DLT.

Databricks doporučuje vyvíjet nové kanály pomocí bezserverové architektury. Některé úlohy můžou vyžadovat konfiguraci klasického výpočetního prostředí nebo práci se starší verzí metastoru Hive. Viz Konfigurace výpočetních prostředků pro kanál DLT a Použití kanálů DLT se starší verzímetastoru Hive .

Poznámka

  • Pokud potřebujete použít připojení Azure Private Link ke svým bezserverovým kanálům DLT, obraťte se na zástupce Databricks.

Požadavky

  • Aby mohl váš pracovní prostor používat bezserverové pipeline, musí mít povolený katalog Unity.

Důležitý

Ke konfiguraci bezserverových kanálů se nevyžaduje oprávnění k vytvoření clusteru. Ve výchozím nastavení můžou všichni uživatelé pracovního prostoru používat bezserverové kanály.

Bezserverové kanály odebírají většinu možností konfigurace, protože Azure Databricks spravuje veškerou infrastrukturu. Pokud chcete nakonfigurovat bezserverový kanál, postupujte takto:

  1. Na bočním panelu klikněte na DLT.
  2. Klikněte na Vytvořit kanál.
  3. Zadejte jedinečný název kanálu .
  4. Zaškrtněte políčko vedle Serverless.
  5. (Volitelné) Použijte Ikonu pro výběr souboru k nastavení poznámkových bloků a souborů pracovního prostoru jako zdrojový kód.
    • Pokud nepřidáte žádný zdrojový kód, vytvoří se pro pipeline nový notebook. Poznámkový blok se vytvoří v novém adresáři ve vašem uživatelském adresáři a po vytvoření kanálu se v poli Zdrojový kód v podokně Podrobnosti kanálu zobrazí odkaz pro přístup k tomuto poznámkovému bloku.
      • Odkaz k přístupu k tomuto poznámkovému bloku je v poli zdrojový kód v panelu podrobností pipeliny poté, co vytvoříte svou pipelinu.
    • Pomocí tlačítka Přidat zdrojový kód přidejte další položky zdrojového kódu.
  6. Vyberte katalog k publikování dat.
  7. V katalogu vyberte schéma . V tomto schématu se vytvoří všechny streamované tabulky a materializovaná zobrazení definovaná v datovém toku.
  8. Klikněte na Vytvořit.

Tyto doporučené konfigurace vytvoří novou pipeline nakonfigurovanou tak, aby běžela v režimu spuštěného a kanálu Aktuální. Tato konfigurace se doporučuje pro mnoho případů použití, včetně vývoje a testování, a je vhodná pro produkční úlohy, které by se měly spouštět podle plánu. Podrobnosti o plánování kanálů najdete v tématu úlohy kanálu DLT pro úlohy.

Existující kanály nakonfigurované pomocí katalogu Unity můžete také převést tak, aby používaly bezserverovou verzi. Viz Převod existujícího kanálu na použití bezserverové.

Další aspekty konfigurace

Pro bezserverové kanály jsou k dispozici také následující možnosti konfigurace:

  • Při spouštění kanálů v produkčním prostředí můžete použít režim kanálu Continuous. Viz Spuštěný vs. průběžný režim potrubí.
  • Přidejte Oznámení pro aktualizace e-mailů na základě podmínek úspěšnosti nebo neúspěchu. Viz Přidejte e-mailová oznámení o událostech pipeline.
  • Pomocí pole Konfigurace nastavte páry klíč-hodnota pro datový tok. Tyto konfigurace slouží ke dvěma účelům:
    • Nastavte libovolné parametry, na které můžete odkazovat ve zdrojovém kódu. Viz Použití parametrů s kanály DLT.
    • Nakonfigurujte nastavení datového toku a konfigurace Spark. Podívejte se na referenci vlastností DLT .
  • Použijte kanál Preview k otestování vašeho pipeline proti probíhajícím změnám runtime DLT a vyzkoušení nových funkcí.

zásady rozpočtu

Důležitý

Tato funkce je ve verzi Public Preview.

Zásady rozpočtu umožňují vaší organizaci používat vlastní značky na bezserverové využití pro podrobné přisuzování fakturace. Po zaškrtnutí políčka bezserverový se zobrazí nastavení Zásady rozpočtu, kde můžete vybrat zásadu, kterou chcete použít pro potrubí. Značky jsou zděděné ze zásad rozpočtu a mohou je upravovat pouze správci pracovního prostoru.

Poznámka

Po přiřazení zásad rozpočtu se vaše stávající kanály automaticky neoznačí vašimi zásadami. Pokud k nim chcete připojit zásadu, musíte stávající potrubí aktualizovat ručně.

Další informace o zásadách rozpočtu naleznete v Přiřaďte bezserverové využití se zásadami rozpočtu.

Funkce bezserverového kanálu

Kromě zjednodušení konfigurace mají bezserverové kanály následující funkce:

  • Přírůstková aktualizace pro materializovaná zobrazení: Aktualizace materializovaných zobrazení se aktualizují přírůstkově, kdykoli je to možné. Přírůstková aktualizace má stejné výsledky jako úplné přepočítání. Aktualizace používá úplnou aktualizaci, pokud se výsledky nedají vypočítat přírůstkově. Viz Přírůstková aktualizace pro materializovaná zobrazení.
  • Zřetězení streamu: Ke zlepšení využití, propustnosti a latence pro úlohy zpracování streamovaných dat, jako je příjem dat, jsou mikrodávky zřetězeny. Jinými slovy, místo spouštění mikrobatchů postupně, jako je standardní strukturované streamování Sparku, bezserverové kanály DLT spouští mikrobatchy souběžně, což zlepšuje využití výpočetních prostředků. Kanálování datových proudů je ve výchozím nastavení povolené v bezserverových kanálech DLT.
  • vertikálního automatického škálování: bezserverové DLT kanály doplní horizontální automatické škálování poskytované vylepšeným automatickým škálováním od Databricks, tím, že automaticky přidělují nákladově efektivní typy instancí, které mohou spouštět váš DLT kanál bez selhání kvůli chybám nedostatku paměti. Viz Co je vertikální automatické škálování?

Co je vertikální automatické škálování?

Bezserverové DLT pipeline s vertikální automatickou škálovatelností automaticky přidělují cenově nejvýhodnější dostupné typy instancí pro spuštění aktualizací pipeline DLT bez selhání kvůli chybám nedostatku paměti. Vertikální automatické škálování zvyšuje velikost instancí, když jsou potřebné větší instance pro spuštění aktualizace pipeline, a snižuje velikost, když určí, že aktualizaci lze provést s menšími instancemi. Vertikální automatické škálování určuje, jestli se mají řídicí uzly, pracovní uzly nebo obojí zvýšit nebo snížit.

Vertikální automatické škálování se používá pro všechny bezserverové kanály DLT, včetně kanálů používaných materializovanými zobrazeními Databricks SQL a tabulkami streamování.

Vertikální automatické škálování funguje zjišťováním aktualizací pipeline, které selhaly kvůli chybám způsobeným nedostatkem paměti. Vertikální automatické škálování přiděluje větší typy instancí při zjištění těchto selhání na základě dat o nedostatku paměti shromážděných z neúspěšné aktualizace. V produkčním režimu se automaticky spustí nová aktualizace, která používá nové výpočetní prostředky. V režimu vývoje se nové výpočetní prostředky použijí při ručním spuštění nové aktualizace.

Pokud vertikální automatické škálování zjistí, že paměť přidělených instancí je konzistentně nedostatečně využitá, zmenší typy instancí tak, aby byly použity v další aktualizaci pipeline.

Převod existujícího kanálu na použití bezserverové architektury

Existující kanály nakonfigurované pomocí katalogu Unity můžete převést na bezserverové kanály. Proveďte následující kroky:

  1. Klikněte na DLT v postranním panelu.
  2. V seznamu klikněte na název požadovaného kanálu.
  3. Klikněte na nastavení.
  4. Zaškrtněte políčko vedle Serverless.
  5. Klikněte na Uložit a spusťte.

Důležitý

Když povolíte bezserverové nastavení, odeberou se všechna výpočetní nastavení, která jste nakonfigurovali pro kanál. Pokud kanál přepnete zpět na bezserverové aktualizace, musíte překonfigurovat požadovaná nastavení výpočetních prostředků na konfiguraci kanálu.

Jak zjistím využití dbU v bezserverovém kanálu?

Využití DBU serverless DLT kanálů najdete dotazováním tabulky fakturovatelného využití, která je součástí systémových tabulek Azure Databricks. Viz Co je spotřeba DBU bezserverového kanálu DLT?.