Referenční informace ke konfiguraci výpočetních prostředků

Poznámka:

Organizace tohoto článku předpokládá, že používáte jednoduché výpočetní uživatelské rozhraní formuláře. Přehled aktualizací jednoduchých formulářů najdete v tématu Použití jednoduchého formuláře ke správě výpočetních prostředků.

Tento článek vysvětluje nastavení konfigurace, která jsou k dispozici při vytváření nového výpočetního prostředku pro celý účel nebo úlohu. Většina uživatelů vytváří výpočetní prostředky pomocí přiřazených zásad, které omezují konfigurovatelná nastavení. Pokud v uživatelském rozhraní nevidíte konkrétní nastavení, je to proto, že vámi vybraná zásada neumožňuje toto nastavení konfigurovat.

Konfigurace a nástroje pro správu popsané v tomto článku se týkají výpočetních prostředků pro všechny účely i úlohy. Další aspekty konfigurace výpočetních prostředků úloh najdete v tématu Konfigurace výpočetních prostředků pro úlohy.

Vytvoření nového univerzálního výpočetního prostředku

Vytvoření nového výpočetního prostředku pro všechny účely:

1. Na bočním panelu pracovního prostoru klikněte na Compute.
2. Klikněte na tlačítko Vytvořit výpočet.
3. Nakonfigurujte výpočetní prostředek.
4. Klikněte na Vytvořit.

Nový výpočetní prostředek se automaticky spustí a brzy se připraví k použití.

zásady Compute

Zásady jsou sada pravidel, která slouží k omezení možností konfigurace dostupných uživatelům při vytváření výpočetních prostředků. Pokud uživatel nemá nárok na vytvoření neomezeného clusteru , může vytvářet jenom výpočetní prostředky pomocí svých udělených zásad.

Pokud chcete vytvořit výpočetní prostředky podle politiky, vyberte politiku z rozevírací nabídky Zásady.

Ve výchozím nastavení mají všichni uživatelé přístup k zásadám osobních výpočetních prostředků , což jim umožňuje vytvářet výpočetní prostředky s jedním počítačem. Pokud potřebujete přístup k osobním výpočetním prostředkům nebo jakýmkoli dalším zásadám, obraťte se na správce pracovního prostoru.

Nastavení výkonu

V uživatelském rozhraní jednoduchého formuláře, v části Výkon, se zobrazí následující nastavení:

• Verze Databricks Runtime
• Použití akcelerace Photon
• typ pracovního uzlu
• Výpočet pro jeden uzel
• Povolení automatického škálování
• Rozšířené nastavení výkonu

Verze Databricks Runtime

Databricks Runtime je sada základních komponent, které běží na výpočetních prostředcích. Vyberte runtime pomocí rozevírací nabídky Databricks Runtime Version. Podrobnosti o konkrétních verzích databricks Runtime najdete v poznámkách k verzi Databricks Runtime a jejich kompatibilitě. Všechny verze zahrnují Apache Spark. Databricks doporučuje následující:

• Pro všechny účely výpočetních prostředků použijte nejnovější verzi, abyste měli jistotu, že máte nejnovější optimalizace a nejaktuálnější kompatibilitu mezi kódem a předinstalovanými balíčky.
• Pro výpočty pracovních úloh provádějících provozní zatížení zvažte použití verze Databricks Runtime Long Term Support (LTS). Použití verze LTS zajistí, že se vyhnete problémům s kompatibilitou a před upgradem můžete důkladně otestovat svou pracovní zátěž.
• V případě případů použití datových věd a strojového učení zvažte verzi Databricks Runtime ML.

Použití akcelerace Photon

Photon je ve výchozím nastavení povolený pro výpočty, na kterých běží Databricks Runtime 9.1 LTS a novější.

Pokud chcete povolit nebo zakázat akceleraci Photon, zaškrtněte políčko Použít akceleraci photon. Další informace o Photonu najdete v tématu Co je Photon?

typ pracovního uzlu

Výpočetní prostředek se skládá z jednoho uzlu ovladače a nuly nebo více pracovních uzlů. Pro ovladače a pracovní uzly můžete vybrat samostatné typy instancí poskytovatele cloudu, ale ve výchozím nastavení používá uzel ovladače stejný typ instance jako pracovní uzel. Nastavení uzlu ovladače se nachází pod částí Pokročilý výkon.

Různé rodiny typů instancí odpovídají různým případům použití, jako jsou úlohy náročné na paměť nebo úlohy náročné na výpočetní výkon. Můžete také vybrat fond, který se má použít jako pracovní uzel nebo uzel ovladače.

Důležité

Jako typ ovladače nepoužívejte pool se spotovými instancemi. Pokud chcete zabránit uvolnění ovladače, vyberte typ ovladače na vyžádání. Viz Připojení k fondům.

Ve výpočetních prostředcích s více uzly spouští pracovní uzly exekutory Sparku a další služby potřebné pro správně funkční výpočetní prostředek. V případě distribuce zatížení pomocí Sparku se veškeré distribuované zpracování odehrává na pracovních uzlech. Azure Databricks spustí jednoho vykonavatele na pracovní uzel. Termíny exekutor a pracovní proces se proto používají zaměnitelně v kontextu architektury Databricks.

Tip

Ke spuštění úlohy Sparku potřebujete aspoň jeden pracovní uzel. Pokud má výpočetní prostředek žádné pracovní procesy, můžete na řídicím uzlu spustit ne-Spark příkazy, ale Spark příkazy selžou.

IP adresy pracovních uzlů

Azure Databricks spouští pracovní uzly se dvěma privátními IP adresami. Primární privátní IP adresa uzlu hostuje interní provoz Azure Databricks. Sekundární privátní IP adresu používá kontejner Sparku pro komunikaci uvnitř clusteru. Tento model umožňuje Službě Azure Databricks poskytovat izolaci mezi několika výpočetními prostředky ve stejném pracovním prostoru.

Typy instancí GPU

Pro výpočetně náročné úlohy, které vyžadují vysoký výkon, jako jsou úlohy spojené s hloubkovým učením, podporuje Azure Databricks výpočetní prostředky, které jsou akcelerované pomocí grafických procesorů (GPU). Další informace najdete v tématu Výpočetní výkon s podporou GPU.

Důvěrné výpočetní virtuální počítače Azure

Důvěrné výpočetní virtuální počítače typu Azure brání neoprávněnému přístupu k datům při jejich používání, včetně operátora cloudu. Tento typ virtuálního počítače je výhodný pro vysoce regulovaná odvětví a oblasti a také pro firmy s citlivými daty v cloudu. Další informace o důvěrných výpočetních prostředcích Azure najdete v tématu Důvěrné výpočetní prostředí Azure.

Pokud chcete spouštět úlohy pomocí důvěrného výpočetního prostředí Azure, vyberte z typů virtuálních počítačů řady DC nebo EC v rozevíracích seznamech uzlu pracovního procesu a uzlu ovladače. Viz možnosti důvěrného virtuálního počítače Azure.

jednouzlový výpočet

Zaškrtávací políčko Single node umožňuje vytvořit výpočetní zdroj s jedním uzlem.

Výpočetní prostředky s jedním uzlem jsou určené pro úlohy, které používají malé objemy dat nebo nedistribuované úlohy, jako jsou knihovny strojového učení s jedním uzlem. Výpočetní prostředky s více uzly by se měly používat pro větší úlohy s distribuovanými úlohami.

Vlastnosti jednoho uzlu

Výpočetní prostředek s jedním uzlem má následující vlastnosti:

• Spustí Spark místně.
• Řadič funguje jako hlavní i pracovní, bez pracovních uzlů.
• Vytvoří jedno vlákno exekutoru na logické jádro ve výpočetním prostředku minus 1 jádro pro ovladač.
• Uloží všechny výstupy protokolu z stderr, stdout a log4j do protokolu ovladačů.
• Nejde převést na výpočetní prostředek s více uzly.

Výběr jednoho nebo více uzlů

Při rozhodování mezi výpočetními prostředky s jedním nebo více uzly vezměte v úvahu váš případ použití:

• Rozsáhlé zpracování dat vyčerpá prostředky na výpočetním prostředku s jedním uzlem. Pro tyto úlohy doporučuje Databricks používat výpočetní prostředky s více uzly.

• Výpočetní prostředky s jedním uzlem nejsou navržené tak, aby se sdílely. Aby se zabránilo konfliktům prostředků, databricks doporučuje použít výpočetní prostředek s více uzly, když musí být výpočetní prostředky sdíleny.

• Výpočetní prostředek s více uzly nelze škálovat na 0 pracovníků. Místo toho použijte výpočetní prostředky s jedním uzlem.

• Výpočetní prostředky s jedním uzlem nejsou kompatibilní s izolací procesů.

• Plánování GPU není na výpočetních prostředcích s jedním uzlem povolené.

• Na výpočetních prostředcích s jedním uzlem nemůže Spark číst soubory Parquet se sloupcem UDT. Zobrazí se následující chybová zpráva:

  The Spark driver has stopped unexpectedly and is restarting. Your notebook will be automatically reattached.
  

  Chcete-li tento problém vyřešit, zakažte nativní čtečku Parquet:

  spark.conf.set("spark.databricks.io.parquet.nativeReader.enabled", False)
  

Povolení automatického škálování

Když je zaškrtnuto Povolit automatické škálování, můžete zadat minimální a maximální počet pracovníků pro výpočetní prostředek. Databricks pak zvolí odpovídající počet pracovníků potřebných pro spuštění vaší úlohy.

Pokud chcete nastavit minimální a maximální počet pracovních procesů, mezi které bude výpočetní prostředek automaticky škálovat, použijte pole Min a Max vedle rozevíracího seznamu typu pracovního procesu.

Pokud automatické škálování nepovolíte, musíte do pole Pracovní procesy vedle rozevíracího seznamu Typ pracovního procesu zadat pevný počet pracovních procesů.

Poznámka:

Po spuštění výpočetního prostředku se na stránce s podrobnostmi o výpočetním prostředku zobrazí počet přidělených pracovníků. Počet přidělených pracovníků můžete porovnat s konfigurací pracovníků a podle potřeby provádět úpravy.

Výhody automatického škálování

Díky automatickému škálování Azure Databricks dynamicky relokuje pracovní procesy, aby zohlednily charakteristiky vaší úlohy. Některé části vašeho datového toku mohou být výpočetně náročnější než jiné, a proto Databricks při těchto fázích vaší úlohy automaticky přidává další pracovníky (a odstraňuje je, když už nejsou potřeba).

Automatické škálování usnadňuje dosažení vysokého využití, protože nemusíte zřizovat výpočetní prostředky tak, aby odpovídaly úloze. To platí zejména pro úlohy, jejichž požadavky se v průběhu času mění (například zkoumání datové sady v průběhu dne), ale může se také vztahovat na jednorázovou kratší úlohu, jejíž požadavky na zřizování jsou neznámé. Automatické škálování tak nabízí dvě výhody:

• Úlohy můžou běžet rychleji v porovnání s nedostatečně zřízeným výpočetním prostředkem s konstantní velikostí.
• Automatické škálování může snížit celkové náklady v porovnání se staticky velkým výpočetním prostředkem.

V závislosti na konstantní velikosti výpočetního prostředku a úlohy nabízí automatické škálování jednu nebo obě tyto výhody současně. Velikost výpočetních prostředků může být nižší než minimální počet vybraných pracovních procesů, pokud poskytovatel cloudu ukončí instance. V tomto případě Azure Databricks neustále opakuje pokusy o opětovné zřízení instancí, aby se zachoval minimální počet pracovníků.

Poznámka:

Automatické škálování není dostupné pro úlohy spark-submit.

Poznámka:

Automatické škálování má omezení při zmenšování velikosti clusteru u úloh strukturovaného streamování. Databricks doporučuje používat DLT s vylepšeným automatickým škálováním pro úlohy streamování. Viz Optimalizace využití clusterů kanálů DLT s vylepšeným automatickým škálováním.

Jak se chová automatické škálování

Pracovní prostor v plánu Premium využívá optimalizované automatické škálování. Pracovní prostory ve standardním cenovém plánu používají standardní automatické škálování.

Optimalizované automatické škálování má následující charakteristiky:

• Postupně škáluje z minima na maximum ve dvou krocích.
• Můžete vertikálně snížit kapacitu, i když výpočetní prostředek není nečinný, a to tak, že se podíváte na stav shuffle souboru.
• Škáluje se dolů na základě procenta aktuálních uzlů.
• Pokud výpočetní prostředek úlohy není během posledních 40 sekund dostatečně využitý, kapacita se snižuje.
• U všestranných výpočetních prostředků se snižují kapacita, pokud je výpočetní prostředek málo využitý během posledních 150 sekund.
• spark.databricks.aggressiveWindowDownS Vlastnost konfigurace Sparku určuje v sekundách, jak často výpočetní výkon rozhoduje o snížení kapacity. Zvýšení hodnoty způsobí, že se výpočetní výkon zmenšuje pomaleji. Maximální hodnota je 600.

Standardní automatické škálování se používá v pracovních prostorech standardního plánu. Standardní automatické škálování má následující charakteristiky:

• Začne přidáním 8 uzlů. Poté se exponenciálně zvyšuje, podniká tolik kroků, kolik je potřeba k dosažení maxima.
• Sníží se, když 90 % uzlů není zaneprázdněno po dobu 10 minut a výpočetní výkon je nečinný alespoň 30 sekund.
• Exponenciálně se zmenšuje, počínaje 1 uzlem.

Automatické škálování pomocí fondů

Pokud připojujete výpočetní prostředek k fondu, zvažte následující:

• Ujistěte se, že požadovaná velikost výpočetních prostředků je menší nebo rovna minimálnímu počtu nečinných instancí ve fondu. Pokud je větší, doba spuštění výpočtu bude ekvivalentní výpočtu, který nepoužívá žádný fond.

• Ujistěte se, že maximální velikost výpočetního výkonu je menší nebo rovna maximální kapacitě fondu. Pokud je větší, vytváření výpočetního prostředku selže.

Příklad automatického škálování

Pokud změníte konfiguraci statického výpočetního prostředku na automatické škálování, Azure Databricks okamžitě změní velikost výpočetního prostředku v rámci minimální a maximální hranice a pak spustí automatické škálování. Následující tabulka například ukazuje, co se stane s výpočetním prostředkem s určitou počáteční velikostí, pokud překonfigurujete výpočetní prostředek tak, aby se automaticky škálovat mezi 5 a 10 uzly.

Počáteční velikost	Velikost po rekonfiguraci
6	6
12	10
3	5

Pokročilé nastavení výkonu

Následující nastavení se zobrazí v části Pokročilý výkon v jednoduchém výpočetním uživatelském rozhraní.

• Spotové instance
• Spotové Instance
• automatické ukončení
• typ ovladače

spotových instancí

Můžete určit, zda použít spotové instance zaškrtnutím políčka Použít spotové instance v části Pokročilý výkon. Viz spotových cen AWS.

spotové instance

Pro úsporu nákladů můžete vybrat použití spotových instancí, známých také jako Azure Spot VMs, zaškrtnutím políčka Spotové instance.

První instance bude vždy na vyžádání (uzel ovladače je vždy na vyžádání) a následující instance budou spuštěny jako spotové instance.

Pokud se instance vyřazuje z důvodu nedostupnosti, Azure Databricks se pokusí získat nové spotové instance, které nahradí vyřazené instance. Pokud spot instance nelze získat, nasadí se instance na vyžádání k nahrazení vyřazených instancí. Tento okamžitý návrat je podporován pouze pro spotové instance, které byly plně získány a spuštěny. Spotové instance, které selžou během instalace, se nenahradí automaticky.

Kromě toho když se do existujících výpočetních prostředků přidají nové uzly, Azure Databricks se pokusí získat spotové instance pro tyto uzly.

Automatické ukončení

Automatické ukončení výpočetních prostředků můžete nastavit v části Advanced Performance. Během vytváření výpočetních prostředků zadejte období nečinnosti v minutách, po kterém chcete výpočetní prostředek ukončit.

Pokud je rozdíl mezi aktuálním časem a posledním spuštěním příkazu na výpočetním prostředku větší než zadané období nečinnosti, Azure Databricks tento výpočetní výkon automaticky ukončí. Další informace o ukončení výpočetních prostředků najdete v tématu Ukončení výpočetních prostředků.

Typ ovladače

Typ ovladače můžete vybrat v části Advanced Performance. Řídící uzel udržuje informace o stavu všech poznámkových bloků připojených k výpočetnímu prostředku. Uzel ovladače také udržuje SparkContext, interpretuje všechny příkazy, které spouštíte z poznámkového bloku nebo knihovny na výpočetním prostředku, a spouští hlavní server Apache Spark, který koordinuje s exekutory Sparku.

Výchozí hodnota typu uzlu ovladače je stejná jako hodnota typu pracovního uzlu. Pokud plánujete velké collect() množství dat z pracovních procesů Sparku, můžete zvolit větší typ uzlu ovladače s větší pamětí a analyzovat je v poznámkovém bloku.

Tip

Vzhledem k tomu, že uzel ovladače udržuje všechny informace o stavu připojených poznámkových bloků, nezapomeňte odpojit nepoužívané poznámkové bloky z uzlu ovladače.

Značky

Značky umožňují snadno monitorovat náklady na výpočetní prostředky používané různými skupinami ve vaší organizaci. Při vytváření výpočetních prostředků určete značky jako dvojice klíč-hodnota a Azure Databricks tyto značky aplikuje na cloudové prostředky, jako jsou virtuální počítače a diskové svazky, a stejně tak na zprávy o využití DBU.

U výpočetních prostředků spuštěných z fondů se vlastní značky použijí pouze na sestavy využití DBU a nepřenášejí se do cloudových prostředků.

Podrobné informace o tom, jak spolu pracují typy značek pro fondy a výpočet, najdete v tématu Použití atributů pomocí značek

Přidání značek do výpočetního prostředku:

1. V části Značky přidejte pár klíč-hodnota pro každou vlastní značku.
2. Klikněte na tlačítko Přidat.

Upřesňující nastavení

V části Advanced uživatelského rozhraní jednoduchého výpočetního rozhraní formuláře se zobrazí následující nastavení:

• Režimy přístupu
• Povolení automatického škálování místního úložiště
• šifrování místního disku
• Konfigurace Sparku
• přístup SSH k výpočetnímu prostředí
• proměnné prostředí
• Doručení logů výpočtů

Režimy přístupu

Režim přístupu je funkce zabezpečení, která určuje, kdo může výpočetní prostředek používat, a data, ke kterým má přístup pomocí výpočetního prostředku. Každý výpočetní prostředek v Azure Databricks má režim přístupu. Nastavení režimu přístupu najdete v uživatelském rozhraní jednoduchého formuláře v části Pokročilé.

Výchozí nastavení režimu přístupu je automatické, což znamená, že se režim přístupu automaticky vybírá na základě vámi vybraného modulu Databricks Runtime. Moduly runtime strojového učení a moduly Databricks Runtime nižší než 14.3 mají ve výchozím nastavení Dedicated, jinak se používá Standard.

Databricks doporučuje používat standardní režim přístupu pro všechny úlohy. Režim vyhrazeného přístupu používejte jenom v případě, že standardní režim přístupu nepodporuje požadované funkce.

Režim přístupu	Viditelné pro uživatele	Podpora UC	Podporované jazyky	Poznámky
Dedicated (dříve jeden uživatel)	Vždy	Ano	Python, SQL, Scala, R	Může být přiřazen a používán jedním uživatelem nebo skupinou.
Standard (dříve sdílený)	Vždy	Ano	Python, SQL, Scala (na výpočetních prostředcích s podporou katalogu Unity s využitím Databricks Runtime 13.3 LTS a vyšší)	Můžou ho používat více uživatelů s izolací dat mezi uživateli.

Podrobné informace o podpoře funkcí pro každý z těchto režimů přístupu najdete v tématu Omezení režimu přístupu compute proKatalogu Unity .

Poznámka:

Ve verzi Databricks Runtime 13.3 LTS a vyšší jsou inicializační skripty a knihovny podporované všemi režimy přístupu. Požadavky a úrovně podpory se liší. Viz Kde lze inicializační skripty nainstalovat? a výpočetní knihovny.

Povolení automatického škálování místního úložiště

Často může být obtížné odhadnout, kolik místa na disku bude konkrétní úloha trvat. Pokud chcete ušetřit, abyste nemuseli odhadnout, kolik gigabajtů spravovaného disku se má připojit k výpočetním prostředkům při vytváření, Azure Databricks automaticky umožňuje automatické škálování místního úložiště na všech výpočetních prostředcích Azure Databricks.

Díky automatickému škálování místního úložiště azure Databricks monitoruje množství volného místa na disku dostupném u pracovních procesů Spark vašeho výpočetního prostředí. Pokud pracovnímu uzlu dochází místo na disku, Databricks k němu automaticky připojí nový spravovaný disk, než dojde k vyčerpání diskové kapacity. Disky jsou připojené až k limitu 5 TB celkového místa na disku na virtuální počítač (včetně počátečního místního úložiště virtuálního počítače).

Spravované disky připojené k virtuálnímu počítači se odpojily jenom v případech, kdy se virtuální počítač vrátí do Azure. To znamená, že spravované disky se nikdy neodpojí od virtuálního počítače, pokud jsou součástí spuštěného výpočetního prostředí. Pokud chcete snížit využití spravovaných disků, Azure Databricks doporučuje používat tuto funkci ve výpočetních prostředcích nakonfigurovaných s automatickým škálováním výpočetních prostředků nebo automatickým ukončením.

Šifrování místního disku

Důležité

Tato funkce je ve verzi Public Preview.

Některé typy instancí, které používáte ke spouštění výpočetních prostředků, můžou mít místně připojené disky. Azure Databricks může ukládat rozdělovaná data nebo dočasná data na těchto místně připojených discích. Pokud chcete zajistit, aby všechna data uložená v klidu byla zašifrována pro všechny typy úložiště, včetně výpomocných dat uložených dočasně na lokálních discích výpočetního prostředku, můžete povolit šifrování lokálního disku.

Důležité

Vaše pracovní zátěže mohou běžet pomaleji kvůli výkonovému dopadu při čtení a zápisu šifrovaných dat do lokálních svazků a z nich.

Když je povolené šifrování místního disku, Azure Databricks generuje místně šifrovací klíč, který je jedinečný pro každý výpočetní uzel a slouží k šifrování všech dat uložených na místních discích. Rozsah klíče je místní pro každý výpočetní uzel a je zničen spolu s samotným výpočetním uzlem. Během své životnosti se klíč nachází v paměti pro šifrování a dešifrování a je uložen zašifrovaný na disku.

Pokud chcete povolit šifrování místního disku, musíte použít rozhraní API clusterů. Během vytváření nebo úpravy výpočtu nastavte enable_local_disk_encryption na true.

Konfigurace Sparku

Pokud chcete ladit úlohy Sparku, můžete zadat vlastní vlastnosti konfigurace Sparku.

1. Na stránce konfigurace výpočetních prostředků klikněte na přepínač Pokročilé.

2. Klikněte na kartu Spark.

   

   V konfiguraci Spark zadejte vlastnosti konfigurace tak, aby každý řádek obsahoval jeden pár klíč-hodnota.

Při konfiguraci výpočetních prostředků pomocí rozhraní API clusterů nastavte vlastnosti Sparku v poli spark_conf v rozhraní API pro vytvoření clusteru nebo aktualizaci clusteru .

K vynucování konfigurací Sparku na výpočetních prostředcích můžou správci pracovního prostoru používat zásady výpočetních prostředků.

Načtení vlastnosti konfigurace Sparku z tajného kódu

Databricks doporučuje ukládat citlivé informace, jako jsou hesla, v tajném kódu místo prostého textu. Pokud chcete odkazovat na tajný klíč v konfiguraci Sparku, použijte následující syntaxi:

spark.<property-name> {{secrets/<scope-name>/<secret-name>}}

Pokud například chcete nastavit vlastnost konfigurace Sparku s názvem password na hodnotu tajného kódu uloženého v secrets/acme_app/password:

spark.password {{secrets/acme-app/password}}

Další informace najdete v tématu Správa tajemství.

Přístup SSH k výpočetním prostředkům

Z bezpečnostních důvodů se v Azure Databricks ve výchozím nastavení port SSH zavře. Pokud chcete povolit přístup SSH ke svým clusterům Spark, přečtěte si téma SSH k uzlu ovladače.

Poznámka:

SSH je možné povolit jenom v případě, že je váš pracovní prostor nasazený ve vaší vlastní virtuální síti Azure.

Proměnné prostředí

Nakonfigurujte vlastní proměnné prostředí, ke kterým máte přístup z inicializačních skriptů spuštěných na výpočetním prostředku. Databricks také poskytuje předdefinované proměnné prostředí, které můžete použít v inicializačních skriptech. Tyto předdefinované proměnné prostředí nelze přepsat.

1. Na stránce konfigurace výpočetních prostředků klikněte na přepínač Upřesnit.

2. Klikněte na kartu Spark.

3. Nastavte proměnné prostředí v poli Proměnné prostředí.

   

Proměnné prostředí můžete také nastavit pomocí pole spark_env_vars v Vytvořit rozhraní API clusteru nebo Aktualizovat rozhraní API clusteru.

Doručování výpočetních protokolů

Když vytváříte výpočetní kapacitu, můžete určit umístění pro přenášení protokolů pro uzel ovladače Spark, pracovní uzly a události. Protokoly se doručují každých pět minut a archivují se každou hodinu ve zvoleném cíli. Když se výpočetní prostředek ukončí, Azure Databricks zaručuje doručení všech protokolů vygenerovaných až do ukončení výpočetního prostředku.

Cíl protokolů závisí na výpočetním prostředku cluster_id. Pokud je zadaným cílem dbfs:/cluster-log-delivery, budou výpočetní protokoly 0630-191345-leap375 doručeny na dbfs:/cluster-log-delivery/0630-191345-leap375.

Aby bylo možné nakonfigurovat umístění doručení protokolu:

1. Na stránce výpočtu klikněte na přepínač Pokročilé.
2. Klikněte na záložku Logování.
3. Vyberte typ cíle.
4. Zadejte cestu k protokolu výpočtů.

Poznámka:

Tato funkce je také k dispozici v rozhraní REST API. Podívejte se na rozhraní API clusterů.