Referenční informace ke konfiguraci fondu

Tento článek popisuje dostupná nastavení při vytváření fondu pomocí uživatelského rozhraní. Informace o použití rozhraní příkazového řádku Databricks k vytvoření fondu najdete v tématu Příkazy rozhraní příkazového řádku Databricks. Informace o použití rozhraní REST API k vytvoření fondu najdete v rozhraní API fondů instancí.

Poznámka:

Pokud vaše úloha podporuje bezserverové výpočetní prostředky, doporučuje Databricks místo fondů používat bezserverové výpočetní prostředky, aby využívala škálovatelné výpočetní prostředky s nepřetržitým provozem. Viz Připojení k výpočetním prostředkům bez serveru.

Velikost fondu

Při vytváření fondu můžete nastavit tři parametry: minimální nečinné instance, maximální kapacita a automatické ukončení nečinné instance.

Minimální počet nečinných instancí

Minimální početinstancích Tyto instance se neukončí bez ohledu na nastavení automatického ukončení. Pokud cluster využívá nečinné instance z fondu, Azure Databricks zřídí další instance, aby se zachovalo minimum.

Maximální kapacita

Maximální počet instancí, které fond může zřídit. Pokud je nastavená, tato hodnota omezuje všechny instance (nečinné + použité). Pokud cluster využívající fond vyžaduje více instancí, než je toto číslo během automatického škálování, požadavek selže s chybou INSTANCE_POOL_MAX_CAPACITY_FAILURE .

Tato konfigurace je volitelná. Azure Databricks doporučuje nastavit hodnotu pouze za následujících okolností:

• Máte kvótu instance, ve které musíte zůstat.
• Chcete chránit jednu sadu práce před dopadem na jinou sadu práce. Předpokládejme například, že kvóta vaší instance je 100 a máte týmy A a B, které potřebují spouštět úlohy. Můžete vytvořit fond A s maximálním limitem 50 a fondem B s maximálním 50, aby dva týmy sdílely kvótu 100.
• Potřebujete zasadit náklady.

Automatické ukončení nečinné instance

Doba v minutách nad hodnotou nastavenou v minimálních nečinných instancích , které mohou být instance nečinné před ukončením fondu.

Typy instancí

Fond se skládá z nečinných instancí, které jsou připravené pro nové clustery a instance používané spouštěním clusterů. Všechny tyto instance mají stejný typ zprostředkovatele instance, který je vybraný při vytváření fondu.

Typ instance fondu nelze upravit. Clustery připojené k fondu používají stejný typ instance pro ovladače a pracovní uzly. Různé rodiny typů instancí odpovídají různým případům použití, jako jsou úlohy náročné na paměť nebo úlohy náročné na výpočetní výkon.

Azure Databricks vždy poskytuje oznámení o vyřazení jednoho roku před ukončením podpory pro typ instance.

Poznámka:

Pokud vaše požadavky na zabezpečení zahrnují izolaci výpočetních prostředků, vyberte jako typ pracovního procesu Standard_F72s_V2 instanci. Tyto typy instancí představují izolované virtuální počítače, které spotřebovávají celého fyzického hostitele a poskytují potřebnou úroveň izolace potřebné pro podporu, například úlohy ministerstva obrany USA (IL5).

Předem načtená verze Databricks Runtime

Spuštění clusteru můžete urychlit výběrem verze Databricks Runtime, která se načte v nečinných instancích ve fondu. Pokud uživatel vybere tento modul runtime při vytváření clusteru zálohovaného fondem, spustí se tento cluster ještě rychleji než cluster s podporou fondu, který nepoužívá předem načtenou verzi Databricks Runtime.

Když tuto možnost nastavíte na Žádné , zpomalí se spuštění clusteru, protože verze Databricks Runtime se stáhne na vyžádání do nečinných instancí ve fondu. Když cluster uvolní instance ve fondu, zůstane verze Databricks Runtime uložená v mezipaměti těchto instancí. Další operace vytvoření clusteru, která používá stejnou verzi Databricks Runtime, může být výhodou tohoto chování při ukládání do mezipaměti, ale není zaručeno.

Předem načtená image Dockeru

Image Dockeru se podporují s fondy, pokud k vytvoření fondu použijete rozhraní API pro fondy instancí.

Značky fondu

Značky fondů umožňují snadno monitorovat náklady na cloudové prostředky používané různými skupinami ve vaší organizaci. Značky můžete zadat jako páry klíč-hodnota při vytváření fondu a Azure Databricks tyto značky použije na cloudové prostředky, jako jsou virtuální počítače a diskové svazky, a také sestavy využití DBU.

Pro usnadnění přístupu azure Databricks použije pro každý fond tři výchozí značky: Vendor, DatabricksInstancePoolIda DatabricksInstancePoolCreatorId. Vlastní značky můžete přidat také při vytváření fondu. Můžete přidat až 41 vlastních značek.

Vlastní značky

Pokud chcete do fondu přidat další značky, přejděte na kartu Karty v dolní části stránky Vytvořit fond. Klikněte na tlačítko + Přidat a zadejte dvojici klíč-hodnota.

Clustery založené na fondu dědí výchozí a vlastní značky z konfigurace fondu. Podrobné informace o tom, jak značky fondu a značky clusteru spolupracují, najdete v tématu Monitorování využití pomocí značek.

Automatické škálování místního úložiště

Často může být obtížné odhadnout, kolik místa na disku bude konkrétní úloha trvat. Azure Databricks automaticky umožňuje automatické škálování místního úložiště ve všech fondech Azure Databricks, abyste nemuseli odhadnout, kolik gigabajtů spravovaného disku se má připojit k vašemu fondu.

Díky automatickému škálování místního úložiště azure Databricks monitoruje množství volného místa na disku dostupném v instancích vašeho fondu. Pokud instance běží na disku příliš málo, je nový spravovaný disk připojen automaticky před vyčerpáním místa na disku. Disky jsou připojené až k limitu 5 TB celkového místa na disku na virtuální počítač (včetně počátečního místního úložiště virtuálního počítače).

Spravované disky připojené k virtuálnímu počítači se odpojily jenom v případech, kdy se virtuální počítač vrátí do Azure. To znamená, že spravované disky se nikdy neodpojily od virtuálního počítače, pokud je součástí fondu.

Spotové instance

Pokud chcete ušetřit náklady, můžete se rozhodnout použít spotové instance tak, že zaškrtnete přepínač Všechny spoty.

Clustery ve fondu se spustí s spotovými instancemi pro všechny uzly, ovladače a pracovní procesy (na rozdíl od hybridních pracovních procesů na vyžádání a pracovních procesů spotových instancí pro clustery bez fondu).

Pokud jsou spotové instance vyřazeny z důvodu nedostupnosti, instance na vyžádání nenahrazovat vyřazené instance.