Přístup k úloze v Apache Sparku pro Microsoft Fabric

Platí pro:✅ Datoví technici ing a Datová Věda v Microsoft Fabric

Apache Spark for Fabric využívá metodu přístupu k optimistické úloze k určení minimálního základního požadavku na úlohy Sparku. Tento proces se vztahuje na interaktivní nebo dávkové úlohy z poznámkových bloků, jezer nebo definic úloh Sparku. Závisí na minimálním nastavení uzlu zvoleného fondu Sparku v nastavení pracovního prostoru nebo připojeném prostředí. Pokud jsou dostupná jádra v kapacitě Fabric propojená s pracovním prostorem, úloha se přijme a zahájí provádění. Úlohy se spouští s minimálním nastavením uzlu a můžou vertikálně navýšit kapacitu v rámci maximálních limitů uzlů podle jednotlivých fází úlohy. Pokud jsou celková jádra používaná spuštěnými úlohami využívajícími kapacitu Prostředků infrastruktury nižší než maximální přiřazená jádra s nárůstem kapacity, umožní to vertikálně navýšit kapacitu úlohy a vrstvy omezování ve Službě Fabric Spark.

Další informace najdete v tématu Omezení souběžnosti a zařazení do fronty v Microsoft Fabric Sparku.

Jak funguje optimistická přístupová úloha?

V prostředcích infrastruktury jsou počáteční fondy součástí výchozího minimálního počtu jednoho uzlu, zatímco vlastní fondy umožňují nastavit minimální uzly na základě potřeb úloh. Automatické škálování upravuje požadavky na výpočetní prostředky pro úlohy Sparku během fází provádění v rámci nakonfigurovaných minimálních a maximálních uzlů. Optimistické přijetí úlohy vyhodnocuje odesílání úloh na základě dostupných jader a provádí je s minimálními jádry. Úlohy se během provádění pokusí zvětšit na základě maximálního přiděleného uzlu. Žádosti o vertikální navýšení kapacity se schvalují, pokud jsou celková používaná jádra Sparku v rámci přidělených limitů kapacity.

Poznámka:

Pokud využití dosáhne maximálního limitu a všechna jádra v celkové kapacitě prostředků infrastruktury se používají, všechny požadavky na vertikální navýšení kapacity se zamítnou. Aktivní úlohy se musí buď dokončit, nebo je zrušit, aby se uvolnila jádra.

Jaký vliv to má na souběžnost úloh?

Minimální požadavek na jádro pro každou úlohu určuje, jestli lze úlohu přijmout. Pokud je kapacita plně využitá a nemá žádná jádra, aby splňovala minimální potřeby jádra úlohy, úloha se odmítne. Interaktivní úlohy poznámkového bloku nebo operace Lakehouse se zablokují s chybovou zprávou Nejde odeslat tento požadavek, protože se aktuálně používá všechna dostupná kapacita. Zrušte aktuálně spuštěnou úlohu, zvyšte dostupnou kapacitu nebo akci opakujte později. Dávkové úlohy se zařadí do fronty a spustí se po zpřístupnění jader.

Představte si například scénář s uživatelem, který využívá skladovou položku kapacity Fabric F32. Za předpokladu, že všechny úlohy používají výchozí počáteční nastavení fondu bez optimistického přístupu úlohy, kapacita by podporovala maximální souběžnost tří úloh. Maximální počet jader na úlohu se přiděluje podle konfigurace maximálního počtu uzlů.

Při optimistickém přístupu úlohy se stejnou kapacitou jako výše je možné povolit a spustit 24 úloh pomocí minimální konfigurace uzlu během scénáře maximální souběžnosti. Vzhledem k tomu, že každá úloha vyžaduje 8 virtuálních jader Sparku, kde jedna minimální konfigurace uzlu má střední velikost.

Škálování úloh pomocí automatického škálování Sparku

Když povolíte automatické škálování pro fondy Sparku, úlohy se spouštějí s minimální konfigurací uzlu. Během běhu může dojít ke škálování. Tyto žádosti procházejí řízením přístupu k úlohám. Schválené žádosti vertikálně navyšují maximální limity na základě celkového dostupného počtu jader. Odmítnuté žádosti nemají vliv na aktivní úlohy; budou dál spouštět s aktuální konfigurací, dokud nebudou k dispozici jádra.

Poznámka:

Pokud chcete zajistit maximální přidělení jader pro úlohu podle konfigurace maximálního počtu uzlů, zakažte automatické škálování a nastavte maximální počet uzlů v rámci skladové položky kapacity Fabric. V tomto případě, protože úloha nemá žádný minimální požadavek na jádro, začne běžet, jakmile jsou k dispozici bezplatná jádra, vertikálně navyšte kapacitu na nakonfigurovaný součet. Pokud se kapacita plně používá, interaktivní úlohy poznámkového bloku můžou zpomalit nebo se zařadí do fronty. Úlohy ve frontě se automaticky opakuje, jakmile budou k dispozici jádra.

Související obsah

• Začínáme s nastavením správy pracovního prostoru Sparku v Microsoft Fabric
• Seznamte se s výpočetními prostředky Sparku pro přípravu dat v prostředcích infrastruktury a datových vědách.
• Přečtěte si další informace o limitech souběžnosti a zařazení do fronty pro Fabric Spark.