Jobbköer i Apache Spark för Microsoft Fabric
Gäller för:✅ Dataingenjör ing och Datavetenskap i Microsoft Fabric
Microsoft Fabric stöder köning av bakgrundsjobb när du har nått dina Spark-beräkningsgränser för din Infrastrukturkapacitet. Jobbkösystemet erbjuder automatiska återförsök för jobb som läggs till i kön tills de når köns förfallodatum. När användarna skapar en Microsoft Fabric-kapacitet i Azure väljer de en kapacitetsstorlek baserat på storleken på deras analysarbetsbelastning. När du har köpt kapaciteten kan administratörer skapa arbetsytor i kapaciteten i Microsoft Fabric. Spark-jobb som körs på dessa arbetsytor kan använda upp till maximalt antal kärnor som allokerats för en viss kapacitet, och när maxgränsen har nåtts begränsas eller placeras jobben i kö.
Läs mer om Spark Concurrency Limits i Microsoft Fabric
Jobbköer stöds för notebook-jobb som utlöses av pipelines eller via schemaläggaren, samt för Spark-jobbdefinitioner. Köning stöds inte för interaktiva notebook-jobb och notebook-jobb som utlöses via offentliga API för notebook-filer.
Kön fungerar på ett FIFO-sätt (First-In-First-Out), där jobb läggs till i kön baserat på tidpunkten för sändningen och ständigt görs om och börjar köras när kapaciteten frigörs.
Kommentar
Köning av Spark-jobb stöds inte när din Infrastrukturkapacitet är i sitt begränsade tillstånd. Alla nya jobb som skickas avvisas.
När ett jobb har lagts till i kön uppdateras dess status till Inte startad i övervakningshubben. Notebook-filer och Spark-jobbdefinitioner när de plockas från kön och börjar köras uppdateras deras status från Inte igång till Pågår.
Kommentar
Köns giltighetstid är 24 timmar för alla jobb från den tidpunkt då de togs in i kön. När förfallotiden har nåtts måste jobben skickas på nytt.
Köstorlekar
Fabric Spark tillämpar köstorlekar baserat på den kapacitets-SKU-storlek som är kopplad till en arbetsyta, vilket ger en begränsnings- och kömekanism där användare kan skicka jobb baserat på de köpta SKU:erna för Infrastrukturkapacitet.
I följande avsnitt visas olika köstorlekar för Spark-arbetsbelastningar baserat på Microsoft Fabric baserat på kapacitets-SKU:er:
| SKU för infrastrukturkapacitet | Motsvarande Power BI SKU | Kögräns |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Utvärderingskapacitet | P1 | NA |
Kommentar
Köning stöds inte för utvärderingskapacitet för infrastrukturresurser. Användarna skulle behöva byta till en betald Infrastrukturresurs F eller P SKU för att använda köning för Spark-jobb.
När den maximala kögränsen har nåtts för en Infrastrukturkapacitet begränsas de nya jobb som skickas med ett felmeddelande [TooManyRequestsForCapacity] Det här sparkjobbet kan inte köras eftersom du har nått en gräns för spark-beräkning eller API-hastighet. Om du vill köra spark-jobbet avbryter du ett aktivt Spark-jobb via övervakningshubben, väljer en större kapacitets-SKU eller försöker igen senare. HTTP-statuskod: 430 {Läs mer} HTTP-statuskod: 430.
Relaterat innehåll
- Lär dig mer om fakturering och användning för Spark i Microsoft Fabric.
- Lär dig mer om Spark-beräkning för infrastrukturresursers datateknik och datavetenskapsupplevelser.