Jobbkø i Apache Spark for Microsoft Fabric
Gjelder for:✅ Dataingeniør ing og datavitenskap i Microsoft Fabric
Microsoft Fabric støtter kø av bakgrunnsjobber når du har nådd Spark-databehandlingsgrensene for Fabric-kapasiteten. Jobbkøsystemet tilbyr automatiske nye forsøk for jobber som legges til i køen til de når køutløpet. Når brukere oppretter en Microsoft Fabric-kapasitet på Azure, velger de en kapasitetsstørrelse basert på størrelsen på analysearbeidsbelastningen. Når du har kjøpt kapasiteten, kan administratorer opprette arbeidsområder i kapasiteten i Microsoft Fabric. Spark-jobber som kjører i disse arbeidsområdene, kan bruke opptil de maksimale kjernene som er tildelt for en gitt kapasitet, og når den maksimale grensen er nådd, blir jobbene enten begrenset eller i kø.
Mer informasjon om Spark Concurrency-grenser i Microsoft Fabric
Jobbkø støttes for notatblokkjobber som utløses av datasamlebånd eller gjennom planleggeren, samt for Spark-jobbdefinisjoner. Kø støttes ikke for interaktive notatblokkjobber og notatblokkjobber som utløses gjennom den offentlige API-en for notatblokken.
Køen fungerer på en fifo-måte (First-In-First-Out), der jobber legges til i køen basert på tidspunktet for innsendingen, og prøves kontinuerlig på nytt og begynner å kjøre når kapasiteten frigjøres.
Merk
Kø av Spark-jobber støttes ikke når Fabric-kapasiteten er i begrenset tilstand. Alle nye jobber som sendes inn, vil bli avvist.
Når en jobb legges til i køen, oppdateres statusen til Ikke startet i overvåkingshuben. Notatblokker og sparkjobbdefinisjoner når de blir plukket ut fra køen og begynner å kjøre, oppdateres statusen fra Ikke startet til pågår.
Merk
Køutløp er 24 timer for alle jobber fra tidspunktet de ble lagt inn i køen. Når utløpstiden er nådd, må jobbene sendes inn på nytt.
Køstørrelser
Fabric Spark fremtvinger køstørrelser basert på SKU-størrelsen på kapasiteten som er knyttet til et arbeidsområde, og gir en begrensnings- og kømekanisme der brukere kan sende inn jobber basert på SKU-ene med kjøpt stoffkapasitet.
Den følgende delen viser ulike køstørrelser for Spark-arbeidsbelastninger basert på Microsoft Fabric basert på SKU-ene for kapasitet:
| SKU for stoffkapasitet | Tilsvarende Power BI SKU | Køgrense |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Prøveversjonskapasitet | P1 | Ikke tilgjengelig |
Merk
Kø støttes ikke for prøveversjonskapasiteten Fabric. Brukere må bytte til en betalt Fabric F eller P SKU for å bruke kø for Spark-jobber.
Når den maksimale køgrensen er nådd for en Fabric-kapasitet, vil de nye jobbene som sendes inn, bli begrenset med en feilmelding [TooManyRequestsForCapacity] Denne spark-jobben kan ikke kjøres fordi du har nådd en spark-databehandling eller API-rentegrense. Hvis du vil kjøre denne spark-jobben, må du avbryte en aktiv Spark-jobb gjennom overvåkingshuben, velge en SKU med større kapasitet eller prøve på nytt senere. HTTP-statuskode: 430 {Mer informasjon} HTTP-statuskode: 430.
Relatert innhold
- Finn ut mer om fakturering og bruk for Spark i Microsoft Fabric.
- Lær om Spark-databehandlingen for datateknikk og datavitenskapsopplevelser i Fabric .