Del via

Jobkø i Apache Spark til Microsoft Fabric

  • Artikel

Gælder for:✅ Dataudvikler ing og datavidenskab i Microsoft Fabric

Microsoft Fabric understøtter kø af baggrundsjob, når du har nået dine Spark-beregningsgrænser for din Fabric-kapacitet. Jobkøsystemet tilbyder automatiske forsøg på job, der føjes til køen, indtil de når køens udløb. Når brugerne opretter en Microsoft Fabric-kapacitet på Azure, vælger de en kapacitetsstørrelse baseret på størrelsen af deres analysearbejdsbelastning. Når administratorer har købt kapaciteten, kan de oprette arbejdsområder i kapaciteten i Microsoft Fabric. Spark-job, der kører i disse arbejdsområder, kan bruge op til det maksimale antal kerner, der er allokeret til en given kapacitet, og når den maksimale grænse er nået, begrænses jobbene enten eller sættes i kø.

Få mere at vide om Spark-samtidighedsgrænserne i Microsoft Fabric

Jobkøering understøttes for notebookjob, der udløses af pipelines eller via planlæggeren, samt for Spark-jobdefinitioner. Kø understøttes ikke for interaktive notesbogjob og notesbogjob, der udløses via den offentlige API til notesbogen.

Køen fungerer på en FIFO-måde (First-In-First-Out), hvor job føjes til køen baseret på tidspunktet for deres indsendelse og konstant forsøges og begynder at køre, når kapaciteten frigøres.

Bemærk

Kø af Spark-job understøttes ikke, når din Fabric-kapacitet er i begrænset tilstand. Alle nye job, der er indsendt, afvises.

Animeret illustration af processen med jobkø i Microsoft Fabric.

Når et job er føjet til køen, opdateres dets status til Ikke startet i overvågningshubben. Notesbøger og Spark-jobdefinitioner, når de bliver valgt fra køen og begynder at køre, opdateres deres status fra Ikke startet til I gang.

Bemærk

Køudløb er 24 timer for alle job fra det tidspunkt, de blev optaget i køen. Når udløbstiden er nået, skal jobbene sendes igen.

Køstørrelser

Fabric Spark gennemtvinger køstørrelser baseret på den kapacitets-SKU-størrelse, der er knyttet til et arbejdsområde, hvilket giver en begrænsnings- og kømekanisme, hvor brugerne kan indsende job baseret på de købte SKU'er for Fabric-kapacitet.

I følgende afsnit vises forskellige køstørrelser for Spark-arbejdsbelastninger, der er baseret på Microsoft Fabric baseret på kapacitets-SKU'erne:

Sku'en for stofkapacitet Tilsvarende Power BI-SKU Køgrænse
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Prøveversionskapacitet P1 I/T

Bemærk

Køering understøttes ikke for Fabric-prøvekapaciteter. Brugerne skal skifte til en betalt Fabric F- eller P-SKU for at bruge kø til Spark-job.

Når den maksimale køgrænse er nået for en Fabric-kapacitet, begrænses de nye job, der er sendt, med en fejlmeddelelse [TooManyRequestsForCapacity] Dette sparkjob kan ikke køres, fordi du har nået en grænse for spark-beregnings- eller API-hastighed. Hvis du vil køre dette sparkjob, skal du annullere et aktivt Spark-job via overvågningshubben, vælge en SKU med større kapacitet eller prøve igen senere. HTTP-statuskode: 430 {Få mere at vide} HTTP-statuskode: 430.

Relateret indhold