Delen via

Taakwachtrij in Apache Spark voor Microsoft Fabric

  • Artikel

Van toepassing op:✅ Data-engineer ing en Datawetenschap in Microsoft Fabric

Microsoft Fabric ondersteunt het in de wachtrij plaatsen van achtergrondtaken wanneer u uw Spark-rekenlimieten voor uw Fabric-capaciteit hebt bereikt. Het systeem voor taakwachtrijen biedt automatische nieuwe pogingen voor taken die aan de wachtrij worden toegevoegd totdat ze de vervaldatum van de wachtrij bereiken. Wanneer gebruikers een Microsoft Fabric-capaciteit in Azure maken, kiezen ze een capaciteitsgrootte op basis van de grootte van hun analyseworkload. Nadat de capaciteit is gekocht, kunnen beheerders werkruimten maken binnen de capaciteit in Microsoft Fabric. Spark-taken die in deze werkruimten worden uitgevoerd, kunnen maximaal de maximale kernen gebruiken die zijn toegewezen voor een bepaalde capaciteit. Zodra de maximale limiet is bereikt, worden de taken beperkt of in de wachtrij geplaatst.

Meer informatie over de Spark Gelijktijdigheidslimieten in Microsoft Fabric

Taakwachtrijen worden ondersteund voor notebooktaken die worden geactiveerd door pijplijnen of via de planner, evenals voor Spark-taakdefinities. Wachtrijen worden niet ondersteund voor interactieve notebooktaken en notebooktaken die worden geactiveerd via openbare NOTEBOOK-API.

De wachtrij werkt op een FIFO-manier (First-In-First-Out), waarbij taken worden toegevoegd aan de wachtrij op basis van het tijdstip van indiening en voortdurend opnieuw worden geprobeerd en uitgevoerd wanneer de capaciteit wordt vrijgemaakt.

Notitie

Het in de wachtrij plaatsen van Spark-taken wordt niet ondersteund wanneer uw Fabric-capaciteit de beperkte status heeft. Alle ingediende nieuwe taken worden geweigerd.

Afbeelding met animatie van het proces van het in wachtrij plaatsen van taken in Microsoft Fabric.

Zodra een taak aan de wachtrij is toegevoegd, wordt de status bijgewerkt naar Niet gestart in de Bewakingshub. Notebooks en Spark-taakdefinities wanneer ze worden gekozen uit de wachtrij en beginnen met uitvoeren, wordt de status bijgewerkt van Niet gestart naar Wordt uitgevoerd.

Notitie

De verlooptijd van de wachtrij is 24 uur voor alle taken vanaf het moment dat ze in de wachtrij zijn toegelaten. Zodra de verlooptijd is bereikt, moeten de taken opnieuw worden ingediend.

Wachtrijgrootten

Fabric Spark dwingt wachtrijgrootten af op basis van de capaciteits-SKU-grootte die is gekoppeld aan een werkruimte. Dit biedt een beperkings- en wachtrijmechanisme waar gebruikers taken kunnen verzenden op basis van de aangeschafte fabric-capaciteitS-SKU's.

De volgende sectie bevat verschillende wachtrijgrootten voor Spark-workloads op basis van Microsoft Fabric op basis van de capaciteitS-SKU's:

Infrastructuurcapaciteits-SKU Equivalente Power BI-SKU Wachtrijlimiet
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Evaluatiecapaciteit P1 N.v.t.

Notitie

Wachtrijen worden niet ondersteund voor fabric-proefcapaciteiten. Gebruikers moeten overschakelen naar een betaalde Fabric F- of P-SKU om wachtrijen voor Spark-taken te gebruiken.

Zodra de maximale wachtrijlimiet voor een Infrastructuurcapaciteit is bereikt, worden de nieuwe verzonden taken beperkt met een foutbericht [TooManyRequestsForCapacity] Deze spark-taak kan niet worden uitgevoerd omdat u een spark-reken- of API-frequentielimiet hebt bereikt. Als u deze Spark-taak wilt uitvoeren, annuleert u een actieve Spark-taak via de bewakingshub, kiest u een grotere capaciteits-SKU of probeert u het later opnieuw. HTTP-statuscode: 430 {Learn more} HTTP-statuscode: 430.

Gerelateerde inhoud