Toegang tot taken in Apache Spark voor Microsoft Fabric

Van toepassing op:✅ Data-engineer ing en Datawetenschap in Microsoft Fabric

Apache Spark for Fabric maakt gebruik van de optimistische taak toegangstechniek om de minimale kernvereiste voor Spark-taken te bepalen. Dit proces is van toepassing op interactieve of batchtaken van notebooks, lakehouses of Spark-taakdefinities. Het is afhankelijk van de minimale knooppuntinstelling van de gekozen Spark-pool in de werkruimte-instellingen of gekoppelde omgeving. Als er beschikbare kernen worden gevonden in de Infrastructuurcapaciteit die is gekoppeld aan de werkruimte, wordt de taak geaccepteerd en wordt de uitvoering gestart. Taken worden gestart met hun minimale knooppuntinstelling en kunnen omhoog worden geschaald binnen hun maximale knooppuntlimieten volgens taakfasen. Als de totale kernen die worden gebruikt door het uitvoeren van taken die gebruikmaken van de Infrastructuurcapaciteit onder de maximale burst-kernen valt die zijn toegewezen, kan de taak omhoog worden geschaald door de taak toegangs- en beperkingslaag in Fabric Spark.

Zie Gelijktijdigheidslimieten en wachtrijen in Microsoft Fabric Spark voor meer informatie.

Hoe werkt optimistische toegang tot taken?

In Fabric worden starterspools geleverd met een standaard minimum van één knooppunt, terwijl u met aangepaste pools minimale knooppunten kunt instellen op basis van workloadbehoeften. Met automatisch schalen worden de rekenvereisten voor Spark-taken aangepast tijdens de uitvoeringsfasen, binnen de geconfigureerde minimum- en maximumknooppunten. Optimistische taaktoekenning evalueert taakinzendingen op basis van beschikbare kernen en voert deze uit met minimale kernen. Taken proberen te groeien op basis van maximaal toegewezen knooppunten tijdens de uitvoering. Aanvragen voor omhoog schalen worden goedgekeurd als het totale aantal Gebruikte Spark-kernen binnen de toegewezen capaciteitslimieten valt.

Notitie

Als het gebruik de maximumlimiet bereikt en alle kernen binnen de totale capaciteit voor Fabric in gebruik zijn, worden eventuele opschaalaanvragen geweigerd. Actieve taken moeten worden voltooid of geannuleerd om kerngeheugens vrij te maken.

Hoe is dit van invloed op gelijktijdigheid van taken?

De minimale kernvereiste voor elke taak bepaalt of de taak kan worden geaccepteerd. Als de capaciteit volledig wordt gebruikt en geen kernen meer heeft om te voldoen aan de minimale kernbehoeften van een taak, wordt de taak geweigerd. Interactieve notebooktaken of Lakehouse-bewerkingen worden geblokkeerd met een foutbericht dat deze aanvraag niet kan worden ingediend omdat alle beschikbare capaciteit momenteel wordt gebruikt. Annuleer een actieve taak, verhoog de beschikbare capaciteit of probeer het later opnieuw. Batchtaken worden in de wachtrij geplaatst en uitgevoerd zodra kernen beschikbaar zijn.

Denk bijvoorbeeld aan een scenario met een gebruiker die gebruikmaakt van de infrastructuur-F32-capaciteits-SKU. Ervan uitgaande dat alle taken gebruikmaken van de standaardinstallatie van een starterspool zonder optimistische toegang tot taken, biedt de capaciteit ondersteuning voor een maximale gelijktijdigheid van drie taken. Het maximum aantal kernen per taak wordt toegewezen volgens de configuratie van de maximale knooppunten.

Met optimistische taakopname met dezelfde capaciteit als hierboven kunnen 24 taken worden toegelaten en uitgevoerd met behulp van hun minimale knooppuntconfiguratie tijdens het scenario voor maximale gelijktijdigheid. Omdat voor elke taak 8 Spark-VCores zijn vereist, waarbij één minimale knooppuntconfiguratie gemiddeld is.

Taken schalen met automatische schaalaanpassing van Spark

Wanneer u automatische schaalaanpassing inschakelt voor Spark-pools, worden taken uitgevoerd met hun minimale knooppuntconfiguratie. Tijdens runtime kan het schalen plaatsvinden. Deze aanvragen doorlopen het toegangsbeheer voor taken. Goedgekeurde aanvragen worden omhoog geschaald tot de maximumlimieten op basis van het totale aantal beschikbare kernen. Geweigerde aanvragen hebben geen invloed op actieve taken; ze blijven worden uitgevoerd met hun huidige configuratie totdat kernen beschikbaar zijn.

Notitie

Als u de maximale kerntoewijzing voor een taak wilt garanderen volgens de configuratie van de maximale knooppunten, schakelt u automatische schaalaanpassing uit en stelt u de maximale knooppunten in de SKU van de infrastructuurcapaciteit in. Omdat de taak geen minimale kernvereiste heeft, wordt deze uitgevoerd zodra er gratis kerngeheugens beschikbaar zijn, waarbij u omhoog kunt schalen naar het geconfigureerde totaal. Als de capaciteit volledig wordt gebruikt, kunnen interactieve notebooktaken worden vertraagd of in de wachtrij geplaatst. Taken in de wachtrij worden automatisch opnieuw geprobeerd zodra er kernen beschikbaar komen.

Gerelateerde inhoud

• Aan de slag met beheerinstellingen voor Spark-werkruimten in Microsoft Fabric.
• Meer informatie over Spark Compute voor Fabric data engineering en data science.
• Meer informatie over de gelijktijdigheids- en wachtrijlimieten voor Fabric Spark.