Accodamento di processi in Apache Spark per Microsoft Fabric
Si applica a:✅ ingegneria dei dati e data science in Microsoft Fabric
Microsoft Fabric supporta l’accodamento di processi in background quando sono stati raggiunti i limiti di calcolo di Spark per la capacità di Fabric. Il sistema di accodamento dei processi offre nuovi tentativi automatici per i processi aggiunti alla coda fino a quando non raggiungono la scadenza della coda. Quando gli utenti creano una capacità di Microsoft Fabric in Azure, scelgono una dimensione della capacità in base alle dimensioni del carico di lavoro di analisi. Dopo aver acquistato la capacità, gli amministratori possono creare aree di lavoro all'interno della capacità in Microsoft Fabric. I processi Spark eseguiti all'interno di queste aree di lavoro possono usare fino al numero massimo di core allocati per una determinata capacità e una volta raggiunto il limite massimo i processi vengono limitati o accodati.
Altre informazioni sui limiti di concorrenza di Spark in Microsoft Fabric
L’accodamento dei processi è supportato per i processi notebook attivati da pipeline o tramite l'utilità di pianificazione, nonché per le definizioni processo Spark. L’accodamento non è supportato per processi notebook interattivi e i processi notebook attivati tramite l'API pubblica del notebook.
La coda opera in modalità FIFO (First-In-First-Out), dove i processi vengono aggiunti alla coda in base all’ora di invio e vengono continuamente ritentati e iniziano l'esecuzione quando la capacità viene liberata.
Nota
L’accodamento dei processi Spark non è supportato quando la capacità di Fabric è nello stato limitato. Tutti i nuovi processi inviati verranno rifiutati.
Dopo l’aggiunta di un processo alla coda, lo stato viene aggiornato a Non avviato nell'hub di monitoraggio. Quando i notebook e le definizioni processo Spark vengono scelti dalla coda e iniziano l'esecuzione, il relativo stato viene aggiornato da Non avviato a In corso.
Nota
La scadenza della coda è di 24 ore per tutti i processi dal momento in cui sono stati ammessi nella coda. Una volta raggiunta la scadenza, i processi dovranno essere inviati di nuovo.
Dimensioni della coda
Fabric Spark applica le dimensioni della code in base alle dimensioni dello SKU di capacità associato a un'area di lavoro, fornendo un meccanismo di limitazione e accodamento in cui gli utenti possono inviare processi in base agli SKU di capacità di Fabric acquistati.
La sezione seguente elenca varie dimensioni della coda per i carichi di lavoro Spark basati su Microsoft Fabric in base agli SKU di capacità:
| SKU di capacità di Fabric | SKU di Power BI equivalente | Limite della coda |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Capacità della versione di valutazione | P1 | ND |
Nota
L’accodamento non è supportato per le capacità di valutazione di Fabric. Gli utenti devono passare a uno SKU F o P di Fabric a pagamento per usare l’accodamento per i processi Spark.
Una volta raggiunto il limite massimo della coda per una capacità di Fabric, i nuovi processi inviati verranno limitati con un messaggio di errore [TooManyRequestsForCapacity] Questo processo Spark non può essere eseguito perché è stato raggiunto un limite di calcolo Spark o di frequenza API. Per eseguire questo processo Spark, annullare un processo Spark attivo tramite l'hub di monitoraggio, scegliere uno SKU di capacità superiore o riprovare più tardi. Codice di stato HTTP: 430 {Learn more} Codice di stato HTTP: 430.
Contenuto correlato
- Informazioni su Fatturazione e utilizzo per Spark in Microsoft Fabric.
- Informazioni sulle esperienze di ingengeria dei dati e data science dell’ambiente di calcolo Spark per Fabric.