Freigeben über

Auftragswarteschlange in Apache Spark für Microsoft Fabric

  • Artikel

Gilt für:✅ Datentechnik und Data Science in Microsoft Fabric

Microsoft Fabric unterstützt die Einreihung von Hintergrundaufträgen in eine Warteschlange, wenn Sie die Spark-Berechnungsgrenzen für Ihre Fabric-Kapazität erreicht haben. Das Warteschlangensystem bietet automatische Wiederholungsversuche für Aufträge, die in die Warteschlange aufgenommen werden, bis sie das Ende der Warteschlange erreichen. Wenn Benutzer eine Microsoft Fabric-Kapazität auf Azure erstellen, wählen sie eine Kapazitätsgröße, die auf der Größe ihres Analyse-Workloads basiert. Nach dem Erwerb der Kapazität können Administrator*innen Arbeitsbereiche innerhalb der Kapazität in Microsoft Fabric erstellen. Spark-Aufträge, die in diesen Arbeitsbereichen ausgeführt werden, können die maximale Anzahl von Kernen nutzen, die für eine bestimmte Kapazität zugewiesen wurden. Wenn die maximale Grenze erreicht ist, werden die Aufträge entweder gedrosselt oder in eine Warteschlange gestellt.

Erfahren Sie mehr über die Parallelitätsgrenzen von Spark in Microsoft Fabric

Auftragswarteschlangen werden für Notebook-Aufträge, die von Pipelines oder über den Scheduler ausgelöst werden, sowie für Spark-Auftragsdefinitionen unterstützt. Das Einreihen in die Warteschlange wird für interaktive Notebookaufträge und Notebookaufträge, die über die öffentliche Notebook-API ausgelöst werden, nicht unterstützt.

Die Warteschlange arbeitet nach dem FIFO-Prinzip (First-In-First-Out), d. h., die Aufträge werden entsprechend dem Zeitpunkt ihrer Einreichung in die Warteschlange aufgenommen und ständig wiederholt und ausgeführt, sobald die Kapazität wieder frei ist.

Hinweis

Das Einreihen in die Warteschlange von Spark-Aufträgen wird nicht unterstützt, wenn sich die Fabric-Kapazität im gedrosselten Zustand befindet. Alle übermittelten neuen Aufträge werden abgelehnt.

Animierte Darstellung des Prozesses der Auftragswarteschlange in Microsoft Fabric.

Sobald ein Auftrag in die Warteschlange aufgenommen wurde, wird sein Status in der Überwachungszentrale auf Nicht gestartet aktualisiert. Wenn Notebooks und Spark-Auftragsdefinitionen aus der Warteschlange ausgewählt werden und mit der Ausführung beginnen, wird ihr Status von Nicht gestartet auf In Bearbeitung aktualisiert.

Hinweis

Der Ablauf der Warteschlange beträgt für alle Aufträge 24 Stunden ab dem Zeitpunkt, zu dem sie in die Warteschlange aufgenommen wurden. Nach Ablauf der Frist müssen die Aufträge erneut eingereicht werden.

Warteschlangengrößen

Fabric Spark erzwingt Warteschlangengrößen basierend auf der Kapazitäts-SKU-Größe, die einem Arbeitsbereich zugeordnet ist, und bietet einen Drosselungs- und Warteschlangenmechanismus, bei dem Benutzer Aufträge basierend auf den erworbenen Fabric-Kapazitäts-SKUs einreichen können.

Im folgenden Abschnitt werden verschiedene Warteschlangengrößen für Spark-Workloads auf der Basis von Microsoft Fabric auf der Grundlage der Kapazitäts-SKUs aufgeführt:

Fabric-Kapazitäts-SKU Entsprechende Power BI-SKU Warteschlangenlimit
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Testkapazität P1 NV

Hinweis

Warteschlange wird für Fabric-Testkapazitäten nicht unterstützt. Benutzer*innen müssten zu einer kostenpflichtigen Fabric F- oder P-SKU wechseln, um die Warteschlangenfunktion für Spark-Aufträge nutzen zu können.

Nach Erreichen der Warteschlangen-Obergrenze für eine Fabric-Kapazität werden die übermittelten neuen Aufträge gedrosselt, und es wird folgende Fehlermeldung angezeigt: [TooManyRequestsForCapacity] Dieser Spark-Auftrag kann nicht ausgeführt werden, weil Sie einen Grenzwert für die Compute- oder API-Rate von Spark erreicht haben. Zur Ausführung dieses Spark-Auftrags brechen Sie einen aktiven Spark-Auftrag über den Monitoring-Hub ab, wählen Sie eine SKU mit größerer Kapazität aus, oder versuchen Sie es später erneut. HTTP-Statuscode: 430 {Weitere Informationen} HTTP-Statuscode: 430.

Zugehöriger Inhalt