Kolejkowanie zadań na platformie Apache Spark dla usługi Microsoft Fabric
Dotyczy:✅ inżynierowie danych i Nauka o danych w usłudze Microsoft Fabric
Usługa Microsoft Fabric obsługuje kolejkowanie zadań w tle po osiągnięciu limitów obliczeniowych platformy Spark dla pojemności sieci szkieletowej. System kolejkowania zadań oferuje automatyczne ponawianie prób dla zadań dodawanych do kolejki do momentu wygaśnięcia kolejki. Gdy użytkownicy tworzą pojemność usługi Microsoft Fabric na platformie Azure, wybierają rozmiar pojemności na podstawie rozmiaru obciążenia analitycznego. Po zakupie pojemności administratorzy mogą tworzyć obszary robocze w ramach pojemności w usłudze Microsoft Fabric. Zadania platformy Spark uruchamiane w tych obszarach roboczych mogą używać maksymalnie rdzeni przydzielonych dla danej pojemności, a po osiągnięciu maksymalnego limitu zadania są ograniczane lub kolejkowane.
Dowiedz się więcej o limitach współbieżności platformy Spark w usłudze Microsoft Fabric
Kolejkowanie zadań jest obsługiwane w przypadku zadań notesu wyzwalanych przez potoki lub za pośrednictwem harmonogramu, a także definicji zadań platformy Spark. Kolejkowanie nie jest obsługiwane w przypadku zadań notesu interaktywnego i zadań notesu wyzwalanych za pośrednictwem publicznego interfejsu API notesu.
Kolejka działa w sposób pierwszy na pierwszym wyjściu (FIFO), gdzie zadania są dodawane do kolejki na podstawie czasu ich przesłania i są stale ponawiane i uruchamiane po zwolnieniu pojemności.
Uwaga
Kolejkowanie zadań platformy Spark nie jest obsługiwane, gdy pojemność sieci szkieletowej jest w stanie ograniczonym. Wszystkie przesłane nowe zadania zostaną odrzucone.
Po dodaniu zadania do kolejki jego stan zostanie zaktualizowany do pozycji Nie uruchomiono w centrum monitorowania. Notesy i definicje zadań platformy Spark po wybraniu z kolejki i rozpoczęciu wykonywania ich stan jest aktualizowany z Obszaru Nie rozpoczęto do W toku.
Uwaga
Wygaśnięcie kolejki wynosi 24 godziny dla wszystkich zadań od momentu ich przyjęcia do kolejki. Po osiągnięciu czasu wygaśnięcia zadania należy ponownie przesłać.
Rozmiary kolejek
Platforma Spark sieci szkieletowej wymusza rozmiary kolejek na podstawie rozmiaru jednostki SKU pojemności dołączonej do obszaru roboczego, zapewniając mechanizm ograniczania przepustowości i kolejkowania, w którym użytkownicy mogą przesyłać zadania na podstawie zakupionych jednostek SKU pojemności sieci szkieletowej.
W poniższej sekcji wymieniono różne rozmiary kolejek dla obciążeń platformy Spark w oparciu o jednostki SKU pojemności:
| Jednostka SKU pojemności sieci szkieletowej | Równoważna jednostka SKU usługi Power BI | Limit kolejki |
|---|---|---|
| F2 | - | 100 |
| F4 | - | 100 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Pojemność wersji próbnej | P1 | NA |
Uwaga
Kolejkowanie nie jest obsługiwane w przypadku pojemności próbnych sieci Szkieletowej. Użytkownicy musieliby przełączyć się na płatną jednostkę SKU sieci szkieletowej F lub P, aby używać kolejkowania zadań platformy Spark.
Po osiągnięciu maksymalnego limitu kolejki dla pojemności sieci szkieletowej nowe przesłane zadania zostaną ograniczone z komunikatem o błędzie [TooManyRequestsForCapacity] Nie można uruchomić tego zadania platformy Spark, ponieważ przekroczono limit liczby zasobów obliczeniowych platformy Spark lub szybkości interfejsu API. Aby uruchomić to zadanie platformy Spark, anuluj aktywne zadanie platformy Spark za pośrednictwem centrum Monitorowania, wybierz większą jednostkę SKU pojemności lub spróbuj ponownie później. Kod stanu HTTP: 430 {Dowiedz się więcej} kod stanu HTTP: 430.
Powiązana zawartość
- Dowiedz się więcej o rozliczeniach i wykorzystaniu platformy Spark w usłudze Microsoft Fabric.
- Dowiedz się więcej o obliczeniach platformy Spark na potrzeby inżynierii danych sieci szkieletowej i środowisk nauki o danych.