Udostępnij za pośrednictwem


Monitorowanie zużycia pojemności platformy Apache Spark

Celem tego artykułu jest oferowanie wskazówek dla administratorów, którzy chcą monitorować działania w zarządzanych przez nich pojemnościach. Korzystając z raportów użycia pojemności platformy Apache Spark dostępnych w aplikacji Metryki pojemności usługi Microsoft Fabric, administratorzy mogą uzyskać wgląd w rozliczane użycie pojemności platformy Spark dla elementów, takich jak lakehouse, notes i definicje zadań platformy Apache Spark. Niektóre działania związane z zużyciem pojemności platformy Spark nie są zgłaszane w aplikacji.

Zgłoszone użycie pojemności platformy Spark

Następujące operacje z magazynów lakehouse, notesów i definicji zadań platformy Spark są traktowane jako działania rozliczane.

Nazwa operacji Towar Komentarze
Operacje lakehouse Lakehouse Tabela użytkownicy w wersji zapoznawczej w eksploratorze usługi Lakehouse.
Ładowanie tabeli lakehouse Lakehouse Użytkownicy ładują tabelę delty w eksploratorze usługi Lakehouse.
Uruchamianie notesu Notes Notes jest uruchamiany ręcznie przez użytkowników.
Uruchamianie notesu HC Notes Notes działa w ramach sesji platformy Apache Spark o wysokiej współbieżności.
Zaplanowane uruchamianie notesu Notes Uruchomienia notesu wyzwalane przez zaplanowane zdarzenia notesu.
Uruchamianie potoku notesu Notes Notes jest uruchamiany przez potok.
Uruchamianie programu VS Code notesu Notes Notes działa w programie VS Code.
Uruchomienie zadania platformy Spark Definicja zadania platformy Spark Uruchomienie zadania wsadowego platformy Spark zainicjowane przez przesyłanie przez użytkownika.
Zaplanowane uruchomienie zadania platformy Spark Definicja zadania platformy Spark Przebiegi zadań usługi Batch wyzwalane przez zaplanowane zdarzenia notesu.
Uruchamianie potoku zadań platformy Spark Definicja zadania platformy Spark Przebiegi zadań usługi Batch wyzwalane przez potok.
Uruchamianie programu VS Code zadania platformy Spark Definicja zadania platformy Spark Definicja zadania platformy Spark przesłana z programu VS Code.

Zużycie pojemności platformy Spark, które nie jest zgłaszane

W aplikacji metryk istnieją pewne działania dotyczące zużycia pojemności platformy Spark, które nie są zgłaszane. Te działania obejmują zadania systemu Spark na potrzeby zarządzania biblioteką i niektóre zadania systemu Spark dla puli Spark Live lub sesji na żywo.

  • Zarządzanie biblioteką — zużycie pojemności skojarzone z zarządzaniem bibliotekami na poziomie obszaru roboczego nie jest zgłaszane w aplikacji metryk.

  • Zadania platformy System Spark — użycie pojemności platformy Spark, które nie jest skojarzone z notesem, definicją zadania platformy Spark lub usługą Lakehouse, nie jest uwzględniane w raportowaniu pojemności.

Raporty dotyczące zużycia pojemności

Wszystkie operacje związane z platformą Spark są klasyfikowane jako operacje w tle. Użycie pojemności z platformy Spark jest wyświetlane w notesie, definicji zadania platformy Spark lub lakehouse i jest agregowane według nazwy operacji i elementu.

Zrzut ekranu przedstawiający raport elementów.

Raport operacji w tle

Operacje w tle są wyświetlane dla określonego punktu czasu. W tabeli raportu każdy wiersz odwołuje się do operacji użytkownika. Przejrzyj kolumnę User (Użytkownik), aby określić, kto wykonał określoną operację. Jeśli potrzebujesz więcej informacji na temat określonej operacji, możesz użyć jej identyfikatora operacji, aby wyszukać go w centrum monitorowania usługi Microsoft Fabric.

Zrzut ekranu przedstawiający raport operacji w tle.