Freigeben über

Überwachungsübersicht zu Apache Spark

  • Artikel

Die Überwachung von Microsoft Fabric Spark ist für eine Umgebung entworfen, die auf Web-UI mit umfassenden integrierten Funktionen basiert, mit denen Sie den Fortschritt und Status von gerade ausgeführten Spark-Anwendungen überwachen, vergangene Spark-Aktivitäten durchsuchen, Leistung analysieren und optimieren und die Problembehandlung ermöglichen können. Zum Durchsuchen, Überwachen und Anzeigen von Spark-Anwendungsdetails stehen mehrere Einstiegspunkte zur Verfügung.

Überwachungshub

Der Überwachungshub dient als zentrales Portal zum elementübergreifenden Durchsuchen von Spark-Aktivitäten. Sie können laufende Spark-Anwendungen auf einen Blick anzeigen, die über Notebooks, Spark-Auftragsdefinitionen und Pipelines ausgelöst werden. Sie können Spark-Anwendungen auch anhand verschiedener Kriterien suchen und filtern und einen Drilldown ausführen, um weitere Spark-Ausführungsdetails einer der Anwendung anzuzeigen.

Zuletzt ausgeführtes Element

Wenn Sie an bestimmten Elementen arbeiten, können Sie mit dem Feature Aktuelle Ausführungen für das Element die aktuellen und letzten Aktivitäten durchsuchen und Erkenntnisse über den Übermittler, den Status, die Dauer und andere Informationen zu Aktivitäten erhalten, die von Ihnen oder anderen eingereicht wurden.

Kontextbezogene Überwachung von Notebooks

Die kontextbezogene Notebooküberwachung bietet die Möglichkeit, Spark-Aufträge an einem zentralen Ort zu erstellen, zu überwachen und zu debuggen. Sie können den Fortschritt von Spark-Aufträgen überwachen, Spark-Ausführungstasks und Executors anzeigen und auf Spark-Protokolle in einem Notebook auf Notebook-Zellenebene zugreifen. Der Spark-Advisor ist auch im Notebook integriert, um Echtzeitberatung zu Code und Spark-Zellenausführung zu bieten und Fehleranalysen durchzuführen.

Inlineüberwachung von Spark-Auftragsdefinitionen

Mit dem Feature für die Inlineüberwachung von Spark-Auftragsdefinitionen können Sie die Übermittlung von Spark-Auftragsdefinitionen anzeigen und Status in Echtzeit ausführen sowie die vergangenen Ausführungen und Konfigurationen der Auftragsdefinition anzeigen. Für weitere Informationen können Sie zur Detailseite der Spark-Anwendung navigieren.

Inlineüberwachung der Spark-Pipelineaktivität

Für die Inlineüberwachung der Spark-Pipelineaktivität wurden Deep-Links mit den Aktivitäten für Notebook- und Spark-Auftragsdefinitionen innerhalb der Pipeline integriert. Sie können Details zur Ausführung der Spark-Anwendung und die entsprechende Momentaufnahme der Notebook- und Spark-Auftragsdefinitionen anzeigen sowie zur Problembehandlung auf Spark-Protokolle zugreifen. Wenn bei Spark-Aktivitäten Fehler auftreten, steht die Inlinefehlermeldung auch in Pipeline Spark-Aktivitäten zur Verfügung.

Zugehöriger Inhalt