Überwachen des Apache Spark-Kapazitätsverbrauchs
Der Zweck dieses Artikels besteht darin, Administratoren Anleitungen zu bieten, die Aktivitäten in den von ihnen verwalteten Kapazitäten überwachen möchten. Mithilfe der Berichte zum Apache Spark-Kapazitätsverbrauch, die in der Microsoft Fabric-Kapazitätsmetriken-App verfügbar sind, können Administrator*innen Erkenntnisse aus dem abrechenbaren Spark-Kapazitätsverbrauch für Artikel wie Lakehouse-, Notebook- und Apache Spark-Jobdefinitionen gewinnen. Einige Spark-Kapazitätsnutzungsaktivitäten werden in der App nicht gemeldet.
Gemeldeter Spark-Kapazitätsverbrauch
Die folgenden Vorgänge aus Lakehouses, Notebooks und Spark-Auftragsdefinitionen werden als abrechenbare Aktivitäten behandelt.
| Name des Vorgangs | Artikel | Kommentare |
|---|---|---|
| Lakehouse-Vorgänge | Lakehouse | Benutzervorschautabelle im Lakehouse-Explorer. |
| Lakehouse-Tabellenauslastung | Lakehouse | Benutzerauslastungs-Deltatabelle im Lakehouse-Explorer. |
| Notebook-Ausführung | Notebook | Manuelle Notebook-Ausführungen durch Benutzende. |
| Notebook HC-Ausführung | Notebook | Notebook-Ausführungen über die Spark-Sitzung mit hoher Parallelität. |
| Geplante Notebookausführung | Notebook | Durch geplante Notebookereignisse ausgelöste Notebook-Ausführung. |
| Notebook-Pipelineausführung | Notebook | Von der Pipeline ausgelöste Notebook-Ausführungen. |
| Notebook VS Code-Ausführung | Notebook | Notebook-Ausführungen in VS Code. |
| Spark-Auftragsausführung | Spark-Auftragsdefinition | Durch Benutzereinreichung eingeleitete Spark-Batchauftragsausführungen. |
| Geplante Ausführung von Spark-Aufträgen | Spark-Auftragsdefinition | Durch geplante Notebookereignisse ausgelöste Batchauftragsausführungen. |
| Spark-Auftragspipelineausführungen | Spark-Auftragsdefinition | Von der Pipeline ausgelöste Batchauftragsausführungen. |
| VS Code-Ausführung von Spark-Aufträgen | Spark-Auftragsdefinition | Von VS Code übermittelte Spark-Auftragsdefinition. |
Nicht gemeldeter Spark-Kapazitätsverbrauch
Es gibt einige Spark-Kapazitätsnutzungsaktivitäten, die in der Metrik-App nicht gemeldet werden. Zu diesen Aktivitäten gehören Spark-Systemaufträge für die Bibliotheksverwaltung und bestimmte Spark-Systemaufträge für Spark Live-Pools oder Livesitzungen.
Bibliotheksverwaltung: Der Kapazitätsverbrauch, der mit der Bibliotheksverwaltung auf Arbeitsbereichsebene einhergeht, wird in der Metrik-App nicht gemeldet.
Spark-Systemaufträge: Die Spark-Kapazitätsauslastung, die keinem Notebook, keiner Spark-Auftragsdefinition oder keinem Lakehouse zugeordnet ist, ist in der Kapazitätsberichterstattung nicht enthalten.
Kapazitätsverbrauchsberichte
Alle Spark-bezogenen Vorgänge werden als Hintergrundvorgänge klassifiziert. Der Kapazitätsverbrauch von Spark wird unter einem Notebook, einer Spark-Auftragsdefinition oder einem Lakehouse angezeigt und nach Vorgangsname und Element aggregiert.
Bericht zu Hintergrundvorgängen
Hintergrundvorgänge werden für einen bestimmten Zeitpunkt angezeigt. In der Tabelle des Berichts bezieht sich jede Zeile auf einen Benutzervorgang. Überprüfen Sie die Spalte Benutzer, um zu ermitteln, wer einen bestimmten Vorgang ausgeführt hat. Wenn Sie weitere Informationen zu einem bestimmten Vorgang benötigen, können Sie dessen Vorgangs-ID verwenden, um sie im Microsoft Fabric-Überwachungshub nachzuschlagen.
