Övervaka Kapacitetsförbrukning för Apache Spark
Syftet med den här artikeln är att ge vägledning till administratörer som vill övervaka aktiviteter i de kapaciteter som de hanterar. Genom att använda apache Spark-kapacitetsförbrukningsrapporterna som är tillgängliga i microsoft fabric capacity metrics-appen kan administratörer få insikter om den fakturerbara Spark-kapacitetsförbrukningen för objekt, inklusive Lakehouse-, Notebook- och Apache Spark-jobbdefinitioner. Vissa Spark-kapacitetsförbrukningsaktiviteter rapporteras inte i appen.
Spark-kapacitetsförbrukning rapporterad
Följande åtgärder från lakehouses, notebook-filer och Spark-jobbdefinitioner behandlas som fakturerbara aktiviteter.
| Operationsnamn | Artikel | Kommentarer |
|---|---|---|
| Lakehouse-verksamhet | Sjöhus | Användare förhandsgranskar tabellen i Lakehouse Explorer. |
| Lakehouse-tabellbelastning | Sjöhus | Användare läser in deltatabellen i Lakehouse Explorer. |
| Notebook-körning | Notebook-fil | Notebook-filen körs manuellt av användare. |
| Notebook HC-körning | Notebook-fil | Notebook-filen körs under Apache Spark-sessionen med hög samtidighet. |
| Schemalagd körning av notebook-fil | Notebook-fil | Notebook-körningar som utlöses av schemalagda notebook-händelser. |
| Pipelinekörning för notebook-fil | Notebook-fil | Notebook-körningar som utlöses av pipeline. |
| Vs Code-körning för notebook-fil | Notebook-fil | Notebook-filer körs i VS Code. |
| Spark-jobbkörning | Definition av Spark-jobb | Spark-batchjobbkörningar som initieras av användarens sändning. |
| Schemalagd körning av Spark-jobb | Definition av Spark-jobb | Batch-jobbkörningar som utlöses av schemalagda händelser för notebook-filer. |
| Spark-jobbpipelinekörning | Definition av Spark-jobb | Batch-jobbkörningar som utlöses av pipeline. |
| Spark-jobb VS Code-körning | Definition av Spark-jobb | Spark-jobbdefinition som skickas från VS Code. |
Spark-kapacitetsförbrukning som inte rapporteras
Det finns vissa Spark-kapacitetsförbrukningsaktiviteter som inte rapporteras i måttappen. Dessa aktiviteter omfattar System Spark-jobb för bibliotekshantering och vissa Spark-systemjobb för Spark Live-pool eller livesessioner.
Bibliotekshantering – Kapacitetsförbrukningen som är associerad med bibliotekshantering på arbetsytenivå rapporteras inte i måttappen.
System Spark-jobb – Spark-kapacitetsförbrukning som inte är associerad med en notebook-fil, en Spark-jobbdefinition eller ett lakehouse ingår inte i kapacitetsrapportering.
Kapacitetsförbrukningsrapporter
Alla Spark-relaterade åtgärder klassificeras som bakgrundsåtgärder. Kapacitetsförbrukning från Spark visas under en notebook-fil, en Spark-jobbdefinition eller ett lakehouse och aggregeras efter åtgärdsnamn och objekt.
Rapport om bakgrundsåtgärder
Bakgrundsåtgärder visas för en viss tidspunkt. I rapportens tabell refererar varje rad till en användaråtgärd. Granska kolumnen Användare för att identifiera vem som utförde en viss åtgärd. Om du behöver mer information om en specifik åtgärd kan du använda dess åtgärds-ID för att söka efter den i Microsoft Fabric-övervakningshubben.
