Overvåg Apache Spark-kapacitetsforbrug
Formålet med denne artikel er at give vejledning til administratorer, der vil overvåge aktiviteter i de kapaciteter, de administrerer. Ved at bruge de rapporter om kapacitetsforbrug i Apache Spark, der er tilgængelige i microsoft Fabric Capacity Metrics-appen, kan administratorer få indsigt i det fakturerbare forbrug af Spark-kapacitet for elementer, herunder Lakehouse-, Notebook- og Apache Spark-jobdefinitioner. Nogle spark-kapacitetsforbrugsaktiviteter rapporteres ikke i appen.
Rapporteret forbrug af spark-kapacitet
Følgende handlinger fra lakehouses, notesbøger og Spark-jobdefinitioner behandles som fakturerbare aktiviteter.
| Operationsbetegnelse | Artikel | Kommentarer |
|---|---|---|
| Lakehouse-operationer | Lakehouse | Brugerne får vist en eksempeltabel i Stifinder i Lakehouse. |
| Lakehouse-tabelbelastning | Lakehouse | Brugerne indlæser deltatabel i Lakehouse Explorer. |
| Kørsel af notesbog | Notesbog | Notesbogen kører manuelt af brugerne. |
| HC-kørsel af notesbog | Notesbog | Notesbog kører under den høje Samtidige Apache Spark-session. |
| Planlagt kørsel af notesbog | Notesbog | Kørsler af notesbøger udløst af planlagte hændelser for notesbogen. |
| Kørsel af notesbogpipeline | Notesbog | Notebook-kørsler udløst af pipeline. |
| Kørsel af VS Code for notesbog | Notesbog | Notesbog kører i VS Code. |
| Kørsel af Spark-job | Definition af Spark-job | Spark-batchjob, der startes af brugerens indsendelse. |
| Spark-job med planlagt kørsel | Definition af Spark-job | Batchjobkørsler, der udløses af planlagte hændelser for notesbogen. |
| Kørsel af Spark-jobpipeline | Definition af Spark-job | Batchjobkørsler, der udløses af pipelinen. |
| Kørsel af Spark-job-VS Code | Definition af Spark-job | Spark-jobdefinition sendt fra VS Code. |
Spark-kapacitetsforbrug, der ikke rapporteres
Der er nogle spark-kapacitetsforbrugsaktiviteter, der ikke rapporteres i appen Målepunkter. Disse aktiviteter omfatter system Spark-job til biblioteksstyring og visse system Spark-job til Spark Live-pool eller livesessioner.
Biblioteksadministration – Det kapacitetsforbrug, der er knyttet til biblioteksstyring på arbejdsområdeniveau, rapporteres ikke i målepunktsappen.
System Spark-job – Spark-kapacitetsforbrug, der ikke er knyttet til en notesbog, en Spark-jobdefinition eller et lakehouse, er ikke inkluderet i kapacitetsrapportering.
Rapporter over kapacitetsforbrug
Alle Spark-relaterede handlinger klassificeres som baggrundshandlinger. Kapacitetsforbrug fra Spark vises under en notesbog, en Spark-jobdefinition eller et lakehouse og samles efter handlingsnavn og element.
Rapport over handlinger i baggrunden
Handlinger i baggrunden vises for et bestemt klokkeslæt. I rapportens tabel refererer hver række til en brugerhandling. Gennemse kolonnen Bruger for at identificere, hvem der udførte en bestemt handling. Hvis du har brug for flere oplysninger om en bestemt handling, kan du bruge handlings-id'et til at slå den op i Microsoft Fabric-overvågningshubben.
