Visa beräkningsmått

Den här artikeln beskriver hur du använder det interna beräkningsmåttverktyget i Azure Databricks-användargränssnittet för att samla in viktig maskinvara och Spark-mått. Måttgränssnittet är tillgängligt för beräkning av alla syften och jobb.

Kommentar

Serverlös beräkning för notebook-filer och jobb använder frågeinsikter i stället för måttgränssnittet. Mer information om serverlösa beräkningsmått finns i Visa frågeinsikter.

Mått är tillgängliga i nästan realtid med en normal fördröjning på mindre än en minut. Mått lagras i Azure Databricks-hanterad lagring, inte i kundens lagring.

Hur skiljer sig dessa nya mått från Ganglia?

Det nya användargränssnittet för beräkningsmått har en mer omfattande vy över klustrets resursanvändning, inklusive Spark-förbrukning och interna Databricks-processer. Däremot mäter Ganglia-användargränssnittet endast förbrukning av Spark-containrar. Den här skillnaden kan leda till avvikelser i måttvärdena mellan de två gränssnitten.

Åtkomst till användargränssnittet för beräkningsmått

Så här visar du användargränssnittet för beräkningsmått:

1. Klicka på Beräkna i sidofältet.
2. Klicka på den beräkningsresurs som du vill visa mått för.
3. Klicka på fliken Mått .

Maskinvarumått visas som standard. Om du vill visa Spark-mått klickar du på den nedrullningsbara menyn med etiketten Maskinvara och väljer Spark. Du kan också välja GPU om instansen är GPU-aktiverad.

Filtrera mått efter tidsperiod

Du kan visa historiska mått genom att välja ett tidsintervall med hjälp av datumväljarens filter. Mått samlas in varje minut, så du kan filtrera efter valfritt intervall av dag, timme eller minut från de senaste 30 dagarna. Klicka på kalenderikonen för att välja mellan fördefinierade dataintervall eller klicka i textrutan för att definiera anpassade värden.

Kommentar

Tidsintervallen som visas i diagrammen justeras baserat på hur lång tid du visar. De flesta mått är medelvärden baserat på det tidsintervall som du för närvarande visar.

Du kan också hämta de senaste måtten genom att klicka på knappen Uppdatera .

Visa mått på nodnivå

Du kan visa mått för enskilda noder genom att klicka på listrutan Beräkning och välja den nod som du vill visa mått för. GPU-mått är endast tillgängliga på nivån enskild nod. Spark-mått är inte tillgängliga för enskilda noder.

Kommentar

Om du inte väljer en specifik nod beräknas resultatet i genomsnitt för alla noder i ett kluster (inklusive drivrutinen).

Maskinvarumåttdiagram

Följande maskinvarumåttdiagram är tillgängliga för visning i användargränssnittet för beräkningsmått:

• Distribution av serverbelastning: Det här diagrammet visar processoranvändningen under den senaste minuten för varje nod.
• CPU-användning: Den procentandel av tiden som processorn spenderade i varje läge, baserat på den totala kostnaden för CPU-sekunder. Måttet beräknas i genomsnitt baserat på vilket tidsintervall som visas i diagrammet. Följande är de spårade lägena:
  • gäst: Om du kör virtuella datorer använder den processor som de virtuella datorerna använder
  • iowait: Tid som ägnas åt att vänta på I/O
  • idle: Time the CPU had nothing to do
  • irq: Tid som ägnas åt avbrottsbegäranden
  • nice: Tid som används av processer som har en positiv niceness, vilket innebär en lägre prioritet än andra uppgifter
  • softirq: Tid som ägnas åt begäranden om programavbrott
  • steal: Om du är en virtuell dator, tid andra virtuella datorer "stal" från dina processorer
  • system: Den tid som spenderas i kerneln
  • användare: Den tid som spenderas i användarlandet
• Minnesanvändning: Den totala minnesanvändningen per läge, mätt i byte och utgående medelvärde baserat på vilket tidsintervall som visas i diagrammet. Följande användningstyper spåras:
  • används: Använt minne (inklusive minne som används av bakgrundsprocesser som körs på en beräkning)
  • kostnadsfritt: Oanvänt minne
  • buffert: Minne som används av kernelbuffertar
  • cachelagrat: Minne som används av filsystemets cacheminne på OS-nivå
• Användning av minnesväxling: Den totala minnesväxlingsanvändningen per läge, mätt i byte och utgående medelvärde baserat på vilket tidsintervall som visas i diagrammet.
• Ledigt filsystemutrymme: Den totala filsystemanvändningen per monteringspunkt, mätt i byte och utgående medelvärde baserat på vilket tidsintervall som visas i diagrammet.
• Mottaget via nätverket: Antalet byte som tas emot via nätverket av varje enhet, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Överförs via nätverket: Antalet byte som överförs via nätverket av varje enhet, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Antal aktiva noder: Detta visar antalet aktiva noder vid varje tidsstämpel för den angivna beräkningen.

Spark-måttdiagram

Följande Spark-måttdiagram är tillgängliga för visning i användargränssnittet för beräkningsmått:

• Distribution av serverbelastning: Det här diagrammet visar processoranvändningen under den senaste minuten för varje nod.
• Aktiva uppgifter: Det totala antalet aktiviteter som körs vid en viss tidpunkt, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Totalt antal misslyckade uppgifter: Det totala antalet aktiviteter som har misslyckats i köre, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Totalt antal slutförda uppgifter: Det totala antalet aktiviteter som har slutförts i köre, i genomsnitt ut baserat på vilket tidsintervall som visas i diagrammet.
• Totalt antal aktiviteter: Det totala antalet aktiviteter (körs, misslyckades och slutfördes) i exekutorer, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Total blandningsläsning: Den totala storleken på shuffle-läsdata, mätt i byte och utgående medelvärde baserat på vilket tidsintervall som visas i diagrammet. Shuffle read innebär summan av serialiserade läsdata på alla utförare i början av en fas.
• Total shuffle-skrivning: Den totala storleken på shuffle-skrivdata, mätt i byte och medelvärde baserat på vilket tidsintervall som visas i diagrammet. Shuffle Write är summan av alla skriftliga serialiserade data på alla utförare innan de överförs (normalt i slutet av ett stadium).
• Total aktivitetsvaraktighet: Den totala förflutna tid som JVM har använt för att utföra uppgifter på utförare, mätt i sekunder och utgående medelvärde baserat på vilket tidsintervall som visas i diagrammet.

GPU-måttdiagram

Kommentar

GPU-mått är endast tillgängliga på Databricks Runtime ML 13.3 och senare.

Följande GPU-måttdiagram är tillgängliga att visa i användargränssnittet för beräkningsmått:

• Distribution av serverbelastning: Det här diagrammet visar processoranvändningen under den senaste minuten för varje nod.
• Användning per GPU-avkodare: Procentandelen GPU-avkodare som används, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Användning per GPU-kodare: Procentandelen GPU-kodare som används, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Minnesanvändningsbyte per GPU-bildruta: Bildrutebuffertminnesanvändningen, mätt i byte och medelvärde baserat på vilket tidsintervall som visas i diagrammet.
• Minnesanvändning per GPU: Procentandelen GPU-minnesanvändning, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.
• Per GPU-användning: Procentandelen GPU-användning, i genomsnitt baserat på vilket tidsintervall som visas i diagrammet.

Felsökning

Om du ser ofullständiga eller saknade mått under en period kan det vara något av följande problem:

• Ett avbrott i Databricks-tjänsten som ansvarar för att fråga och lagra mått.
• Nätverksproblem på kundens sida.
• Beräkningen är eller var i ett feltillstånd.