Einblicke in Azure Data Explorer-Cluster
Azure Data Explorer Clusters Insights bietet umfassende Überwachung Ihrer Cluster, indem sie eine einheitliche Übersicht über die Clusterleistung, Vorgänge, Nutzung und Fehler liefert.
Sie bietet Folgendes:
- Maßstabgerechte Perspektive. Eine Momentaufnahme der primären Metriken Ihrer Cluster hilft Ihnen, die Leistung von Abfragen, Erfassungs- und Exportvorgängen zu verfolgen.
- Detailinformationen zur Analyse. Sie können Drilldown in einen bestimmten Azure Data Explorer-Cluster ausführen, um eine detaillierte Analyse durchzuführen.
- Anpassung. Sie können ändern, welche Metriken Sie sehen möchten, Schwellenwerte ändern oder festlegen, die mit Ihren Grenzwerten übereinstimmen, und Ihre eigenen benutzerdefinierten Arbeitsmappen speichern. Diagramme in einer Arbeitsmappe können an Azure Dashboards angeheftet werden.
In diesem Artikel erfahren Sie, wie Sie Azure Data Explorer Clusters Insights integrieren und verwenden.
Ansicht von Azure Monitor (maßstabgerechte Perspektive)
Über Azure Monitor können Sie die wichtigsten Leistungsmetriken für den Cluster anzeigen. Diese Metriken umfassen Informationen zu Abfragen, Erfassungs- und Exportvorgängen aus mehreren Clustern in Ihrem Abonnement. Sie können Ihnen helfen, Leistungsprobleme zu identifizieren.
Um die Leistung Ihrer Cluster für alle Ihre Abonnements anzuzeigen:
Melden Sie sich beim Azure-Portal an.
Wählen Sie im linken Bereich Monitoraus. Wählen Sie im Abschnitt Insights Hub die Option Azure Data Explorer Clusters aus.
Registerkarte „Abonnementübersicht“
Auf der Registerkarte Übersicht für das ausgewählte Abonnement zeigt die Tabelle interaktive Metriken für die Azure Data Explorer-Cluster, die im Abonnement gruppiert sind. Sie können die Ergebnisse anhand der Optionen filtern, die Sie in den folgenden Dropdown-Listen auswählen:
Subscriptions: Es werden nur Abonnements aufgelistet, die Azure Data Explorer-Cluster haben.
Azure Data Explorer-Cluster: Standardmäßig sind bis zu fünf Cluster vorab ausgewählt. Wenn Sie in der Bereichsauswahl mehrere oder alle Cluster auswählen, werden bis zu 200 Cluster zurückgegeben.
Time Range: Standardmäßig zeigt die Tabelle die Informationen der letzten 24 Stunden auf der Grundlage der getroffenen korrespondierenden Auswahlen an.
Die Zählerkachel unter der Dropdown-Liste gibt die Gesamtzahl der Azure Data Explorer-Cluster in den ausgewählten Abonnements an und zeigt, wie viele ausgewählt sind. Es gibt bedingte Farbcodierungen für die Spalten: Keep-Alive,CPU,Erfassungsauslastungund Cacheauslastung. Orange hinterlegte Zellen weisen Werte auf, die für den Cluster nicht nachhaltig sind.
Informationen zum besseren Verständnis der einzelnen Metriken finden Sie in der Dokumentation zu Azure Data Explorer-Metriken.
Registerkarte „Abfrageleistung“
Die Registerkarte Abfrageleistung zeigt die Abfragedauer, die Gesamtzahl der gleichzeitigen Abfragen und die Gesamtzahl der gedrosselten Abfragen an.
Registerkarte „Erfassungsleistung“
Die Registerkarte Ingestion Performance zeigt die Latenz bei der Erfassung, erfolgreiche Erfassungsergebnisse, fehlgeschlagene Erfassungsergebnisse, Erfassungsvolumen und verarbeitete Ereignisse für Event-Hubs und IoT-Hubs.
Registerkarte „Leistung der Streamingerfassung“
Die Registerkarte Leistung der Streamingerfassung enthält Informationen über die durchschnittliche Datenrate, die durchschnittliche Dauer und die Rate der Anforderungen.
Registerkarte „Exportleistung“
Die Registerkarte Exportleistung enthält Informationen zu exportierten Datensätzen, Verspätungen, der Anzahl ausstehender Daten und dem Nutzungsprozentsatz für fortlaufende Exportvorgänge.
Ansicht von einer Azure Data Explorer Cluster-Ressource (Drilldown-Analyse)
So greifen Sie direkt über einen Azure Data Explorer-Cluster auf Azure Data Explorer Insights zu:
Wählen Sie im Azure-Portal Azure Data Explorer-Cluster aus.
Wählen Sie aus der Liste einen Azure Data Explorer-Cluster aus. Wählen Sie im Abschnitt ÜberwachungInsights aus.
Sie können auch auf diese Ansichten zugreifen, indem Sie den Ressourcennamen eines Azure Data Explorer-Clusters in der Azure Monitor Insights-Ansicht auswählen.
Hinweis
Azure Data Explorer Clusters Insights kombiniert Protokolle und Metriken, um eine globale Überwachungslösung bereitzustellen. Für die Einbeziehung von protokollbasierten Visualisierungen müssen Benutzer die Diagnoseprotokollierung ihres Azure Data Explorer-Clusters aktivieren und sie an einen Log Analytics-Arbeitsbereich senden. Die Diagnoseprotokolle, die aktiviert werden sollten, sind Befehl, Abfrage: Succeededlngestion0, Failedlngestion, lngesfionBatching, TableDetails und TableUsageStatistics. (Das Aktivieren von SucceededIngestion-Protokollen kann kostspielig sein. Aktivieren Sie sie nur, wenn Sie erfolgreiche Erfassungen überwachen müssen.)
Registerkarte Übersicht
Die Registerkarte Übersicht zeigt Folgendes:
Metrikkacheln, die die Verfügbarkeit und den Gesamtstatus des Clusters für eine schnelle Integritätsbewertung hervorheben.
Eine Zusammenfassung der aktiven Azure Advisor-Empfehlungen und des Status der Ressourcen-Integrität.
Diagramme, die die größten CPU- und Speicherverbraucher sowie die Anzahl der einzelnen Benutzer im zeitlichen Verlauf anzeigen.
Registerkarte Schlüsselmetriken
Auf der Registerkarte Schlüsselmetriken wird eine einheitliche Ansicht einiger Metriken des Clusters angezeigt. Sie werden in allgemeine Metriken, abfragebezogene Metriken, erfassungsbezogene Metriken und Metriken im Zusammenhang mit der Streaming-Erfassung gruppiert.
Registerkarte „Verwendung“
Auf der Registerkarte Verbrauch können Benutzer Details zur Leistung der Befehle und Abfragen des Clusters anzeigen. Auf dieser Registerkarte können Sie folgende Aktionen ausführen:
- Sehen Sie, welche Workloadgruppen, Benutzer und Anwendungen die meisten Abfragen senden oder die meiste CPU und den meisten Speicher verbrauchen. Sie können dann verstehen, welche Workloads die umfangreichsten Abfragen stellen, die der Cluster zu verarbeiten hat.
- Identifizieren Sie die wichtigsten Workloadgruppen, Benutzer und Anwendungen anhand von fehlgeschlagenen Abfragen.
- Identifizieren Sie die jüngsten Änderungen in der Anzahl der Abfragen im Vergleich zum historischen Tagesdurchschnitt (über die letzten 16 Tage), aufgeschlüsselt nach Workloadgruppen, Benutzern und Anwendungen.
- Identifizieren Sie Trends und Spitzen bei der Anzahl der Abfragen, dem Speicher- und CPU-Verbrauch nach Workloadgruppe, Benutzer, Anwendung und Befehlstyp.
Die Registerkarte Nutzung umfasst Aktionen, die direkt von Benutzern ausgeführt werden. Interne Clustervorgänge sind auf dieser Registerkarte nicht enthalten.
Registerkarte Tabellen
Die Registerkarte Tabellen zeigt die aktuellen und historischen Eigenschaften der Tabellen im Cluster. Sie können sehen, welche Tabellen den meisten Platz verbrauchen. Sie können auch den Wachstumsverlauf nach Tabellengröße, heißen Daten und der Anzahl der Zeilen im zeitlichen Verlauf verfolgen.
Registerkarte Cache
Die Registerkarte Cache ermöglicht es den Benutzern, die Muster der tatsächlichen Abfragen im Rückblickfenster zu analysieren und sie mit der konfigurierten Cache-Richtlinie (für jede Tabelle) zu vergleichen. Sie können sowohl Tabellen identifizieren, die von sehr vielen Abfragen verwendet werden, als auch Tabellen, die gar nicht abgefragt werden. Dann können Sie die Cacherichtlinie entsprechend anpassen.
Möglicherweise erhalten Sie Cacherichtlinienempfehlungen für bestimmte Tabellen in Azure Advisor. Derzeit sind Cacheempfehlungen nur über das Hauptdashboard Azure Advisor verfügbar. Sie basieren auf dem tatsächlichen Abfrage-Rückblickfenster der letzten 30 Tage und einer nicht optimierten Cacherichtlinie für mindestens 95 Prozent der Abfragen.
Die Empfehlungen von Azure Advisor zur Cachereduzierung sind für Cluster verfügbar, die „datengebunden“ sind. Das bedeutet, dass der Cluster eine geringe CPU- und Erfassungsauslastung aufweist, aufgrund einer hohen Datenkapazität jedoch nicht ab- oder herunterskaliert werden kann.
Registerkarte Clustergrenzen
Die Registerkarte Clustergrenzen zeigt die Clustergrenzen basierend auf Ihrer Nutzung an. Auf dieser Registerkarte können Sie die CPU-, Erfassungs- und Cacheauslastung überprüfen. Die Metriken werden als Niedrig, Mittel oder Hoch bewertet. Diese Metriken und Bewertungen sind wichtig, wenn Sie über die optimale SKU und Anzahl der Instanzen für Ihren Cluster entscheiden. Sie werden in den Azure Advisor SKU/Größenempfehlungen berücksichtigt.
Auf dieser Registerkarte können Sie eine metrische Kachel auswählen und weiter in die Tiefe gehen, um ihren Trend zu verstehen und zu erfahren, wie ihre Bewertung ermittelt wird. Außerdem können Sie die SKU-/Größenempfehlung von Azure Advisor für Ihren Cluster anzeigen. In der folgenden Abbildung sehen Sie zum Beispiel, dass alle Metriken als Low bewertet werden. Der Cluster erhält eine Kostenempfehlung, die es möglich macht, ihn zu vergrößern/verkleinern und Kosten zu sparen.
Registerkarte „Erfassung“ (Vorschauregisterkarte)
Auf der Registerkarte "Erfassung " können Sie den Status von Ingestionsvorgängen in der Warteschlange im Cluster überwachen.
Im in die Warteschlange eingereihten Erfassungsprozess ist die Datenaufnahme für hohen Durchsatz optimiert. Dies erfolgt durch Gruppieren kleiner Datenblöcke in Batches basierend auf einer konfigurierbaren Richtlinie für die Erfassung der Batchverarbeitung.
Auf der Registerkarte Erfassung finden Sie detaillierte Informationen zu den folgenden Themen:
- Das Ergebnis der in die Warteschlange eingereihten Aufnahme nach Datenbank- oder Tabellen granularität.
- Details des Aufnahmefehlers nach Tabelle.
- Menge der erfassten Daten
- Die Latenz der in die Warteschlange eingereihten Aufnahme und deren Auftreten.
- Der Batchverarbeitungsprozess selbst, einschließlich der Überwachung von Informationen über die Richtlinie zur Erfassung der Batchverarbeitung und die Versiegelung der Batches.
- Für Event Hubs, Event Grid und IoT Hub-Erfassungen: Die Anzahl der Ereignisse, die in den Cluster empfangen wurden, und die Anzahl der Ereignisse, die für die tatsächliche Aufnahme gesendet werden.
Anheften an ein Azure Dashboard
Sie können jeden der Metrikabschnitte (der "maßstabgerechten"-Perspektive) an ein Azure-Dashboard anheften, indem Sie das Pushpin-Symbol oben rechts im Abschnitt auswählen.
Anpassen von Azure Data Explorer Clusters Insights
Sie können die Arbeitsmappe bearbeiten, um sie an Ihre Datenanalyseanforderungen anzupassen:
- Legen Sie die Arbeitsmappe so fest, dass immer ein bestimmtes Abonnement oder Azure Data Explorer-Cluster ausgewählt wird.
- Ändern von Metriken im Raster.
- Ändern von Schwellenwerten oder farbliches Rendering/Codierung.
Sie können mit den Anpassungen beginnen, indem Sie auf der oberen Symbolleiste die Schaltfläche Anpassen auswählen.
Anpassungen werden in einer benutzerdefinierten Arbeitsmappe gespeichert, um zu verhindern, dass die Standardkonfiguration in einer veröffentlichten Arbeitsmappe überschrieben wird. Arbeitsmappen werden in einer Ressourcengruppe gespeichert, und zwar entweder im für Sie privaten Abschnitt Meine Berichte oder im Abschnitt Freigegebene Berichte, der für alle Benutzer mit Zugriff auf die Ressourcengruppe zugänglich ist. Nachdem Sie die benutzerdefinierte Arbeitsmappe gespeichert haben, können Sie sie in dem Arbeitsmappenkatalog öffnen.
Problembehandlung
Eine allgemeine Anleitung zur Problembehandlung finden Sie unter Problembehandlung bei arbeitsmappenbasierten Erkenntnissen.
In den folgenden Abschnitten können Sie einige der häufig auftretenden Probleme diagnostizieren und beheben, die beim Verwenden von Azure Data Explorer Clusters Insights auftreten können.
Warum werden in der Abonnementauswahl nicht alle meine Abonnements angezeigt?
zeigt nur Abonnements an, die Azure Data Explorer-Cluster enthalten, die aus dem ausgewählten Abonnementfilter ausgewählt wurden. Sie wählen einen Abonnementfilter unter Verzeichnis + Abonnement im Azure-Portal aus.
Warum sehe ich keine Daten für meinen Azure Data Explorer-Cluster unter dem Abschnitt Nutzung, Tabellen oder Cache?
Um Ihre protokollbasierten Daten anzuzeigen, müssen Sie die Diagnoseprotokolle akitivieren für jeden Azure Data Explorer-Cluster, den Sie überwachen möchten. Sie können dies unter den Diagnoseeinstellungen für jeden Cluster tun. Sie müssen Ihre Daten an einen Log Analytics-Arbeitsbereich senden. Die Diagnoseprotokolle, die aktiviert werden sollten, sind Befehl, Abfrage, TableDetails und TableUsageStatistics.
Ich habe bereits Protokolle für meinen Azure Data Explorer-Cluster aktiviert. Warum kann ich meine Daten immer noch nicht unter Befehle und Abfragen sehen?
Derzeit funktionieren Diagnoseprotokolle nicht rückwirkend. Die Daten werden erst angezeigt, nachdem Aktionen in Azure Data Explorer durchgeführt wurden. Das kann einige Zeit dauern, von Stunden bis zu einem Tag, je nachdem, wie aktiv Ihr Azure Data Explorer-Cluster ist.
Hinweis
Im Azure-Portal werden die unformatierten (rohen) Metrikdaten für die Seiten Metriken und Erkenntnisse in Azure Monitor gespeichert. Die Abfragen auf diesen Seiten fragen die unformatierten Metrikdaten direkt ab, um die genauesten Ergebnisse bereitzustellen. Wenn Sie die Funktion für Diagnoseeinstellungen verwenden, können Sie die unformatierten Metrikdaten in den Log Analytics-Arbeitsbereich migrieren. Während der Migration die Datengenauigkeit aufgrund von Rundungen etwas verloren gehen. Daher können Abfrageergebnisse geringfügig von den Originaldaten abweichen. Die Fehlerquote ist niedriger als ein Prozent.