Überwachung mit Azure Managed Prometheus und Grafana

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Featurevorschläge stellen Sie bitte eine Anfrage auf AskHDInsight mit den entsprechenden Details und folgen Sie uns, um weitere Updates zu erhalten zu Azure HDInsight Community.

Cluster- und Dienstüberwachung ist integraler Bestandteil jeder Organisation. Azure HDInsight auf AKS verfügt über integrierte Überwachungserfahrungen mit Azure-Diensten. In diesem Artikel verwenden wir verwalteten Prometheus-Dienst mit Azure Grafana-Dashboards für die Überwachung.

Azure Managed Prometheus ist ein Dienst, der Ihre Cloudumgebungen überwacht. Die Überwachung besteht darin, ihre Verfügbarkeits- und Leistungs- und Arbeitsauslastungsmetriken aufrechtzuerhalten. Sie sammelt Daten, die von Ressourcen in Ihren Azure-Instanzen und von anderen Überwachungstools generiert werden. Die Daten werden verwendet, um Analysen über mehrere Quellen hinweg bereitzustellen.

Von Azure Managed Grafana ist eine Datenvisualisierungsplattform, die auf der Grafana-Software von Grafana Labs basiert. Er wurde als vollständig verwalteter Azure-Dienst erstellt, der von Microsoft betrieben und unterstützt wird. Grafana hilft Ihnen, Metriken, Protokolle und Ablaufverfolgungen in einer einzigen Benutzeroberfläche zusammenzuführen. Mit seiner umfassenden Unterstützung für Datenquellen und Graphing-Funktionen können Sie Ihre Anwendungs- und Infrastruktur-Telemetriedaten in Echtzeit anzeigen und analysieren.

In diesem Artikel werden die Details zum Aktivieren des Überwachungsfeatures in HDInsight auf AKS behandelt.

Voraussetzungen

• Ein Azure Managed Prometheus-Arbeitsbereich. Sie können sich diesen Arbeitsbereich als eine einzigartige Azure Monitor-Protokollumgebung mit eigenen Daten-Repositorys, Datenquellen und Lösungen vorstellen. Anweisungen finden Sie unter Erstellen eines azure Managed Prometheus-Arbeitsbereichs.
• Azure Managed Grafana-Arbeitsbereich. Anweisungen finden Sie unter Erstellen eines verwalteten Azure Grafana-Arbeitsbereichs.
• Ein HDInsight auf AKS Cluster. Derzeit können Sie Azure Managed Prometheus mit den folgenden HDInsight für AKS-Clustertypen verwenden:
  • Apache Spark™
  • Apache Flink®
  • Trino

Die Anweisungen zum Erstellen eines HDInsight auf AKS-Cluster finden Sie unter Erste Schritte mit Azure HDInsight auf AKS.

Aktivieren von Azure Managed Prometheus und Grafana

Die Azure Managed Prometheus- und Grafana-Überwachung muss auf Clusterpoolebene konfiguriert werden, um sie auf Clusterebene zu aktivieren. Sie müssen verschiedene Phasen berücksichtigen, während Sie die Überwachungslösung aktivieren.

#	Szenario	Ermöglichen	Abschalten
1	Erstellung des Clusterpools -During	Not Supported	Default
2	Clusterpool – Nach der Erstellung	Supported	Not Supported
3	Cluster – während der Erstellung	Supported	Default
4	Cluster – Nach der Erstellung	Supported	Supported

Während der Erstellung des Clusterpools

Derzeit kann Managed Prometheus während der Erstellung eines Clusterpools NICHT aktiviert werden. Sie können ihn nach der Erstellung des Clusterpools konfigurieren.

Nach der Erstellung von Clusterpools

Die Überwachung kann über die Registerkarte Integrationen auf einer vorhandenen Clusterpoolansicht aktiviert werden, die im Azure-Portal verfügbar ist. Sie können bereits erstellte Arbeitsbereiche verwenden oder eine neue erstellen, während Sie die Überwachung für den Clusterpool konfigurieren.

Vordefinierten Arbeitsbereich verwenden

1. Klicken Sie auf konfigurieren Sie, um die Azure Prometheus-Überwachung zu aktivieren.

   

2. Klicken Sie auf Erweiterte Einstellungen, um Ihre vordefinierten Arbeitsbereiche anzuhängen.

   

   

Erstellen Sie den Azure Prometheus- und Grafana-Arbeitsbereich und aktivieren Sie dabei die Überwachung im Cluster-Pool.

Sie können die Arbeitsbereiche auf der HDI-Seite des AKS-Cluster Pools erstellen.

1. Klicken Sie auf Konfigurieren neben der Option "Azure Prometheus".

   

2. Klicken Sie auf Neuen-Arbeitsbereich erstellen für Azure Managed Prometheus.

   

3. Geben Sie den Namen, die Region ein, und klicken Sie auf " für Prometheus erstellen".

   

4. Klicken Sie auf "Neuen Arbeitsbereich erstellen" für Azure Managed Grafana.

5. Geben Sie "Name", "Region" ein, und klicken Sie auf " für Grafana erstellen".

   

   Anmerkung

   1. Verwaltetes Grafana kann nur aktiviert werden, wenn Verwaltetes Prometheus aktiviert ist.
   2. Sobald der Azure Managed Prometheus-Arbeitsbereich und der Azure Managed Grafana-Arbeitsbereich aus dem HDInsight im AKS-Clusterpool aktiviert sind, kann er nicht erneut vom Clusterpool deaktiviert werden. Sie muss von der Clusterebene deaktiviert werden.

Während der Clustererstellung

Aktivieren von Azure Managed Prometheus während der Clustererstellung

1. Nachdem der Clusterpool erstellt wurde und der Azure Managed Prometheus aktiviert ist, muss der Benutzer einen HDI für AKS-Cluster im selben Clusterpoolerstellen.

2. Navigieren Sie während des Clustererstellungsprozesses zur Seite Integration, und aktivieren Sie Azure Prometheus.

   

Nach der Clustererstellung

Sie können azure Managed Prometheus auch nach HDI bei der AKS-Clustererstellung aktivieren.

1. Navigieren Sie zur Registerkarte "Integrationen" auf der Clusterseite.

2. Aktivieren Sie Azure Prometheus Monitoring mit der Umschaltfläche, und klicken Sie auf Speichern.

   

   Anmerkung

   Ebenso können Sie die Azure Prometheus-Überwachung deaktivieren, indem Sie die Umschaltfläche deaktivieren und auf Speichern klicken.

Aktivieren erforderlicher Berechtigungen

Um Azure Managed Prometheus und Azure Managed Grafana über das HDInsight im AKS-Portal anzuzeigen, müssen Sie über bestimmte Berechtigungen wie folgt verfügen.

Benutzerberechtigung: Zum Anzeigen von Azure Managed Grafana ist die Rolle "Grafana Viewer" für den Benutzer im Azure Managed Grafana-Arbeitsbereich, Access Control (IAM) erforderlich. Sehen Sie sich an, wie Sie den Benutzerzugriff gewähren, hier.

1. Öffnen Sie den grafana-Arbeitsbereich, der im Clusterpool konfiguriert ist.

2. Wählen Sie die Rolle als Grafana Viewer

3. Wählen Sie den Benutzernamen aus, der auf das Grafana-Dashboard zugreift.

4. Wählen Sie den Benutzer aus, und klicken Sie auf Überprüfen+ Zuweisen

   Anmerkung

   Wenn der Benutzer Azure Managed Prometheus vorab erstellt, erfordert die Grafana Identity zusätzliche Berechtigungen für Monitoring Reader.

5. Auf der Grafana-Arbeitsbereichsseite (die mit dem Cluster verknüpft ist) wird die Berechtigung Überwachungsleser auf der Registerkarte "Identität" bereitgestellt.

   

6. Klicken Sie auf Zum Hinzufügen einer Rollenzuweisung.

7. Wählen Sie die folgenden Parameter aus.

   1. Bereich als Abonnement
   2. Der Abonnementname.
   3. Rolle als Überwachungsleser

   

   Anmerkung

   Informationen zum Anzeigen anderer Rollen für Grafana-Benutzer finden Sie hier .

Anzeigen von Metriken

Wir verwenden einen Apache Spark-Cluster™ als Beispiel in diesem Fall, vorausgesetzt, es werden nur wenige Aufträge im Cluster ausgeführt, um die Metriken zu erhalten.

Gehen Sie folgendermaßen vor, um die Grafana-Beispielvorlagen zu verwenden:

1. Laden Sie die Beispielvorlage von hier für die jeweiligen Workloads herunter (laden Sie die Apache Spark-Vorlage in diesem Fall herunter).

2. Melden Sie sich über Ihren Cluster beim Grafana-Dashboard an.

   

3. Nachdem die Grafana Dashboard-Seite geöffnet wurde, klicken Sie auf "Neu > Importieren".

   

4. Klicken Sie auf die JSON-Datei "Dashboard hochladen", um die von Ihnen heruntergeladene Apache Spark Grafana-Vorlage hochzuladen, und klicken Sie dann auf Import.

   

5. Nachdem der Upload abgeschlossen ist, können Sie auf das Dashboard klicken, um die Metriken anzuzeigen.

   

Referenz

• Apache, Apache Spark, Spark und damit verbundene Open Source-Projektnamen sind Marken der Apache Software Foundation (ASF).