Aktivieren der Überwachung von HDInsight-Aufträgen
Die Überwachung eines HDInsight-Clusters ist sowohl für Datentechniker als auch für IT-Administratoren von Interesse, damit sie die folgenden Bereiche des Clusters überwachen können:
- Cluster health and availability (Überwachen auf Azure HDInsight, Teil 2: Clusterintegrität und -verfügbarkeit)
- Ressourcenauslastung und -leistung
- Workloadinformationen und Protokolle
IT-Administratoren nutzen die Überwachung, um den Zustand und die Verfügbarkeit des Clusters anzuzeigen, sowie um die Sicherheit des Clusters zu überwachen. Datentechniker sind an Folgendem interessiert:
- Workloadinformationen und Protokolle
- Überwachen auf Fehler oder Erfolge von Aufträgen
- Leistung des Clusters
- Anzeigen von Workloads mithilfe von Protokollen
Es gibt zwei Haupttools, die zur Überwachung verwendet werden können: Apache Ambari und Azure Monitor.
Apache Ambari
Dieses Tool wird für die Verwaltung und Überwachung von Open Source-Clustern verwendet. Es bietet ein Dashboard mit einer Reihe von Widgets, mit denen Sie den Zustand eines HDInsight-Clusters aus der Hardwareperspektive sowohl auf Cluster- als auch auf Knotenebene anzeigen können. Das Dashboard ist über den Übersichtsbildschirm des HDInsight-Clusters im Azure-Portal zugänglich.
Apache Ambari wird in einem Webbrowser geöffnet, der ein Dashboard mit Überwachungstools bereitstellt.
Viele Bereiche von Apache Ambari sind sowohl für IT-Administratoren als auch für Datentechniker nützlich. Das anfängliche Dashboard ist für IT-Administratoren nützlich, um den Zustand des Clusters in Echtzeit zu überwachen. Es gibt zusätzliche Bereiche wie den YARN-Bildschirm, der es Datentechnikern ermöglicht, Warteschlangenkapazitäten, Aufträge und zugehörige Protokolle anzuzeigen, um die Workloads auf dem Cluster zu überwachen. Außerdem können Sie mithilfe von Warnfunktionen fehlerhafte Komponenten identifizieren, sodass Sie den Cluster proaktiv unterstützen können.
Überwachung
Azure Monitor ist ein Azure-weites Überwachungstool, das auf HDInsight-Clustern verwendet werden kann, um den Zustand Ihres Diensts zu überwachen. Aspekte von Azure Monitor werden direkt im Azure-Portal verfügbar gemacht:
Alerts
Benachrichtigungen sind ein nützliches Tool, um eine Ressource in Azure proaktiv zu überwachen und auf Basis einer Bedingung zu handeln. Eine Benachrichtigung kann für eine bestimmte Ressource – z. B. einen HDInsight-Cluster – festgelegt werden, um den Schwellenwert einer Bedingung zu bestimmen, die vorgibt, ob ein Alarm ausgelöst wird. Eine Bedingung könnte die Abfrage sein, ob Autoskalierung aktiviert ist. Diese Bedingung kann entweder wahr oder falsch sein. Die Aktionen können vom Senden einer E-Mail bis zum Neustart eines Diensts reichen, je nachdem, wie die Bedingung definiert ist.
Metriken
Metriken sind eine Komponente von Azure Monitor, die es Ihnen ermöglichen, visuelle Diagramme einzurichten, die spezifisch für das sind, was Sie überwachen möchten. Die Verwendung von visuellen Diagrammen ermöglicht es Ihnen, Datenpunkte anzuzeigen, zu messen und zu korrelieren, um festzustellen, ob die Leistung eines Diensts in einem akzeptablen Bereich liegt. Zu den HDInsight-Metriken gehören Gatewayanforderungen, um die Last auf Ihrem Cluster festzustellen, und die Anzahl der aktiven Worker, über die Sie die Größe Ihres HDInsight-Clusters im Auge behalten können.
Diagnoseeinstellungen
Mit diesen Einstellungen können Sie ein Ziel auswählen (ein Speicherkonto, einen Event Hub-Dienst oder ein Log Analytics-Konto), um Diagnosedaten zu dem von Ihnen aktivierten Dienst zu erhalten. Die Protokolle werden an das von Ihnen gewählte Ziel gesendet, sodass Sie die Dienstaktivität über einen längeren Zeitraum protokollieren und später analysieren können. Diese Einstellungen sollten nur festgelegt werden, wenn Sie eine tiefgehende Analyse des Diensts durchführen möchten.
Azure Monitor
Es gibt eine direkte Verknüpfung mit Azure Monitor, sodass Sie den vollen Funktionsumfang nutzen können, den Azure Monitor bietet.
Ressourcenintegrität
Dieses Dashboard ist standardmäßig bei allen Diensten in Azure vorhanden und ermöglicht es Ihnen, den Zustand des HDInsight-Diensts an einem bestimmten Tag anzuzeigen. Aus diesem Bereich können keine Benachrichtigungen gesendet werden, weshalb Sie dies selbst untersuchen müssen. Die Ressourcenintegrität kann Ihnen eine Übersicht über die Statusinformationen verschaffen.