Überwachen von Azure Databricks
Azure Databricks ist ein schneller, leistungsstarker Apache Spark-basierter Analysedienst, der die schnelle Entwicklung und Bereitstellung von Big Data Analytics- und Ki-Lösungen (Ai) erleichtert. Viele Benutzer nutzen die Einfachheit von Notizbüchern in ihren Azure Databricks-Lösungen. Für Benutzer, die robustere Computeroptionen erfordern, unterstützt Azure Databricks die verteilte Ausführung von benutzerdefiniertem Anwendungscode.
Die Überwachung ist ein wichtiger Bestandteil jeder Lösung auf Produktionsebene, und Azure Databricks bietet robuste Funktionen zum Überwachen von benutzerdefinierten Anwendungsmetriken, Streamingabfrageereignissen und Anwendungsprotokollmeldungen. Azure Databricks können diese Überwachungsdaten an verschiedene Protokollierungsdienste senden.
In den folgenden Artikeln wird gezeigt, wie Überwachungsdaten von Azure Databricks an Azure Monitor, die Überwachungsdatenplattform für Azure, gesendet werden.
- Senden von Azure Databricks Anwendungsprotokollen an Azure Monitor
- Verwenden von Dashboards zum Visualisieren von Azure Databricks-Metriken
- Fehlerbehebung bei Leistungsengpässen
Die Codebibliothek, die diese Artikel begleitet, erweitert die Kernüberwachungsfunktionalität von Azure Databricks, um Spark-Metriken, Ereignisse und Protokollierungsinformationen an Azure Monitor zu senden.
Die Zielgruppe für diese Artikel und die zugehörige Codebibliothek sind Apache Spark- und Azure Databricks-Lösungsentwickler. Der Code muss in Jar-Dateien (Java Archive) integriert und dann in einem Azure Databricks-Cluster bereitgestellt werden. Der Code ist eine Kombination aus Scala und Java und enthält entsprechende Maven-POM-Dateien (Projektobjektmodell) zum Erstellen der JAR-Ausgabedateien. Das Verständnis von Java, Scala und Maven wird als Voraussetzungen empfohlen.
Nächste Schritte
Erstellen Sie zunächst die Codebibliothek, und stellen Sie sie in Ihrem Azure Databricks-Cluster bereit.