Monitorowanie usługi Azure Databricks
Azure Databricks jest szybką, zaawansowaną usługą analityczną opartą na Apache Spark, która ułatwia szybkie opracowywanie i wdrażanie rozwiązań do analizy big data i sztucznej inteligencji (AI). Wielu użytkowników korzysta z prostoty notesów w swoich rozwiązaniach usługi Azure Databricks. W przypadku użytkowników, którzy wymagają bardziej niezawodnych opcji obliczeniowych, usługa Azure Databricks obsługuje rozproszone wykonywanie niestandardowego kodu aplikacji.
Monitorowanie jest krytyczną częścią dowolnego rozwiązania na poziomie produkcyjnym, a usługa Azure Databricks oferuje niezawodne funkcje monitorowania niestandardowych metryk aplikacji, zdarzeń zapytań przesyłanych strumieniowo i komunikatów dziennika aplikacji. Usługa Azure Databricks może wysyłać te dane monitorowania do różnych usług rejestrowania.
W poniższych artykułach pokazano, jak wysyłać dane monitorowania z usługi Azure Databricks do usługi Azure Monitor, platformy danych monitorowania dla platformy Azure.
- wysyłanie dzienników aplikacji usługi Azure Databricks do usługi Azure Monitor
- Używanie pulpitów nawigacyjnych do wizualizacji metryk usługi Azure Databricks
- Rozwiązywanie problemów związanych z wąskimi gardłami wydajności
Biblioteka kodu, która towarzyszy tym artykułom, rozszerza podstawowe funkcje monitorowania usługi Azure Databricks w celu wysyłania metryk, zdarzeń i rejestrowania platformy Spark do usługi Azure Monitor.
Odbiorcami tych artykułów i towarzyszącej biblioteki kodu są deweloperzy rozwiązań Apache Spark i Azure Databricks. Kod musi być wbudowany w pliki Jar (Java Archive), a następnie wdrożyć go w klastrze usługi Azure Databricks. Kod jest kombinacją plików Scala i Java z odpowiednim zestawem plików JAR Maven project object model (POM) w celu skompilowania wyjściowych plików JAR. Znajomość języków Java, Scala i Maven jest zalecana jako wymagania wstępne.
Następne kroki
Zacznij od utworzenia biblioteki kodu i wdrożenia jej w klastrze usługi Azure Databricks.