Мониторинг Azure Databricks
Azure Databricks — это высокопроизводительная и многофункциональная служба аналитики на основе Apache Spark, которая позволяет без труда разрабатывать и развертывать решения аналитики больших данных и искусственного интеллекта (ИИ). Многие пользователи по достоинству оценили простоту записных книжек в решениях Azure Databricks. Если же требуются более надежные вычислительные ресурсы, Azure Databricks поддерживает распределенное выполнение пользовательского кода приложений.
Мониторинг — это важнейшая часть любого решения уровня рабочей среды. Azure Databricks предоставляет надежные функции для мониторинга метрик пользовательских приложений, потоковой передачи событий запроса и отправки сообщений журнала приложений. Данные мониторинга Azure Databricks можно отправлять в различные службы ведения журналов.
В перечисленных ниже статьях объясняется, как отправлять данные мониторинга из Azure Databricks в Azure Monitor, платформу данных мониторинга для Azure.
- Send Azure Databricks application logs to Azure Monitor (Отправка журналов приложения Azure Databricks в Azure Monitor)
- Use dashboards to visualize Azure Databricks metrics (Визуализация метрик Azure Databricks с помощью панелей мониторинга)
- Устранение неполадок с производительностью
Библиотека кода, сопровождающая эти статьи, расширяет основные возможности мониторинга Azure Databricks для отправки метрик, событий и данных журналов Spark в Azure Monitor.
Эти статьи и сопровождающая их библиотека кода предназначены для разработчиков решений Apache Spark и Azure Databricks. Код нужно встроить в файлы архива Java (JAR), а затем развернуть в кластере Azure Databricks. Код представляет собой сочетание Scala и Java с соответствующим набором файлов объектной модели проекта (POM) Maven для создания выходных JAR-файлов. Перед началом работы рекомендуем изучить общие сведения о Java, Scala и Maven.
Следующие шаги
Сначала создайте библиотеку кода и разверните ее в кластере Azure Databricks.
Send Azure Databricks application logs to Azure Monitor (Отправка журналов приложения Azure Databricks в Azure Monitor)