Мониторинг Azure Databricks
Azure Databricks — это быстрая, мощная служба аналитики На основе ApacheSpark, которая упрощает быстрое разработку и развертывание решений аналитики больших данных и искусственного интеллекта (ИИ). Многие пользователи используют простоту записных книжек в своих решениях Azure Databricks. Для пользователей, которым требуются более надежные варианты вычислений, Azure Databricks поддерживает распределенное выполнение пользовательского кода приложения.
Мониторинг является важной частью любого решения на уровне рабочей среды, и Azure Databricks предлагает надежные функции для мониторинга пользовательских метрик приложений, событий потокового запроса и сообщений журнала приложений. Azure Databricks может отправлять эти данные мониторинга в различные службы ведения журнала.
В следующих статьях показано, как отправлять данные мониторинга из Azure Databricks в Azure Monitor, платформу данных мониторинга для Azure.
- Отправка журналов приложений Azure Databricks в Azure Monitor
- Использование панелей мониторинга для визуализации метрик Azure Databricks
- устранение узких мест производительности
Библиотека кода, сопровождающая эти статьи, расширяет основные функции мониторинга Azure Databricks для отправки метрик Spark, событий и ведения журнала в Azure Monitor.
Аудитория этих статей и сопроводительной библиотеки кода — это разработчики решений Apache Spark и Azure Databricks. Код должен быть встроен в файлы JAR-файла Java, а затем развертываться в кластере Azure Databricks. Код представляет собой сочетание Scala и Java с соответствующим набором файлов Maven проектной объектной модели (POM) для создания выходных JAR-файлов. В качестве предварительных требований рекомендуется понимать Java, Scala и Maven.
Дальнейшие действия
Начните с создания библиотеки кода и развертывания его в кластере Azure Databricks.