Мониторинг с помощью Azure Managed Prometheus и Grafana

Важный

Azure HDInsight в AKS прекращено 31 января 2025 г. Узнайте больше о с этим объявлением.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

Мониторинг кластеров и служб является неотъемлемой частью любой организации. Azure HDInsight в AKS поставляется с интегрированным интерфейсом мониторинга со службами Azure. В этой статье мы используем управляемую службу Prometheus с панелями мониторинга Azure Grafana для мониторинга.

Управляемый Azure Prometheus — это служба, которая отслеживает облачные среды. Мониторинг заключается в поддержании их доступности и производительности и метрик рабочей нагрузки. Он собирает данные от ресурсов в ваших экземплярах Azure, а также из других средств мониторинга. Данные используются для анализа в нескольких источниках.

Azure Managed Grafana — это платформа визуализации данных, созданная на основе программного обеспечения Grafana от Grafana Labs. Она создана как полностью управляемая служба Azure, работаемая и поддерживаемая корпорацией Майкрософт. Grafana помогает объединить метрики, журналы и трассировки в единый пользовательский интерфейс. Благодаря обширной поддержке источников данных и возможностей графирования вы можете просматривать и анализировать данные телеметрии приложений и инфраструктуры в реальном времени.

В этой статье рассматривается процесс включения функции мониторинга в HDInsight на AKS.

Необходимые условия

• Рабочая область Azure Managed Prometheus. Эту рабочую область можно рассматривать как уникальную среду журналов Azure Monitor с собственным репозиторием данных, источниками данных и решениями. Инструкции см. в статье Создание управляемой рабочей области Prometheus Azure.
• Рабочее пространство Azure Managed Grafana. Инструкции см. в статье Создание рабочей области Azure Managed Grafana.
• HDInsight на кластере AKS. В настоящее время вы можете использовать Управляемый Prometheus Azure со следующими типами HDInsight в кластерах AKS:
  • Apache Spark™
  • Apache Flink®
  • Трино

Инструкции по созданию HDInsight на кластере AKS см. статью Начало работы с Azure HDInsight на AKS.

Включение Управляемого Prometheus и Grafana Azure

Мониторинг Azure Managed Prometheus и Grafana необходимо настроить на уровне пула кластера, чтобы активировать его на уровне кластера. При включении решения мониторинга необходимо учитывать различные этапы.

#	Сценарий	Включить	Отключить
1	Создание пула кластеров -During	Not Supported	Default
2	Пул кластеров — создание после создания	Supported	Not Supported
3	Кластер — во время создания	Supported	Default
4	Кластер — создание поста	Supported	Supported

Во время создания пула кластера

В настоящее время Управляемый Prometheus НЕ может быть включен при создании пула кластеров. Его можно настроить после создания пула кластера.

Создание пула кластеров после выполнения

Мониторинг можно включить на вкладке интеграции на существующем представлении пула кластеров, доступном на портале Azure. Вы можете использовать предварительно созданные рабочие области или создать новую во время настройки мониторинга для пула кластеров.

Использование предварительно созданной рабочей области

1. Щелкните настроить, чтобы включить мониторинг Azure Prometheus.

   

2. Щелкните Дополнительные параметры, чтобы присоединить предварительно созданные рабочие области.

   

   

Создание рабочих областей для Azure Prometheus и Grafana при включении мониторинга в пуле кластеров

Вы можете создать рабочие области в HDI на странице пула кластеров AKS.

1. Щелкните Настроить рядом с параметром Azure Prometheus.

   

2. Щелкните Создать новую рабочую область для Azure Managed Prometheus.

   

3. Введите имя, регион и нажмите «Создать» для Prometheus.

   

4. Щелкните Создать рабочую область для Управляемой Grafana Azure.

5. Введите имя, регион и нажмите на Создать для Grafana.

   

   Заметка

   1. Управляемый Grafana можно включить только в том случае, если включен Управляемый Prometheus.
   2. После того, как управляемые рабочие области Azure Managed Prometheus и Azure Managed Grafana были включены в HDInsight в пуле кластеров AKS, их нельзя будет отключить из пула кластеров. Его необходимо отключить на уровне кластера.

Во время создания кластера

Включение Управляемого Prometheus Azure во время создания кластера

1. После создания пула кластеров и активации управляемого Azure Prometheus пользователь должен создать HDI в кластере AKS в том же пуле кластеров.

2. Во время процесса создания кластера перейдите на страницу интеграции и включите Azure Prometheus.

   

После создания кластера

Вы также можете включить Azure Managed Prometheus после создания HDI в кластере AKS.

1. Перейдите на вкладку Integrations на странице кластера.

2. Включите мониторинг Azure Prometheus с помощью кнопки переключателя и нажмите кнопку Сохранить.

   

   Заметка

   Аналогичным образом, если необходимо отключить мониторинг Azure Prometheus, можно отключить переключатель и нажать кнопку Сохранить.

Включение необходимых разрешений

Чтобы просмотреть Azure Managed Prometheus и Azure Managed Grafana на портале HDInsight на AKS, необходимо иметь определенные разрешения следующим образом.

Разрешение пользователя: Для просмотра Управляемой Azure Grafana требуется роль "Средство просмотра Grafana" для пользователя в рабочей области Azure Managed Grafana, Управление доступом (IAM). Узнайте, как предоставить пользователю доступ здесь .

1. Откройте рабочую область Grafana, настроенную в пуле кластера.

2. Выберите роль Просмотрщик Grafana

3. Выберите имя пользователя, которое обращается к панели мониторинга Grafana.

4. Выберите пользователя и нажмите кнопку Проверить и назначить

   Заметка

   Если пользователь предварительно создает Управляемый Prometheus Azure, удостоверению Grafana требуются дополнительные разрешения уровня Monitoring Reader .

5. На странице рабочей области Grafana, связанной с кластером, предоставляется разрешение Monitoring reader на вкладке "Идентификация".

   

6. Щелкните Добавить назначение ролей.

7. Выберите следующие параметры

   1. Область подписки
   2. Имя подписки.
   3. Роль в качестве читателя для мониторинга

   

   Заметка

   Чтобы просмотреть другие роли для пользователей Grafana, см. здесь.

Просмотр метрик

Мы используем кластер Apache Spark™ в качестве примера в этом случае, предполагая, что в кластере выполняется несколько заданий для получения метрик.

Просмотрите следующие действия, чтобы использовать примеры шаблонов Grafana:

1. Скачайте пример шаблона из здесь для соответствующих рабочих нагрузок (скачайте шаблон Apache Spark в этом случае).

2. Войдите на панель мониторинга Grafana из кластера.

   

3. После открытия страницы панели мониторинга Grafana нажмите кнопку "Новый > Импорт"

   

4. Щелкните на JSON-файле панели управления загрузки и загрузите загруженный шаблон Apache Spark Grafana, затем щелкните Импорт.

   

5. После завершения загрузки, можно нажать на панель управления, чтобы просмотреть показатели.

   

Ссылка

• Имена проектов Apache, Apache Spark, Spark и связанных с открытым исходным кодом являются товарными знакамиApache Software Foundation (ASF).