Визуализация данных из Azure Data Explorer в Grafana

Grafana — это платформа аналитики, в которой можно запрашивать и визуализировать данные, а затем создавать и совместно использовать панели мониторинга на основе визуализаций. Grafana предоставляет подключаемый модуль Azure Data Explorer, который позволяет подключаться к данным и визуализировать данные из Azure Data Explorer. Подключаемый модуль работает как с Управляемой Grafana, так и с локально размещенным Grafana .

В этой статье вы узнаете, как настроить кластер в качестве источника данных для Grafana и визуализировать данные в Grafana для Управляемой Grafana Azure и локальной Grafana. Чтобы следовать примерам в этой статье, выполните прием примеров данных StormEvents. Пример набора данных StormEvents содержит данные, связанные с погодой, из Национальных центров по экологической информации.

Необходимые компоненты

• Для Управляемой Grafana Azure учетная запись Azure и экземпляр Управляемой Grafana Azure.
• Для локальной Grafana grafana версии 5.3.0 или более поздней версии для операционной системы и подключаемого модуля Azure Data Explorer для Grafana. Для использования построителя запросов Grafana требуется подключаемый модуль версии 3.0.5 или более поздней.
• Кластер и база данных Azure Data Explorer. Можно создать бесплатный кластер или создать полный кластер. Чтобы решить, что лучше всего подходит для вас, проверьте сравнение функций.

Настройка источника данных

Чтобы настроить Azure Data Explorer в качестве источника данных, выполните действия по настройке среды Grafana.

Управляемая Grafana Azure

Добавление управляемого удостоверения в роль просмотра

Управляемый Grafana создает управляемое удостоверение, назначаемое системой, для каждой новой рабочей области по умолчанию. Его можно использовать для доступа к кластеру Azure Data Explorer.

1. На портале Azure перейдите к кластеру Azure Data Explorer.

2. В разделе "Обзор" выберите базу данных с примерами данных StormEvents.

   

3. Выберите "Добавить>разрешение>" средства просмотра.

   

4. В поле поиска введите имя управляемой рабочей области Grafana.

5. В результатах поиска выберите результат, соответствующий имени рабочей области, и нажмите кнопку "Выбрать".

   

Настройка Azure Data Explorer в качестве источника данных Grafana

Управляемые рабочие области Grafana поставляются с предварительно установленным подключаемым модулем Azure Data Explorer.

1. В портал Azure перейдите в рабочую область Managed Grafana.

2. В разделе "Обзор" выберите ссылку "Конечная точка ", чтобы открыть пользовательский интерфейс Grafana.

3. В Grafana в меню слева выберите значок шестеренки. Затем выберите источники данных.

   

4. Выберите источник данных Azure Data Explorer.

   

5. В поле "Сведения о подключении" введите URL-адрес кластера Azure Data Explorer.

   

6. Щелкните Save & Test (Сохранить и протестировать).

Локальная Grafana

Создание субъекта-службы

Субъект-службу можно создать в портал Azure или с помощью интерфейса командной строки Azure CLI. После создания субъекта-службы вы получите значения для четырех свойств подключения, которые будут использоваться в последующих шагах.

Портал Azure

1. Следуйте инструкциям в документации по портал Azure. Используйте следующие сведения:

   1. В разделе Назначение приложению роли присвойте роль с типом Читатель используемому кластеру Azure Data Explorer.

   2. В разделе "Получение значений для входа" скопируйте значения для трех свойств, описанных в шагах: идентификатор каталога (идентификатор клиента), идентификатор приложения и пароль.

2. На портале Azure выберите Подписки. Затем скопируйте идентификатор подписки, в которой вы создали субъект-службу.

   

Azure CLI

1. Чтобы создать субъект-службу, используйте следующую команду. Задайте нужную область и тип роли reader.

   az ad sp create-for-rbac --name "https://{UrlToYourDashboard}:{PortNumber}" --role "reader" \
                            --scopes /subscriptions/{SubID}/resourceGroups/{ResourceGroupName}
   

   Дополнительные сведения см. в статье "Создание субъекта-службы Azure" с помощью Azure CLI.

2. Команда возвращает результирующий набор, как показано в следующем примере. Скопируйте значения для appIdсвойств и tenant свойствpassword.

   {
     "appId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
     "displayName": "{UrlToYourDashboard}:{PortNumber}",
     "name": "https://{UrlToYourDashboard}:{PortNumber}",
     "password": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX",
     "tenant": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX"
   }
   

3. Получите список подписок:

   az account list --output table
   

   Скопируйте идентификатор соответствующей подписки.

   

Добавление субъекта-службы в роль средства просмотра

Теперь, когда у вас есть субъект-служба, добавьте его в роль средства просмотра в базе данных Azure Data Explorer. Это действие можно выполнить в разделе Разрешения на портале Azure или в разделе Запрос с помощью команды управления.

портал Azure: разрешения

1. На портале Azure перейдите к кластеру Azure Data Explorer.

2. В разделе "Обзор" выберите базу данных с примерами данных StormEvents.

   

3. Выберите "Добавить разрешения>".

   

4. В разделе "Добавление разрешений базы данных" выберите роль средства просмотра и выберите пункт "Выбрать субъекты".

   

5. Найдите созданный субъект-службу. Выберите субъект и нажмите кнопку "Выбрать".

   

6. Выберите Сохранить.

   

Команда управления: запрос

1. В портал Azure перейдите в кластер Azure Data Explorer и выберите "Запрос".

   

2. Выполните приведенную ниже команду в окне запроса. Используйте идентификатор приложения и идентификатор клиента из портал Azure или Azure CLI.

   .add database {TestDatabase} viewers ('aadapp={ApplicationID};{TenantID}')
   

   Команда возвращает результирующий набор. В следующем примере первая строка — для существующего пользователя в базе данных. Вторая строка — для только что добавленного субъекта-службы.

   

Настройка свойств и тестирование подключения

С помощью субъекта-службы, назначенного роли просмотра , теперь вы указываете свойства в экземпляре Grafana и проверяете подключение к Azure Data Explorer.

1. В Grafana в меню слева выберите значок шестеренки. Затем выберите источники данных.

   

2. Выберите Добавить источник данных.

3. На странице "Источники данных" или "Создать" введите имя источника данных и выберите тип источника данных Azure Data Explorer.

   

4. В разделе "Сведения о подключении>параметров" введите имя кластера в форме.https://{ClusterName}.{Region}.kusto.windows.net Введите другие значения из портал Azure или Azure CLI. Используйте следующие сведения о сопоставлении в качестве руководства.

   Пользовательский интерфейс Grafana	Портал Azure	Azure CLI
   Идентификатор подписки	ИДЕНТИФИКАТОР ПОДПИСКИ	SubscriptionId
   Идентификатор клиента	Снимок экрана: идентификатор каталога	tenant
   Идентификатор клиента	Идентификатор приложения	appId
   Секрет клиента	Пароль	password

   

5. Щелкните Save & Test (Сохранить и протестировать).

   Если тест завершится успешно, переходите к следующему разделу. Если у вас возникли проблемы, проверьте значения, указанные в Grafana, и просмотрите предыдущие шаги.

Оптимизация запросов

Для оптимизации запросов можно использовать две функции:

• Оптимизация производительности отрисовки запросов панели мониторинга
• Разрешить слабую согласованность

Чтобы выполнить оптимизацию, внесите необходимые изменения в меню Источники данных>Параметры>Оптимизация запросов.

Оптимизация производительности отрисовки запросов панели мониторинга

Если панель мониторинга или визуальный элемент отрисовывается несколько раз одним пользователем, Grafana отправляет по умолчанию по крайней мере один запрос в Azure Data Explorer. Включение кэширования результатов запроса для повышения производительности отрисовки панели мониторинга и снижения нагрузки на кластер Azure Data Explorer.

В течение указанного диапазона времени Azure Data Explorer будет использовать кэш результатов для получения предыдущих результатов и не будет запускать ненужный запрос. Эта функция особенно эффективна для снижения нагрузки на ресурсы и повышения производительности, когда несколько пользователей используют одну панель мониторинга.

Чтобы включить отрисовку кэша результатов, выполните следующие действия на панели "Оптимизация запросов".

1. Отключение динамического кэширования.
2. В поле Максимальный возраст кэша введите количество минут, в течение которых необходимо использовать кэшированные результаты.

Разрешите слабую согласованность

Для кластеров настроена строгая согласованность. Эта конфигурация по умолчанию гарантирует, что результаты запроса актуальны со всеми изменениями в кластере.

При включении слабой согласованности результаты запроса могут иметь задержку от 1 до 2 минут после изменения кластера. Однако слабая согласованность может повысить время визуальной отрисовки. Если немедленная согласованность не является критической и производительность не является маргинальной, включите слабую согласованность для повышения производительности. Дополнительные сведения см. в разделе "Согласованность запросов".

Чтобы включить слабую согласованность, на панели "Оптимизация запросов" выберите "Слабая согласованность>данных".

Визуализация данных

Вы завершили настройку Azure Data Explorer в качестве источника данных для Grafana. Теперь пришло время визуализировать данные.

В следующем базовом примере используется режим построителя запросов и необработанный режим редактора запросов. Мы рекомендуем просматривать запросы на запись для Azure Data Explorer , например другие запросы для выполнения в наборе данных.

1. В Grafana в меню слева выберите значок плюса. Затем выберите панель мониторинга.

   

2. На вкладке Add (Добавить) выберите Graph (График).

   

3. На панели графа выберите "Изменить заголовок>панели".

   

4. В нижней части области выберите источник данных и выберите настроенный источник данных.

   

Режим построителя запросов

Используйте режим построителя запросов для определения запроса.

1. Под источником данных выберите базу данных и выберите базу данных из раскрывающегося списка.

2. Выберите "Из " и выберите таблицу из раскрывающегося списка.

   

3. Теперь, когда таблица определена, отфильтруйте данные:

   1. Выберите + справа от места (фильтра), чтобы выбрать один или несколько столбцов в таблице.
   2. Для каждого фильтра определите значения с помощью применимого оператора. Этот выбор аналогичен использованию оператора в язык запросов Kusto.

4. Выберите значения, которые нужно представить в таблице:

   1. Выберите + справа от столбцов "Значение" , чтобы выбрать столбцы значений, которые будут отображаться на панели.

   2. Для каждого столбца значений задайте тип агрегирования.

      Можно задать один или несколько столбцов значений. Этот выбор эквивалентен использованию оператора суммирования.

5. Выберите + справа от группы (сводные данные), чтобы выбрать один или несколько столбцов, которые будут использоваться для упорядочивания значений в группах. Этот выбор эквивалентен выражению группы в операторе summarize .

6. Снова выберите Выполнение запроса.

   

   Совет

   Завершив настройку параметров в построителе запросов, создается язык запросов Kusto запрос. В этом запросе показана логика, созданная с помощью графического редактора запросов.

7. Выберите "Изменить KQL ", чтобы перейти в необработанный режим. Измените запрос с помощью гибкости и возможностей язык запросов Kusto.

Режим необработанных данных

Для изменения запроса используйте режим необработанных данных.

1. В области запросов вставьте следующий запрос и нажмите кнопку "Выполнить". Запрос сегментирует количество событий по дням для примера набора данных.

   StormEvents
   | summarize event_count=count() by bin(StartTime, 1d)
   

   

2. График не отображает результаты, так как он ограничен (по умолчанию) данными за последние шесть часов. В меню вверху выберите Last 6 hours (Последние 6 часов).

   

3. Укажите настраиваемый диапазон, охватывающий 2007 год, включенный в пример набора данных StormEvents. Затем выберите Применить.

   

   Теперь на графике отображаются данные за 2007 год по дням.

   

4. В верхнем меню выберите значок сохранения:

Чтобы переключиться в режим построителя запросов, выберите Переключиться на построитель. Grafana преобразует запрос в доступную логику в построителе запросов. Логика построителя запросов ограничена, поэтому вы можете потерять изменения вручную, внесенные в запрос.

Создание оповещений

1. На домашней панели мониторинга выберите каналы уведомлений для>оповещения, чтобы создать новый канал уведомлений.

   

2. Введите имя и введите имя в разделе "Новый канал уведомлений" и нажмите кнопку "Сохранить".

   

3. На панели мониторинга выберите "Изменить " в раскрывающемся списке.

   

4. Щелкните значок колокольчика оповещений, чтобы открыть панель Оповещения. Выберите "Создать оповещение", а затем заполните свойства для оповещения.

   

5. Выберите значок Сохранить панель мониторинга, чтобы сохранить изменения.

Связанный контент

• Написание запросов для обозревателя данных Azure