Создание панелей мониторинга Power BI в режиме реального времени с помощью Stream Analytics без редактора кода

Статья
04/01/2024

В этом руководстве показано, как использовать бескодовый редактор Stream Analytics для вычисления агрегатов в потоках данных в режиме реального времени и их хранения в Azure Synapse Analytics.

В этом руководстве описано следующее:

Развертывание генератора событий, отправляющего данные в концентратор событий
Создание задания Stream Analytics с помощью бескодового редактора
Проверка входных данных и схемы
Выбор полей для группировки и определение агрегатов в виде счетчика
Настройка Azure Synapse Analytics, куда будут записываться результаты
Выполнение задания Stream Analytics
Визуализация данных в Power BI

Необходимые компоненты

Прежде чем начать работу, нужно сделать следующее:

Если у вас еще нет подписки Azure, создайте бесплатную учетную запись.
Разверните генератор событий TollApp в Azure. Используйте эту ссылку, чтобы развернуть шаблон TollApp Azure. Установите для параметра "interval" значение 1. Используйте новую группу ресурсов для этого шага.
Создайте рабочую область Azure Synapse Analytics с выделенным пулом SQL.

Примечание.

Если вы хотите создать панель мониторинга Power BI в режиме реального времени без записи данных в базу данных, можно пропустить шаг 3 и 4, а затем перейти к этому руководству, чтобы создать панель мониторинга в режиме реального времени с набором данных Power BI, созданным заданием Stream Analytics.
Создайте таблицу с именем carsummary с помощью выделенного пула SQL. Это можно сделать, выполнив следующий скрипт SQL:
```
CREATE TABLE carsummary   
(  
    Make nvarchar(20),  
    CarCount int,
	times datetime
)
WITH ( CLUSTERED COLUMNSTORE INDEX ) ;
```

Использование бескодового редактора для создания задания Stream Analytics

Найдите группу ресурсов, в которой был развернут генератор событий TollApp.
Выберите пространство имен Центров событий Azure.
На странице Пространство имен Центров событий выберите Центры событий в разделе Сущности в меню слева.
Выберите entrystream экземпляр.
Перейдите в область Обработка данных в разделе "Функции", а затем выберите Пуск в шаблоне Начать с пустого холста.
Назовите задание carsummary и нажмите кнопку "Создать".
На странице конфигурации концентратора событий подтвердите следующие параметры и выберите Подключить.
1. Для группы потребителей выберите "Использовать существующий", а затем выберите "По умолчанию".
2. Для типа сериализации убедитесь, что выбран json .
3. В режиме проверки подлинности убедитесь, что строка подключения используется для подключения к концентратору событий: строка подключения.
В течение нескольких секунд отображаются примеры входных данных и схемы. При необходимости вы можете удалить поля, переименовать их или изменить тип данных.
Выберите "Операции" на панели команд и выберите "Группировать по".
Выберите плитку Группировка на холсте и подключите ее к плитке концентратора событий.
Настройте плитку Группировка, указав следующее:
1. Агрегат в виде счетчика.
2. Поле Make, которое является вложенным полем внутри CarModel.
3. Выберите Добавить.
4. В разделе "Параметры":
  1. Для агрегирования групп нажмите кнопку "Сделать".
  2. В окне времени убедитесь, что для значения задано значение Tumbling.
  3. В течение длительности введите 3 минуты
  4. В нижней части страницы нажмите кнопку Готово.
Выберите группировать по и обратите внимание на сгруппированные данные на вкладке "Предварительный просмотр данных" в нижней части страницы.
На панели команд выберите "Операции" и "Управление полями".
Плитки "Подключить группу по полям" и "Управление".
На странице "Управление полями" выполните следующие действия:
1. Добавьте поле Make, как показано на следующем рисунке, и нажмите кнопку "Добавить".
2. Нажмите кнопку Добавить.
Выберите Добавить все поля на странице конфигурации Управление полями.
Щелкните ... рядом с полями и выберите Изменить, чтобы переименовать их.
- COUNT_make на CarCount
- Window_End_Time на times
Выберите "Готово" на странице "Управление полями ". Страница Управление полями должна выглядеть, как показано на следующем снимке изображении.
Выберите плитку "Управление полями" и просмотрите данные, поступающие в операцию на вкладке "Предварительный просмотр данных" в нижней части страницы.
На панели команд выберите выходные данные и выберите Synapse.
Подключите плитку Synapse к плитке Управление полями на холсте.
На странице параметров Synapse выполните следующие действия:
1. Если учетная запись хранения задания еще не задана, выберите учетную запись Azure Data Lake Storage в группе ресурсов. Это учетная запись хранения, используемая Synapse SQL для загрузки данных в хранилище данных.
2. Выберите подписку Azure, в которой находится Azure Synapse Analytics.
3. Выберите базу данных выделенного пула SQL, который использовался для создания carsummary таблицы в предыдущем разделе.
4. Введите имя пользователя и пароль для проверки подлинности.
5. Введите имя carsummaryтаблицы как .
6. Нажмите Подключиться. Вы увидите примеры результатов, которые будут записаны в таблицу Synapse SQL.
Выберите плитку Synapse и перейдите на вкладку "Предварительный просмотр данных" в нижней части страницы. Вы увидите данные, поступающие в выделенный пул SQL.
Нажмите кнопку Сохранить на верхней ленте, чтобы сохранить задание, а затем нажмите кнопку Пуск.
На странице "Запуск задания Stream Analytics" нажмите кнопку "Пуск", чтобы запустить задание.
Затем вы увидите список всех заданий Stream Analytics, созданных с помощью редактора кода. И в течение двух минут задание переходит в состояние "Выполнение ". Нажмите кнопку Обновить на странице, чтобы увидеть, что состояние изменено с Создано —>Запуск> — Выполняется.

Создание визуализации Power BI

Скачайте последнюю версию Power BI Desktop.
Используйте соединитель Power BI для Azure Synapse SQL.
Подключитесь к базе данных с помощью DirectQuery и используйте этот запрос для получения данных из базы данных.
```
SELECT [Make],[CarCount],[times]
FROM [dbo].[carsummary]
WHERE times >= DATEADD(day, -1, GETDATE())
```
Перейдите на вкладку "База данных " и введите учетные данные (имя пользователя и пароль), чтобы подключиться к базе данных и запустить запрос.
Выберите "Загрузка", чтобы загрузить данные в Power BI.
Затем можно создать график со следующими параметрами:
- Ось X — times.
- Ось Y — CarCount.
- Условные обозначения — Make. После этого появится диаграмма, которую можно опубликовать. Вы можете настроить автоматическое обновление страницы и задать для него значение 3 минут, чтобы получить представление в режиме реального времени.

Дополнительные варианты

Кроме Azure Synapse SQL, вы также можете использовать База данных SQL в качестве выходных данных редактора без кода для получения потоковых данных. А затем используйте соединитель Power BI для подключения База данных SQL к базе данных с помощью DirectQuery, а также для создания панели мониторинга в режиме реального времени.

Это также хороший вариант для создания панели мониторинга в режиме реального времени с помощью потоковых данных. Дополнительные сведения о выходных данных База данных SQL см. в разделе "Преобразование и прием в База данных SQL".

Очистка ресурсов

Найдите экземпляр Центров событий и просмотрите список заданий Stream Analytics в разделе Обработка данных. Остановите все выполняемые задания.
Перейдите в группу ресурсов, которую вы использовали при развертывании генератора событий TollApp.
Выберите команду Удалить группу ресурсов. Введите имя группы ресурсов, чтобы подтвердить удаление.

Следующие шаги

В этом руководстве вы создали задание Stream Analytics с помощью бескодового редактора, чтобы определить агрегаты и записать результаты в Azure Synapse Analytics. Затем вы использовали Power BI для создания панели мониторинга в режиме реального времени, чтобы просмотреть результаты, полученные заданием.

Без обработки потока кода с помощью Azure Stream Analytics

Поделиться через