Мониторинг состояния и производительности потока событий
Функция потоков событий Microsoft Fabric позволяет легко отслеживать данные о событиях потоковой передачи, состояние приема и производительность приема. В этой статье объясняется, как отслеживать состояние потока событий, проверять журналы, ошибки и аналитические сведения о данных с помощью метрик.
В потоке событий существует два типа возможностей мониторинга: аналитика данных и журналы среды выполнения. Отображается одно или оба представления в зависимости от выбранного источника или назначения.
Необходимые компоненты
Перед началом работы необходимо:
- Доступ к рабочей области с разрешениями средства просмотра или выше, где находится элемент Eventstream.
- Источник концентратора событий Azure или назначение lakehouse, добавленное в поток событий.
Аналитические сведения
Вкладка "Аналитика данных" отображается в нижней области основного редактора. На вкладке представлены метрики, которые можно использовать для мониторинга состояния и производительности потока событий, источников и назначений. Разные источники и назначения имеют разные метрики. При выборе узла на холсте основного редактора метрики для этого конкретного узла отображаются на вкладке "Аналитика данных".
Аналитика данных в узле потока событий
На вкладке "Аналитика данных" отображаются следующие метрики для узла потока событий:
| Метрика | Единица измерения | Description |
|---|---|---|
| ВходящиеMessages | Count | Количество событий или сообщений, отправленных в поток событий за указанный период. |
| Исходящиеmessages | Count | Количество событий или исходящих сообщений из потока событий за указанный период. |
| Входящие байты | Байт | Входящие байты для потока событий за указанный период. |
| Исходящие байты | Байт | Исходящие байты для потока событий за указанный период. |
Чтобы просмотреть аналитические сведения о данных для потока событий, выполните приведенные ниже действия.
Выберите узел потока событий на холсте основного редактора.
В нижней области выберите вкладку "Аналитика данных".
Если в потоке событий есть данные, диаграмма метрик отображается на вкладке Аналитика данных.
В правой части вкладки установите флажки рядом с метриками, которые вы хотите отобразить.
Аналитика данных в концентраторе событий Azure, концентраторе IoT Azure, Lakehouse, Eventhouse, производных узлах потока и узлах активатора Fabric
Следующие метрики доступны на вкладке Аналитика данных для концентратора событий Azure, концентратора IoT Azure, Lakehouse, Eventhouse ("Обработка событий перед приемом"), производных узлов потока и активатора Fabric:
| Метрика | Единица измерения | Description |
|---|---|---|
| События ввода | Count | Количество данных о событиях, извлекаемых подсистемой событий из потока событий (в lakehouse, Eventhouse, производном потоке или назначении активации Fabric) или из источника событий (в концентраторе событий Azure или источнике Центра iot Azure). |
| Входные байты событий | Байт | Объем данных о событиях, который подсистема потоков событий извлекает из потока событий (в lakehouse, Eventhouse, производном потоке или месте назначения активации Fabric), или из источника событий (в Azure Event Hub или Azure IoT Hub). |
| Выходные события | Count | Количество данных о событиях, которые движок потоков событий отправляет в lakehouse или Eventhouse (в lakehouse, Eventhouse, производном потоке или целевом назначении активации Fabric), или из источника событий (в концентраторе событий Azure или источнике Azure IoT Hub). |
| Невыполненные входные события | Count | Количество входных событий, невыполненных в обработчике событий. |
| Ошибки среды выполнения | Count | Общее количество ошибок, связанных с обработкой событий. |
| Ошибки преобразования данных | Count | Количество выходных событий, которые не удалось преобразовать в ожидаемую схему выходных данных. |
| ошибки десериализации | Count | Количество входных событий, которые не удалось десериализировать внутри обработчика событий. |
| Задержка водяного знака | Second | Максимальная задержка водяного знака во всех разделах всех выходных данных для этого источника или назначения. Он вычисляется как время настенных часов минус самый большой водяной знак. |
Чтобы просмотреть аналитические сведения для концентратора событий Azure, концентратора Azure IoT, Lakehouse, Eventhouse ("Обработка событий перед приёмом"), производного потока и активатора Fabric:
Выберите концентратор событий Azure, центр IoT Azure, Lakehouse, Eventhouse, Производный поток или узел активации Fabric на холсте основного редактора
В нижней области выберите вкладку "Аналитика данных".
Если в концентраторе событий Azure, концентраторе Azure IoT, Lakehouse, Eventhouse, производном потоке или активаторе Fabric присутствуют данные, то на вкладке Аналитика данных отображается диаграмма метрик.
В правой части вкладки установите флажки рядом с метриками, которые вы хотите отобразить.
Аналитика данных в узлах источника соединителя потоковой передачи
Исходные узлы соединителя потоковой передачи включают следующие источники:
- База данных SQL Azure отслеживания измененных данных (CDC)
- Служебная шина Azure
- Postgre База данных SQL CDC
- My База данных SQL CDC
- Azure Cosmos DB CDC
- SQL Server в базе данных виртуальных машин (CDC)
- УПРАВЛЯЕМЫЙ ЭКЗЕМПЛЯР SQL AZURE CDC
- Google Cloud Pub/Sub
- Потоки данных Amazon Kinesis
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
На вкладке "Аналитика данных" доступны следующие метрики для узлов источника соединителя потоковой передачи:
| Метрика | Единица измерения | Description |
|---|---|---|
| Исходные исходящие события | Count | Количество записей, выходных из преобразований (если таковых) и записанных в поток событий для задачи, принадлежащей именованному соединителю источника в рабочей роли (так как задача была последней перезагрузкой). |
| Исходные входящие события | Count | Перед применением преобразований это число записей, созданных или опрошенных задачей, принадлежащей именованным соединителю источника в рабочей роли (так как задача была последней перезагрузкой). |
| Ошибки соединителя, зарегистрированные | Count | Количество ошибок, зарегистрированных для этой задачи соединителя. |
| Ошибки обработки соединителя | Count | Количество ошибок обработки записей в задачах соединителя. |
| Сбои обработки соединителя | Count | Количество сбоев обработки записей в задачах соединителя, включая сбои повторных попыток. |
| Пропущенные события соединителя | Count | Количество записей, пропущенных из-за ошибок в задачах соединителя. |
Чтобы просмотреть аналитические сведения о данных для источника соединителя потоковой передачи, выполните следующие действия.
- Выберите "Использовать внешний источник", а затем выберите источник соединителя потоковой передачи.
- Настройте и опубликуйте источник соединителя потоковой передачи.
- В нижней области в режиме реального времени выберите вкладку "Аналитика данных".
- Если в источнике соединителя потоковой передачи есть данные, на вкладке "Аналитика данных" отображается диаграмма метрик.
- В правой части вкладки установите флажки рядом с метриками, которые вы хотите отобразить.
Журналы среды выполнения
Вкладка журналов среды выполнения позволяет проверить подробные журналы , происходящие в обработчике событий. Журналы среды выполнения имеют три уровня серьезности: предупреждения, ошибки и сведения.
Чтобы просмотреть журналы среды выполнения для концентратора событий Azure, Центра IoT Azure, источника соединителя потоковой передачи, Lakehouse, Eventhouse («режим обработки событий перед приемом») или активатора Fabric:
Выберите узел на холсте основного редактора.
В нижней области выберите вкладку журналов среды выполнения.
Если в концентраторе событий Azure, центре Azure IoT Hub, источнике соединителя потоковой передачи, Lakehouse, Eventhouse или активаторе Fabric есть данные, журналы отображаются на вкладке журналов среды выполнения .
Выполните поиск по журналам с помощью параметра "Фильтр по ключевому слову " или отфильтруйте список, изменив уровень серьезности или тип.
Чтобы просмотреть самые текущие журналы, нажмите кнопку "Обновить".
