Фильтрация и прием в Azure Data Explorer с помощью Stream Analytics нет редактора кода
В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Он постоянно считывает данные из центров событий, фильтрует входящие данные, а затем записывает результаты в Azure Data Explorer непрерывно.
Необходимые компоненты
- Ресурсы Центры событий Azure и Azure Data Explorer должны быть общедоступными и не защищены брандмауэром или защищены в виртуальная сеть Azure.
- Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.
Разработка задания Stream Analytics для фильтрации и приема данных в режиме реального времени
В портал Azure найдите и выберите экземпляр Центры событий Azure.
Выберите "Функции>обработки данных", а затем нажмите кнопку "Пуск" в фильтре и хранение данных в карточке Azure Data Explorer.
Введите имя задания Stream Analytics и нажмите кнопку Создать.
Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
Если подключение установлено и в экземпляр Центров событий поступают потоки данных, вы сразу увидите две вещи:
- Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
- Динамический пример входящих данных в таблице Предварительный просмотр данных в представлении диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
- Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
Выберите плитку "Фильтр", чтобы агрегировать данные. В области "Фильтр" выберите поле для фильтрации входящих данных с помощью условия.
Выберите плитку "Управление ". На панели конфигурации "Управление полями" выберите поля, которые нужно вывести в концентратор событий. Если вы хотите добавить все поля, выберите "Добавить все поля".
Выберите плитку Azure Data Explorer . На панели конфигурации заполните необходимые параметры и подключитесь.
Примечание.
Таблица должна существовать в выбранной базе данных, а схема таблицы должна точно соответствовать количеству полей и их типов, создаваемых предварительным просмотром данных.
При необходимости выберите "Получить статическую предварительную версию" или "Обновить статическую предварительную версию ", чтобы просмотреть предварительный просмотр данных, который будет приемлен в концентраторе событий.
Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.
Чтобы запустить задание, укажите следующее.
- Число единиц потоковой передачи, с которыми выполняется задание. Единицы потоковой передачи представляют объем вычислительных ресурсов и памяти, выделенных для задания. Мы рекомендуем начать с трех единиц, а затем при необходимости изменить это значение.
- Обработка ошибок выходных данных — позволяет указать нужное поведение, если вывод задания в место назначения завершатся сбоем из-за ошибок данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
После нажатия кнопки "Пуск" задание запускается в течение двух минут, а метрики будут открыты в разделе вкладки ниже.
Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.
Рекомендации при использовании функции георепликации Центров событий
Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от функции географического аварийного восстановления Центры событий Azure.
Если тип отработки отказа является принудительной и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует точно один раз выходных данных в Центры событий Azure выходных данных.
Azure Stream Analytics в качестве производителя с выходными данными концентратора событий может наблюдать задержку водяного знака в задании во время отработки отказа и во время регулирования центрами событий в случае задержки репликации между основными и вторичными компонентами достигает максимально настроенной задержки.
Azure Stream Analytics, как потребитель с Центрами событий в качестве входных данных, может наблюдать задержку водяного знака в задании во время отработки отказа и может пропустить данные или найти дублирующиеся данные после завершения отработки отказа.
Из-за этих предостережения рекомендуется перезапустить задание Stream Analytics с соответствующим временем начала сразу после завершения отработки отказа Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, мы не рекомендуем использовать этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.
Следующие шаги
Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.