Обработка и маршрутизация данных с помощью потоков данных
Потоки данных позволяют подключать различные источники данных и выполнять операции с данными, упрощая настройку путей данных для перемещения, преобразования и обогащения данных. Компонент потока данных является частью операций Интернета вещей Azure, которая развертывается в качестве расширения Azure Arc. Настройка потока данных выполняется с помощью пользовательских определений ресурсов Kubernetes (CRD).
Конфигурации можно написать для различных вариантов использования, например:
- Преобразование данных и отправка их обратно в MQTT
- Преобразование данных и отправка их в облако
- Отправка данных в облако или edge без преобразования
Потоки данных не ограничиваются регионом, в котором развертывается экземпляр операций Интернета вещей. Потоки данных можно использовать для отправки данных в облачные конечные точки в разных регионах.
Ключевые функции
Ниже приведены основные функции потоков данных.
Обработка и маршрутизация данных
Потоки данных обеспечивают прием, обработку и маршрутизацию сообщений в указанные приемники. Можно указать:
- Источники: откуда отправляются сообщения
- Назначения: где сообщения стекаются в
- Преобразования (необязательно): настройка операций обработки данных
Возможности преобразования
Преобразования можно применять к данным на этапе обработки для выполнения различных операций. Эти операции могут включать:
- Вычисление новых свойств: на основе существующих свойств в сообщении
- Переименование свойств: стандартизация или уточнение данных
- Преобразование единиц: преобразование значений в разные единицы измерения
- Стандартизация значений: масштабирование значений свойств в определяемый пользователем диапазон
- Контекстуализация данных: добавление ссылочных данных в сообщения для обогащения и анализа вождения
Настройка и развертывание
Конфигурация указана с помощью crD Kubernetes. На основе этой конфигурации оператор потока данных создает экземпляры потока данных для обеспечения высокой доступности и надежности.
Льготы
- Упрощенная настройка: простое подключение источников данных и назначений.
- Гибкие преобразования. Выполнение широких операций с данными.
- Масштабируемая конфигурация. Используйте CRD Kubernetes для масштабируемых и управляемых конфигураций.
- Высокий уровень доступности: собственный ресурс Kubernetes обеспечивает надежность.
Используя потоки данных, вы можете эффективно управлять путями данных. Вы можете убедиться, что данные точно отправляются, преобразуются и обогащены в соответствии с вашими операционными потребностями.
Реестр схем
Реестр схем, предоставляемый реестром устройств Azure, — это синхронизированный репозиторий в облаке и на границе. Реестр схем хранит определения сообщений, поступающих из пограничных ресурсов, а затем предоставляет API для доступа к этим схемам на границе. Соединители southbound, такие как соединитель для OPC UA, могут создавать схемы сообщений и добавлять их в реестр схем или клиенты могут отправлять схемы в веб-интерфейс взаимодействия с операциями.
Потоки данных используют схемы сообщений для преобразования сообщения в формат, ожидаемый конечной точкой назначения.
Дополнительные сведения см. в разделе "Общие сведения о схемах сообщений".