Processar e rotear dados com fluxos de dados
Os fluxos de dados permitem que você conecte várias fontes de dados e execute operações de dados, simplificando a configuração de caminhos de dados para mover, transformar e enriquecer dados. O componente de fluxo de dados faz parte das Operações do Azure IoT, implantadas como uma extensão do Azure Arc. A configuração de um fluxo de dados é feita por meio de CRDs (definições de recursos personalizados) do Kubernetes.
Você pode escrever configurações para vários casos de uso, como:
- Transformar dados e enviá-los de volta ao MQTT
- Transformar dados e enviá-los para a nuvem
- Enviar dados para a nuvem ou borda sem transformação
Os fluxos de dados não estão limitados à região em que a instância das Operações do IoT é implantada. Você pode usar fluxos de dados para enviar dados para pontos de extremidade de nuvem em regiões diferentes.
Principais recursos
Aqui estão os principais recursos de fluxos de dados.
Processamento e roteamento de dados
Os fluxos de dados habilitam a ingestão, o processamento e o roteamento das mensagens para os coletores especificados. É possível especificar:
- Fontes: a partir de onde as mensagens são ingeridas
- Destinos: para onde as mensagens são drenadas
- Transformações (opcional): configuração para operações de processamento de dados
Funcionalidades de transformação
As transformações podem ser aplicadas aos dados durante o estágio de processamento para executar várias operações. Essas operações podem incluir:
- Novas propriedades de computação: com base nas propriedades existentes na mensagem
- Renomear propriedades: para padronizar ou esclarecer dados
- Converter unidades: converte valores em diferentes unidades de medida
- Padronizar valores: valores da propriedade Scale para um intervalo definido pelo usuário
- Contextualizar dados: adiciona dados de referência a mensagens para enriquecimento e orientação de insights
Configuração e implantação
A configuração é especificada usando CRDs do Kubernetes. Com base nessa configuração, o operador de fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.
Benefícios
- Configuração simplificada: conecte facilmente fontes de dados e destinos.
- Transformações flexíveis: execute uma ampla gama de operações de dados.
- Configuração escalonável: use CRDs do Kubernetes para configurações escalonáveis e gerenciáveis.
- Alta disponibilidade: o recurso nativo do Kubernetes garante a confiabilidade.
Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.
Registro de esquema
O registro de esquema, um recurso fornecido pelo Registro de Dispositivo do Azure, é um repositório sincronizado na nuvem e na borda. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores de direção sul, como o conector para OPC UA, podem criar esquemas de mensagens e adicioná-los ao registro de esquema, ou os clientes podem carregar esquemas para a interface de usuário da Web da experiência de operações.
Os fluxos de dados usam esquemas de mensagens para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.
Para obter mais informações, veja Entender esquemas de mensagens.