Configurar pontos de extremidade de fluxo de dados

Importante

Esta página inclui instruções para gerenciar componentes do Azure IoT Operations usando manifestos de implantação do Kubernetes, que está em visualização. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja Termos de Utilização Complementares da Pré-visualizações do Microsoft Azure para obter os termos legais que se aplicam às funcionalidades do Azure que estão na versão beta, na pré-visualização ou que ainda não foram lançadas para disponibilidade geral.

Para começar a usar fluxos de dados, primeiro crie pontos de extremidade de fluxo de dados. Um ponto de extremidade de fluxo de dados é o ponto de conexão para o fluxo de dados. Você pode usar um ponto de extremidade como origem ou destino para o fluxo de dados. Alguns tipos de endpoint podem ser usados como fontes e destinos, enquanto outros são apenas para destinos. Um fluxo de dados precisa de pelo menos um ponto de extremidade de origem e um ponto de extremidade de destino.

Use a tabela a seguir para escolher o tipo de ponto de extremidade a ser configurado:

Tipo de ponto final	Description	Pode ser usado como fonte	Pode ser usado como destino
MQTT	Para mensagens bidirecionais com agentes MQTT, incluindo o interno para Operações e Grade de Eventos do Azure IoT.	Sim	Sim
Kafka	Para mensagens bidirecionais com agentes Kafka, incluindo Hubs de Eventos do Azure.	Sim	Sim
Data Lake	Para carregar dados para contas de armazenamento do Azure Data Lake Gen2.	Não	Sim
Microsoft Fabric OneLake	Para carregar dados para o Microsoft Fabric OneLake lakehouses.	Não	Sim
Azure Data Explorer	Para carregar dados para bancos de dados do Azure Data Explorer.	Não	Sim
Armazenamento local	Para enviar dados para um volume persistente disponível localmente, através do qual você pode carregar dados por meio do Armazenamento de Contêiner do Azure habilitado pelos volumes de borda do Azure Arc.	Não	Sim

Importante

Os pontos de extremidade de armazenamento exigem um esquema para serialização. Para usar o fluxo de dados com o Microsoft Fabric OneLake, o Azure Data Lake Storage, o Azure Data Explorer ou o Armazenamento Local, você deve especificar uma referência de esquema.

Para gerar o esquema a partir de um arquivo de dados de exemplo, use o Schema Gen Helper.

Os fluxos de dados devem usar o ponto de extremidade do broker MQTT local

Ao criar um fluxo de dados, você especifica os pontos de extremidade de origem e destino. O fluxo de dados move dados do ponto de extremidade de origem para o ponto de extremidade de destino. Você pode usar o mesmo ponto de extremidade para vários fluxos de dados e pode usar o mesmo ponto de extremidade como origem e destino em um fluxo de dados.

No entanto, não há suporte para o uso de pontos de extremidade personalizados como origem e destino em um fluxo de dados. Essa restrição significa que o agente MQTT interno nas Operações do Azure IoT deve ser pelo menos um ponto de extremidade. Pode ser a origem, o destino ou ambos. Para evitar falhas de implantação de fluxo de dados, use o ponto de extremidade de fluxo de dados MQTT padrão como origem ou destino para cada fluxo de dados.

O requisito específico é que cada fluxo de dados deve ter a origem ou o destino configurado com um ponto de extremidade MQTT que tenha o host aio-broker. Portanto, não é estritamente necessário usar o ponto de extremidade padrão, e você pode criar pontos de extremidade de fluxo de dados adicionais apontando para o broker MQTT local, desde que o host seja aio-broker. No entanto, para evitar confusão e problemas de gerenciamento, o ponto de extremidade padrão é a abordagem recomendada.

A tabela a seguir mostra os cenários suportados:

Cenário	Suportado
Ponto de extremidade padrão como origem	Sim
Ponto de extremidade padrão como destino	Sim
Ponto de extremidade personalizado como origem	Sim, se o destino for um ponto de extremidade padrão ou um ponto de extremidade MQTT com host aio-broker
Ponto de extremidade personalizado como destino	Sim, se a origem for um endpoint padrão ou um endpoint MQTT com host aio-broker
Ponto de extremidade personalizado como origem e destino	Não, a menos que um deles seja um ponto de extremidade MQTT com host aio-broker

Reutilizar pontos finais

Pense em cada ponto de extremidade de fluxo de dados como um pacote de definições de configuração que contém de onde os dados devem vir ou ir para (o host valor), como autenticar com o ponto de extremidade e outras configurações, como configuração TLS ou preferência de lote. Então você só precisa criá-lo uma vez e, em seguida, você pode reutilizá-lo em vários fluxos de dados onde essas configurações seriam as mesmas.

Para facilitar a reutilização de endpoints, o filtro de tópicos MQTT ou Kafka não faz parte da configuração do ponto final. Em vez disso, especifique o filtro de tópico na configuração de fluxo de dados. Isso significa que você pode usar o mesmo ponto de extremidade para vários fluxos de dados que usam filtros de tópico diferentes.

Por exemplo, você pode usar o ponto de extremidade de fluxo de dados do broker MQTT padrão. Você pode usá-lo para a origem e o destino com diferentes filtros de tópico:

Portal

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

Kubernetes (visualização)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Da mesma forma, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade MQTT para outros pontos de extremidade e tópicos. Por exemplo, você pode usar o mesmo ponto de extremidade MQTT para um fluxo de dados que envia dados para um ponto de extremidade de Hubs de Eventos.

Portal

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

Kubernetes (visualização)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Semelhante ao exemplo MQTT, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade Kafka para tópicos diferentes ou o mesmo ponto de extremidade Data Lake para tabelas diferentes.

Próximos passos

Crie um ponto de extremidade de fluxo de dados:

• MQTT ou grade de eventos
• Kafka ou Hubs de Eventos
• Data Lake
• Microsoft Fabric OneLake
• Armazenamento local