Configurar pontos de extremidade de fluxos de dados
Importante
Esta página inclui instruções para gerenciar componentes do serviço Operações do Azure IoT usando manifestos de implantação do Kubernetes, que estão em versão prévia. Esse recurso é fornecido com várias limitações, e não deve ser usado para cargas de trabalho de produção.
Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para obter termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.
Para começar a usar fluxos de dados, primeiro crie pontos de extremidade de fluxo de dados. Um ponto de extremidade do fluxo de dados é o ponto de conexão do fluxo de dados. Você pode usar um ponto de extremidade como origem ou destino do fluxo de dados. Alguns tipos de pontos de extremidade podem ser usados como origens e destino, enquanto outros são apenas destino. Um fluxo de dados precisa de pelo menos um ponto de extremidade de origem e um ponto de extremidade de destino.
Use a tabela a seguir para escolher o tipo de ponto de extremidade a ser configurado:
Tipo de ponto de extremidade | Descrição | Pode ser usado como uma origem | Pode ser usado como um destino |
---|---|---|---|
MQTT | Para mensagens bidirecionais com Agentes MQTT, incluindo o agente interno para Operações do Azure IoT e Grade de Eventos. | Sim | Sim |
Kafka | Para mensagens bidirecionais com agentes do Kafka, incluindo Hubs de Eventos do Azure. | Sim | Sim |
Data Lake | Para carregar dados em contas de armazenamento do Azure Data Lake Gen2. | Não | Sim |
Microsoft Fabric OneLake | Para carregar dados em lakehouses do Microsoft Fabric OneLake. | Não | Sim |
Azure Data Explorer | Para carregar dados em bancos de dados do Azure Data Explorer. | Não | Sim |
Armazenamento local | Para enviar dados para um volume persistente disponível localmente, por meio do qual você pode carregar dados por meio do Armazenamento de contêineres do Azure habilitado pelos volumes de borda do Azure Arc. | Não | Sim |
Importante
Os pontos de extremidade de armazenamento exigem um esquema para serialização. Para usar o fluxo de dados com o Microsoft Fabric OneLake, o Azure Data Lake Storage, o Azure Data Explorer ou o Armazenamento Local, você deve especificar uma referência de esquema.
Para gerar o esquema de um arquivo de dados de exemplo, use o Auxiliar de Geração de Esquema.
Os fluxos de dados devem usar o ponto de extremidade do Agente MQTT local
Ao criar um fluxo de dados, especifique os pontos de extremidade de origem e de destino. O fluxo de dados move dados do ponto de extremidade de origem para o ponto de extremidade de destino. Use o mesmo ponto de extremidade para vários fluxos de dados e pode usar o mesmo ponto de extremidade que a origem e o destino em um fluxo de dados.
No entanto, não há suporte para o uso de pontos de extremidade personalizados como a origem e o destino em um fluxo de dados. Essa restrição significa que o agente MQTT interno nas Operações do Azure IoT deve ser pelo menos um ponto de extremidade. Pode ser a origem, o destino ou ambos. Para evitar falhas de implantação de fluxo de dados, use o ponto de extremidade de fluxo de dados MQTT padrão como a origem ou o destino para cada fluxo de dados.
O requisito específico é que cada fluxo de dados deve ter a origem ou o destino configurado com um ponto de extremidade de MQTT que tenha o host aio-broker
. Portanto, não é estritamente necessário usar o ponto de extremidade padrão e você poderá criar pontos de extremidade de fluxo de dados adicionais apontando para o Agente MQTT local, desde que o host esteja aio-broker
. No entanto, para evitar problemas de confusão e gerenciamento, o ponto de extremidade padrão é a abordagem recomendada.
A tabela a seguir mostra os cenários com suporte:
Cenário | Com suporte |
---|---|
Ponto de extremidade padrão como origem | Sim |
Ponto de extremidade padrão como destino | Sim |
Ponto de extremidade personalizado como origem | Sim, se o destino for um ponto de extremidade padrão ou um ponto de extremidade de MQTT com host aio-broker |
Ponto de extremidade personalizado como destino | Sim, se a origem for um ponto de extremidade padrão ou um ponto de extremidade de MQTT com host aio-broker |
Ponto de extremidade personalizado como origem e destino | Não, a menos que um deles seja um ponto de extremidade de MQTT com host aio-broker |
Reutilizar pontos de extremidade
Pense em cada ponto de extremidade do fluxo de dados como um pacote de configurações que contém de onde os dados devem vir ou ir (o valor host
), como autenticar com o ponto de extremidade e outras configurações, como configuração do TLS ou preferência de envio em lote. Portanto, você só precisa criá-lo uma vez e pode reutilizá-lo em vários fluxos de dados em que essas configurações seriam as mesmas.
Para facilitar a reutilização de pontos de extremidade, o filtro de tópico do Kafka ou MQTT não faz parte da configuração do ponto de extremidade. Em vez disso, especifique o filtro de tópico na configuração do fluxo de dados. Isso significa que você pode usar o mesmo ponto de extremidade para vários fluxos de dados que usam filtros de tópico diferentes.
Por exemplo, você pode usar o ponto de extremidade do fluxo de dados do Agente MQTT padrão. Você pode usá-lo para a origem e o destino com filtros de tópico diferentes:
Da mesma forma, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade MQTT para outros pontos de extremidade e tópicos. Por exemplo, você pode usar o mesmo ponto de extremidade MQTT para um fluxo de dados que envia dados para um ponto de extremidade do Hub de Eventos.
Semelhante ao exemplo do MQTT, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade Kafka para tópicos diferentes ou o mesmo ponto de extremidade Data Lake para tabelas diferentes.
Próximas etapas
Criar um ponto de extremidade de fluxo de dados: