Fluxos de eventos do Microsoft Fabric – visão geral
O recurso de Eventstreams na experiência de Inteligência em Tempo Real do Microsoft Fabric permite que você traga eventos em tempo real para o Fabric, transforme-os e, em seguida, encaminhe-os para vários destinos sem gravar códigos (sem código). Crie um eventstream, que é uma instância do item do Eventstream no Fabric, adicione fontes de dados de evento ao fluxo, opcionalmente adicione transformações para transformar os dados do evento e, em seguida, encaminhe os dados para destinos compatíveis. Além disso, com os pontos de extremidade do Apache Kafka disponíveis no item do Eventstream, você poderá enviar ou consumir eventos em tempo real usando o protocolo Kafka.
Traga eventos para o Fabric
O recursos de Eventstreams fornece vários conectores de origem para buscar dados de eventos das várias fontes. Há mais fontes disponíveis quando você habilita Recursos avançados no momento da criação de um eventstream.
| Origens | Descrição |
|---|---|
| Hubs de eventos do Azure | Se você tiver um hub de eventos do Azure, poderá ingerir dados do hub de eventos no Microsoft Fabric usando o Eventstream. |
| Hub IoT do Azure | Se você tiver um hub IoT do Azure, poderá ingerir dados de IoT no Microsoft Fabric usando o Eventstream. |
| Captura de dados de alterações (CDA) com o Banco de Dados SQL do Azure | O conector de origem da CDA do Banco de Dados SQL do Azure permite capturar um instantâneo dos dados atuais em um banco de dados SQL do Azure. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| CDA do Banco de dados PostgreSQL | O conector de origem da captura de dados de alterações (CDA) do Banco de Dados PostgreSQL permite capturar um instantâneo dos dados atuais em um Banco de Dados PostgreSQL. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| CDA do Banco de Dados MySQL | O conector de fonte da captura de dados de alterações (CDA) do Banco de Dados MySQL do Azure permite a captura de um instantâneo dos dados atuais em um Banco de Dados do Azure para MySQL. Você pode especificar as tabelas a serem monitoradas. O eventstream registrará quaisquer alterações futuras nas tabelas no nível de linha. |
| CDA do Azure Cosmos DB | O conector de origem da captura de dados de alterações (CDA) do Azure Cosmos DB para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados atuais em um banco de dados do Azure Cosmos DB. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| SQL Server CDA CDC do DB (banco de dados) da VM (máquina virtual) | O conector de origem do SQL Server na VM DB (CDC) para fluxos de eventos do Fabric permite capturar um instantâneo dos dados atuais em um banco de dados do SQL Server na VM. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível de linha nos dados. |
| CDC da Instância Gerenciada de SQL do Azure | O conector de origem CDC da Instância Gerenciada de SQL do Azure para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados atuais em um banco de dados da Instância Gerenciada de SQL. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| Pub/Sub do Google Cloud | O Pub/Sub do Google é um serviço de mensagens que permite publicar e assinar fluxos de eventos. Você pode adicionar o Pub/Sub do Google como origem para o eventstream para capturar, transformar e encaminhar eventos em tempo real a vários destinos no Fabric. |
| Amazon Kinesis Data Streams | O Amazon Kinesis Data Streams é um serviço de processamento e ingestão de dados altamente escalonável e durável, otimizado para fluxo de dados. Ao integrar o Amazon Kinesis Data Streams como uma origem no eventstream, você pode processar facilmente fluxos de dados em tempo real antes de encaminhá-los a vários destinos no Fabric. |
| Kafka para Confluent Cloud | O Kafka para Confluent Cloud é uma plataforma de streaming que oferece recursos avançados de transmissão e processamento de dados usando o Apache Kafka. Ao integrar o Kafka para Confluent Cloud como uma origem no eventstream, você pode processar facilmente fluxos de dados em tempo real antes de encaminhá-los a vários destinos no Fabric. |
| Amazon MSK Kafka | O Amazon MSK Kafka é um serviço Kafka totalmente gerenciado que simplifica a instalação, o dimensionamento e o gerenciamento. Ao integrar o Amazon MSK Kafka como uma fonte no eventstream, você pode facilmente trazer os eventos em tempo real do MSK Kafka e processá-los antes de roteá-los para vários destinos dentro do Fabric. |
| Dados de amostra | Você pode escolher eventos de Bicicletas, Táxi Amarelo ou de Mercado de Ações como um exemplo de fonte de dados para testar a ingestão de dados ao configurar um eventstream. |
| Ponto de extremidade personalizado (ou seja, Aplicativo personalizado em recurso padrão) | O recurso de ponto de extremidade personalizado permite que seus aplicativos ou clientes Kafka se conectem ao Eventstream usando uma cadeia de conexão, permitindo a ingestão suave de dados de streaming no Eventstream. |
| Barramento de Serviço do Azure (versão prévia) | Você poderá ingerir dados de uma fila do Barramento de Serviço do Azure ou de uma assinatura de tópico no Microsoft Fabric usando o Eventstream. |
| Apache Kafka (versão prévia) | O Apache Kafka é uma plataforma distribuída de software livre para a criação de sistemas de dados escalonáveis e em tempo real. Ao integrar o Apache Kafka como uma origem no eventstream, você pode facilmente trazer eventos em tempo real do Apache Kafka e processá-los antes de roteá-los para vários destinos no Fabric. |
| Eventos do Armazenamento de Blobs do Azure (versão prévia) | Os eventos do Armazenamento de Blobs do Azure são acionados quando um cliente cria, substitui ou exclui um Blob. O conector permite vincular eventos do Armazenamento de Blobs a eventos do Fabric no hub em tempo real. Você pode converter esses eventos em fluxos de dados contínuos e transformá-los antes de encaminhá-los a vários destinos no Fabric. |
| Eventos de item do espaço de trabalho do Fabric (versão prévia) | Os eventos de itens do espaço de trabalho do Fabric são eventos discretos do Fabric que ocorrem quando são feitas alterações no espaço de trabalho do Fabric. Essas alterações incluem a criação, a atualização ou a exclusão de um item do Fabric. Com os fluxos de eventos do Fabric, você pode capturar esses eventos do espaço de trabalho do Fabric, transformá-los e encaminhá-los a vários destinos no Fabric para análise adicional. |
Processar eventos usando a experiência no-code
A experiência de arrastar e soltar oferece uma maneira intuitiva e fácil de criar sua lógica de processamento, transformação e roteamento de dados de eventos sem escrever nenhum código. Um diagrama de fluxo de dados de ponta a ponta em um fluxo de eventos pode fornecer uma compreensão abrangente do fluxo de dados e da organização. O editor do processador de eventos é uma experiência sem código que permite arrastar e soltar para projetar a lógica de processamento de dados do evento.
| Transformação | Descrição |
|---|---|
| Filter | Use a transformação de Filtro para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação mantém os valores que correspondem à condição selecionada, como is null ou is not null. |
| Gerenciar campos | A transformação Gerenciar campos permite adicionar, remover, alterar o tipo de dados ou renomear campos provenientes de uma entrada ou de outra transformação. |
| Agregação | Use a transformação de Agregação para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorre por um período de tempo. Essa operação também permite renomear as colunas calculadas, além de filtrar ou dividir a agregação com base em outras dimensões nos dados. Você pode ter uma ou mais agregações na mesma transformação. |
| Agrupar por | Use a transformação de Agrupar por para calcular as agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como a transformação Agregação que permite renomear colunas, mas fornece mais opções para agregação e inclui opções mais complexas para janelas de tempo. Semelhante à Agregação, você pode adicionar mais de uma agregação por transformação. |
| Union | Use a transformação União para conectar dois ou mais nós e adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) a uma tabela. Os campos que não correspondem serão removidos e não incluídos na saída. |
| Expandir | Use a transformação Expandir matriz a fim de criar outra linha para cada valor em uma matriz. |
| Ingressar | Use a transformação Ingressar para combinar dados de dois fluxos com base em uma condição de correspondência entre eles. |
Se você habilitou Recursos avançados ao criar um Eventstream, as operações de transformação serão compatíveis com todos os destinos (com o fluxo derivado atuando como uma ponte intermediária para alguns destinos, como ponto de extremidade personalizado, Fabric Activator). Caso contrário, as operações de transformação estarão disponíveis apenas para os destinos do Lakehouse e Eventhouse (processamento de eventos antes da ingestão).
Encaminhar eventos para destinos
O recurso Fluxos de eventos do Fabric é compatível com o envio de dados para os destinos compatíveis a seguir.
| Destino | Descrição |
|---|---|
| Ponto de extremidade personalizado (ou seja, Aplicativo personalizado em recurso padrão) | Com esse destino, você pode encaminhar com facilidade seus eventos em tempo real para um ponto de extremidade personalizado. Você pode conectar seus próprios aplicativos ao eventstream e consumir os dados do evento em tempo real. Esse destino é útil quando você deseja enviar dados em tempo real para um sistema externo que reside fora do Microsoft Fabric. |
| Eventhouse | Esse destino permite a ingestão dos dados de evento em tempo real em um banco de dados KQL, em que você pode usar a poderosa Linguagem de Consulta Kusto (KQL) para consultar e analisar os dados. Com os dados no Eventhouse, você pode obter informações mais profundas sobre seus dados de evento e criar relatórios e painéis avançados. Você pode escolher entre dois modos de ingestão: Ingestão direta e Processamento de eventos antes da ingestão. |
| Lakehouse | Esse destino possibilita transformar os eventos em tempo real antes de fazer sua ingestão no lakehouse. Os eventos em tempo real são convertidos para o formato Delta Lake e armazenados nas tabelas designadas do lakehouse. Esse destino é compatível com cenários de Data Warehousing. |
| Fluxo derivado | O fluxo derivado é um tipo especializado de destino que você pode criar depois de adicionar operações de fluxo, como Filtrar ou Gerenciar Campos, a um eventstream. O fluxo derivado representa o fluxo padrão transformado após o processamento do fluxo. Você pode encaminhar o fluxo derivado para vários destinos no Fabric e exibi-lo no hub em tempo real. |
| Visualização do Fabric Activator (versão prévia) | Esse destino permite conectar diretamente seus dados de eventos em tempo real a um Fabric Activator. O Activator é um tipo de agente inteligente que contém todas as informações necessárias para se conectar a dados, monitorar condições e executar ações. Quando os dados atingem determinados limites ou correspondem a outros padrões, o Activator toma automaticamente as medidas apropriadas, como alertar os usuários ou iniciar fluxos de trabalho do Power Automate. |
Você pode anexar vários destinos em um fluxo de eventos para receber dados simultaneamente de seus fluxos de eventos sem interferir uns nos outros.
Observação
Recomendamos que você use o recurso de fluxos de eventos do Microsoft Fabric com pelo menos 4 unidades de capacidade (SKU: F4)
Fluxos de eventos do Apache Kafka no Fabric
O recurso de fluxos de eventos do Fabric oferece um ponto de extremidade do Apache Kafka no item do Eventstream, permitindo que os usuários se conectem e consumam eventos de streaming por meio do protocolo Kafka. Caso já tenha um aplicativo que usa o protocolo Apache Kafka para enviar ou consumir eventos de streaming com tópicos específicos do Kafka, você poderá adaptar sem esforço o mesmo aplicativo para enviar ou consumir os eventos de streaming no Eventstream, simplesmente atualizando suas configurações de conexão para apontar para o ponto de extremidade do Kafka fornecido no Eventstream.
O recurso de fluxos de eventos do Fabric é alimentado pelos Hubs de Eventos do Azure, um serviço totalmente gerenciado nativo de nuvem. Quando um Eventstream é criado, um namespace do hub de eventos é provisionado automaticamente e um hub de eventos é alocado para o fluxo padrão sem a necessidade de nenhuma configuração de provisionamento. Para saber mais sobre os recursos compatíveis com Kafka no serviço Hubs de Eventos do Azure, consulte os Hubs de Eventos do Azure para Apache Kafka.
Para saber mais sobre como obter os detalhes do ponto de extremidade do Kafka para enviar eventos para Eventstream, consulte Adicionar fonte de ponto de extremidade personalizada a um Eventstream e para consumir eventos do fluxo de eventos, consulte Adicionar um destino de ponto de extremidade personalizado a um Eventstream.
Recursos avançados
Há mais recursos, fontes e destinos disponíveis ao habilitar a opção de Recursos aprimorados ao criar um Eventstream. Use os guias Recursos Avançados e Recursos Standard para saber mais sobre fontes e destinos adicionais com suporte pelos recursos aprimorados.
Aqui estão alguns outros recursos importantes de funcionalidades aprimoradas:
- Modo de edição e Exibição ao vivo Explore dois modos distintos para visualizar e projetar o processamento de fluxo.
- Fluxos padrão e derivados Crie uma série contínua de fluxos com o formato que você projetar, com um processador de eventos que pode ser consumido posteriormente no hub em tempo real.
- Encaminhamento de fluxos de dados com base em conteúdo Transforme e encaminhe fluxos de dados em qualquer lugar do Fabric com base no conteúdo do fluxo de dados que você criou com o processador de eventos.