Ingerir e transformar dados em tempo real

  • 15 minutos

Os fluxos de eventos no Microsoft Fabric são usados para capturar, transformar e carregar dados em tempo real de uma ampla gama de fontes de dados de streaming. Ao configurar um fluxo de eventos no sistema, você está definindo um mecanismo de processamento de dados que é executado perpetuamente para ingerir e transformar dados em tempo real. Você informa de onde obter os dados, para onde enviá-los e como alterá-los ao longo do caminho, se necessário.

Captura de tela de um fluxo de eventos no Microsoft Fabric.

Fontes de dados para fluxos de eventos

Os fluxos de eventos no Microsoft Fabric dão suporte a uma ampla gama de fontes de dados, incluindo:

  • Serviços externos, como Armazenamento do Microsoft Azure, Hubs de Eventos do Azure, Hubs IoT do Azure, hubs do Apache Kafka, CDC (Change Data Capture) alimentam serviços de banco de dados relacionais e outros.
  • Eventos de malha, como alterações em itens em um workspace do Fabric, alterações de dados em armazenamentos de dados do OneLake e eventos associados a trabalhos do Fabric.
  • Dados de exemplo, que incluem uma variedade de exemplos que podem ajudá-lo a explorar cenários de análise em tempo real no Microsoft Fabric.

Dica

Para obter mais informações sobre fontes com suporte, consulte Fontes com suporte para o hub em tempo real do Fabric.

Transformações de dados em fluxos de eventos

Você pode transformar os dados conforme eles fluem no fluxo de eventos, permitindo filtrar, resumir e remodelá-los antes de armazená-los. As transformações disponíveis incluem:

  • Filtro: Use a transformação Filtro para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dado (número ou texto), a transformação mantém os valores que correspondem à condição selecionada, como é null ou is not null.
  • Gerenciar campos: Essa transformação permite adicionar, remover, alterar o tipo de dados ou renomear campos provenientes de uma entrada ou de outra transformação.
  • Agregar: Use a transformação Agregação para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite renomear essas colunas calculadas e filtrar ou dividir a agregação com base em outras dimensões dos seus dados. Você pode ter uma ou mais agregações na mesma transformação.
  • Agrupar por: use a transformação Agrupar por para calcular agregações em todos os eventos em uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como a transformação Agregação que permite renomear colunas, mas fornece mais opções para agregação e inclui opções mais complexas para janelas de tempo. Semelhante à Agregação, você pode adicionar mais de uma agregação por transformação.
  • União: Use a transformação Union para conectar dois ou mais nós e adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não correspondem serão removidos e não incluídos na saída.
  • Expandir: Use essa transformação de matriz para criar uma nova linha para cada valor em uma matriz.
  • Ingressar: essa é uma transformação para combinar dados de dois fluxos com base em uma condição de correspondência entre eles.

Dica

Para obter mais informações sobre transformações com suporte, consulte Processar dados de evento com o editor do processador de eventos.

Destinos de dados em fluxos de eventos

Você pode carregar os dados do fluxo para os seguintes destinos:

  • Eventhouse: Esse destino permite ingerir seus dados de evento em tempo real em uma casa de eventos, na qual você pode usar a KQL (Linguagem de Consulta Kusto) para consultar e analisar os dados.
  • Lakehouse: Este destino oferece a capacidade de transformar seus eventos em tempo real antes de ingeri-los em sua casa de lago. Os eventos em tempo real são convertidos para o formato Delta Lake e armazenados nas tabelas designadas do lakehouse.
  • Fluxo derivado: O fluxo derivado é usado para redirecionar a saída do fluxo de eventos para outro fluxo de eventos. O fluxo derivado representa o fluxo padrão transformado após o processamento do fluxo.
  • Ativador de malha: Esse destino permite que você conecte diretamente seus dados de evento em tempo real a um Ativador do Fabric; que é um agente inteligente que pode automatizar ações com base em valores no fluxo.
  • Ponto de extremidade personalizado: Com esse destino, você pode rotear seus eventos em tempo real para um ponto de extremidade personalizado. Esse destino é útil quando você deseja direcionar dados em tempo real para um sistema externo ou aplicativo personalizado fora do Microsoft Fabric.

Dica

Para obter mais informações sobre fontes com suporte, consulte Adicionar e gerenciar um destino em um fluxo de eventos.