Ingerir e transformar dados em tempo real

  • 15 minutos

Os fluxos de eventos no Microsoft Fabric são usados para capturar, transformar e carregar dados em tempo real de uma ampla variedade de fontes de dados de streaming. Ao configurar um fluxo de eventos no sistema, você está definindo um mecanismo de processamento de dados que é executado perpetuamente para ingerir e transformar dados em tempo real. Você diz de onde obter dados, para onde enviá-los e como alterá-los ao longo do caminho, se necessário.

Captura de ecrã de um fluxo de eventos no Microsoft Fabric.

Fontes de dados para fluxos de eventos

Os fluxos de eventos no Microsoft Fabric oferecem suporte a uma ampla variedade de fontes de dados, incluindo:

  • Serviços externos, como Armazenamento do Azure, Hubs de Eventos do Azure, Hubs IoT do Azure, hubs Apache Kafka, feeds CDC (Change Data Capture) em serviços de banco de dados relacional e outros.
  • Eventos de malha, como alterações em itens em um espaço de trabalho de malha, alterações de dados em armazenamentos de dados OneLake e eventos associados a trabalhos de malha.
  • Dados de exemplo, que incluem uma variedade de exemplos que podem ajudá-lo a explorar cenários de análise em tempo real no Microsoft Fabric.

Gorjeta

Para obter mais informações sobre fontes suportadas, consulte Fontes suportadas para o hub Fabric Real-Time.

Transformações de dados em fluxos de eventos

Você pode transformar os dados à medida que fluem no fluxo de eventos, permitindo filtrá-los, resumi-los e reformulá-los antes de armazená-los. As transformações disponíveis incluem:

  • Filtrar: use a transformação Filter para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação mantém os valores que correspondem à condição selecionada, como is null ou is not null.
  • Gerenciar campos: essa transformação permite adicionar, remover, alterar o tipo de dados ou renomear campos provenientes de uma entrada ou outra transformação.
  • Agregação: use a transformação Agregar para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite renomear essas colunas calculadas e filtrar ou fatiar a agregação com base em outras dimensões em seus dados. Você pode ter uma ou mais agregações na mesma transformação.
  • Agrupar por: Use a transformação Agrupar por para calcular agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como se a transformação Agregada permitisse a renomeação de colunas, mas fornece mais opções para agregação e inclui opções mais complexas para janelas de tempo. Como o Agregado, você pode adicionar mais de uma agregação por transformação.
  • União: use a transformação União para conectar dois ou mais nós e adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não correspondem são descartados e não são incluídos na saída.
  • Expandir: use essa transformação de matriz para criar uma nova linha para cada valor dentro de uma matriz.
  • Join: esta é uma transformação para combinar dados de dois fluxos com base em uma condição de correspondência entre eles.

Gorjeta

Para obter mais informações sobre transformações suportadas, consulte Processar dados de eventos com o editor do processador de eventos.

Destinos de dados em fluxos de eventos

Você pode carregar os dados do seu fluxo para os seguintes destinos:

  • Eventhouse: Este destino permite que você ingira seus dados de eventos em tempo real em uma casa de eventos, onde você pode usar Kusto Query Language (KQL) para consultar e analisar os dados.
  • Lakehouse: Este destino dá-lhe a capacidade de transformar os seus eventos em tempo real antes de os ingerir na sua casa do lago. Os eventos em tempo real são convertidos para o formato Delta Lake e, em seguida, armazenados nas tabelas designadas lakehouse.
  • Fluxo derivado: o fluxo derivado é usado para redirecionar a saída do seu fluxo de eventos para outro fluxo de eventos. O fluxo derivado representa o fluxo padrão transformado após o processamento do fluxo.
  • Ativador de malha: esse destino permite que você conecte diretamente seus dados de eventos em tempo real a um ativador de malha, que é um agente inteligente que pode automatizar ações com base em valores no fluxo.
  • Ponto de extremidade personalizado: com esse destino, você pode rotear seus eventos em tempo real para um ponto de extremidade personalizado. Esse destino é útil quando você deseja direcionar dados em tempo real para um sistema externo ou aplicativo personalizado fora do Microsoft Fabric.

Gorjeta

Para obter mais informações sobre fontes suportadas, consulte Adicionar e gerenciar um destino em um fluxo de eventos.