Ingérer et transformer des données en temps réel

  • 15 minutes

Les flux d’événements dans Microsoft Fabric sont utilisés pour capturer, transformer et charger des données en temps réel à partir d’un large éventail de sources de données de streaming. Lorsque vous configurez un flux d’événements dans le système, vous définissez un moteur de traitement des données qui s’exécute perpétuellement pour ingérer et transformer des données en temps réel. Vous lui indiquez où obtenir des données, où les envoyer et comment les modifier en chemin si nécessaire.

Capture d’écran d’un flux d’événements dans Microsoft Fabric.

Sources de données pour les flux d’événements

Les flux d’événements dans Microsoft Fabric prennent en charge un large éventail de sources de données, y compris :

  • Les services externes, tels que Stockage Azure, Azure Event Hubs, Azure IoT Hubs, Apache Kafka Hubs, flux de Capture de données modifiées (CDC) dans les services de base de données relationnelles, etc.
  • Les événements Fabric, tels que les modifications apportées aux éléments d’un espace de travail Fabric, les modifications de données dans les magasins de données OneLake et les événements associés aux tâche Fabric.
  • Les exemples de données, qui incluent une gamme d’exemples qui peuvent vous aider à explorer des scénarios d’analytique en temps réel dans Microsoft Fabric.

Conseil

Pour plus d’informations sur les sources prises en charge, consultez Sources prises en charge pour le hub en temps réel Fabric.

Transformations de données dans les flux d’événements

Vous pouvez transformer les données au fur et à mesure qu’elles circulent dans le flux d’événements, ce qui vous permet de les filtrer, les résumer et les remodeler avant de les stocker. Les transformations disponibles sont les suivantes :

  • Filtre : Utilisez la transformation de filtre pour filtrer les événements en fonction de la valeur d’un champ dans l’entrée. En fonction du type de données (nombre ou texte), la transformation conserve les valeurs qui correspondent à la condition sélectionnée, telle qu’elle est null ou is not null.
  • Gérer les champs : Cette transformation vous permet d’ajouter, supprimer, modifier le type de données ou renommer des champs provenant d’une entrée ou d’une autre transformation.
  • Agréger : Utilisez la transformation d’agrégation pour calculer une agrégation (Somme, Minimum, Maximum ou Moyenne) chaque fois qu’un nouvel événement se produit sur une période donnée. Cette opération permet également de renommer ces colonnes calculées et de filtrer ou de découper l’agrégation en fonction d’autres dimensions de vos données. Il peut y avoir plusieurs agrégations dans la même transformation.
  • Regrouper par : utilisez la transformation « Regrouper par » pour calculer les agrégations sur tous les événements d’une fenêtre de temps donnée. Vous pouvez regrouper par les valeurs d’un ou plusieurs champs. Il s'agit d'une transformation similaire à la transformation Aggregate qui permet de renommer les colonnes, mais qui offre davantage d'options d'agrégation et des options plus complexes pour les fenêtres temporelles. Comme Aggregate, vous pouvez ajouter plusieurs agrégations par transformation.
  • Union : Utilisez la transformation « Unir » pour connecter deux nœuds (ou plus) et ajouter des événements comportant des champs partagés (même nom et même type de données) dans une table. Les champs qui ne correspondent pas ne sont pas inclus dans la sortie.
  • Développer : Utilisez cette transformation de tableau pour créer une ligne pour chaque valeur dans un tableau.
  • Jointure: il s’agit d’une transformation permettant de combiner des données à partir de deux flux en fonction d’une condition correspondante entre eux.

Conseil

Pour plus d’informations sur les transformations prises en charge, consultez Traiter les données d’événements avec l’éditeur du processeur d’événements.

Destinations de données dans les flux d’événements

Vous pouvez charger les données de votre flux dans les destinations suivantes :

  • Eventhouse : Cette destination vous permet d’ingérer vos données d’événement en temps réel dans un eventhouse, où vous pouvez utiliser le langage de requête Kusto (KQL) pour interroger et analyser les données.
  • Lakehouse : Cette destination vous donne la possibilité de transformer vos événements en temps réel avant de les ingérer dans votre lakehouse. Les événements en temps réel sont convertis au format Delta Lake, puis stockés dans les tables lakehouse désignées.
  • Flux dérivé : Le flux dérivé est utilisé pour rediriger la sortie de votre flux d’événements vers un autre flux d’événements. Le flux dérivé représente le flux par défaut transformé suivant le traitement de flux.
  • Fabric Activator : Cette destination vous permet de connecter directement vos données d’événement en temps réel à un Fabric Activator, un agent intelligent qui peut automatiser des actions basées sur des valeurs dans le flux.
  • Point de terminaison personnalisé : Avec cette destination, vous pouvez router vos événements en temps réel vers un point de terminaison personnalisé. Cette destination est utile lorsque vous souhaitez diriger des données en temps réel vers un système externe ou une application personnalisée en dehors de Microsoft Fabric.

Conseil

Pour plus d’informations sur les sources prises en charge, consultez Ajouter et gérer une destination dans un flux d’événements.