Analyse de l’état et performances d’un flux d’événements
La fonctionnalité de flux d’événements Microsoft Fabric vous permet de surveiller facilement les données d’un événement de streaming, l’état et le niveau de performance d’une ingestion. Cet article explique comment surveiller l’état de flux d’événements, vérifierr les journaux, les erreurs et les insights de données avec des métriques.
Dans un flux d’événements, il existe deux types d’expériences de supervision : Insights de données et Journaux d’exécution. Vous voyez l’un ou les deux affichages en fonction de la source ou de la destination que vous sélectionnez.
Prérequis
Avant de commencer, vous devez avoir :
- Accédez à un espace de travail avec des autorisations Visionneur ou supérieures qui contient votre élément Eventstream.
- Une source de hub d’événements Azure ou une destination lakehouse est ajoutée à votre flux d’événements.
Insights sur les données
L’onglet Insight sur les données s’affiche dans le volet inférieur du principal éditeur. Il fournit des métriques que vous pouvez utiliser pour surveiller l’état et le niveau de performance du flux d’événements, des sources et des destinations. Différentes sources et destinations ont des métriques différentes. Lorsque vous sélectionnez un nœud dans le canevas principal de l’éditeur, les métriques pour ce nœud spécifique s’affichent sous l’onglet Insights sur les données.
Insights sur les données dans un nœud de flux d’événements
Les métriques suivantes s’affichent pour un nœud de flux d’événements sous l’onglet Insights sur les données :
| Métrique | Unité | Description |
|---|---|---|
| IncomingMessages | Count | Nombre d'événements ou de messages envoyés à un flux d'événements au cours d'une période donnée. |
| OutgoingMessages | Count | Nombre d'événements ou de messages provenant d'un flux d'événements au cours d'une période donnée. |
| IncomingBytes | Octets | Octets entrants pour un flux d’événements sur une période spécifiée. |
| OutgoingBytes | Octets | Octets sortants pour un flux d’événements sur une période spécifiée. |
Pour afficher des insights sur les données d’un flux d’événements :
Sélectionnez le nœud flux d’événements dans le canevas de l’éditeur principal.
Dans le volet inférieur, sélectionnez l’onglet Insights sur les données.
S’il existe des données dans le flux d’événements, le graphique des métriques apparaît sous l’onglet
Data Insights. Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Informations sur les données dans le hub Azure Event, le hub Azure IoT, Lakehouse, Eventhouse, flux dérivé et nœuds d'activateur Fabric.
Les métriques suivantes sont disponibles sous l’onglet Data Insights pour Azure Event Hub, Azure iot Hub, lakehouse, Eventhouse('Traitement d’événements avant le mode d’ingestion'), flux dérivé et nœuds d’activateur Fabric :
| Métrique | Unité | Description |
|---|---|---|
| Événements d’entrée | Count | Nombre de données d'événement extraites par le moteur Eventstream d'un flux d'événements (dans un lakehouse, Eventhouse, un flux dérivé ou une destination d'activateur Fabric) ou à partir d'une source d'événement (dans un hub d'événements Azure ou une source Azure IoT Hub). |
| Octets des événements d’entrée | Octets | Quantité de données d’événement extraites par le moteur eventstream d’un flux d’événements (dans un lac de données, un Eventhouse, un flux dérivé ou une destination d'activateur Fabric), ou à partir d’une source d’événement (dans un hub d’événements Azure ou une source Azure IoT Hub). |
| Événements de sortie | Count | Nombre de données d’événement que le moteur eventstream envoie à un lakehouse ou Eventhouse (dans un lakehouse, Eventhouse, un flux dérivé ou une destination d’activateur Fabric) ou à partir d’une source d’événement (dans un hub d’événements Azure ou une source Azure IoT Hub). |
| Événements d’entrée en backlog | Count | Nombre d’événements d’entrée en backlog dans le moteur de flux d’événements. |
| Erreurs d’exécution | Count | Nombre total d’erreurs liées au traitement des événements. |
| Erreurs de conversion de données | Count | Nombre d’événements de sortie qui n’ont pas pu être convertis dans le schéma de sortie attendu. |
| Erreurs de sérialisation | Count | Nombre d’événements d’entrée qui n’ont pas pu être désérialisés à l’intérieur du moteur de flux d’événements. |
| Délai en filigrane | Second | Retard maximal du filigrane dans toutes les partitions de toutes les sorties pour cette source ou cette destination. Il est calculé comme l’heure de l’horloge murale moins le filigrane le plus grand. |
Pour afficher les informations de données pour un Hub d’Événements Azure, un hub Azure IoT, un lakehouse, un Eventhouse (« Traitement des événements avant l’ingestion »), un flux dérivé et un activateur Fabric :
Sélectionnez le hub d’événements Azure, le hub Azure iot, lakehouse, Eventhouse, le flux dérivé ou le nœud d’activateur Fabric dans le canevas de l’éditeur principal
Dans le volet inférieur, sélectionnez l’onglet Insights sur les données.
S’il existe des données dans le hub d’événements Azure, azure iot hub, lakehouse, Eventhouse, stream dérivé ou activateur Fabric, le graphique des métriques apparaît sous l’onglet Data Insights.
Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Insights de données dans les nœuds sources du connecteur de diffusion en continu
Les nœuds sources du connecteur de diffusion en continu incluent les sources suivantes :
- Capture des changements de données (CDC) de la base de données Azure SQL
- Azure Service Bus
- CDC de la base de données PostgreSQL
- CDC de la base de données MySQL
- CDC d’Azure Cosmos DB
- SQL Server sur une machine virtuelle DB (CDC)
- Azure SQL Managed Instance CDC
- Google Cloud Pub/Sub
- Flux de données Amazon Kinesis
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
Les mesures suivantes sont disponibles sous l’onglet Insights de données des nœuds sources du connecteur de diffusion en continu :
| Métrique | Unité | Description |
|---|---|---|
| Événements sortants sources | Count | Nombre d’enregistrements générés à partir des transformations (le cas échéant) et écrits dans l’Eventstream de la tâche appartenant au connecteur source nommé dans le Worker (depuis le dernier redémarrage de la tâche). |
| Événements entrants sources | Count | Avant l’application des transformations, il s’agit du nombre d’enregistrements générés ou interrogés par la tâche appartenant au connecteur source nommé dans le Worker (depuis le dernier redémarrage de la tâche). |
| Erreurs de connecteur enregistrées | Count | Nombre d’erreurs enregistrées pour cette ou ces tâches de connecteur. |
| Erreur de traitement du connecteur | Count | Nombre d’erreurs de traitement des enregistrements dans cette ou ces tâches de connecteur. |
| Échecs de traitement du connecteur | Count | Nombre d’échecs de traitement des enregistrements dans cette ou ces tâches de connecteur, y compris les échecs de nouvelle tentative. |
| Événements de connecteur ignorés | Count | Nombre d’enregistrements ignorés en raison d’erreurs dans cette ou ces tâches de connecteur. |
Pour afficher les insights de données d’une source de connecteur de diffusion en continu :
- Sélectionnez Utiliser une source externe, puis choisissez une source de connecteur de diffusion en continu.
- Configurez et publiez la source du connecteur de diffusion en continu.
- Dans le volet inférieur de l’affichage en direct, sélectionnez l’onglet Insights de données.
- S’il existe des données dans la source du connecteur de diffusion en continu, le graphique des mesures s’affiche sous l’onglet des insights de données.
- Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Journaux de runtime
L’onglet Journaux de runtime vous permet de vérifier les journaux détaillés qui se produisent dans l’engin de flux d’événements. Les journaux de runtime ont trois niveaux de gravité : avertissement, erreur et information.
Pour afficher les journaux d’exécution du hub d'événements Azure, Azure IoT Hub, source du connecteur de streaming, lakehouse, Eventhouse (mode 'Traitement des événements avant l'ingestion') ou activateur Fabric :
Sélectionnez le nœud dans le canevas de l’éditeur principal.
Dans le volet inférieur, sélectionnez l’onglet Journaux de runtime.
S’il existe des données à l’intérieur du hub d’événements Azure, du hub Azure IoT, de la source de connecteur de diffusion en continu, de Lakehouse, d’Eventhouse ou de l’activateur Fabric, les journaux s’affichent sous l’onglet Journaux d’exécution.
Recherchez les journaux avec l’option Filtrer par mot clé ou filtrez la liste en modifiant la gravité ou le type.
Pour consulter les journaux les plus actuels, sélectionnez Actualiser.
