Surveiller visuellement Azure Data Factory

Article
01/05/2024

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Une fois que vous avez créé et publié un pipeline dans Azure Data Factory, vous pouvez l’associer à un déclencheur ou lancer manuellement une exécution ad hoc. Vous pouvez surveiller l’ensemble de vos exécutions de pipeline en mode natif dans l’expérience utilisateur d’Azure Data Factory. Pour ouvrir l’expérience de surveillance, sélectionnez la vignette Surveiller et gérer dans le panneau de fabrique de données du Portail Azure. Si vous êtes déjà dans l’expérience utilisateur ADF, cliquez sur l’icône Surveiller dans la barre latérale gauche.

Par défaut, toutes les exécutions de fabrique de données sont affichées dans le fuseau horaire local du navigateur. Si vous changez le fuseau horaire, tous les champs d’heure et de date sont alignés sur le fuseau horaire sélectionné.

Surveiller des exécutions de pipelines

L’affichage de la surveillance par défaut est la liste des exécutions de pipeline déclenchées dans la période sélectionnée. Vous pouvez modifier l’intervalle de temps et filtrer par état, nom de pipeline ou annotation. Pointez sur l’exécution du pipeline spécifique pour recevoir des actions spécifiques de l’exécution, telles que réexécuter, et le rapport consommation.

Capture d’écran de la liste pour le monitoring des exécutions de pipelines.

La grille d’exécution du pipeline contient les colonnes suivantes :

Nom de la colonne	Description
Nom du pipeline	Nom du pipeline
Démarrage de l’exécution	Date et heure de début de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Fin de l’exécution	Date et heure de fin de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration	Durée d’exécution (HH:MM:SS)
Déclenché par	Nom du déclencheur qui a démarré le pipeline
Statut	Échec, Réussite, En cours, Annulée ou En file d'attente
Annotations	Balises filtrables associées à un pipeline
Paramètres	Paramètres d’exécution de pipeline (paires nom/valeur)
Error	En cas d’échec du pipeline, l’erreur d’exécution
Exécuter	Original, Réexécuter ou Réexécuter (exécution la plus récente)
ID d’exécution	ID de l’exécution de pipeline

Vous devez cliquer manuellement sur le bouton Actualiser pour actualiser la liste des exécutions de pipelines et d’activités. L’actualisation automatique n’est pas prise en charge actuellement.

Capture d’écran du bouton d’actualisation.

Pour afficher les résultats d’un débogage, sélectionnez l’onglet Débogage.

Capture d’écran de l’icône d’affichage des exécutions de débogage actives.

Surveiller des exécutions d’activités

Pour obtenir une vue détaillée des activités individuelles d’un pipeline spécifique, cliquez sur le nom de celui-ci.

Capture d’écran de l’affichage des exécutions d’activités.

La liste montre les exécutions d’activités correspondant à chaque exécution de pipeline. Pointez sur l’activité spécifique pour obtenir des informations spécifiques de son exécution, telles que l’entrée JSON, la sortie JSON et des expériences de surveillance détaillées spécifiques de l’activité.

Capture d’écran des informations sur SalesAnalyticsMLPipeline, suivies de la liste des exécutions d’activités.

Nom de la colonne	Description
Nom de l’activité	Nom de l’activité dans le pipeline
Type d’activité	Type de l’activité, par exemple Copy, ExecuteDataFlow ou AzureMLExecutePipeline
Actions	Icônes qui vous permettent de voir des informations d’entrée JSON, des informations de sortie JSON ou des expériences de surveillance détaillées sur les activités
Démarrage de l’exécution	Date et heure de début de l’exécution de l’activité (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration	Durée d’exécution (HH:MM:SS)
Statut	Échec, Réussite, En cours ou Annulée
Runtime d’intégration	Runtime d’intégration sur lequel l’activité a été exécutée
Propriétés de l’utilisateur	Propriétés définies par l’utilisateur de l’activité
Error	En cas d’échec de l’activité, l’erreur d’exécution
ID d’exécution	ID de l’exécution d’activité

En cas d’échec d’une activité, vous pouvez voir le message d’erreur détaillé en cliquant sur l’icône dans la colonne d’erreur.

Capture d’écran d’une notification avec les détails de l’erreur, notamment le code d’erreur, le type d’échec et les détails de l’erreur.

Promouvoir les propriétés de l’utilisateur à superviser

Promouvez n’importe quelle propriété de l’activité de pipeline en tant que propriété d’utilisateur pour la surveiller. Ainsi, vous pouvez promouvoir les propriétés Source et Destination de l’activité de copie dans votre pipeline en tant que propriétés d’utilisateur.

Notes

Vous pouvez promouvoir jusqu’à cinq propriétés de l’activité de pipeline en tant que propriétés d’utilisateur.

Capture d’écran de la page Créer des propriétés d’utilisateur.

Une fois les propriétés d’utilisateur créées, vous pouvez les superviser dans les listes de supervision.

Capture d’écran de l’ajout de colonnes à la liste des exécutions d’activités pour les propriétés d’utilisateur.

Si la source de l’activité de copie est un nom de table, vous pouvez superviser le nom de table source en tant que colonne dans la liste des exécutions d’activités.

Capture d’écran de la liste des exécutions d’activités avec des colonnes pour les propriétés d’utilisateur.

Réexécuter des pipelines et activités

Le comportement de réexécution des activités de conteneur est le suivant :

Wait : l’activité se comporte comme avant.
Set Variable : l’activité se comporte comme avant.
Filter : l’activité se comporte comme avant.
L’activité Until évalue l’expression et exécute une boucle jusqu’à ce que la condition soit satisfaite. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
L’activité Foreach exécute toujours une boucle sur les éléments qu’elle reçoit. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
If and switch : les conditions sont toujours évaluées. Toutes les activités internes seront évaluées. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution, mais les activités telles que Exécuter le pipeline réexécutent.
Execute pipeline activity : le pipeline enfant est déclenché, mais toutes les activités du pipeline enfant peuvent quand même être ignorées en fonction des règles de réexécution.

Pour réexécuter un pipeline depuis le début, pointez dessus, puis sélectionnez Réexécuter. Si vous sélectionnez plusieurs pipelines, vous pouvez utiliser le bouton Réexécuter pour les exécuter tous.

Capture d’écran de la réexécution d’un pipeline.

Si vous souhaitez réexécuter un pipeline à partir d’un point spécifique, vous pouvez le faire à partir de l’affichage des exécutions d’activité. Sélectionnez l’activité à partir de laquelle vous souhaitez, puis choisissez Réexécuter à partir d’une activité.

Capture d’écran de la réexécution d’une exécution d’activité.

Vous pouvez également réexécuter un pipeline et modifier les paramètres. Sélectionnez le bouton Nouveaux paramètres pour modifier les paramètres.

Capture d’écran de la réexécution d’une exécution d’activité avec de nouveaux paramètres.

Notes

La réexécution d’un pipeline avec de nouveaux paramètres est considérée comme une nouvelle exécution de pipeline. Elle ne s’affiche donc pas sous les regroupements de réexécution pour une exécution de pipeline.

Réexécuter à partir d’une activité ayant échoué

Si une activité échoue, expire ou est annulée, vous pouvez réexécuter le pipeline à partir de cette activité ayant échoué en sélectionnant Réexécuter à partir d’une activité ayant échoué.

Capture d’écran de l’échec de la réexécution d’une activité.

Voir l’historique des réexécutions

Vous pouvez voir l’historique des réexécutions de toutes les exécutions du pipeline en mode Liste.

Capture d’écran de l’affichage de l’historique.

Vous pouvez également voir l’historique des réexécutions d’une exécution de pipeline spécifique.

Capture d’écran de l’affichage de l’historique d’une exécution de pipeline.

Surveiller la consommation

Vous pouvez voir les ressources qu’une exécution de pipeline utilise en cliquant sur l’icône de consommation en regard de l’exécution.

Capture d’écran montrant où vous pouvez voir les ressources consommées par un pipeline.

Un clic sur l’icône ouvre un rapport consommation des ressources utilisées pour l’exécution de ce pipeline.

Capture d’écran du monitoring de la consommation.

Vous pouvez connecter ces valeurs à la Calculatrice de prix Azure pour estimer le coût d’exécution du pipeline. Pour plus d’informations sur la tarification d’Azure Data Factory, consultez Compréhension de la tarification.

Notes

Ces valeurs retournées par la calculatrice de prix constituent une estimation. Celle-ci ne reflète pas le montant exact qu’Azure Data Factory vous facturera

Vues Gantt

Un diagramme de Gantt est un affichage qui vous permet de voir l’historique des exécutions sur un intervalle de temps. En basculant vers un affichage de Gantt, vous pouvez voir toutes les exécutions de pipeline regroupées par nom, affichées sous forme de barres proportionnelles au temps d’exécution. Vous pouvez également regrouper par annotations/balises que vous avez créées sur votre pipeline. L’affichage de Gantt est également disponible au niveau de l’exécution de l’activité.

Capture d’écran d’un exemple de diagramme de Gantt.

La longueur de la barre indique la durée du pipeline. Vous pouvez également sélectionner la barre pour voir plus de détails.

Capture d’écran de la durée d’un diagramme de Gantt.

Alertes

Vous pouvez déclencher des alertes sur les métriques prises en charge dans Data Factory. Pour commencer, sélectionnez Superviser>Alertes et métriques dans la page de supervision de Data Factory.

Capture d’écran de la page de monitoring de Data Factory.

Pour voir une présentation de sept minutes et la démonstration de cette fonctionnalité, regardez la vidéo suivante :

Créez des alertes

Sélectionnez Nouvelle règle d’alerte pour créer une alerte.
Spécifiez le nom de la règle et sélectionnez la gravité de l’alerte.
Sélectionnez les critères d’alerte.

Vous pouvez créer des alertes sur différentes métriques, notamment celles relatives au nombre/à la taille des entités ADF, aux exécutions d’activité/de pipeline/de déclencheur, à l’utilisation de l’UC/à la mémoire/au nombre de nœuds/à la file d’attente du runtime d’intégration (IR), ainsi qu’aux exécutions de packages SSIS et aux opérations de démarrage/d’arrêt de l’IR SSIS.
Configurez la logique d’alerte. Vous pouvez créer une alerte pour la métrique sélectionnée pour tous les pipelines et activités correspondantes. Vous pouvez également sélectionner un type d’activité, un nom d’activité, un nom de pipeline ou un type d’échec particulier.
Configurez les notifications vocales, push, par e-mail et par SMS pour l’alerte. Choisissez ou créez un groupe d’actions pour les notifications d’alerte.
Créez la règle d’alerte