Surveiller le remplissage des cartes de données dans Microsoft Purview
Dans Microsoft Purview, vous pouvez analyser différents types de sources de données et afficher les status d’analyse au fil du temps. Vous pouvez également connecter d’autres services à Microsoft Purview et afficher les tendances des ressources/relations ingérées. Cet article explique comment surveiller et obtenir une vue d’ensemble de la population de cartes de données.
Surveiller les exécutions d’analyse
Ouvrez le portail de gouvernance Microsoft Purview en :
- Accédez directement à https://web.purview.azure.com votre compte Microsoft Purview et sélectionnez-les.
- Ouverture du Portail Azure, recherchez et sélectionnez le compte Microsoft Purview. Sélectionnez le bouton Portail de gouvernance Microsoft Purview .
Ouvrez votre compte Microsoft Purview et sélectionnez Data Map ->Monitoring. Pour accéder à cette page, vous devez disposer du rôle d’administrateur de source de données sur n’importe quelle collection. Vous pouvez également voir les exécutions d’analyse qui appartiennent aux collections sur lesquelles vous disposez du privilège d’administrateur de source de données.
Les indicateurs de performance clés de haut niveau indiquent le nombre total d’exécutions d’analyse au cours d’une période donnée. La période est définie par défaut sur les 30 derniers jours. Vous pouvez également choisir de sélectionner les sept derniers jours. En fonction du filtre de temps sélectionné, vous pouvez voir la distribution des exécutions d’analyse réussies, terminées avec des exceptions, ayant échoué, annulées et en cours par semaine ou par jour dans le graphique. Il s’agit de l’exécution d’analyse de bout en bout status y compris les phases de découverte et d’ingestion. Pour en savoir plus sur les détails de l’status, consultez la section Détails de l’exécution de l’analyse.
En bas du graphique, vous trouverez un lien Afficher plus pour explorer plus en détail. Le lien ouvre la page Analyser status. Ici, vous pouvez voir un nom d’analyse et le nombre de fois où elle a status de réussite, d’exécution avec des exceptions, d’échec ou d’annulation au cours de la période. Vous pouvez également filtrer la liste par types de sources.
Vous pouvez explorer une analyse spécifique plus en détail en sélectionnant le nom de l’analyse. Il vous connecte à la page d’historique d’analyse, où vous pouvez trouver la liste des exécutions d’analyse avec plus de détails sur l’exécution.
Vous pouvez cliquer sur l’ID d’exécution pour case activée plus sur les détails de l’exécution d’analyse.
Limitations connues :
Actuellement, cette expérience de surveillance n’inclut pas les informations suivantes. Vous pouvez case activée les détails de l’exécution d’analyse correspondante.
- Les exécutions d’analyse d’extraction de traçabilité pour Azure SQL base de données ne sont pas couvertes.
- Pour les analyses de l’espace de travail Azure Synapse Analytics, de l’abonnement/groupe de ressources Azure et du compte AWS, il capture uniquement les status/nombre d’exécutions d’analyse parentes, mais pas les exécutions d’analyse enfant par ressource.
Détails de l’exécution de l’analyse
Vous pouvez accéder à l’historique d’analyse des exécutions pour une analyse donnée à partir de différents emplacements :
- Accédez à Data Map ->Monitoring comme décrit dans la section Surveiller les exécutions d’analyse .
- Accédez à Data Map ->Sources -> sélectionnez la source de données souhaitée -> consultez Analyses, Analyses récentes ou Analyses récentes ayant échoué.
- Accédez à Data Map ->Collections -> sélectionnez la collection souhaitée ->Scans -> sélectionnez le nom d’analyse que vous souhaitez afficher plus.
La conservation de l’historique des exécutions d’analyse est de 90 jours.
Vous pouvez cliquer sur l’ID d’exécution pour case activée plus sur les détails de l’exécution d’analyse :
La section supérieure fournit une vue d’ensemble de l’exécution de l’analyse, y compris les informations suivantes :
- ID d’exécution : GUID utilisé pour identifier cette exécution d’analyse particulière.
- Type d’analyse : analyse manuelle ou planifiée.
- Type d’exécution : analyse complète ou incrémentielle.
- Ensemble de règles d’analyse : ensemble de règles d’analyse utilisé dans l’exécution, le cas échéant.
- Status d’exécution de l’analyse : status d’analyse globale. Il combine les status des phases de découverte des métadonnées et d’ingestion.
- Durée d’exécution de l’analyse : durée d’exécution de bout en bout et heure de début/fin.
La section découverte des métadonnées résume les métriques de la phase de découverte que Purview connecte à la source, extrait les métadonnées/traçabilité et classifie les données.
Status de découverte :
Statut Description Terminé La découverte des métadonnées réussit. Terminé avec des exceptions La découverte des métadonnées se termine, tandis qu’une opération sous-jacente échoue, ce qui peut entraîner l’absence de ressources, de métadonnées ou de classification dans le résultat de l’analyse. Vous pouvez afficher les détails dans les journaux des exceptions. Échec La découverte des métadonnées échoue. Vous pouvez case activée les détails de l’erreur en cliquant sur le lien « Plus d’informations » en regard de celui-ci. Annulé L’exécution de l’analyse est annulée par l’utilisateur. En cours La découverte des métadonnées est en cours d’exécution. En file d’attente La découverte des métadonnées attend la ressource du runtime d’intégration disponible.
Si vous utilisez le runtime d’intégration auto-hébergé, notez que chaque nœud peut exécuter un certain nombre d’analyses simultanées en même temps en fonction des spécifications de votre ordinateur (processeur et mémoire). D’autres analyses sont dans les status en file d’attente.Étranglé La découverte des métadonnées est limitée. Cela signifie que ce compte Microsoft Purview a actuellement plus d’exécutions d’analyse en cours que le nombre maximal autorisé de simultanés. En savoir plus sur la limite ici. Cette exécution d’analyse particulière est en attente et sera exécutée une fois vos autres analyses en cours terminées. L’exécution de l’analyse n’est pas facturée pendant la status « Limitée » ou « Mise en file d’attente ».
Ressources découvertes : nombre de ressources énumérées à partir de la source. Pour les analyses complètes et incrémentielles, il inclut toutes les ressources dans l’étendue configurée, qu’il s’agisse de ressources existantes ou de ressources nouvellement créées/mises à jour depuis la dernière exécution de l’analyse. Bien que pour l’analyse incrémentielle, les métadonnées détaillées sont extraites uniquement pour les ressources nouvellement créées ou mises à jour en outre.
Ressources classifiées : nombre de ressources échantillonnées pour classifier les données, que les ressources aient une classification correspondante ou non. Il s’agit d’un sous-ensemble des ressources découvertes en fonction du mécanisme d’échantillonnage. Pour l’analyse incrémentielle, seules les ressources nouvellement créées ou mises à jour peuvent être sélectionnées pour la classification.
Durée : durée de la phase de découverte et heure de début/fin.
La section Ingestion des métadonnées récapitule les métriques pour la phase d’ingestion dans laquelle Purview remplit le mappage de données avec les métadonnées et la relation identifiées.
Status d’ingestion :
Statut Description Terminé Toutes les ressources et relations sont correctement ingérées dans le mappage de données. Terminé avec des exceptions (précédent « Partiellement terminé ») Une partie des ressources et relations est ingérée dans le mappage de données, tandis que certaines échouent. Vous pouvez afficher les détails dans les journaux des exceptions. Échec La phase d’ingestion échoue. Annulé L’exécution de l’analyse étant annulée par l’utilisateur, l’ingestion est annulée. En cours L’ingestion est en cours d’exécution. En file d’attente L’ingestion attend la ressource de service disponible ou attend l’analyse pour découvrir les métadonnées. Ressources ingérées : nombre de ressources ingérées dans le mappage de données. Pour l’analyse incrémentielle, elle inclut uniquement les ressources nouvellement créées ou mises à jour, auquel cas peut être inférieure au nombre de « ressources découvertes ». Lors de l’analyse d’une source basée sur un fichier, il s’agit du nombre de ressources brutes avant l’agrégation du jeu de ressources.
Relations ingérées : nombre de relations ingérées dans le mappage de données. Il inclut la traçabilité et d’autres relations telles que les relations de clé étrangère.
Durée : durée d’ingestion et heure de début/fin.
Afficher le journal des exceptions (préversion)
Importante
Cette fonctionnalité est actuellement en préversion. Les conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure incluent des conditions juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure qui sont en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale.
Lorsque certaines ressources ou relations ne parviennent pas à être découvertes à partir de la source ou à ne pas être ingérées dans le mappage de données pendant l’exécution de l’analyse. Par exemple, status se termine comme terminé avec des exceptions, vous pouvez :
- Sélectionnez l’analyse.
- Sélectionnez l’ID d’exécution d’une analyse avec des échecs ou des exceptions.
- Sélectionnez le bouton Télécharger le journal dans le panneau détails de l’exécution de l’analyse . Il vous fournit les fichiers journaux d’exception qui capturent les détails des échecs.
Journal de la phase de découverte
Le tableau suivant présente le schéma d’un fichier journal de phase de découverte.
| Colonne | Description |
|---|---|
| TimeStamp | Horodatage UTC lorsque l’opération de découverte se produit. |
| ErrorCode | Code d’erreur de l’exception. |
| OperationName | Il contient les valeurs suivantes : - Énumérer : indique l’opération d’énumération des objets enfants sous une étendue donnée, par exemple, répertorier les dossiers/fichiers sous un conteneur, lister les tables sous une base de données. En cas d’échec, les objets enfants de l’élément d’opération ne sont pas inclus dans le résultat de l’analyse. - GetMetadata : indique l’opération d’extraction des métadonnées d’un objet, par exemple une table, un fichier, etc. En cas d’échec, la ressource de l’élément d’opération peut ne pas contenir de métadonnées complètes. - SampleResourceSet : indique l’opération d’échantillonnage du dernier fichier correspondant au modèle de jeu de ressources lorsque vous analysez des sources de données basées sur des fichiers. En cas d’échec, le jeu de ressources auquel appartient l’élément d’opération peut manquer la classification/le schéma. - ReadData : indique l’opération de récupération des exemples de données à partir de la source. En cas de défaillance, l’élément d’opération n’est pas classifié. S’il s’agit d’une source basée sur un fichier, il peut également manquer le schéma. - Classifier : indique l’opération d’application des classifications. En cas d’échec, l’élément d’opération peut manquer la classification. - GenerateAsset : indique l’opération de conversion des métadonnées découvertes en ressource Microsoft Purview. En cas de défaillance, généralement due à une erreur système, la ressource de l’élément d’opération n’apparaît pas enfin dans le mappage de données. |
| OperationItem | Identificateur de la ressource/relation ayant échoué, généralement en utilisant le nom complet. |
| Message | Plus d’informations sur la ressource/la relation qui n’a pas pu être découverte pour quelle raison. |
Limitations connues :
- Le journal de la phase de découverte est pris en charge lorsque vous utilisez le runtime d’intégration Azure ou le runtime d’intégration Managed Réseau virtuel pour l’analyse.
- Le journal de la phase de découverte est pris en charge lorsque vous analysez des sources de données Azure ou Power BI.
- Actuellement, il se peut qu’il ne capture pas toutes les exceptions qui se sont produites pendant l’exécution de l’analyse.
Journal de la phase d’ingestion
Le tableau suivant présente le schéma d’un fichier journal de phase d’ingestion.
| Colonne | Description |
|---|---|
| TimeStamp | Horodatage UTC lorsque l’opération d’ingestion se produit. |
| ErrorCode | Code d’erreur de l’exception. |
| OperationItem | Identificateur de la ressource/relation ayant échoué, généralement en utilisant le nom complet. |
| Message | Plus d’informations sur la ressource/la relation qui n’a pas pu être ingérée pour quelle raison. En cas d’échec d’ingestion pour le jeu de ressources, il peut s’appliquer à plusieurs ressources correspondant au même modèle de nommage, et le message inclut le nombre affecté. |
Surveiller les liens
Vous pouvez connecter d’autres services à Microsoft Purview pour établir un « lien », qui rend les métadonnées et la traçabilité des ressources de ce service disponibles pour Microsoft Purview. Actuellement, le lien est pris en charge pour Azure Data Factory et Azure Synapse Analytics.
Pour surveiller les ressources et la relation ingérées sur les liens :
Accédez à votre compte Microsoft Purview -> ouvrez le portail de gouvernance Microsoft Purview ->Data Map ->Monitoring ->Links. Vous devez disposer du rôle d’administrateur de source de données sur n’importe quel regroupement pour accéder à l’onglet Analyse. Vous pouvez également voir les résultats qui appartiennent aux collections sur lesquelles vous disposez d’un privilège d’administrateur de source de données. L’autorisation sur la collection racine est nécessaire pour surveiller les liens Azure Data Factory et Azure Synapse Analytics.
Vous pouvez voir les indicateurs de performance clés de haut niveau, y compris le nombre total de sources, le nombre de ressources ingérées et la relation (traçabilité), suivis de graphiques de tendance au fil du temps. Vous pouvez appliquer d’autres filtres sur les éléments suivants pour affiner les résultats :
- Type de source
- Nom de la source
- Plage de dates : la valeur par défaut est 30 jours. Vous pouvez également choisir les sept derniers jours ou une plage de dates personnalisée. La rétention est de 45 jours.
Les métriques sont signalées jusqu’à la date et heure affichée dans le coin supérieur droit. Et l’agrégation se produit toutes les heures.
En bas du graphique, vous trouverez un lien Afficher plus pour explorer plus en détail. Dans la page Lien status, vous pouvez voir une liste de noms de sources, ainsi que le type de source, les ressources ingérées, la relation ingérée et la date et l’heure de la dernière exécution. Les filtres de la page précédente sont transférés, et vous pouvez filtrer la liste par type de source, nom de source et plage de dates.
Vous pouvez explorer chaque source pour afficher les détails du niveau suivant en cliquant sur le nom de la source. Par exemple, pour Azure Data Factory, il montre comment chaque activité de
<pipeline_name>/<activity_name>pipeline signale les ressources et la relation à Microsoft Purview, avec le nom au format .
Limitations connues
- Pour Azure Data Factory et Azure Synapse Analytics, cette surveillance de lien capture actuellement les ressources et la relation générées à partir de l’activité de copie, mais pas les activités de flux de données et SSIS.
- L’agrégation et le filtre de date sont en heure UTC.
Les analyses ne s’exécutent plus
Si votre analyse Microsoft Purview a été utilisée pour s’exécuter correctement, mais échoue maintenant, case activée les éléments suivants :
- Vérifiez d’abord le message d’erreur pour afficher les détails de l’échec.
- Les informations d’identification de votre ressource ont-elles été modifiées ou ont-elles fait l’objet d’une rotation ? Si c’est le cas, vous devez mettre à jour pour que votre analyse utilise les informations d’identification correctes.
- Une Azure Policy empêche-t-elle les mises à jour des comptes de stockage ? Si tel est le cas, suivez le guide des balises d’exception Microsoft Purview pour créer une exception pour les comptes Microsoft Purview.
- Utilisez-vous un runtime d’intégration auto-hébergé ? Vérifiez qu’il est à jour avec le logiciel le plus récent et qu’il est connecté à votre réseau.