Partager via


Section 4 : Exécuter la qualité des données

Maintenant qu’un produit de données est disponible dans le catalogue, l’exécution de règles de qualité des données indique à tout le monde que les données sont en bon état et prêtes à être utilisées. À mesure que nous en apprenons davantage sur les données, de nouvelles règles de qualité des données peuvent être ajoutées pour s’assurer qu’elles sont adaptées à tous les cas d’usage. S’assurer que les produits de données sont de la plus haute qualité vous aidera à établir la confiance dans vos données et à informer les autres qu’elles sont surveillées et améliorées. À mesure que la valeur des données augmente, la qualité de ces données devra être plus étroitement surveillée et contrôlée, car les problèmes de qualité des données peuvent avoir des répercussions massives si elles sont mal gérées.

Configuration requise

  • Les règles de qualité des données ne peuvent être exécutées que sur des tables au format delta dans ADLS Gen2 et Microsoft Fabric.
  • L’identité managée de Microsoft Purview doit être activée pour lire la source de données, car il s’agit des seules informations d’identification prises en charge pour la qualité des données aujourd’hui.
  • Vous devez avoir le rôle de gestionnaire de la qualité des données dans le domaine de gouvernance dans lequel vous exécutez la qualité des données.
  • Vous devez être le propriétaire ou disposer d’un accès administrateur de l’accès utilisateur à la source de données que vous connectez à l’analyse de la qualité des données pour garantir l’autorisation de sécurité appropriée pour analyser les données.
  • Vous devez disposer du rôle de gestionnaire de profil de données pour exécuter des profils sur vos données.

Créer et exécuter des règles de qualité des données

  1. Ouvrez le portail Microsoft Purview.

  2. Sélectionnez Catalogue unifié.

  3. Sélectionnez l’onglet Qualité des données sous Gestion des données.

  4. Sélectionnez le domaine d’intégrité personnel créé dans la section 1.

  5. Sélectionnez le bouton Gérer et sélectionnez Connections dans le menu. La création de cette connexion garantit que vous êtes en mesure d’exécuter des analyses de la qualité des données sur votre source de données dans ce domaine de gouvernance, ce qui empêche les équipes d’accéder à la connaissance des données sans autorisation appropriée.

    Capture d’écran de l’ajout d’une connexion de qualité des données.

  6. Sélectionnez Nouveau dans l’écran connexions pour créer une connexion :

    1. Indiquez le nom complet « Personal Health ADLSg2 DQ ».
    2. Sélectionnez le type de source de Azure Data Lake Storage Gen2.
      1. Fournissez les détails de la source de données créée dans la section 2.

        Remarque

        Les informations d’identification doivent être Microsoft Purview MSI (système) pour une connexion de qualité des données

      2. Sélectionnez Tester la connexion
      3. Une fois la connexion testée, sélectionnez Envoyer

Une fois la connexion établie, vous êtes prêt à exécuter des profils et à commencer à créer des règles de qualité des données. Cela garantit que les experts qui connaissent les règles d’entreprise et les règles appropriées s’exécutent sur les produits de données les plus importants.

  1. Retour à la page Qualité des données.
  2. Sélectionnez le domaine de gouvernance Intégrité personnelle.
  3. Sélectionnez le produit de données Vaccination et tendance des cas covid-19 par âge intégré à la section 3.
  4. Sélectionnez la ressource qui a été ajoutée au produit de données. (Il doit être au format delta de la section 2 , sinon la qualité des données ne s’exécute pas).
  5. Appliquez des règles de qualité des données aux colonnes des données pour mesurer si elles répondent à vos attentes en matière de qualité :
    1. Sélectionnez l’onglet Règles sur la ressource sélectionnée.
    2. Sélectionnez Nouvelle règle.
    3. Sélectionnez la règle champs vides/vides.
    4. Fournissez des détails :
      • Sélectionnez La colonne AgeGroupVacc dans la liste déroulante des colonnes
      • Nom de la règle : Confirmer l’existence du groupe d’âge de la vaccination
    5. Sélectionnez Créer.
    6. Sélectionnez Nouvelle règle.
    7. Sélectionnez Correspondance du type de données.
    8. Fournissez des détails.
    9. Sélectionnez Date Colonne d’administration.
    10. Sélectionnez Créer.
  6. Sélectionnez Exécuter l’analyse de la qualité des données.

Données de profil

Créez un profil pour vos données pour voir les statiques de haut niveau de chaque colonne et découvrir les anomalies susceptibles d’avoir une nouvelle règle.

  1. Dans Catalogue unifié, sélectionnez Gestion de l’intégrité, puis Qualité des données.
  2. Sélectionnez Données de profil
  3. Cochez la case supérieure en regard de Nom de colonne pour profiler toutes les colonnes. Microsoft Purview vous recommande les colonnes à profiler, et vous pouvez sélectionner des colonnes dont vous savez qu’un profilage vaut la peine d’être profilé pour empêcher les profils sur des données hautement sensibles ou des données dont vous savez qu’elles seront peu remplies.
  4. Sélectionnez Exécuter le profil

Une fois l’analyse terminée, vous serez en mesure d’examiner le score de qualité des données et le profil de votre nouveau produit de données, et le score de qualité des données sera disponible pour tous les utilisateurs du catalogue afin que tous connaissent les status des données.

Créez une planification pour vos analyses de qualité des données afin de vous assurer que vous surveillez en permanence les problèmes de qualité des données. Définissez des alertes pour vous assurer que vous traitez les problèmes de qualité des données avant que les consommateurs ne soient affectés.

  1. Sous Gestion de l’intégrité, sélectionnez Qualité des données.
  2. Sélectionnez le domaine Intégrité personnelle dans lequel nous avons configuré les règles de qualité des données.
  3. Dans la liste déroulante Gérer , sélectionnez Analyses planifiées.
  4. Dans la page Analyses planifiées , sélectionnez Nouveau.
  5. Ajouter les détails de la vue d’ensemble
    1. Nom : Personal Health DQ Monthly Evaluation
    2. Description : analyse mensuelle des règles DQ pour l’amélioration continue.
  6. Sélectionnez Continuer
  7. Sélectionner l’étendue de l’analyse
  8. Cochez la case en regard de Vaccin contre le Covid-19 et Tendance des cas par âge produit de données
  9. Sélectionnez Continuer
  10. Planifiez l’analyse pour vous assurer qu’elle s’exécute le dernier jour de chaque mois
    1. Sélectionnez Périodique.
    2. Périodicité : tous les mois
    3. Jours du mois : Dernier
    4. Planifier l’heure d’analyse (UTC) : 12:00:00
    5. Démarrer la périodicité à (UTC) : laisser par défaut
  11. Sélectionnez Continuer
  12. Passez en revue les détails de l’analyse pour voir s’il y a des modifications que vous souhaitez apporter avant d’enregistrer.
  13. Sélectionnez Enregistrer. Étant donné que nous avons déclenché une analyse manuelle plus tôt, nous n’avons pas besoin de déclencher une autre analyse maintenant, mais si une nouvelle analyse est nécessaire, sélectionnez Enregistrer et exécuter.

Configurer des alertes

Une fois que des analyses de qualité des données ont été planifiées, des alertes peuvent être déclenchées pour indiquer aux gestionnaires s’il existe des problèmes ou une attention nécessaire en raison de problèmes de qualité des données ou d’échecs d’analyse. Configurez une alerte de qualité des données pour les analyses ayant échoué et lorsque le score diminue de plus de 5 %.

  1. Retour au domaine Intégrité personnelle dans la page Qualité des données.
  2. Dans la liste déroulante Gérer , sélectionnez Alertes.
  3. Sélectionnez Nouveau.
  4. Entrer les détails de l’alerte
    1. Nom d’affichage : Analyse mensuelle personal health DQ
    2. Description : Pour vous assurer que les seuils de DQ minimum répondent aux attentes des consommateurs.
    3. Cible : le score diminue de plus de
    4. Seuil : 5
    5. Désactiver les notifications : laissez non cochée
    6. Activer la notification pour les analyses de qualité ayant échoué : laissez coché
    7. Destinataire : entrez votre nom
  5. Cliquez sur Continuer.

Conseil

Lors de l’implémentation dans votre Catalogue unifié vous souhaiterez envoyer les alertes aux gestionnaires qui peuvent informer les consommateurs du problème et collaborer avec le propriétaire technique des données pour apporter des corrections.

À la fin de cette section, vous disposez maintenant d’un Catalogue unifié fonctionnel avec la qualité des données opérationnelles pour gérer les données que vous proposez aux consommateurs de données de l’organisation. Tout a été d’obtenir les données les plus précieuses pour le consommateur et de renforcer la confiance dans les données qu’il utiliserait. À mesure que la valeur des données augmente et que de nouvelles stratégies de données émergent, la section suivante vous aidera à montrer comment vous pouvez gérer l’ensemble du catalogue ou approfondir la gestion des données spécifiques avec master Data.

Étapes suivantes

Section 5 - Gestion des données de référence