Résolution des problèmes sur la qualité des données

Toutes les questions et les symptômes d’erreurs sont décrits avec une résolution possible ci-dessous :

Pourquoi je vois une erreur de source non valide à partir d’un travail d’analyse.

• Il peut y avoir deux raisons pour lesquelles vous voyez cette erreur :
  • La table delta n’existe pas à l’emplacement
  • Les données du fichier ne sont pas dans un format delta valide.

Je configure des analyses de qualité des données pour mes tables delta Fabric. Je vois toutes les ressources de données dans la vue qualité des données, j’ai sélectionné une ressource et appliqué des règles pour l’analyse de la qualité des données, mais l’analyse échoue.

• L’analyse de la qualité des données peut échouer pour plusieurs raisons :
  • Les données des tables ne sont pas au format delta correct. Assurez-vous que vos données sont au format delta.
  • Vérifiez que l’analyse du mappage de données s’est correctement exécutée, sinon réexécutez l’analyse de la carte de données.
  • Supprimez toutes les exécutions de qualité des données précédentes pour la ressource de données.

Pourquoi je vois ce message d’erreur : Aucune connexion ne peut être utilisée. Essayez d’abord de créer une connexion ?

• Pour profiler des données ou exécuter l’analyse de la qualité des données, vous devez d’abord configurer la connexion à la source de données. Cette alerte disparaît une fois que vous avez créé une connexion de source de données.

Pourquoi le nombre total de données profilées est-il inférieur au nombre total dans ma table delta Azure Data Lake Storage Gen2 ?

• Qualité des données Microsoft Purview utilise une taille d’échantillon de 1 million pour le profilage. Cet exemple est pris au hasard. Si votre table delta contient plus de millions d’enregistrements, le nombre total ne correspond pas.

Pourquoi dois-je voir une action sur le score de qualité des données manquant pour un produit de données. Je vois le score dans le produit de données lorsque j’ai parcouru la vue du produit de données.

• Lorsque l’action a été créée, il n’y avait aucun score de qualité des données pour ce produit de données. L’analyse de la qualité des données s’est exécutée après la création de l’action et la publication du score pour le produit de données. Nous vous recommandons de fermer l’action une fois la correction effectuée pour éviter toute confusion.

La création d’une règle de qualité des données à partir de « Suggérer des règles » génère une erreur concernant une colonne « date » lors de la tentative d’ajout des 30 règles suggérées

• Cela est dû au fait que le type de données de schéma n’est pas pris en charge dans la vue de schéma de qualité des données. Vous pouvez modifier le type de données en date en sélectionnant le bouton bascule gestion des schémas et en l’enregistrez. Après avoir modifié le type de données, vous devriez être en mesure d’ajouter la règle.

Lorsque vous essayez d’ajouter toutes les règles suggérées, l’erreur « ObserverId existe déjà »

• La règle identique a probablement déjà été ajoutée à une colonne. Lorsque vous essayez d’ajouter la même règle/identique à une colonne, l’application génère ce message d’erreur.

Pourquoi mon travail planifié ignore-t-il au lieu de s’exécuter ? Je vois les travaux Ignorés pour l’analyse de la qualité des données

• Le travail DQ dispose d’une fonctionnalité permettant de case activée et d’exécuter DQ uniquement s’il y a eu des modifications depuis la dernière exécution, qui est effectuée pour case activée l’historique delta. Ignoré signifie simplement qu’il n’y a pas eu de modifications dans les données depuis la dernière exécution et que l’exécution spark pour DQ n’est pas effectuée. Ignoré != Échec

Lorsque je sélectionne l’onglet Données de profil, je vois le nombre de colonnes présélectionnées. Puis-je modifier les colonnes sélectionnées ?

• Qualité des données Microsoft Purview utilise une solution de profilage assisté par IA. Les colonnes présélectionnées sont sélectionnées à l’aide de l’IA de profilage des données Microsoft Purview. Vous pouvez désélectionner les colonnes présélectionnées et les réélectionner en fonction de la criticité des colonnes, puis sélectionner Enregistrer et exécuter pour exécuter le profilage.

Pourquoi je ne peux pas sélectionner certaines des ressources de données de la page de liste des ressources de qualité des données pour profiler et analyser ?

• Il peut y avoir plusieurs raisons :
  • Ces ressources de données sont publiées à partir de sources de données non prises en charge
  • Le format de fichier de ces ressources de données n’est pas pris en charge

Pourquoi ma tâche de profilage échoue pour les sources de données prises en charge ?

• Vérifiez le schéma pour vous assurer qu’il n’y a pas de nom de colonne avec des espaces. La version actuelle ne prend pas en charge le nom de colonne avec des espaces. Nos ingénieurs travaillent sur la publication d’un correctif logiciel.

Pourquoi je ne peux pas exécuter l’analyse de la qualité des données et le profilage des données pour les fichiers CSV, parquet et texte ?

• Qualité des données Microsoft Purview prend actuellement uniquement en charge le format delta du parquet. Purview Data Quality ne prend pas en charge csv, texte et parquet (sans delta).

Pourquoi ne vois-je pas la règle d’actualisation de la qualité des données dans la liste des règles ?

• L’actualisation de la qualité des données n’est pas prise en charge pour les tables Azure SQL. Si votre ressource de données est une table Azure SQL, la règle d’actualisation n’est pas listée pour la sélectionner et l’appliquer à la ressource de données.

Ma tâche d’analyse DQ a échoué. Un message d’erreur « Erreur de service interne s’est produite, réessayez ou contactez le support Microsoft ». Que dois-je faire pour résoudre les problèmes ?

• Il peut y avoir plusieurs raisons pour lesquelles l’analyse échoue avec ce message d’erreur :
  • L’utilisateur n’est pas autorisé à effectuer l’opération en cours pour l’espace de travail auquel l’utilisateur tente d’accéder pour l’analyse de la qualité des données.
  • Code d’erreur 403, ce qui signifie que l’accès aux sources de données est temporairement interdit.
  • L’accès accordé à la source de données pour votre identité managée (MSI) a expiré.
  • L’identité managée Purview (MSI) a besoin d’un accès contributeur à l’espace de travail Microsoft Fabric. Si l’accès contributeur pour microsoft Purview MSI n’a pas été fourni à l’espace de travail Microsoft Fabric, l’analyse de la qualité des données échoue.

Pourquoi est-ce que je reçois une erreur de format delta même si j’utilise le format delta ?

• Nous prenons en charge Spark 3.4 Delta 2.4. Vérifiez que vous utilisez delta lake version 2.4.

Pourquoi je vois l’erreur quand j’ai sélectionné une ressource de données de référence pour configurer la règle de recherche de table

• La raison en est que vous avez sélectionné une ressource de données qui n’est pas liée ou référencée à un produit de données sous le même domaine de gouvernance. Pour sélectionner la ressource de données appropriée :

  • Cliquez sur Sélectionner la table de référence (voir la capture d’écran suivante)

    

  • Annuler la sélection actuelle (voir la capture d’écran ci-dessous)

    

  • Une fois la sélection actuelle annulée, sélectionnez une autre ressource.

Comment puis-je configurer l’accès à la source de données pour Microsoft Purview MSI ?

• Voici le guide de configuration MSI. Vous trouverez les détails dans ce document.

Toutes nos sources de données se trouvent derrière le point de terminaison privé (dans le réseau virtuel). Purview peut-il accéder aux données dans le réseau virtuel pour l’analyse de la qualité des données ?

• Oui, Purview prend en charge le réseau virtuel managé pour l’analyse DQ. Vous trouverez ici le document de configuration du réseau virtuel managé Purview.

Où puis-je trouver une bonne documentation sur la fonction d’expression pour créer des règles personnalisées ?

• Vous trouverez les références et les exemples de documentation dans la page Règle de qualité des données.

Pourquoi l’analyse DQ de la table Fabric Lakehouse échoue-t-elle ?

• La prise en charge de la carte de données Purview pour l’infrastructure Lakehouse est en préversion privée. Nous devons autoriser votre locataire Purview à la carte de données Purview et Fabric One Lake pour activer l’analyse DQ de table Fabric Lakehouse avec Purview DQ. Contactez votre équipe de compte Microsoft pour autoriser votre locataire à la prise en charge de Fabric Lakehouse.