Freigeben über

Problembehandlung bei der Datenqualität

  • Artikel

Alle Fragen, Symptome von Fehlern werden unten mit möglicher Lösung beschrieben:

Warum wird ein Ungültiger Quellfehler beim Scanauftrag angezeigt.

  • Dieser Fehler kann aus zwei Gründen angezeigt werden:
    • Die Deltatabelle ist am Speicherort nicht vorhanden.
    • Die Daten in der Datei weisen kein gültiges Deltaformat auf.

Ich stelle Datenqualitätsüberprüfungen für meine Fabric-Deltatabellen ein. Ich sehe alle Datenassets in der Datenqualitätsansicht, ich habe ein Medienobjekt ausgewählt und Regeln für die Datenqualitätsüberprüfung angewendet, aber die Überprüfung schlägt fehl.

  • Es kann eine Reihe von Gründen geben, warum ihre Datenqualitätsüberprüfung fehlschlägt:

Warum diese Fehlermeldung angezeigt wird: Keine Verbindung kann verwendet werden. Versuchen Sie zuerst, eine Verbindung herzustellen?

Screenshot der Übersichtsseite für die Datenqualität mit Verbindungsfehler

  • Zum Erstellen eines Profils für Daten oder zum Ausführen der Datenqualitätsüberprüfung müssen Sie zunächst die Datenquellenverbindung konfigurieren. Diese Warnung wird nicht mehr angezeigt, nachdem Sie eine Datenquellenverbindung erstellt haben.

Warum ist die Gesamtanzahl der Profilerstellungsdaten kleiner als die Gesamtanzahl in meiner Azure Data Lake Storage Gen2 Deltatabelle?

  • Microsoft Purview Data Quality verwendet eine Stichprobengröße von 1 Million für die Profilerstellung. Diese Stichprobe wird nach dem Zufallsprinzip entnommen. Wenn Ihre Delta-Tabelle mehr als Millionen Datensätze enthält, stimmt die Gesamtanzahl nicht überein.

Warum sehe ich, dass eine Aktion zur Datenqualitätsbewertung für ein Datenprodukt fehlt, sehe ich die Bewertung im Datenprodukt, wenn ich die Datenproduktansicht durchsucht habe.

  • Als die Aktion erstellt wurde, gab es keine Datenqualitätsbewertung für dieses Datenprodukt. Die Datenqualitätsüberprüfung wurde ausgeführt, nachdem die Aktion erstellt und die Bewertung für das Datenprodukt veröffentlicht wurde. Empfehlen Sie, die Aktion zu schließen, nachdem die Wiederherstellung abgeschlossen ist, um Verwirrung zu vermeiden.

Beim Erstellen von Datenqualitätsregeln aus "Vorschlagsregeln" wird beim Versuch, alle 30 vorgeschlagenen Regeln hinzuzufügen, ein Fehler in Bezug auf eine Datumsspalte ausgelöst.

  • Dies liegt daran, dass der Schemadatentyp in der Datenqualitätsschemasicht nicht unterstützt wird. Sie können den Datentyp in "Date " ändern, indem Sie die Umschaltfläche für die Schemaverwaltung auswählen und ihn speichern. Nachdem Sie den Datentyp geändert haben, sollten Sie die Regel hinzufügen können.

Beim Versuch, alle vorgeschlagenen Regeln hinzuzufügen, wird der Fehler "ObserverId already exists" (ObserverId ist bereits vorhanden) ausgelöst.

  • Höchstwahrscheinlich wurde die gleiche/identische Regel bereits zu einer Spalte hinzugefügt. Wenn Sie versuchen, eine gleiche/identische Regel zu einer Spalte hinzuzufügen, löst die Anwendung diese Fehlermeldung aus.

Warum wird mein geplanter Auftrag übersprungen, anstatt ausgeführt zu werden? Für Aufträge zur Überprüfung der Datenqualität wird übersprungen angezeigt.

  • Der DQ-Auftrag verfügt über eine Funktion zum Überprüfen und Ausführen von DQ nur, wenn seit der letzten Ausführung Änderungen vorgenommen wurden. Dies wird ausgeführt, um den Deltaverlauf zu überprüfen. Übersprungen bedeutet lediglich, dass seit der letzten Ausführung keine Änderungen an den Daten vorgenommen wurden und die Spark-Ausführung für DQ nicht ausgeführt wird. Übersprungen!= Fehler

Wenn ich die Registerkarte "Profildaten" auswähl, wird die Anzahl der spaltenvorgewählt. Kann ich die ausgewählten Spalten ändern?

  • Microsoft Purview Data Quality verwendet eine KI-gestützte Profilerstellungslösung. Vorab ausgewählte Spalten werden mithilfe der Microsoft Purview Data Profiling-KI ausgewählt. Sie können die Auswahl vordefinierter Spalten aufheben und basierend auf der Wichtigkeit der Spalten erneut auswählen und speichern und ausführen auswählen, um die Profilerstellung auszuführen.

Warum kann ich einige der Datenassets nicht auf der Seite der Data Quality-Ressourcenliste auswählen, um ein Profil zu erstellen und zu überprüfen?

  • Es kann einige Gründe geben:
    • Diese Datenassets werden aus nicht unterstützten Datenquellen veröffentlicht.
    • Das Dateiformat dieser Datenassets wird nicht unterstützt.

Warum schlägt mein Profilerstellungsauftrag für die unterstützten Datenquellen fehl?

  • Überprüfen Sie das Schema, um sicherzustellen, dass kein Spaltenname mit Leerzeichen vorhanden ist. Die aktuelle Version unterstützt keinen Spaltennamen mit Leerzeichen. Unsere Techniker arbeiten daran, einen Hotfix zu veröffentlichen.

Warum kann ich keine Datenqualitätsüberprüfung und Datenprofilerstellung für CSV-, Parquet- und Textdateien ausführen?

  • Microsoft Purview Data Quality unterstützt derzeit nur das Deltaformat von Parquet. Purview Data Quality unterstützt keine CSV-, Text- und Parquet-Elemente (kein Delta).

Warum wird die Aktualitätsregel für die Datenqualität in der Regelliste nicht angezeigt?

  • Die Aktualität der Datenqualität wird für Azure SQL Tabellen nicht unterstützt. Wenn Es sich bei Ihrer Datenressource um eine Azure SQL Tabelle handelt, wird die Aktualitätsregel nicht aufgelistet, um die Datenressource auszuwählen und auf sie anzuwenden.

Bei meinem DQ-Scanauftrag ist ein Fehler aufgetreten. Die Fehlermeldung "Interner Dienstfehler ist aufgetreten, wiederholen Sie den Vorgang, oder wenden Sie sich an den Microsoft-Support.". Wie kann ich die Problembehandlung durchführen?

  • Es kann viele Gründe geben, warum die Überprüfung mit dieser Fehlermeldung fehlschlägt:
    • Der Benutzer ist nicht berechtigt, den aktuellen Vorgang für den Arbeitsbereich auszuführen, auf den der Benutzer für die Datenqualitätsüberprüfung zugreifen möchte.
    • Fehlercode 403, d. h. der Zugriff auf Datenquellen ist vorübergehend verboten.
    • Der gewährte Zugriff auf die Datenquelle für Ihre verwaltete Identität (MANAGED Identity, MSI) ist abgelaufen.
    • Die verwaltete Purview-Identität (Managed Identity, MSI) benötigt Mitwirkender Zugriff auf den Microsoft Fabric-Arbeitsbereich. Wenn der Mitwirkender Zugriff für die Microsoft Purview MSI nicht für den Microsoft Fabric-Arbeitsbereich bereitgestellt wurde, schlägt die Überprüfung der Datenqualität fehl.

Warum erhalte ich einen Deltaformatfehler, obwohl ich das Delta-Format verwende?

  • Wir unterstützen Spark 3.4 Delta 2.4. Stellen Sie sicher, dass Sie Delta Lake Version 2.4 verwenden.

Warum wird der Fehler angezeigt, wenn ich eine Verweisdatenressource ausgewählt habe, um die Tabellensuchregel zu konfigurieren

  • Der Grund dafür ist, dass Sie eine Datenressource ausgewählt haben, die nicht teilgebunden ist oder nicht mit einem Datenprodukt in derselben Governancedomäne verknüpft ist. So wählen Sie die richtige Datenressource aus:

    • Klicken Sie auf Verweistabelle auswählen (siehe folgenden Screenshot)

      Screenshot: Fehler beim Nachschlagen des Datenassets.

    • Aktuelle Auswahl abbrechen (siehe Screenshot unten)

      Screenshot der Auswahl der richtigen Datenressource.

    • Wählen Sie nach dem Abbrechen der aktuellen Auswahl ein anderes Medienobjekt aus.

Wie kann ich den Zugriff auf die Datenquelle für Microsoft Purview MSI konfigurieren?

Alle unsere Datenquellen befinden sich hinter dem privaten Endpunkt (im vNet). Kann Purview für die Datenqualitätsüberprüfung auf Daten im vNet zugreifen?

Wo finde ich eine gute Dokumentation zur Ausdrucksfunktion zum Erstellen benutzerdefinierter Regeln?

Warum schlägt die DQ-Überprüfung für die Fabric Lakehouse-Tabelle fehl?

  • Purview Data Map-Unterstützung für Fabric Lakehouse befindet sich in der privaten Vorschau. Wir müssen Ihren Purview-Mandanten für Purview Data Map und Fabric One Lake auflisten, um die DQ-Überprüfung der Fabric Lakehouse-Tabelle mit Purview DQ zu ermöglichen. Wenden Sie sich an Ihr Microsoft-Kontoteam, um Ihren Mandanten für Fabric Lakehouse-Support in die Positivliste zu setzen.