Verwalten der Datenqualität für kritische Datenelemente (Vorschau)
Kritische Datenelemente (CDEs) sind eine logische Gruppierung wichtiger Spalten über Tabellen in Ihren Datenquellen hinweg, die es Ihnen ermöglicht, Ihre Governancebemühungen strategisch darauf zu konzentrieren, wo Sie die größte Wirkung haben.
Microsoft Purview Data Quality bietet eine integrierte Lösung zum Messen der Qualität kritischer Datenelemente (Critical Data Elements, CDEs), sodass Organisationen sicherstellen können, dass diese wichtigen Datenelemente die erforderlichen Standards für Genauigkeit, Vollständigkeit, Konsistenz und Integrität erfüllen.
Organisationen können bestimmte Qualitätsschwellenwerte festlegen, die CDEs erfüllen müssen, um ihre Qualität aufrechtzuerhalten. Diese Schwellenwerte werden auf der logischen CDE-Ebene angewendet, rieseln jedoch auf alle einzelnen Spalten, aus denen das CDE besteht. Diese Regeln können verschiedene Aspekte der Datenqualität umfassen, einschließlich Validierung, Bereinigung, Standardisierung und Anreicherung. Beispiel: Data Quality-Regeln können angeben, dass Kundenadressen auf ein bestimmtes Format standardisiert werden müssen oder dass Mitarbeiter-IDs einem bestimmten Muster entsprechen müssen.
Sobald Datenqualitätsregeln auf CDEs angewendet wurden, wertet Microsoft Purview Data Quality die zugrunde liegenden physischen Datenelemente systematisch aus, um deren Einhaltung dieser Regeln zu bewerten. Mithilfe des integrierten Ansatzes von Purview Data Quality können Organisationen die Qualität ihrer kritischen Datenelemente proaktiv überwachen und verwalten, um sicherzustellen, dass sie zuverlässig, genau und zwecktauglich bleiben. Dies verbessert nicht nur Die Entscheidungsprozesse, sondern trägt auch dazu bei, Risiken im Zusammenhang mit Datenfehlern oder Inkonsistenzen zu mindern und letztendlich zu besseren Geschäftsergebnissen zu führen.
Unterstützte Ressourcentypen
- Azure Data Lake Storage (ADLS Gen2)
- Dateitypen: Delta und Parquet
- Azure SQL-Datenbank
- Die Fabric-Datenumgebung in OneLake umfasst Verknüpfungen und Spiegelungsdaten. Die Data Quality-Überprüfung wird nur für Lakehouse-Deltatabellen und Parquet-Dateien unterstützt.
- Spiegelungsdatenbestand: CosmosDB, Snowflake, Azure SQL
- Verknüpfungsdatenbestand: AWS S3, GCS, AdlsG2 und Dataverse
- Azure Synapse serverlos und Data Warehouse
- Azure Databricks Unity Catalog
- Schneeflocke
- Google Big Query (private Vorschau)
Verfügbare Datenqualitätsregeln für CDEs
Microsoft Purview Data Quality ermöglicht die Konfiguration der folgenden Regeln für CDEs. Wenn Sie eine Regel auswählen, gelangen Sie zu den allgemeinen Data Quality-Regeln , um weitere Informationen zu erhalten.
| Regel | Definition |
|---|---|
| Eindeutige Werte | Bestätigt, dass die Werte in einer Spalte eindeutig sind. |
| Übereinstimmung des Datentyps | Bestätigt, dass die Werte in einer Spalte ihren Datentypanforderungen entsprechen. |
| Leere/leere Felder | Sucht nach leeren und leeren Feldern in einer Spalte, in der Werte vorhanden sein sollen. |
Konfigurieren der Datenqualität für CDEs
Falls noch nicht geschehen, erstellen Sie ein kritisches Datenelement (Critical Data Element, CDE), und fügen Sie Spalten hinzu.
Öffnen Sie Ihr CDE wie folgt:
- Öffnen Sie Microsoft Purview Unified Catalog, und wählen Sie die Dropdownliste Datenverwaltung und das Untermenü Governancedomänen aus.
- Wählen Sie in der Liste eine Governancedomäne aus.
- Wählen Sie die Kachel Kritische Datenelemente aus.
- Wählen Sie ein kritisches Datenelement aus der Liste aus.
Wählen Sie die Registerkarte Datenqualität in Ihrem kritischen Datenelement aus.
Fügen Sie dem kritischen Datenelement eine neue Regel hinzu, indem Sie Neue Regel auswählen.
Wählen Sie den gewünschten Datenqualitätsregeltyp und dann Weiter aus.
Geben Sie die für Ihren Regeltyp erforderlichen Details an.
Wählen Sie aus, ob Sie die Regel aus oder ein umschalten möchten.
Wählen Sie Erstellen aus.
Ausführen von Data Quality-Regeln für CDEs
Wenn eine Datenqualitätsüberprüfung für ein verfügbares Datenasset ausgeführt wird, dem eine Spalte zugeordnet ist, erzeugen die Datenqualitätsregeln, die Sie für diese CDE konfiguriert haben, eine Bewertung.
Planen oder Ausführen einer Datenqualitätsüberprüfung für Ihre Datenressourcen, die Ihrer CDE zugeordnet sind.
Überwachen Sie den Fortschritt des Auftrags zur Überprüfung der Datenqualität während der Ausführung, und stellen Sie sicher, dass er ohne Fehler oder Unterbrechungen abgeschlossen wird. Überprüfen Sie, ob die angewendeten Datenqualitätsregeln aus dem Verlauf Momentaufnahme erfolgreich ausgeführt wurden.
Überprüfen Sie die Ergebnisse des Scanauftrags , um die Qualität der CDE-Datenressource basierend auf den angewendeten Regeln zu bewerten.
Analysieren Sie die Ergebnisse des Auftrags zur Überprüfung der Datenqualität, um Probleme, Anomalien oder Verbesserungsbereiche im Zusammenhang mit der CDE-Datenressource zu identifizieren. Dies kann die Bereinigung, Standardisierung oder Anreicherung der Daten umfassen, um die Qualität zu verbessern.
