Datenqualität für Snowflake-Daten
Beim Scannen von Snowflake-Datenquellen unterstützt Microsoft Purview Folgendes:
Extrahieren von technischen Metadaten, einschließlich:
- Server, Datenbanken, Schemas und Tabellen einschließlich der Spalten, Sichten einschließlich der Spalten, Fremdschlüssel und Eindeutigkeitseinschränkungen
- Gespeicherte Prozeduren, einschließlich des Parameterdatasets und resultsets
- Funktionen einschließlich des Parameterdatasets
- Pipes, Stages und Streams einschließlich der Spalten
- Aufgaben und Sequenzen
Konfigurieren der Data Map-Überprüfung zum Katalogisieren von Snowflake-Daten in Microsoft Purview
Registrieren einer Snowflake-Quelle
Führen Sie die folgenden Schritte aus, um eine neue Snowflake-Quelle in Unified Catalog zu registrieren:
- Navigieren Sie im Microsoft Purview-Governanceportal zu Ihrem Microsoft Purview-Konto.
- Wählen Sie im linken Navigationsbereich Data Map aus.
- Wählen Sie Registrieren aus.
- Wählen Sie unter Quellen registrieren die Option Snowflake aus.
Einrichten einer Data Map-Überprüfung
- Wählen Sie die registrierte Snowflake-Quelle aus.
- Wählen Sie + Neuer Scan aus.
- Geben Sie die folgenden Details an:
- Name: Der Name der Überprüfung
- Herstellen einer Verbindung über Integration Runtime: Wählen Sie die automatisch aufgelöste Integration Runtime von Azure, die verwaltete VNet IR oder SHIR gemäß Ihrem Szenario aus.
- Host für Verbindung: Wählen Sie den Endpunkt aus, der während der Überprüfung zum Herstellen der Verbindung mit Snowflake verwendet wird. Sie können aus der Server-URL oder den anderen Hosts wählen, die Sie in der Datenquelle konfiguriert haben.
- Anmeldeinformationen: Wählen Sie die Anmeldeinformationen aus, um eine Verbindung mit Ihrer Datenquelle herzustellen. Stellen Sie folgendes sicher:
- Wählen Sie Standardauthentifizierung beim Erstellen von Anmeldeinformationen aus.
- Geben Sie im Eingabefeld Benutzername den Benutzernamen an, der zum Herstellen einer Verbindung mit Snowflake verwendet wird.
- Speichern Sie das Benutzerkennwort, das zum Herstellen einer Verbindung mit Snowflake verwendet wird, im geheimen Schlüssel.
- Warehouse: Geben Sie den Namen des Lagers an, instance verwendet wird, um die Überprüfung in Großbuchstaben zu ermöglichen. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über NUTZUNGsrechte für dieses Warehouse verfügen.
- Datenbanken: Geben Sie mindestens eine Datenbank instance Namen an, die in Großbuchstaben importiert werden sollen. Trennen Sie die Namen in der Liste durch einen Semikolon (;). Beispiel: DB1; DB2. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über ausreichende Rechte für die Datenbankobjekte verfügen.
- Schema: Listet eine Teilmenge der zu importierenden Schemas auf, ausgedrückt als durch Semikolons getrennte Liste.
- Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen (verfügbar bei Verwendung von Azure Integration Runtime).
- Wählen Sie Weiter.
- Wählen Sie einen Überprüfungsregelsatz für die Klassifizierung aus. Sie können zwischen dem Systemstandard und vorhandenen benutzerdefinierten Regelsätzen wählen oder einen neuen Regelsatz inline erstellen.
- Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.
Nach dem Scannen ist die Datenressource in Snowflake auf der Unified Catalog Suche verfügbar. Weitere Informationen zum Verbinden und Verwalten von Snowflake in Microsoft Purview finden Sie in diesem Dokument.
Wichtig
Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.
Einrichten einer Verbindung mit der Snowflake-Datenquelle für die Überprüfung der Datenqualität
An diesem Punkt haben wir die gescannte Ressource für die Katalogisierung und Governance bereit. Ordnen Sie das gescannte Medienobjekt dem Datenprodukt in einer Governancedomäne zu. Fügen Sie auf der Registerkarte Datenqualität eine neue Azure SQL Datenbankverbindung hinzu: Rufen Sie den manuell eingegebenen Datenbanknamen ab.
Wählen Sie die Registerkarte Datenqualitäts-Governancedomäne >> Verwalten aus, um eine Verbindung zu erstellen.
Konfigurieren Sie die Verbindung auf der Verbindungsseite.
- Hinzufügen eines Verbindungsnamens und einer Beschreibung
- Auswählen des Quelltyps Snowflake
- Hinzufügen von Servername, Warehousename, Datenbankname, Schemaname und Tabellenname
- Auswählen der Authentifizierungsmethode – Standardauthentifizierung
- Benutzername hinzufügen
- Anmeldeinformationen hinzufügen
- Hinzufügen eines Azure-Abonnements
- Key Vault-Verbindung
- Geheimnisname
- Version des geheimen Schlüssels
Testen Sie die Verbindung, um sicherzustellen, dass die konfigurierte Verbindung erfolgreich hergestellt wurde.
Wichtig
- Data Quality-Stewards benötigen schreibgeschützten Zugriff auf Snowflake, um eine Datenqualitätsverbindung einzurichten.
- vNET wird für die Snowflake-Datenquelle noch nicht unterstützt.
- Der Snowflake-Connector akzeptiert keine https://. Entfernen Sie https:// , wenn Sie den Servernamen zum Konfigurieren der Datenquellenverbindung hinzufügen.
Profilerstellung und Datenqualitätsüberprüfung für Daten in Snowflake
Nachdem die Verbindungseinrichtung erfolgreich abgeschlossen wurde, können Sie in Snowflake ein Profil erstellen, Regeln erstellen und anwenden und eine DQ-Überprüfung Ihrer Daten ausführen. Befolgen Sie die schritt-für-Schritt-Anleitung, die in den folgenden Dokumenten beschrieben wird:
- Konfigurieren und Ausführen der Datenprofilerstellung für Ihre Daten
- Konfigurieren und Ausführen der Datenqualitätsüberprüfung