Abrufen der Herkunft aus Azure Synapse Analytics in Microsoft Purview
In diesem Dokument werden die Schritte erläutert, die zum Verbinden eines Azure Synapse Arbeitsbereichs mit einem Microsoft Purview-Konto erforderlich sind, um die Datenherkunft nachzuverfolgen und Datenquellen zu erfassen. In dem Dokument werden auch die Details des Aktivitätsabdeckungsbereichs und der unterstützten Herkunftsfunktionen erläutert.
Wenn Sie Azure Synapse Analytics mit Microsoft Purview verbinden, werden bei jeder Ausführung einer unterstützten Pipelineaktivität Metadaten zu den Quelldaten, Ausgabedaten und der Aktivität automatisch im Microsoft Purview Data Map erfasst.
Wenn eine Datenquelle bereits gescannt wurde und in der Datenzuordnung vorhanden ist, fügt der Erfassungsprozess die Herkunftsinformationen aus Azure Synapse Analytics dieser vorhandenen Quelle hinzu. Wenn die Quelle oder Ausgabe nicht in der Data Map vorhanden ist und von Azure Synapse Analytics-Herkunft unterstützt wird, fügt Microsoft Purview automatisch metadaten aus Synapse Analytics der Data Map unter der Standarddomänenstammsammlung hinzu.
Dies kann eine hervorragende Möglichkeit sein, Ihren Datenbestand zu überwachen, wenn Benutzer Informationen mithilfe von Azure Synapse Analytics verschieben und transformieren.
Unterstützte Azure Synapse-Funktionen
Derzeit erfasst Microsoft Purview die Laufzeitherkunft aus den folgenden Azure Synapse Pipelineaktivitäten:
Wichtig
Microsoft Purview löscht die Herkunft, wenn die Quelle oder das Ziel ein nicht unterstütztes Datenspeichersystem verwendet.
Copy-Aktivität Support
| Datenspeicher | Unterstützt |
|---|---|
| Azure Blob Storage | Ja |
| Azure Cognitive Search | Ja |
| Azure Cosmos DB for NoSQL * | Ja |
| Azure Cosmos DB for MongoDB * | Ja |
| Azure Data Explorer * | Ja |
| Azure Data Lake Storage Gen1 | Ja |
| Azure Data Lake Storage Gen2 | Ja |
| Azure Database for MariaDB * | Ja |
| Azure Database for MySQL * | Ja |
| Azure Database for PostgreSQL * | Ja |
| Azure Files | Ja |
| Azure SQL-Datenbank * | Ja |
| Azure SQL Managed Instance * | Ja |
| Azure Synapse Analytics * | Ja |
| Dedizierter Azure SQL-Pool (früher SQL DW) * | Ja |
| Azure Table Storage | Ja |
| Amazon S3 | Ja |
| Bienenkorb* | Ja |
| Orakel* | Ja |
| SAP-Tabelle (beim Herstellen einer Verbindung mit SAP ECC oder SAP S/4HANA) | Ja |
| SQL Server * | Ja |
| Teradata * | Ja |
* Microsoft Purview unterstützt derzeit keine Abfrage oder gespeicherte Prozedur für Die Herkunft oder Überprüfung. Die Herkunft ist nur auf Tabellen- und Sichtquellen beschränkt.
Wenn Sie selbstgehostete Integration Runtime verwenden, beachten Sie die Minimale Version mit Herkunftsunterstützung für:
- Beliebiger Anwendungsfall: Version 5.9.7885.3 oder höher
- Kopieren von Daten aus Oracle: Version 5.10 oder höher
- Kopieren von Daten in Azure Synapse Analytics per COPY-Befehl oder PolyBase: Version 5.10 oder höher
Einschränkungen bei der Herkunft der Kopieraktivität
Wenn Sie die folgenden Features der Kopieraktivität verwenden, wird die Herkunft derzeit noch nicht unterstützt:
- Kopieren Sie Daten mithilfe des Binärformats in Azure Data Lake Storage Gen1.
- Komprimierungseinstellung für Binärdateien, durch Trennzeichen getrennte Text-, Excel-, JSON- und XML-Dateien.
- Quellpartitionsoptionen für Azure SQL Database, Azure SQL Managed Instance, Azure Synapse Analytics, SQL Server und SAP Table.
- Kopieren Sie Daten in eine dateibasierte Senke mit der Einstellung max. Zeilen pro Datei.
- Die Herkunft auf Spaltenebene wird derzeit von der Kopieraktivität nicht unterstützt, wenn die Quelle/Senke eine Ressourcengruppe ist.
Zusätzlich zur Herkunft wird das Datenassetschema (auf der Registerkarte Asset –> Schema) für die folgenden Connectors gemeldet:
- CSV- und Parquet-Dateien in Azure Blob, Azure Files, ADLS Gen1, ADLS Gen2 und Amazon S3
- Azure Data Explorer, Azure SQL Database, Azure SQL Managed Instance, Azure Synapse Analytics, SQL Server, Teradata
Datenfluss Support
| Datenspeicher | Unterstützt |
|---|---|
| Azure Blob Storage | Ja |
| Azure Cosmos DB for NoSQL * | Ja |
| Azure Data Lake Storage Gen1 | Ja |
| Azure Data Lake Storage Gen2 | Ja |
| Azure Database for MySQL * | Ja |
| Azure Database for PostgreSQL * | Ja |
| Azure SQL-Datenbank * | Ja |
| Azure SQL Managed Instance * | Ja |
| Azure Synapse Analytics * | Ja |
| Dedizierter Azure SQL-Pool (früher SQL DW) * | Ja |
* Microsoft Purview unterstützt derzeit keine Abfrage oder gespeicherte Prozedur für Die Herkunft oder Überprüfung. Die Herkunft ist nur auf Tabellen- und Sichtquellen beschränkt.
Einschränkungen der Datenflussherkunft
- Die Datenflussherkunft kann ressourcensatz auf Ordnerebene generieren, ohne dass die beteiligten Dateien sichtbar sind.
- Die Herkunft auf Spaltenebene wird derzeit nicht unterstützt, wenn die Quelle/Senke eine Ressourcengruppe ist.
- Für die Herkunft der Datenflussaktivität unterstützt Microsoft Purview nur die Anzeige der beteiligten Quelle und Senke. Die detaillierte Datenherkunft für die Datenflusstransformation wird noch nicht unterstützt.
- Die Herkunft wird nicht unterstützt, wenn Flowlets Teil des Dataflows sind.
- Derzeit unterstützt Purview keine Herkunftsberichterstellung für Synapse-Tabellen (LakeHouse DB/Workspace DB)
Zugriff auf ein gesichertes Microsoft Purview-Konto
Wenn Ihr Microsoft Purview-Konto durch eine Firewall geschützt ist, erfahren Sie, wie Sie Azure Synapse über private Microsoft Purview-Endpunkte auf ein geschütztes Microsoft Purview-Konto zugreifen können.
Integrieren Azure Synapse Herkunft in Microsoft Purview
Schritt 1: Verbinden Azure Synapse Arbeitsbereichs mit Ihrem Microsoft Purview-Konto
Sie können einen Azure Synapse Arbeitsbereich mit Microsoft Purview verbinden, und die Verbindung ermöglicht es Azure Synapse, Herkunftsinformationen an Microsoft Purview zu pushen. Führen Sie die Schritte unter Verbinden des Synapse-Arbeitsbereichs mit Microsoft Purview aus. Mehrere Azure Synapse Arbeitsbereiche können eine Verbindung mit einem einzelnen Microsoft Purview-Konto herstellen, um eine ganzheitliche Datenherkunftsnachverfolgung zu erhalten.
Schritt 2: Ausführen der Pipeline in Azure Synapse Arbeitsbereich
Sie können Pipelines mit Copy-Aktivität in Azure Synapse Arbeitsbereich erstellen. Sie benötigen keine andere Konfiguration für die Erfassung von Datenherkunftsdaten. Die Herkunftsdaten werden während der Ausführung der Aktivitäten automatisch erfasst.
Schritt 3: Überwachen der status der Datenherkunftsberichte
Nachdem Sie die Azure Synapse-Pipeline ausgeführt haben, können Sie in der Überwachungsansicht der Synapse-Pipeline die status der Datenherkunftsberichte überprüfen, indem Sie die folgende Schaltfläche Herkunft status auswählen. Die gleichen Informationen sind auch im Json-Abschnitt>reportLineageToPurvew der Aktivitätsausgabe verfügbar.
Schritt 4: Anzeigen von Herkunftsinformationen in Ihrem Microsoft Purview-Konto
In Ihrem Microsoft Purview-Konto können Sie Ressourcen durchsuchen und den Typ "Azure Synapse Analytics" auswählen. Sie können auch Unified Catalog mithilfe von Schlüsselwörtern suchen.
Wählen Sie die Aktivität Synapse-Konto –> Pipeline aus> . Sie können die Herkunftsinformationen anzeigen.
Überwachen der Azure Synapse Analytics-Links
Im Microsoft Purview-Governanceportal können Sie die links Azure Synapse Analytics überwachen.