Come ottenere la derivazione da Azure Synapse Analytics in Microsoft Purview
Questo documento illustra i passaggi necessari per connettere un'area di lavoro Azure Synapse con un account Microsoft Purview per tenere traccia della derivazione dei dati e inserire le origini dati. Il documento illustra anche i dettagli dell'ambito di copertura delle attività e delle funzionalità di derivazione supportate.
Quando si connette Azure Synapse Analytics a Microsoft Purview, ogni volta che viene eseguita un'attività della pipeline supportata, i metadati relativi ai dati di origine dell'attività, ai dati di output e all'attività vengono inseriti automaticamente nella Microsoft Purview Data Map.
Se un'origine dati è già stata analizzata ed esiste nella mappa dati, il processo di inserimento aggiungerà le informazioni di derivazione da Azure Synapse Analytics all'origine esistente. Se l'origine o l'output non esiste nel mapping dei dati ed è supportato dalla derivazione di Azure Synapse Analytics, Microsoft Purview aggiungerà automaticamente i metadati da Synapse Analytics alla mappa dati nella raccolta radice del dominio predefinita.
Questo può essere un ottimo modo per monitorare il patrimonio dati mentre gli utenti spostano e trasformano le informazioni usando Azure Synapse Analytics.
Funzionalità di Azure Synapse supportate
Attualmente, Microsoft Purview acquisisce la derivazione del runtime dalle attività della pipeline di Azure Synapse seguenti:
Importante
Microsoft Purview elimina la derivazione se l'origine o la destinazione usa un sistema di archiviazione dati non supportato.
supporto attività Copy
| Archivio dati | Supportato |
|---|---|
| Archiviazione BLOB di Azure | Sì |
| Ricerca cognitiva di Azure | Sì |
| Azure Cosmos DB per NoSQL * | Sì |
| Azure Cosmos DB per MongoDB * | Sì |
| Azure Esplora dati * | Sì |
| Azure Data Lake Storage Gen1 | Sì |
| Azure Data Lake Storage Gen2 | Sì |
| Database di Azure per MariaDB * | Sì |
| Database di Azure per MySQL * | Sì |
| Database di Azure per PostgreSQL * | Sì |
| File di Azure | Sì |
| database Azure SQL * | Sì |
| Istanza gestita di SQL di Azure * | Sì |
| Azure Synapse Analytics * | Sì |
| Pool SQL dedicato di Azure (in precedenza SQL DW) * | Sì |
| Archiviazione tabelle di Azure | Sì |
| Amazon S3 | Sì |
| Alveare* | Sì |
| Oracolo* | Sì |
| Tabella SAP (quando ci si connette a SAP ECC o SAP S/4HANA) | Sì |
| SQL Server * | Sì |
| Teradata * | Sì |
* Microsoft Purview attualmente non supporta query o stored procedure per la derivazione o l'analisi. La derivazione è limitata solo alle origini di tabella e visualizzazione.
Se si usa Integration Runtime self-hosted, prendere nota della versione minima con supporto di derivazione per:
- Qualsiasi caso d'uso: versione 5.9.7885.3 o successiva
- Copia di dati da Oracle: versione 5.10 o successiva
- Copia di dati in Azure Synapse Analytics tramite il comando COPY o PolyBase: versione 5.10 o successiva
Limitazioni sulla derivazione dell'attività di copia
Attualmente, se si usano le funzionalità di attività di copia seguenti, la derivazione non è ancora supportata:
- Copiare i dati in Azure Data Lake Storage Gen1 usando il formato binario.
- Impostazione di compressione per file binari, testo delimitato, Excel, JSON e XML.
- Opzioni di partizione di origine per database Azure SQL, Istanza gestita di SQL di Azure, analisi Azure Synapse, SQL Server e tabella SAP.
- Copiare i dati nel sink basato su file con l'impostazione del numero massimo di righe per file.
- La derivazione a livello di colonna non è attualmente supportata dall'attività di copia quando l'origine/sink è un set di risorse.
Oltre alla derivazione, lo schema dell'asset di dati (illustrato nella scheda Asset -> Schema) viene segnalato per i connettori seguenti:
- File CSV e Parquet in BLOB di Azure, File di Azure, ADLS Gen1, ADLS Gen2 e Amazon S3
- Azure Esplora dati, database Azure SQL, Istanza gestita di SQL di Azure, Azure Synapse Analytics, SQL Server, Teradata
supporto Flusso di dati
| Archivio dati | Supportato |
|---|---|
| Archiviazione BLOB di Azure | Sì |
| Azure Cosmos DB per NoSQL * | Sì |
| Azure Data Lake Storage Gen1 | Sì |
| Azure Data Lake Storage Gen2 | Sì |
| Database di Azure per MySQL * | Sì |
| Database di Azure per PostgreSQL * | Sì |
| database Azure SQL * | Sì |
| Istanza gestita di SQL di Azure * | Sì |
| Azure Synapse Analytics * | Sì |
| Pool SQL dedicato di Azure (in precedenza SQL DW) * | Sì |
* Microsoft Purview attualmente non supporta query o stored procedure per la derivazione o l'analisi. La derivazione è limitata solo alle origini di tabella e visualizzazione.
Limitazioni sulla derivazione del flusso di dati
- La derivazione del flusso di dati può generare un set di risorse a livello di cartella senza visibilità sui file coinvolti.
- La derivazione a livello di colonna non è attualmente supportata quando source/sink è un set di risorse.
- Per la derivazione dell'attività del flusso di dati, Microsoft Purview supporta solo la visualizzazione dell'origine e del sink coinvolti. La derivazione dettagliata per la trasformazione del flusso di dati non è ancora supportata.
- La derivazione non è supportata quando i flowlet fanno parte del flusso di dati.
- Attualmente Purview non supporta la creazione di report di derivazione per le tabelle Synapse (database LakeHouse/database dell'area di lavoro)
Accedere all'account Microsoft Purview protetto
Se l'account Microsoft Purview è protetto dal firewall, informazioni su come consentire a Azure Synapse di accedere a un account Microsoft Purview protetto tramite endpoint privati di Microsoft Purview.
Portare Azure Synapse derivazione in Microsoft Purview
Passaggio 1: Connettere Azure Synapse'area di lavoro all'account Microsoft Purview
È possibile connettere un'area di lavoro Azure Synapse a Microsoft Purview e la connessione consente a Azure Synapse di eseguire il push delle informazioni sulla derivazione in Microsoft Purview. Seguire i passaggi descritti in Connettere l'area di lavoro Synapse a Microsoft Purview. Più aree di lavoro Azure Synapse possono connettersi a un singolo account Microsoft Purview per il rilevamento olistico della derivazione.
Passaggio 2: Eseguire la pipeline nell'area di lavoro Azure Synapse
È possibile creare pipeline con attività Copy nell'area di lavoro Azure Synapse. Non è necessaria alcuna altra configurazione per l'acquisizione dei dati di derivazione. I dati di derivazione verranno acquisiti automaticamente durante l'esecuzione delle attività.
Passaggio 3: Monitorare lo stato dei report di derivazione
Dopo aver eseguito la pipeline di Azure Synapse, nella visualizzazione Monitoraggio pipeline Synapse è possibile controllare lo stato dei report di derivazione selezionando il pulsante Di derivazione seguente. Le stesse informazioni sono disponibili anche nella sezione JSON>reportLineageToPurvew di output dell'attività.
Passaggio 4: Visualizzare le informazioni sulla derivazione nell'account Microsoft Purview
Nell'account Microsoft Purview è possibile esplorare gli asset e scegliere il tipo "Azure Synapse Analytics". È anche possibile eseguire ricerche nel Data Catalog usando parole chiave.
Selezionare l'attività Account Synapse -> pipeline -> e visualizzare le informazioni sulla derivazione.
Monitorare i collegamenti Azure Synapse Analytics
Nel portale di governance di Microsoft Purview è possibile monitorare i collegamenti Azure Synapse Analytics.