Origini dati e tipi di file supportati
Questo articolo illustra le origini dati attualmente supportate, i tipi di file e i concetti di analisi nel Microsoft Purview Data Map.
Microsoft Purview Data Map origini dati disponibili
La tabella seguente mostra tutte le origini con metadati tecnici disponibili in Microsoft Purview. Selezionare l'origine dati per altre informazioni. La tabella elenca anche altre funzionalità supportate per ogni origine dati ed è possibile selezionare la funzionalità per altre informazioni.
| Categoria | Archivio dati supportato | Analisi | Classificazione | Applicazione di etichette | Criteri | Derivazione | Visualizzazione in diretta |
|---|---|---|---|---|---|---|---|
| Azzurro*** | Più origini | Sì | Sì | Dipendente dall'origine | Sì | No | Funzionalità limitata |
| Archiviazione BLOB di Azure | Sì | Sì | Sì | Sì (anteprima) | Limitato* | Sì | |
| Azure Cosmos DB (API per NoSQL) | Sì | Sì | No | No | No* | No | |
| Esplora dati di Azure | Sì | Sì | No | No | No* | No | |
| Azure Data Factory | Sì | No | No | No | Sì | No | |
| Azure Data Lake Storage Gen2 | Sì | Sì | Sì | Sì (anteprima) | Limitato* | Sì | |
| Azure Condivisione dati | Sì | No | No | No | Sì | No | |
| Azure Database per MySQL | Sì | Sì | No | No | No* | No | |
| Database di Azure per PostgreSQL | Sì | Sì | No | No | No* | No | |
| Azure Databricks Hive Metastore | Sì | No | No | No | Sì | No | |
| Catalogo Unity Azure Databricks | Sì | Sì | No | No | No | No | |
| Pool SQL dedicato di Azure (in precedenza SQL Data Warehouse) | Sì | Sì | No | No | No* | No | |
| File di Azure | Sì | Sì | Sì | No | Limitato* | No | |
| Azure Machine Learning | Sì | No | No | No | Sì | No | |
| database SQL di Azure | Sì | Sì | Sì | Sì | Sì (anteprima) | Sì | |
| Istanza gestita di SQL di Azure | Sì | Sì | No | Sì | No* | No | |
| Azure Synapse Analytics (area di lavoro) | Sì | Sì | No | No | Sì - Pipeline di Synapse | No | |
| Categoria | Archivio dati supportato | Archivio dati supportato | Classificazione | Applicazione di etichette | Criteri di accesso | Derivazione | Visualizzazione in diretta |
| Database | Amazon RDS | Sì | Sì | No | No | No | No |
| Amazon Redshift | Sì | No | No | No | No | No | |
| Cassandra | Sì | No | No | No | Sì | No | |
| Db2 | Sì | No | No | No | Sì | No | |
| Google BigQuery | Sì | No | No | No | Sì | No | |
| Hive Metastore Database | Sì | No | No | No | Sì* | No | |
| MongoDB | Sì | No | No | No | No | No | |
| MySQL | Sì | No | No | No | Sì | No | |
| Oracle | Sì | Sì | No | No | Sì* | No | |
| PostgreSQL | Sì | No | No | No | Sì | No | |
| SAP Business Warehouse | Sì | No | No | No | No | No | |
| SAP HANA | Sì | No | No | No | No | No | |
| Fiocco di neve | Sì | Sì | No | No | Sì | No | |
| SQL Server | Sì | Sì | No | No | No* | No | |
| SQL Server in Azure-Arc | Sì | Sì | No | Sì | No* | No | |
| Teradata | Sì | Sì | No | No | Sì* | No | |
| Categoria | Archivio dati supportato | Archivio dati supportato | Classificazione | Applicazione di etichette | Criteri di accesso | Derivazione | Visualizzazione in diretta |
| File | Amazon S3 | Sì | Sì | No | No | Limitato* | No |
| HDFS | Sì | Sì | No | No | No | No | |
| Servizi e app | Flusso d' aria | Sì | No | No | No | Sì | No |
| Dataverse | Sì | Sì | No | No | No | No | |
| Erwin | Sì | No | No | No | Sì | No | |
| Tessuto | Sì | No | No | No | Sì | Sì | |
| Looker | Sì | No | No | No | Sì | No | |
| Power BI | Sì | No | No | No | Sì | Sì** | |
| Qlik Sense | Sì | No | No | No | No | No | |
| Salesforce | Sì | No | No | No | No | No | |
| SAP ECC | Sì | No | No | No | Sì* | No | |
| SAP S/4HANA | Sì | No | No | No | Sì* | No | |
| Tableau | Sì | No | No | No | No | No |
* Oltre alla derivazione sugli asset all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline di Data Factory o Synapse.
** Gli elementi di Power BI in un tenant di Fabric sono disponibili tramite la visualizzazione dinamica.
Le risorse di Azure sono disponibili solo nello stesso tenant dell'account Microsoft Purview, a meno che non siano elencate in modo specifico nella pagina dell'origine dati.
Nota
Attualmente, il Microsoft Purview Data Map non può analizzare un asset con /, \o # nel relativo nome. Per definire l'ambito dell'analisi ed evitare l'analisi di asset con tali caratteri nel nome dell'asset, usare l'esempio in Registrare ed analizzare un database Azure SQL.
Importante
Se si prevede di usare un runtime di integrazione self-hosted, l'analisi di alcune origini dati richiede una configurazione aggiuntiva nel computer di runtime di integrazione self-hosted. Ad esempio, JDK, Visual C++ Redistributable o driver specifico. Per informazioni sull'origine, vedere ogni articolo di origine per informazioni dettagliate sui prerequisiti. Tutti i requisiti verranno elencati nella sezione Prerequisiti .
Analisi delle aree
Di seguito è riportato un elenco di tutte le aree dell'origine dati di Azure (data center) in cui viene eseguito lo scanner Microsoft Purview Data Map. Se l'origine dati di Azure si trova in un'area esterna a questo elenco, lo scanner verrà eseguito nell'area dell'istanza di Microsoft Purview.
Microsoft Purview Data Map aree dello scanner
- Australia orientale
- Australia sud-orientale
- Brasile meridionale
- Canada centrale
- Canada orientale
- India centrale
- Cina settentrionale 3
- Asia orientale
- Stati Uniti orientali
- Stati Uniti orientali 2
- Francia centrale
- Germania Centro-Occidentale
- Giappone orientale
- Corea centrale
- Stati Uniti centro-settentrionali
- Europa settentrionale
- Qatar centrale
- Sudafrica settentrionale
- Stati Uniti centro-meridionali
- Asia sudorientale
- Svizzera nord
- Emirati Arabi Uniti Settentrionali
- Regno Unito meridionale
- USGov Virginia
- Stati Uniti centro-occidentali
- Europa occidentale
- Stati Uniti occidentali
- Stati Uniti occidentali 2
- Stati Uniti occidentali 3
Tipi di file supportati per l'analisi
I tipi di file seguenti sono supportati per l'analisi, l'estrazione dello schema e la classificazione, se applicabile:
- I formati di file strutturati supportati dall'estensione includono analisi, estrazione dello schema e classificazione a livello di asset e colonna: AVRO, ORC, PARQUET, CSV, JSON, PSV, SSV, TSV, TXT, XML, GZIP
- I formati di file di documenti supportati dall'estensione includono l'analisi e la classificazione a livello di asset: DOC, DOCM, DOCX, DOT, ODP, ODS, ODT, PDF, POT, PPS, PPSX, PPT, PPTM, PPTX, XLC, XLSB, XLSM, XLSX, XLT
- Il Microsoft Purview Data Map supporta anche estensioni di file personalizzate e parser personalizzati.
Nota
Limitazioni note:
- Lo scanner Microsoft Purview Data Map supporta solo l'estrazione dello schema per i tipi di file strutturati elencati in precedenza.
- Per i tipi di file AVRO, ORC e PARQUET, lo scanner non supporta l'estrazione dello schema per i file che contengono tipi di dati complessi, ad esempio MAP, LIST, STRUCT.
- Lo scanner supporta l'analisi dei tipi PARQUET compressi snappy per l'estrazione e la classificazione dello schema.
- Per i tipi di file GZIP, è necessario eseguire il mapping di GZIP a un singolo file CSV all'interno. I file Gzip sono soggetti alle regole di classificazione di sistema e personalizzate. Attualmente non è supportata l'analisi di un file gzip mappato a più file all'interno o a qualsiasi tipo di file diverso da csv.
-
Per i tipi di file delimitati (CSV, PSV, SSV, TSV, TXT):
- I file delimitati con una sola colonna non possono essere determinati come file CSV e non avranno uno schema.
- Non è supportare il rilevamento dei tipi di dati. Il tipo di dati verrà elencato come "stringa" per tutte le colonne.
- Supportiamo solo virgole(','), punto e virgola(';'), barre verticali('|') e tabulazioni('\t') come delimitatori.
- I file delimitati con meno di tre righe non possono essere determinati come file CSV se usano un delimitatore personalizzato. Ad esempio: i file con ~ delimitatore e meno di tre righe non potranno essere determinati come file CSV.
- Se un campo contiene virgolette doppie, le virgolette doppie possono essere visualizzate solo all'inizio e alla fine del campo e devono essere corrispondenti. Le virgolette doppie visualizzate al centro del campo o visualizzate all'inizio e alla fine, ma non corrispondenti, verranno riconosciute come dati non validi e non verrà analizzato alcuno schema dal file. Le righe con un numero di colonne diverso da quello della riga di intestazione verranno giudicate come righe di errore. (numeri di righe di errore/numeri di righe campionate ) deve essere minore di 0,1.
- Per i file Parquet, se si usa un runtime di integrazione self-hosted, è necessario installare JRE 11 (Java Runtime Environment) a 64 bit o OpenJDK nel computer a runtime di integrazione. Per una guida all'installazione, vedere la sezione Java Runtime Environment (Ambiente di runtime Java) nella parte inferiore della pagina .
- Attualmente il formato delta non è supportato. Se si esegue l'analisi del formato delta direttamente dall'origine dati di archiviazione, ad esempio Azure Data Lake Storage (ADLS Gen2), il set di file Parquet dal formato delta verrà analizzato e gestito come set di risorse come descritto in Informazioni sui set di risorse. Oltre alle colonne usate per il partizionamento, non verranno riconosciute come parte dello schema per il set di risorse.
Estrazione dello schema
Per le origini dati che supportano l'estrazione dello schema durante l'analisi, lo schema dell'asset non verrà troncato direttamente dal numero di colonne.
Dati annidati
Attualmente, i dati annidati sono supportati solo per il contenuto JSON.
Per tutti i tipi di file supportati dal sistema, se è presente contenuto JSON annidato in una colonna, lo scanner analizza i dati JSON annidati e li espone all'interno della scheda dello schema dell'asset.
I dati annidati o l'analisi dello schema annidato non sono supportati in SQL. Una colonna con dati annidati verrà segnalata e classificata così come è e i dati secondari non verranno analizzati.
Dati di campionamento per la classificazione
Nella terminologia Microsoft Purview Data Map,
- Analisi L1: estrae informazioni di base e metadati come nome file, dimensioni e nome completo
- Analisi L2: estrae lo schema per i tipi di file strutturati e le tabelle di database
- Analisi L3: estrae lo schema dove applicabile e soggetto il file campionato alle regole di classificazione personalizzate e di sistema
Altre informazioni sulla personalizzazione dei livelli di analisi.
Per tutti i formati di file strutturati, i file di esempio dello scanner Microsoft Purview Data Map nel modo seguente:
- Per i tipi di file strutturati, viene eseguito l'esempio delle prime 128 righe in ogni colonna o dei primi 1 MB, a seconda di quale sia inferiore.
- Per i formati di file di documento, vengono campioni i primi 20 MB di ogni file.
- Se un file di documento è più grande di 20 MB, non è soggetto a un'analisi approfondita (soggetta a classificazione). In tal caso, Microsoft Purview acquisisce solo i metadati di base, ad esempio il nome file e il nome completo.
- Per le origini dati tabulari (SQL), vengono esempi le prime 128 righe.
- Per Azure Cosmos DB per NoSQL, verranno raccolte fino a 300 proprietà distinte dei primi 10 documenti in un contenitore per lo schema e per ogni proprietà verranno campionati i valori da un massimo di 128 documenti o i primi 1 MB.
Campionamento di file del set di risorse
Una cartella o un gruppo di file di partizione viene rilevato come set di risorse nel Microsoft Purview Data Map se corrisponde a un criterio del set di risorse di sistema o a un criterio del set di risorse definito dal cliente. Se viene rilevato un set di risorse, lo scanner campionerà ogni cartella che contiene. Altre informazioni sui set di risorse sono disponibili qui.
Campionamento di file per set di risorse in base ai tipi di file:
- File delimitati (CSV, PSV, SSV, TSV): vengono campionati 1 file su 100 (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un "set di risorse"
- Tipi di file Data Lake (Parquet, Avro, Orc): 1 in 18446744073709551615 (numero massimo lungo) vengono campionati (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un 'set di risorse'
- Altri tipi di file strutturati (JSON, XML, TXT): 1 file su 100 vengono campionati (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un 'set di risorse'
- Oggetti SQL ed entità di Azure Cosmos DB : ogni file viene analizzato L3.
- Tipi di file di documento : ogni file viene analizzato L3. I modelli di set di risorse non si applicano a questi tipi di file.