Governance dei dati con Unity Catalog e Microsoft Purview
La governance dei dati è fondamentale per garantire che i dati all'interno di un'organizzazione vengano gestiti in modo sicuro, efficiente e conforme alle normative. Azure Databricks, combinato con Unity Catalog e Microsoft Purview, offre una soluzione affidabile per gestire e gestire i dati in modo efficace.
Strumenti di governance dei dati
Di seguito viene fornita una panoramica del modo in cui è possibile implementare la governance dei dati usando Unity Catalog e Microsoft Purview.
Catalogo Unity
Unity Catalog è una funzionalità di Azure Databricks che offre una soluzione di governance unificata per tutti i dati e gli asset di intelligenza artificiale. Fornisce un metastore centralizzato che gestisce gli oggetti dati in tutte le aree di lavoro di un'organizzazione.
Microsoft Purview
Microsoft Purview è un servizio unificato per la governance dei dati che semplifica la gestione e la regolamentazione dei dati locali, multi-cloud e SaaS (software come un servizio). Offre funzionalità come l'individuazione dei dati, la classificazione dei dati, la derivazione dei dati e la governance dell'accesso ai dati.
Panoramica di Unity Catalog
Unity Catalog in Azure Databricks è un metastore centralizzato che gestisce i metadati per tutti gli asset di dati e gli asset di intelligenza artificiale nelle aree di lavoro di Databricks. Consente controlli di sicurezza e criteri di governance granulari su larga scala, semplificando la gestione dei dati in più team e progetti in modo sicuro.
Funzionalità principali di Unity Catalog
Spazio dei nomi unificato: Unity Catalog offre un singolo spazio dei nomi per set di dati, file e modelli di Machine Learning in tutte le aree di lavoro, semplificando la gestione e l'individuazione degli asset.
Controllo di accesso con granularità fine: Consente agli amministratori di impostare controlli di accesso precisi sui dati usando istruzioni SQL GRANT e REVOKE standard, in linea con il principio dei privilegi minimi.
Derivazione dei dati: Unity Catalog acquisisce e visualizza la derivazione dei dati, fondamentale per tenere traccia del flusso dei dati e comprenderne le trasformazioni nel tempo.
Gestione centralizzata dei metadati: Gestisce tutti i metadati centralmente, assicurandosi che le definizioni, le descrizioni e altri metadati siano coerenti tra progetti e aree di lavoro.
Integrazione con Databricks SQL: Unity Catalog è completamente integrato con Databricks SQL, consentendo di eseguire query e gestire facilmente gli asset di dati senza spostare i dati dalla piattaforma.
Panoramica di Microsoft Purview
Microsoft Purview offre una suite di strumenti di governance dei dati progettati per offrire visibilità, controllo e informazioni dettagliate sull'utilizzo dei dati in un'organizzazione. Consente di individuare, classificare, proteggere e monitorare i dati, indipendentemente dalla posizione in cui si trovano.
Funzionalità principali di Microsoft Purview per Azure Databricks
Individuazione e classificazione dei dati: Analizzare e classificare automaticamente i dati nell'ambiente Azure Databricks usando classificatori predefiniti e creare classificatori personalizzati.
Derivazione dei dati: Offre una visibilità dettagliata sulla derivazione dei dati, che mostra come i dati vengono trasformati e spostati in diversi sistemi e processi, tra cui Azure Databricks.
Data Map: Aggrega i metadati di varie origini dati in un catalogo ricercabile, consentendo agli utenti di comprendere il panorama dei dati e le relative relazioni.
Gestione degli accessi e dei criteri: Consente la creazione di criteri di governance che applicano la modalità di accesso ai dati e l'uso all'interno di Azure Databricks e di altri sistemi integrati.
Informazioni dettagliate e report: Offre report dettagliati sull'individuazione dei dati, la classificazione di riservatezza e l'analisi dell'accesso, consentendo di garantire la conformità e ottimizzare le strategie di governance dei dati.