Datastyrning med Unity Catalog och Microsoft Purview
Datastyrning är avgörande för att säkerställa att data i en organisation hanteras på ett säkert, effektivt och i enlighet med regler. Azure Databricks, kombinerat med Unity Catalog och Microsoft Purview, ger en robust lösning för att hantera och styra data effektivt.
Verktyg för datastyrning
En översikt över hur datastyrning kan implementeras med Unity Catalog och Microsoft Purview följer.
Unity Catalog
Unity Catalog är en funktion i Azure Databricks som erbjuder en enhetlig styrningslösning för alla data och AI-tillgångar. Det tillhandahåller ett centraliserat metaarkiv som hanterar dataobjekt på alla arbetsytor i en organisation.
Microsoft Purview
Microsoft Purview är en enhetlig datastyrningstjänst som hjälper dig att hantera och styra dina lokala, multimoln- och saaS-data (software-as-a-service). Den innehåller funktioner som dataidentifiering, dataklassificering, data härkomst och styrning av dataåtkomst.
Översikt över Unity Catalog
Unity Catalog i Azure Databricks är ett centraliserat metaarkiv som hanterar metadata för alla datatillgångar och AI-tillgångar på Databricks-arbetsytor. Det möjliggör detaljerade säkerhetskontroller och styrningsprinciper i stor skala, vilket gör det enklare att hantera data över flera team och projekt på ett säkert sätt.
Viktiga funktioner i Unity Catalog
Enhetligt namnområde: Unity Catalog erbjuder en enda namnrymd för datauppsättningar, filer och maskininlärningsmodeller på alla arbetsytor, vilket gör det enklare att hantera och identifiera tillgångar.
Detaljerad åtkomstkontroll: Det gör att administratörer kan ange exakta åtkomstkontroller för data med hjälp av sql grant- och REVOKE-standardinstruktioner som överensstämmer med principen om minsta behörighet.
Dataursprung: Unity Catalog samlar in och visar dataursprung, vilket är viktigt för att spåra dataflödet och förstå dess omvandlingar över tid.
Centraliserad metadatahantering: Hanterar alla metadata centralt, vilket säkerställer att definitioner, beskrivningar och andra metadata är konsekventa mellan projekt och arbetsytor.
Integrering med Databricks SQL: Unity Catalog är helt integrerad med Databricks SQL, vilket möjliggör sömlös frågekörning och hantering av datatillgångar utan att flytta data från plattformen.
Översikt över Microsoft Purview
Microsoft Purview erbjuder en uppsättning datastyrningsverktyg som är utformade för att ge synlighet, kontroll och insikter om dataanvändning i en organisation. Det hjälper dig att identifiera, klassificera, skydda och övervaka data, oavsett var de finns.
Viktiga funktioner i Microsoft Purview för Azure Databricks
Dataidentifiering och -klassificering: Skanna och klassificera data automatiskt i din Azure Databricks-miljö med hjälp av inbyggda klassificerare och skapa även anpassade klassificerare.
Dataursprung: Ger detaljerad insyn i dataursprunget, som visar hur data transformeras och flyttas mellan olika system och processer, inklusive i Azure Databricks.
Datakarta: Aggregerar metadata från olika datakällor till en sökbar katalog så att användarna kan förstå datalandskapet och dess relationer.
Åtkomst- och principhantering: Gör det möjligt att skapa styrningsprinciper som framtvingar hur data används i Azure Databricks och andra integrerade system.
Insikter och rapportering: Erbjuder detaljerade rapporter om dataidentifiering, känslighetsklassificering och åtkomstanalys, vilket hjälper till att säkerställa efterlevnad och optimera strategier för datastyrning.