Gegevensbeheer met Unity Catalog en Microsoft Purview
Gegevensbeheer is essentieel om ervoor te zorgen dat gegevens binnen een organisatie veilig, efficiënt en in overeenstemming met regelgeving worden beheerd. Azure Databricks, gecombineerd met Unity Catalog en Microsoft Purview, biedt een robuuste oplossing voor het effectief beheren en beheren van gegevens.
Hulpprogramma's voor gegevensbeheer
Een overzicht van hoe gegevensbeheer kan worden geïmplementeerd met behulp van Unity Catalog en Microsoft Purview volgt.
Unity-catalogus
Unity Catalog is een functie in Azure Databricks die een geïntegreerde governanceoplossing biedt voor alle gegevens en AI-assets. Het biedt een gecentraliseerde metastore die gegevensobjecten beheert in alle werkruimten in een organisatie.
Microsoft Purview
Microsoft Purview is een geïntegreerde service voor gegevensbeheer waarmee u uw on-premises, multicloud- en SaaS-gegevens (Software as a Service) kunt beheren en beheren. Het biedt mogelijkheden zoals gegevensdetectie, gegevensclassificatie, gegevensherkomst en governance voor gegevenstoegang.
Overzicht van Unity Catalog
Unity Catalog in Azure Databricks is een gecentraliseerde metastore die metagegevens beheert voor alle gegevensassets en AI-assets in Databricks-werkruimten. Het maakt nauwkeurige beveiligingscontroles en governancebeleid op schaal mogelijk, waardoor het eenvoudiger is om gegevens in meerdere teams en projecten veilig te beheren.
Belangrijkste functies van Unity Catalog
Unified Namespace: Unity Catalog biedt één naamruimte voor gegevenssets, bestanden en machine learning-modellen in alle werkruimten, waardoor het eenvoudiger is om assets te beheren en te detecteren.
Fijnmazig toegangsbeheer: hiermee kunnen beheerders nauwkeurige toegangsbeheer instellen voor gegevens met behulp van standaard SQL GRANT- en REVOKE-instructies, afgestemd op het principe van minimale bevoegdheden.
Gegevensherkomst: Unity Catalog legt gegevensherkomst vast en weer, wat essentieel is voor het bijhouden van de gegevensstroom en het begrijpen van de transformaties in de loop van de tijd.
Gecentraliseerd metagegevensbeheer: beheert alle metagegevens centraal en zorgt ervoor dat definities, beschrijvingen en andere metagegevens consistent zijn in projecten en werkruimten.
Integratie met Databricks SQL: Unity Catalog is volledig geïntegreerd met Databricks SQL, waardoor u naadloos query's en beheer van gegevensassets kunt uitvoeren zonder gegevens uit het platform te verplaatsen.
Overzicht van Microsoft Purview
Microsoft Purview biedt een reeks hulpprogramma's voor gegevensbeheer die zijn ontworpen voor zichtbaarheid, controle en inzichten in het gegevensgebruik binnen een organisatie. Hiermee kunt u gegevens detecteren, classificeren, beveiligen en bewaken, ongeacht waar deze zich bevinden.
Belangrijkste functies van Microsoft Purview voor Azure Databricks
Gegevensdetectie en -classificatie: gegevens automatisch scannen en classificeren in uw Azure Databricks-omgeving met behulp van ingebouwde classificaties en ook aangepaste classificaties maken.
Gegevensherkomst: biedt gedetailleerde zichtbaarheid in de gegevensherkomst, waarin wordt getoond hoe gegevens worden getransformeerd en verplaatst over verschillende systemen en processen, waaronder binnen Azure Databricks.
Gegevensoverzicht: voegt metagegevens uit verschillende gegevensbronnen samen in een doorzoekbare catalogus, zodat gebruikers inzicht kunnen hebben in het gegevenslandschap en de bijbehorende relaties.
Toegangs- en beleidsbeheer: hiermee kunt u governancebeleid maken dat afdwingt hoe gegevens worden geopend en gebruikt in Azure Databricks en andere geïntegreerde systemen.
Inzichten en rapportage: biedt gedetailleerde rapporten over gegevensdetectie, vertrouwelijkheidsclassificatie en toegangsanalyses, om naleving te garanderen en strategieën voor gegevensbeheer te optimaliseren.