Governança de dados usando Unity Catalog e Microsoft Purview
A governança de dados é fundamental para garantir que os dados dentro de uma organização sejam gerenciados de forma segura, eficiente e em conformidade com as regulamentações. O Azure Databricks, combinado com o Unity Catalog e o Microsoft Purview, fornece uma solução robusta para gerenciar e controlar dados de forma eficaz.
Ferramentas de governança de dados
Segue-se uma visão geral de como a governança de dados pode ser implementada usando o Unity Catalog e o Microsoft Purview.
Catálogo do Unity
O Unity Catalog é um recurso do Azure Databricks que oferece uma solução de governança unificada para todos os dados e ativos de IA. Ele fornece um metastore centralizado que gerencia objetos de dados em todos os espaços de trabalho de uma organização.
Microsoft Purview
O Microsoft Purview é um serviço unificado de governança de dados que ajuda você a gerenciar e controlar seus dados locais, multicloud e de software como serviço (SaaS). Ele fornece recursos como descoberta de dados, classificação de dados, linhagem de dados e governança de acesso a dados.
Visão geral do catálogo Unity
O Unity Catalog no Azure Databricks é um metastore centralizado que gerencia metadados para todos os ativos de dados e ativos de IA em espaços de trabalho do Databricks. Ele permite controles de segurança refinados e políticas de governança em escala, facilitando o gerenciamento de dados em várias equipes e projetos com segurança.
Principais características do catálogo Unity
Namespace unificado: o Unity Catalog oferece um único namespace para conjuntos de dados, arquivos e modelos de aprendizado de máquina em todos os espaços de trabalho, facilitando o gerenciamento e a descoberta de ativos.
Controle de acesso refinado: permite que os administradores definam controles de acesso precisos nos dados usando instruções SQL GRANT e REVOKE padrão, alinhando-se com o princípio de menor privilégio.
Linhagem de dados: o Unity Catalog captura e exibe a linhagem de dados, o que é fundamental para acompanhar o fluxo de dados e entender suas transformações ao longo do tempo.
Gerenciamento centralizado de metadados: gerencia todos os metadados centralmente, garantindo que as definições, descrições e outros metadados sejam consistentes entre projetos e espaços de trabalho.
Integração com Databricks SQL: o Unity Catalog é totalmente integrado com o Databricks SQL, permitindo consultas e gerenciamento contínuos de ativos de dados sem mover dados para fora da plataforma.
Visão geral do Microsoft Purview
O Microsoft Purview oferece um conjunto de ferramentas de governança de dados projetadas para fornecer visibilidade, controle e informações sobre o uso de dados em uma organização. Ele ajuda você a descobrir, classificar, proteger e monitorar dados, não importa onde eles residam.
Principais recursos do Microsoft Purview para Azure Databricks
Descoberta e classificação de dados: analise e classifique dados automaticamente em seu ambiente do Azure Databricks usando classificadores internos e também crie classificadores personalizados.
Linhagem de dados: fornece visibilidade detalhada da linhagem de dados, mostrando como os dados são transformados e movidos em diferentes sistemas e processos, inclusive no Azure Databricks.
Mapa de dados: agrega metadados de várias fontes de dados em um catálogo pesquisável, permitindo que os usuários entendam o cenário de dados e seus relacionamentos.
Gerenciamento de acesso e políticas: permite a criação de políticas de governança que impõem como os dados são acessados e usados no Azure Databricks e em outros sistemas integrados.
Insights e relatórios: oferece relatórios detalhados sobre descoberta de dados, classificação de sensibilidade e análise de acesso, ajudando a garantir a conformidade e otimizar as estratégias de governança de dados.