Governança de dados usando o Catálogo do Unity e Microsoft Purview
A governança de dados é essencial para garantir que os dados em uma organização sejam gerenciados de forma segura, eficiente e em conformidade com as regulamentações. O Azure Databricks, combinado com o Catálogo do Unity e o Microsoft Purview, fornece uma solução robusta para gerenciar e governar dados com eficiência.
Ferramentas de Governança de Dados
A seguir uma visão geral de como a governança de dados pode ser implementada usando o Catálogo do Unity e o Microsoft Purview.
Catálogo do Unity
O Catálogo do Unity é um recurso no Azure Databricks que oferece uma solução de governança unificada para todos os dados e ativos de IA. Ele fornece um metastore centralizado que gerencia objetos de dados em todos os espaços de trabalho em uma organização.
Microsoft Purview
O Microsoft Purview é um serviço de governança de dados unificado que ajuda você a gerenciar e controlar seus dados locais, multinuvem e de SaaS (software como serviço). Ele fornece recursos como descoberta de dados, classificação de dados, linhagem de dados e governança de acesso a dados.
Visão geral do Catálogo do Unity
O Catálogo do Unity no Azure Databricks é um metastore centralizado que gerencia metadados para todos os ativos de dados e ativos de IA em espaços de trabalho do Databricks. Ele permite controles de segurança refinados e políticas de governança em escala, facilitando o gerenciamento de dados em várias equipes e projetos com segurança.
Principais recursos do Catálogo do Unity
Namespace unificado: O Catálogo do Unity oferece um único namespace para conjuntos de dados, arquivos e modelos de aprendizado de máquina em todos os espaços de trabalho, facilitando o gerenciamento e a descoberta de ativos.
Controle de acesso refinado: Ele permite que os administradores definam controles de acesso precisos em dados usando instruções do SQL GRANT e REVOKE padrão, alinhando-se com o princípio de privilégio mínimo.
Linhagem de dados: O Catálogo do Unity captura e exibe a linhagem de dados, que é essencial para acompanhar o fluxo de dados e entender suas transformações ao longo do tempo.
Gerenciamento centralizado de metadados: Gerencia todos os metadados centralmente, garantindo que definições, descrições e outros metadados sejam consistentes entre projetos e espaços de trabalho.
Integração com o SQL do Databricks: O Catálogo do Unity é totalmente integrado ao SQL do Databricks, permitindo a consulta e o gerenciamento contínuos de ativos de dados sem mover dados para fora da plataforma.
Visão geral do Microsoft Purview
O Microsoft Purview oferece um conjunto de ferramentas de governança de dados projetadas para fornecer visibilidade, controle e insights sobre o uso de dados em uma organização. Ele ajuda você a descobrir, classificar, proteger e monitorar dados, independentemente de onde eles residem.
Principais recursos do Microsoft Purview para Azure Databricks
Descoberta e Classificação de dados: Examine e classifique dados automaticamente em seu ambiente do Azure Databricks usando classificadores internos e também crie classificadores personalizados.
Linhagem de dados: Fornece visibilidade detalhada da linhagem de dados, mostrando como os dados são transformados e movidos entre diferentes sistemas e processos, inclusive no Azure Databricks.
Mapa de Dados: Agrega metadados de várias fontes de dados em um catálogo pesquisável, permitindo que os usuários entendam o cenário de dados e suas relações.
Acesso e Gerenciamento de políticas: Permite a criação de políticas de governança que impõem como os dados são acessados e usados no Azure Databricks e em outros sistemas integrados.
Insights e Relatórios: Oferece relatórios detalhados sobre descoberta de dados, classificação de confidencialidade e análise de acesso, ajudando a garantir a conformidade e otimizar estratégias de governança de dados.