Gobierno de datos mediante Unity Catalog y Microsoft Purview
El gobierno de datos es fundamental para garantizar que los datos de una organización se administran de forma segura, eficaz y conforme a las normativas. Azure Databricks, combinado con Unity Catalog y Microsoft Purview, proporciona una solución sólida para administrar y gobernar datos de manera eficaz.
Herramientas de gobierno de datos
A continuación se muestra información general sobre cómo se puede implementar la gobernanza de datos mediante Unity Catalog y Microsoft Purview.
Unity Catalog
Unity Catalog es una característica de Azure Databricks que ofrece una solución de gobernanza unificada para todos los recursos de datos e inteligencia artificial. Proporciona un metastore centralizado que administra objetos de datos en todas las áreas de trabajo de una organización.
Microsoft Purview
Microsoft Purview es un servicio de gobernanza de datos unificado que le ayuda a administrar y controlar sus datos locales, multinube y de software como servicio (SaaS). Proporciona funcionalidades como la detección de datos, la clasificación de datos, el linaje de datos y la gobernanza del acceso a datos.
Introducción a Unity Catalog
Unity Catalog en Azure Databricks es un metastore centralizado que administra metadatos para todos los recursos de datos y recursos de IA en áreas de trabajo de Databricks. Permite controles de seguridad específicos y directivas de gobernanza a escala, lo que facilita la administración de datos entre varios equipos y proyectos de forma segura.
Características clave de Unity Catalog
Espacio de nombres unificado: Unity Catalog ofrece un único espacio de nombres para conjuntos de datos, archivos y modelos de aprendizaje automático en todas las áreas de trabajo, lo que facilita la administración y detección de recursos.
Control de acceso de grano fino: Permite a los administradores establecer controles de acceso precisos a los datos utilizando declaraciones SQL GRANT y REVOKE estándar, alineándose con el principio del mínimo privilegio.
Linaje de datos: Unity Catalog captura y muestra el linaje de datos, lo cual es fundamental para rastrear el flujo de datos y comprender sus transformaciones a lo largo del tiempo.
Administración centralizada de metadatos: Administra todos los metadatos de forma centralizada, lo que garantiza que las definiciones, las descripciones y otros metadatos sean coherentes entre proyectos y áreas de trabajo.
Integración con Databricks SQL: Unity Catalog está totalmente integrado con Databricks SQL, lo que permite consultar y administrar sin problemas los recursos de datos sin mover datos de la plataforma.
Descripción general de Microsoft Purview
Microsoft Purview ofrece un conjunto de herramientas de gobernanza de datos diseñadas para proporcionar visibilidad, control e información sobre el uso de datos en toda una organización. Te ayuda a detectar, clasificar, proteger y supervisar datos, independientemente de dónde resida.
Características clave de Microsoft Purview para Azure Databricks
Detección y clasificación de datos: Examine y clasifique automáticamente los datos en el entorno de Azure Databricks mediante clasificadores integrados y cree clasificadores personalizados.
Linaje de datos: Proporciona visibilidad detallada del linaje de datos, que muestra cómo se transforman y mueven los datos entre distintos sistemas y procesos, incluidos en Azure Databricks.
Mapa de datos: Agrega metadatos de varios orígenes de datos a un catálogo en el que se pueden buscar, lo que permite a los usuarios comprender el panorama de datos y sus relaciones.
Administración de directivas y acceso: Permite la creación de directivas de gobernanza que aplican cómo se accede a los datos y se usan en Azure Databricks y en otros sistemas integrados.
Información detallada e informes: Ofrece informes detallados sobre la detección de datos, la clasificación de confidencialidad y el análisis de acceso, lo que ayuda a garantizar el cumplimiento y optimizar las estrategias de gobernanza de datos.