Управление данными с помощью каталога Unity и Microsoft Purview

  • 3 мин

Управление данными крайне важно для обеспечения безопасного и эффективного управления данными в организации и соответствия нормативным требованиям. Azure Databricks в сочетании с каталогом Unity и Microsoft Purview предоставляет надежное решение для эффективного управления данными и управления ими.

Средства управления данными

Обзор реализации управления данными с помощью каталога Unity и Microsoft Purview следует.

Каталог Unity

Каталог Unity — это функция в Azure Databricks, которая предлагает единое решение для управления всеми данными и ресурсами ИИ. Она предоставляет централизованное хранилище метаданных, которое управляет объектами данных во всех рабочих областях организации.

Каталог Unity

Microsoft Purview

Microsoft Purview — это единая служба управления данными, которая помогает управлять локальными, многооблачными и программными данными как услуга (SaaS). Он предоставляет такие возможности, как обнаружение данных, классификация данных, происхождение данных и управление доступом к данным.

Microsoft Purview

Обзор Unity Catalog

Каталог Unity в Azure Databricks — это централизованное хранилище метаданных, которое управляет метаданными для всех ресурсов данных и ресурсов ИИ в рабочих областях Databricks. Она обеспечивает более детальное управление безопасностью и политики управления в масштабе, что упрощает управление данными в нескольких командах и проектах.

Ключевые функции каталога Unity

  • Единое пространство имен: каталог Unity предлагает единое пространство имен для наборов данных, файлов и моделей машинного обучения во всех рабочих областях, что упрощает управление ресурсами и их обнаружение.

  • Точное контроль доступа: позволяет администраторам задавать точные элементы управления доступом для данных с помощью стандартных инструкций SQL GRANT и REVOKE, которые соответствуют принципу наименьших привилегий.

  • Data Lineage: каталог Unity фиксирует и отображает происхождение данных, что крайне важно для отслеживания потока данных и понимания его преобразований с течением времени.

  • Централизованное управление метаданными: централизованно управляет всеми метаданными, обеспечивая согласованность определений, описаний и других метаданных в проектах и рабочих областях.

  • Интеграция с Databricks SQL: каталог Unity полностью интегрирован с Databricks SQL, что позволяет легко запрашивать и управлять ресурсами данных без перемещения данных из платформы.

Обзор Microsoft Purview

Microsoft Purview предлагает набор средств управления данными, предназначенных для обеспечения видимости, контроля и аналитических сведений об использовании данных в организации. Он помогает обнаруживать, классифицировать, защищать и отслеживать данные независимо от того, где он находится.

Ключевые функции Microsoft Purview для Azure Databricks

  • Обнаружение и классификация данных. Автоматическое сканирование и классификация данных в среде Azure Databricks с помощью встроенных классификаторов, а также создание пользовательских классификаторов.

  • Происхождение данных: обеспечивает подробную видимость происхождения данных, показывающую, как данные преобразуются и перемещаются между различными системами и процессами, в том числе в Azure Databricks.

  • Карта данных: объединяет метаданные из различных источников данных в каталог, доступный для поиска, что позволяет пользователям понять ландшафт данных и его связи.

  • Управление доступом и политиками. Позволяет создавать политики управления, которые применяют доступ к данным и используются в Azure Databricks и других интегрированных системах.

  • Аналитические сведения и отчеты. Предоставляет подробные отчеты об обнаружении данных, классификации конфиденциальности и аналитике доступа, помогая обеспечить соответствие и оптимизировать стратегии управления данными.