Каталог данных

Каталог данных регистрирует и сохраняет сведения о данных в централизованном месте и делает его доступным для организации. Это гарантирует, что предприятия избежать дублирования продуктов данных, вызванных приемом избыточных данных различными командами проектов. Рекомендуется создать службу каталога данных, чтобы определить метаданные продуктов данных, хранящихся в целевых зонах данных.

Аналитика в масштабе облака зависит от Microsoft Purview для регистрации корпоративных источников данных, классификации их, обеспечения качества данных и обеспечения безопасного, самостоятельного доступа.

Microsoft Purview — это служба на основе клиента и может взаимодействовать с каждой целевой зоной данных, создав управляемую виртуальную сеть, развернутую в регионе целевых зон данных. Вы можете развернуть управляемые виртуальная сеть Среды выполнения интеграции Azure (IR) в управляемых виртуальная сеть Microsoft Purview в любом доступном регионе Microsoft Purview. Оттуда среда ir управляемой виртуальной сети может использовать частные конечные точки для безопасного подключения и проверки поддерживаемых источников данных. Дополнительные сведения см. в статье Об использовании управляемой виртуальной сети с учетной записью Microsoft Purview. Создание управляемой виртуальной сети IR в управляемом виртуальная сеть гарантирует изоляцию и безопасность процесса интеграции данных.

При использовании Azure Databricks мы рекомендуем использовать каталог Azure Databricks Unity в дополнение к Microsoft Purview. Каталог Unity Azure Databricks предоставляет централизованный контроль доступа, аудит, отслеживание происхождения и возможности обнаружения данных в рабочих областях Databricks. Рекомендации по настройке каталога Unity см. в рекомендациях покаталога Unity.

Примечание.

Хотя в этой документации основное внимание уделяется использованию Microsoft Purview для управления, предприятия могут инвестировать в другие продукты, такие как Alation, Okera или Collibra. Эти решения основаны на подписке, и мы рекомендуем развернуть их в посадочной зоне управления данными. Имейте в виду, что может потребоваться определенная настраиваемая интеграция.

Поиск данных

Обнаружение данных отражает состояние всех данных, принадлежащих предприятиям. Эти данные называются хранилищем данных. Во время обнаружения данных объект данных проверяется и классифицируется. Процесс сканирования данных подключается непосредственно к источнику данных в соответствии с заданным расписанием.

При добавлении новой целевой зоны данных в среду связанные озера данных и источники сохраняемости полиглота должны быть зарегистрированы в качестве источников для сканирования обходчиков каталога данных.

При автоматическом обнаружении ресурсов данных для заполнения каталога можно:

• Обход метаданных из Azure и локальных источников данных
• Сканирование озер данных, больших двоичных объектов и других поддерживаемых целевых объектов
• Извлечение схемы из целевых объектов данных для типов ФАЙЛОВ XML, TSV, CSV, PSV, SSV, JSON, Parquet, Avro и ORC
• Разрешить автоматическое обновление каталога с помощью настраиваемого планирования проверок и наборов правил сканирования

Внимание

При добавлении новой зоны приземления данных в среду необходимо зарегистрировать связанные озера данных и многоязычные хранилища через Azure DevOps как источники для обходчиков каталога данных, которые будут сканировать, управлять и поддерживать целостность данных.

Классификация данных

Microsoft Purview позволяет применять системные или пользовательские классификации данных к файлам, таблицам или ресурсам столбцов.

Классификации данных похожи на теги субъектов. Microsoft Purview помечает и определяет содержимое определенных типов данных, найденных в вашем пространстве данных во время сканирования. Метки конфиденциальности используются для идентификации категорий типов классификации в данных организации. Вы также можете использовать метки конфиденциальности для группировки политик, которые вы хотите применить к каждой категории. Microsoft Purview использует те же типы конфиденциальной информации, что и Microsoft 365, что позволяет расширить существующие политики безопасности и защиту во всем содержимом и активе данных.

Microsoft Purview может проверять и автоматически классифицировать документы. Например, если у вас есть файл с именем multiple.docx и имеется номер национального идентификатора в его содержимом, Microsoft Purview добавляет классификацию, EU National Identification Number например на странице сведений об активе.

Компонент Microsoft Defender для SQL доступен для Базы данных SQL Azure, Управляемого экземпляра SQL Azure и Azure Synapse Analytics. Она включает в себя функции для обнаружения и классификации конфиденциальных данных, обнаружения и устранения потенциальных уязвимостей базы данных и обнаружения аномальных действий, которые могут указывать на угрозу для вашей базы данных. Microsoft Defender для SQL предоставляет единое центральное место для активации и управления этими возможностями.

Следующие шаги

Data lineage (Происхождение данных)