Качество данных с помощью Единый каталог Microsoft Purview

Качество данных в Единый каталог Microsoft Purview позволяет домену управления и владельцам данных оценивать и контролировать качество своей экосистемы данных, облегчая целенаправленные действия по улучшению. В современном ландшафте на основе ИИ надежность данных напрямую влияет на точность аналитических сведений и рекомендаций на основе ИИ. Без надежных данных существует риск подорвать доверие к системам ИИ и препятствовать их внедрению.

Низкое качество данных или несовместимые структуры данных могут препятствовать бизнес-процессам и возможностям принятия решений. Качество данных решает эти проблемы, предлагая пользователям возможность оценивать качество данных с помощью правил без кода или низкого уровня кода, включая встроенные правила (OOB) и правила, созданные ИИ. Эти правила применяются на уровне столбцов и агрегируются для предоставления оценок на уровнях ресурсов данных, продуктов данных и доменов управления, обеспечивая сквозную видимость качества данных в каждом домене.

Качество данных также включает возможности профилирования данных на основе ИИ, рекомендуя столбцы для профилирования и позволяя человеческому вмешательству уточнить эти рекомендации. Этот итеративный процесс не только повышает точность профилирования данных, но и способствует постоянному улучшению базовых моделей ИИ.

Применяя качество данных, организации могут эффективно измерять, отслеживать и повышать качество своих ресурсов данных, повышая надежность аналитических сведений на основе ИИ и повышая доверие к процессам принятия решений на основе ИИ.

Жизненный цикл качества данных

1. Назначьте пользователям разрешения на управление качеством данных в Единый каталог для использования всех функций качества данных.
2. Зарегистрируйте и проверьте источник данных в Схема данных Microsoft Purview.
3. Добавление ресурса данных в продукт данных
4. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.
5. Настройте и запустите профилирование данных для ресурса в источнике данных.
   1. После завершения профилирования просмотрите результаты для каждого столбца в ресурсе данных, чтобы понять текущую структуру и состояние данных.
6. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.
7. Настройте и запустите проверку качества данных в продукте данных, чтобы оценить качество всех поддерживаемых ресурсов в продукте данных.
8. Просмотрите результаты сканирования , чтобы оценить текущее качество данных продукта данных.
9. Периодически повторяйте шаги 5–8 в течение жизненного цикла ресурса данных, чтобы обеспечить его качество.
10. Постоянный мониторинг качества данных
    1. Просмотрите действия по обеспечению качества данных для выявления и устранения проблем.
    2. Настройте уведомления о качестве данных , чтобы оповещать вас о проблемах с качеством.

Поддерживаемые регионы качества данных

В настоящее время качество данных поддерживается в следующих регионах.

Поддерживаемые многооблачные источники данных

Просмотрите список поддерживаемых источников данных.

Важно!

Качество данных для файла Parquet предназначено для поддержки:

1. Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что у нас нет шаблонов {n} в структуре каталогов или подкаталогов. Это должно быть прямое полное доменное имя, приводящее к {SparkPartitions}.
2. Каталог с секционированные файлы Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Поддерживаются оба этих основных сценария, которые представляют согласованную схему набора данных Parquet. Ограничение: Он не предназначен для или не поддерживает N произвольных иерархий каталогов с файлами Parquet. Рекомендуется представить данные в (1) или (2) сконструированной структуре.

В настоящее время Microsoft Purview может выполнять только проверки качества данных, используя управляемое удостоверение в качестве параметра проверки подлинности. Службы качества данных работают в Apache Spark 3.4 и Delta Lake 2.4.

Функции качества данных

• Конфигурация подключения к источнику данных
  • Настройте подключение, чтобы разрешить приложению SaaS Purview DQ доступ на чтение данных для проверки качества и профилирования.
  • MS Purview использует управляемое удостоверение в качестве варианта проверки подлинности
• Профилирование данных
  • Опыт профилирования данных с поддержкой ИИ
  • Отраслевые стандартные статистические snapshot (распределение, минимум, максимум, стандартное отклонение, уникальность, полнота, дубликат, ...)
  • Детализация мер профилирования на уровне столбцов.
• Правила качества данных
  • Готовые правила для измерения шести отраслевых стандартов Измерения качества данных (полнота, согласованность, соответствие, точность, свежесть и уникальность)
  • Пользовательские функции создания правил включают количество нестандартных функций и значений выражений.
  • Автоматически созданные правила с интегрированным интерфейсом ИИ
• Проверка качества данных
  • Выберите и назначьте правила столбцам для проверки качества данных.
  • Применяйте правило актуальности данных на уровне сущности или таблицы, чтобы измерить соглашение об уровне обслуживания о свежести данных.
  • Планирование задания проверки качества данных на период времени (ежечасно, ежедневно, еженедельно, ежемесячно и т. д.)
• Мониторинг заданий качества данных
  • Включение состояния задания качества данных мониторинга (активное, завершенное, неудачное и т. д.)
  • Включите просмотр журнала проверки DQ.
• Оценка качества данных
  • Оценка качества данных на уровне правила (что такое оценка качества для правила, применяемого к столбцу)
  • Оценка качества данных для ресурсов данных, продуктов данных и доменов управления (в одном домене управления может быть много продуктов данных, в одном продукте данных может быть много ресурсов данных, в одном ресурсе данных может быть много столбцов данных).
• Качество данных для критически важных элементов данных (CDEs)
  • Это одна из ключевых особенностей качества данных, возможность применять правила качества данных к логической конструкции CDE, которые затем распространяются на физические элементы данных, которые их составляют. Определяя правила качества данных на уровне CDEs, организации могут устанавливать конкретные критерии и пороговые значения, которым cdes должны соответствовать для поддержания их качества.
• Оповещения о качестве данных
  • Настройте оповещения, чтобы уведомлять владельцев данных, а также владельцев данных, если пороговое значение качества данных пропущено.
  • настройте псевдоним электронной почты или группу рассылки для отправки уведомлений о проблемах с качеством данных.
• Действия по обеспечению качества данных
  • Центр действий для DQ с действиями по устранению состояний аномалий DQ, включая диагностические запросы для DQ steward до нуля в конкретных данных, которые необходимо исправить для каждого состояния аномалии.
• Управляемая виртуальная сеть качества данных
  • Виртуальная сеть, управляемая качеством данных, которая подключается с частными конечными точками к источникам данных Azure.

Расположение и шифрование данных

Метаданные качества данных и сводка по профилированию хранятся в учетной записи microsoft Managed Storage. Они хранятся в том же регионе, что и источник данных, поэтому расположение данных остается неизменным. Все данные шифруются. Для метаданных используется региональное хранилище данных поставщика ресурсов Microsoft Purview, которое обрабатывает все шифрование и является общим для всех служб Microsoft Purview. Если вы хотите получить больший контроль над шифрованием данных с помощью CMK (ключа шифрования, управляемого клиентом), для этого существует отдельный процесс. (Дополнительные сведения о ключе клиента Microsoft Purview.)

Цены на вычисления для качества данных

Плата за использование качества данных взимается на основе единиц обработки данных (DGPU) с оплатой по мере использования. DGPU — это объем производительности службы, потребляемый в течение 60 минут. Он доступен в трех различных вариантах производительности: базовый, стандартный и расширенный. Базовый параметр SKU устанавливается в качестве параметра производительности по умолчанию, пока не будет выбран более высокий параметр. Например, если клиент выполняет 100 правил качества данных за один день и каждое выполнение создает 0,02 DGPU с номером SKU "Базовый", то общий объем DGPU за этот день будет равен двум DGPU и будет стоить клиенту 30 долл. США. Базовая цена SKU составляет 15 долларов за единицу обработки, Standard цена SKU составляет 60 долларов за единицу обработки, а предварительная цена SKU составляет 240 долларов за единицу обработки. Дополнительные сведения о ценах на Единый каталог Microsoft Purview.

Ниже приведен пример потребляемых единиц обработки для базовых и сложных правил для различных томов данных, протестированных для стандартного номера SKU.

Сложность правила	10 000 записей	-	100 000 записей	-	1 000 000 записей	-	10 000 000 записей	-	100 000 000 записей	-	1 000 000 000 записей	-
	Duration (Длительность)	PU	Duration (Длительность)	PU	Duration (Длительность)	PU	Duration (Длительность)	PU	Duration (Длительность)	PU	Duration (Длительность)	PU
Простой	Затраченное время: 1 м 1с	0.02	Затраченное время: 1 м 1с	0.02	Затраченное время: 1 м 1с	0.02	Затраченное время: 1m 16s	0.02	Затраченное время: 1m 16s	0.02	Затраченное время: 1m 31s	0.03
Средняя	Затраченное время: 1 м 1с	0.02	Затраченное время: 1 м 1с	0.02	Затраченное время: 1 м 1с	0.02	Затраченное время: 1m 16s	0.02	Затраченное время: 1m 31s	0.03	Затраченное время: 2 м 1с	0.03
Высокая	Затраченное время: 1 м 1с	0.02	Затраченное время: 1 м 1с	0.02	Затраченное время: 1m 31s	0.03	Затраченное время: 1m 32s	0.03	Затраченное время: 2 м 1с	0.03	Затраченное время: 2m 51s	0.04

Ограничение

• Виртуальная сеть не поддерживается для Google Big Query, Snowflake и каталога Unity Azure Databricks.

Связанное содержимое

• Качество данных для базы данных Fabric
• Качество данных для источников зеркальных данных Fabric
• Качество данных для источников данных сочетания клавиш Fabric
• Качество данных для Azure Synapse бессерверных хранилищ и хранилищ данных
• Качество данных для каталога Azure Databricks Unity
• Качество данных для источников данных Snowflake
• Качество данных для Google Big Query
• Встроенная поддержка качества данных для данных айсберга

Дальнейшие действия

1. Назначьте пользователям разрешения на управление качеством данных в Единый каталог для использования всех функций качества данных.
2. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.
3. Настройте и запустите профилирование данных для ресурса в источнике данных.