Устранение неполадок с качеством данных

Все вопросы, симптомы ошибок описаны с возможным разрешением ниже:

Почему я вижу недопустимую ошибку источника в задании сканирования.

• Эта ошибка может возникать по двум причинам:
  • Разностная таблица не существует в расположении
  • Данные в файле не в допустимом разностном формате.

Я настраиваю проверки качества данных для разностных таблиц Fabric. Я вижу все ресурсы данных в представлении качества данных, выбрал один ресурс и применил правила для проверки качества данных, но проверка завершается сбоем.

• Может быть несколько причин, по которым проверка качества данных завершается сбоем.
  • Данные в таблицах не являются правильным разностным форматом. Убедитесь, что данные имеют разностный формат.
  • Убедитесь, что проверка карты данных выполнена успешно, если это не так, повторно запустите сканирование карты данных.
  • Удалите все предыдущие запуски качества данных для ресурса данных.

Почему отображается это сообщение об ошибке: подключение не может быть использовано. Попробуйте сначала создать подключение?

• Чтобы профилировать данные или запустить проверку качества данных, сначала необходимо настроить подключение к источнику данных. Это оповещение исчезает после создания подключения к источнику данных.

Почему общее число профилированных данных меньше общего числа в таблице delta Azure Data Lake Storage 2-го поколения?

• Качество данных Microsoft Purview использует для профилирования размер выборки 1 миллион. Эта выборка выполняется случайным образом. Если разностная таблица содержит более миллиона записей, общее число не будет совпадать.

Почему для продукта данных отсутствует действие с оценкой качества данных. Оценка отображается в продукте данных при просмотре представления продукта данных.

• При создании действия не было никакой оценки качества данных для этого продукта данных. Проверка качества данных выполнялась после создания действия и публикации оценки для продукта данных. Рекомендуется закрыть действие после завершения исправления, чтобы избежать путаницы.

Создание правила качества данных из предложения правил выдает ошибку о столбце date при попытке добавить все 30 предлагаемых правил.

• Это связано с тем, что тип данных схемы не поддерживается в представлении схемы качества данных. Вы можете изменить тип данных на дату , выбрав переключатель управления схемой и сохраните его. После изменения типа данных вы сможете добавить правило.

При попытке добавить все предложенные правила выдаст ошибку "ObserverId уже существует"

• Скорее всего, то же или идентичное правило уже добавлено в столбец. При попытке добавить то же или идентичное правило в столбец приложение выдает это сообщение об ошибке.

Почему запланированное задание пропускается, а не выполняется? Отображаются задания проверки качества данных пропущены

• Задание DQ предоставляет функциональные возможности для проверка и запуска DQ только в том случае, если с момента последнего выполнения произошли изменения, которые выполняются для проверка журнала изменений. Пропущено просто означает, что с момента последнего запуска данные не изменились, а запуск Spark для DQ не выполняется. Пропущено!= сбой

При выборе вкладки данных профиля отображается количество предварительно выбранных столбцов. Можно ли изменить выбранные столбцы?

• Качество данных Microsoft Purview использует решение профилирования с помощью ИИ. Предварительно выбранные столбцы выбираются с помощью ИИ профилирования данных Microsoft Purview. Можно отменить выбор предварительно выбранных столбцов и повторно выбрать в зависимости от важности столбцов, а затем выбрать сохранить и запустить для запуска профилирования.

Почему не удается выбрать некоторые ресурсы данных на странице списка ресурсов качества данных для профилирования и сканирования?

• Причин может быть несколько:
  • Эти ресурсы данных публикуются из неподдерживаемых источников данных.
  • Формат файлов этих ресурсов данных не поддерживается

Почему задание профилирования завершается сбоем для поддерживаемых источников данных?

• Проверьте схему, чтобы убедиться в отсутствии имени столбца с пробелами. Текущая версия не поддерживает имя столбца с пробелами. Наши инженеры работают над выпуском исправления.

Почему не удается выполнить проверку качества данных и профилирование данных для csv-файлов, parquet и текстовых файлов?

• Качество данных Microsoft Purview сейчас поддерживает только разностный формат parquet. Purview Data Quality не поддерживает CSV, текст и parquet (без изменений).

Почему в списке правил не отображается правило актуальности качества данных?

• Актуальность качества данных не поддерживается для Azure SQL таблиц. Если ресурс данных является Azure SQL таблицей, то правило актуальности не будет указано для выбора и применения к ресурсу данных.

Сбой задания проверки DQ. Отображается сообщение об ошибке "Произошла внутренняя ошибка службы, повторите попытку или обратитесь в службу поддержки Майкрософт". Что нужно сделать для устранения неполадок?

• Это сообщение об ошибке может привести к сбою при проверке:
  • Пользователь не имеет прав на выполнение текущей операции для рабочей области, к которому пользователь пытается получить доступ для проверки качества данных.
  • Код ошибки 403, означающее, что доступ к источникам данных временно запрещен.
  • Срок предоставления доступа к источнику данных для управляемого удостоверения (MSI) истек.
  • Управляемому удостоверению (MSI) Purview требуется участник доступ к рабочей области Microsoft Fabric. Если участник доступ к MSI Microsoft Purview не был предоставлен рабочей области Microsoft Fabric, проверка качества данных завершается ошибкой.

Почему возникает ошибка разностного формата, даже если я использую разностный формат?

• Мы поддерживаем Spark 3.4 Delta 2.4. Убедитесь, что вы используете delta lake версии 2.4.

Почему при выборе ресурса ссылочных данных для настройки правила подстановки таблицы возникает ошибка?

• Причина заключается в том, что вы выбрали ресурс данных, который не является частью связанного или не ссылается на продукт данных в том же домене управления. Чтобы выбрать нужный ресурс данных, выполните следующие действия:

  • Щелкните Выбор ссылочной таблицы (см. следующий снимок экрана)

    

  • Отмена текущего выбора (см. снимок экрана ниже)

    

  • После отмены текущего выбора выберите другой ресурс.

Как настроить доступ к источнику данных для MSI Microsoft Purview?

• Вот руководство по настройке MSI. Подробные сведения см. в этом документе.

Все наши источники данных находятся за частной конечной точкой (в виртуальной сети). Может ли Purview получить доступ к данным в виртуальной сети для проверки качества данных?

• Да, Purview поддерживает управляемую виртуальную сеть для сканирования DQ. Здесь вы найдете документ о конфигурации управляемой виртуальной сети Purview.

Где можно найти хорошую документацию по функции выражения для создания пользовательских правил?

• Ссылки на документацию и примеры находятся на странице правила качества данных.

Почему проверка качества данных для таблицы Fabric Lakehouse завершается сбоем?

• Причин может быть много.

  • Убедитесь, что таблицы Lakehouse доступны для обнаружения в схеме данных.

  • Убедитесь, что вы используете имя субъекта-службы для сканирования карты данных и MSI для проверки DQ.

  • Убедитесь, что вы настроили DQ-подключение с помощью MSI.

  • Убедитесь, что Purview MSI имеет участник доступ к рабочей области структуры

  • Включить параметр OneLake: пользователи могут получать доступ к данным, хранящимся в OneLake, с помощью приложений, внешних в Fabric

    

  • Узнайте, как настроить качество данных для Fabric Lakehouse.

  • Узнайте, как настроить настройку проверки карты данных для Fabric.