Поделиться через

Преобразование "Очистка DQS"

  • Статья

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

Преобразование «Очистка DQS» используется службы Data Quality Services (DQS) для исправления данных из подключенного источника данных путем применения утвержденных правил, созданных для подключенного или аналогичного источника данных. Дополнительные сведения о правилах исправления данных см. в разделе DQS Knowledge Bases and Domains. Дополнительные сведения о службах DQS см. в разделе Data Quality Services Concepts.

Чтобы определить, требуется ли исправление данных, преобразование «Очистка DQS» обрабатывает данные из входного столбца, когда выполняются следующие условия.

  • Столбец выбран для корректировки данных.

  • Данные столбца относятся к типу, пригодному для корректировки данных.

  • Столбец сопоставлен с доменом, имеющим совместимый тип данных.

Преобразование также включает вывод ошибок, настроенный пользователем для обработки ошибок на уровне строк. Чтобы настроить вывод ошибок, запустите Редактор преобразования «Очистка DQS».

В поток данных можно включить Fuzzy Grouping Transformation для определения строк данных, которые, вероятнее всего, будут повторяться.

Проекты и значения служб DQS

При обработке данных с помощью преобразования «Очистка DQS» на сервере DQS создается проект очистки. Для управления проектом используется клиент DQS. Кроме того, можно использовать клиент DQS для импорта значений проекта в домен базы знаний служб DQS. Можно импортировать значения только в домен (или связанный домен), использование которого было настроено в преобразовании «Очистка DQS».

См. также

Диалоговое окно редактора преобразования "Очистка DQS"

Диалоговое окно Редактор преобразования "Очистка DQS" служит для исправления данных с помощью служб Data Quality Services (DQS). Дополнительные сведения см. в статье Data Quality Services Concepts.

Выбор действия

Открытие редактора преобразования «Очистка DQS»

  1. Добавьте преобразование "Очистка DQS" в пакет служб Integration Services в SQL Server Data Tools (SSDT).

  2. Щелкните правой кнопкой мыши компонент и выберите команду Изменить.

Задание параметров на вкладке «Диспетчер соединений»

Диспетчер соединений DQS
Выберите существующий диспетчер соединений DQS из списка или создайте новое соединение, нажав кнопку Создать.

Новый
Создайте новый диспетчер соединений с помощью диалогового окна Диспетчер соединений "Очистка DQS" . См. раздел Задание параметров в диалоговом окне диспетчера соединений "Очистка DQS"

База знаний DQS
Выберите существующую базу знаний DQS для подключенного источника данных. Дополнительные сведения о базе знаний DQS см. в разделе DQS Knowledge Bases and Domains.

Шифровать соединение
Укажите, нужно ли шифровать соединение для защиты данных, передаваемых между сервером DQS и службами Integration Services.

Доступные домены
Выводит список доступных доменов для выбранной базы знаний. Существует два типа доменов: одиночные и составные домены, которые содержат несколько одиночных доменов.

Дополнительные сведения о сопоставлении столбцов с составными доменами см. в разделе Map Columns to Composite Domains.

Дополнительные сведения о доменах см. в разделе DQS Knowledge Bases and Domains.

Настройка вывода ошибок
Укажите, как следует обрабатывать ошибки уровня строк. Ошибки могут возникать при корректировке в ходе преобразования данных из подключенного источника данных из-за неожиданных значений данных или ограничений проверки.

Допустимыми являются следующие значения:

  • Сбой компонентауказывает, что преобразование выполнить не удалось, а входные данные не были вставлены в базу данных служб Data Quality Services. Это значение по умолчанию.

  • Перенаправить строкууказывает, что входные данные не вставляются в базу данных служб Data Quality Services, а перенаправляются в поток вывода ошибок.

Задание параметров на вкладке «Сопоставление»

Дополнительные сведения о сопоставлении столбцов с составными доменами см. в разделе Map Columns to Composite Domains.

Доступные входные столбцы
Выводит список столбцов из подключенного источника данных. Выберите один или несколько столбцов, содержащих данные, которые нужно исправить.

Входной столбец
Показывает входной столбец, выбранный в области Доступные входные столбцы .

Domain
Выберите домен, сопоставляемый с входным столбцом.

Псевдоним источника
Выводит исходный столбец, содержащий исходное значение столбца.

Щелкните в этом поле, чтобы изменить имя столбца.

Псевдоним вывода
Показывает столбец, который выводится преобразованием "Очистка DQS". Это столбец содержит исходное значение столбца или исправленное значение.

Щелкните в этом поле, чтобы изменить имя столбца.

Псевдоним состояния
Показывает столбец, содержащий сведения о состоянии для исправленных данных. Щелкните в этом поле, чтобы изменить имя столбца.

Задание параметров на вкладке «Дополнительно»

Стандартный вывод
Показывает, будут ли данные выводиться в стандартном формате с учетом выходного формата, определенного для доменов. Дополнительные сведения о стандартном формате см. в разделе Очистка данных.

Достоверность
Показывает, включается ли уровень достоверности для исправленных данных. Уровень достоверности определяет степень уверенности в правильности изменений, выполненных или рекомендуемых службами DQS. Дополнительные сведения об уровнях достоверности см. в разделе Очистка данных.

Причина
Указывает, включается ли причина исправления данных.

Добавленные данные
Укажите, следует ли выводить дополнительные данные, полученные от существующего поставщика ссылочных данных. Дополнительные сведения см. в статье Reference Data Services in DQS.

Схема добавленных данных
Укажите, следует ли выводить схему данных. Дополнительные сведения см. в разделе Добавление домена или составного домена к ссылочным данным.

Задание параметров в диалоговом окне диспетчера соединений «Очистка DQS»

Имя сервера
Выберите или введите имя сервера DQS, к которому нужно подключиться. Дополнительные сведения об этом сервере см. в разделе DQS Administration.

Проверка соединения
Нажмите, чтобы убедиться в работоспособности выбранного соединения.

Также можно открыть диалоговое окно Диспетчер соединений «Очистка DQS» из области соединений, выполнив следующие действия.

  1. В среде SQL Server Data Tools (SSDT) откройте имеющийся проект Integration Services или создайте новый.

  2. Щелкните правой кнопкой мыши в области соединений, выберите команду Создать соединение, а затем выберите пункт DQS.

  3. Нажмите кнопку Добавить.