Поделиться через

Службы эталонных данных в DQS

  • Статья

Область применения: SQL Server

Эталонными данными называется точный и полный набор взаимосвязанных или категорированных глобальных данных (выходящих за пределы предприятия), доступных в доверенных общедоступных доменах или у поставщиков дополнительного коммерческого содержания.

Функция службы ссылочных данных в службах качества данных (DQS) позволяет подписаться на сторонних поставщиков ссылочных данных, а также легко очищать и обогащать бизнес-данные, проверяя их на соответствие их высококачественным данным. С помощью служб, предоставляемых ведущими поставщиками, из DQS вы можете выполнять стандартизацию, исправление и дополнение данных в процессе очистки. Например, для проверки адресов клиентов вы можете использовать список телефонных кодов или почтовых индексов относительно эталонных данных.

Функция службы эталонных данных предоставляет следующие преимущества.

  • Эталонные данные позволяют обеспечить качество данных путем сравнения их с данными, качество которых гарантируется сторонней компанией.

  • Процесс эталонных данных встроен в процесс создания базы знаний DQS и проекта служб DQS и позволяет создать комплексный процесс служб DQS.

  • Поддерживает использование эталонных данных из Azure Marketplace, а также непосредственно от сторонних поставщиков ссылочных данных.

Использование эталонных данных из Azure Marketplace

DQS поддерживает использование эталонных данных из Azure Marketplace, чтобы поставщики контента могли предоставлять эталонные службы данных через Marketplace. Marketplace — это служба Microsoft, которая предоставляет отдельный рынок и канал доставки для высококачественных данных и приложений в виде облачных служб. Дополнительные сведения о Marketplace см. в статье о Microsoft Azure Marketplace (https://azuremarketplace.microsoft.com/about).

Органичная интеграция между Marketplace и DQS упрощает шаги, связанные с обнаружением, исследованием и получением информации для проектов служб DQS из среды служб DQS. Данные из DQS обрабатываются, что помогает пользователям DQS обеспечивать высокое качество данных за счет нового подхода — использования DQS, Marketplace и поставщиков служб ссылочных данных вместе друг с другом.

Чтобы использовать эталонные данные из Marketplace в DQS для очистки, требуется наличие ключа учетной записи Marketplace. Ключ учетной записи Marketplace создается бесплатно. Платить нужно только за подписку на платные наборы данных. Сама подписка является бесплатной, также не требуется платить за использование бесплатных наборов данных. Подробные сведения о создании ключа учетной записи Marketplace см. в статье "Создание учетной записи".https://go.microsoft.com/fwlink/?LinkId=212936

Кроме того, в рамках DQS вы можете выполнить следующие операции Marketplace:

  • Просмотр наборов данных в Marketplace.

  • Создание ключа учетной записи Marketplace.

  • Управление подробными сведениями учетной записи Marketplace, например ключами учетной записи и подпиской на услуги поставщиков данных.

Эти действия можно выполнить на вкладке "Справочные данные" экрана "Конфигурация" в клиенте качества данных.

Использование эталонных данных, получаемых непосредственно от сторонних поставщиков эталонных данных

Если отсутствует подключение к Интернету и, следовательно, использовать Marketplace невозможно, DQS также поддерживает прямое соединение с поставщиками данных, доступ к которым возможен в сети организации. Чтобы использовать эталонные данные от сторонних поставщиков эталонных данных, получаемых в результате прямого подключения, необходимо создать запись для поставщиков данных в DQS.

Как очистить данные с помощью эталонных данных

Очистка данных в DQS с использованием ссылочных данных включает в себя следующие три шага.

  1. Настройка сведения о поставщиках ссылочных данных в DQS.Перед тем как использовать ссылочные данные в DQS, необходимо настроить подробные сведения о службах ссылочных данных в DQS.

    1. Если вы используете Marketplace, укажите действительный ключ учетной записи Marketplace, перейдите к категории данных служб данных в Marketplace и подпишитесь на необходимых поставщиков.

    2. При использовании прямого подключения к поставщику эталонных данных перед использованием этих данных необходимо в DQS добавить подробные сведения о поставщике эталонных данных, к которому выполняется прямое подключение.

    Настройка подробных сведений о поставщиках эталонных данных в DQS выполняется для определенного поставщика данных один раз. Настраивать параметры эталонных данных в DQS могут только администраторы DQS.

  2. Сопоставление домена/составного домена в базе знаний со службой ссылочных данных. Сопоставьте домен/составной домен с соответствующей службой ссылочных данных, на которую выполнена подписка или которая добавлена в шаге 1.

  3. Использование сопоставленных доменов для операции очистки в проекте качества данных. При создании проекта качества данных для операции Очистка выберите базу знаний, которая содержит домены/составные домены, сопоставленные со службами ссылочных данных в шаге 2, и выполните операцию очистки.

Описание задачи Раздел
Описывает, как настроить в DQS использование служб эталонных данных из Marketplace или от сторонних поставщиков данных с прямым подключением. Настройка служб DQS для использования ссылочных данных
Описывает, как сопоставить домен/составной домен в базе знаний со службой эталонных данных. Добавление домена или составного домена к ссылочным данным
Описывает очистку данных с использованием службы эталонных данных. Очистка данных с использованием знаний о ссылочных (вешних) данных