Поделиться через

Раздел 2. Настройка и регистрация данных

  • Статья

Примечание.

Каталог данных Microsoft Purview меняется на Единый каталог Microsoft Purview. Все функции останутся неизменными. Вы увидите изменение имени, когда новый интерфейс управления данными Microsoft Purview станет общедоступным в вашем регионе. Проверьте имя в регионе.

Если у вас нет источников данных, доступных для сканирования, вы можете выполнить следующие действия, чтобы полностью развернуть пример Azure Data Lake Stroage (ADLS 2-го поколения).

Совет

Если у вас уже есть источник данных в том же клиенте, что и учетная запись Microsoft Purview, перейдите к следующей части этого раздела, чтобы проверить ресурсы.

В недвижимости вы найдете множество различных систем, используемых для различных приложений данных. Существуют такие среды отчетности, как Fabric и Snowflake, в которых команды используют копии данных для создания аналитических решений и управления своими отчетами и панелями мониторинга. Существуют операционные системы данных, которые используются командами приложений или клиентами для выполнения бизнес-процессов, которые собирают или добавляют данные на основе решений, принятых в ходе этого процесса.

Чтобы создать более реалистичное хранилище данных, рекомендуется отобразить в каталоге множество источников данных, которые могут охватывать широкий спектр различных данных, используемых любой компанией. Типы данных, необходимые для работы с вариантом использования, могут сильно отличаться от бизнес-пользователей, которым нужны отчеты и панели мониторинга, аналитикам нужны соответствующие измерения и факты для создания отчетов, специалистам по обработке и анализу данных нужны необработанные исходные данные, поступающие непосредственно из системы, которая собирает все эти и другие данные, что позволяет различным пользователям увидеть важность поиска. понимание и доступ к данным в одном месте.

Для некоторых других учебников по добавлению данных в ваше имущество вы можете следовать этим руководствам:

Предварительные условия

  • Подписка в Azure: создайте бесплатную учетную запись Azure сегодня
  • Microsoft Entra ID для клиента: Управление Microsoft Entra ID
  • Учетная запись Microsoft Purview
    • Администратор доступ к учетной записи Microsoft Purview (это значение по умолчанию, если вы создали учетную запись Microsoft Purview. Разрешения в новой предварительной версии портала Microsoft Purview | Microsoft Learn)
  • Все ресурсы; Microsoft Purview, источник данных и Microsoft Entra ID должны находиться в одном облачном клиенте.

Действия по настройке хранилища данных

Создание и заполнение учетной записи хранения

  1. Следуйте инструкциям в этом руководстве по созданию учетной записи хранения: Создание учетной записи хранения для Azure Data Lake Storage 2-го поколения
  2. Создайте контейнеры для нового озера данных:
    1. Перейдите на страницу Обзор учетной записи хранения.
    2. Перейдите на вкладку Контейнеры в разделе Хранилище данных.
    3. Нажмите кнопку + Контейнер
    4. Назовите имя "bronze" и нажмите кнопку Создать .
    5. Повторите эти действия, чтобы создать "золотой" контейнер.
  3. Скачайте примеры данных CSV из data.gov: Вакцинация от COVID-19 и тенденции случаев по возрастным группам, США
  4. Отправьте CSV-файл в контейнер с именем bronze в созданной учетной записи хранения.
  5. Выберите контейнер с именем bronze и нажмите кнопку Отправить .
  6. Найдите расположение, в котором вы сохранили CSV-файл, и выберите файл Covid-19_Vaccination_Case _Trends .
  7. Выберите Добавить.

Создание Фабрика данных Azure

На этом шаге показано, как данные перемещаются между слоями озера данных медальона, и убедитесь, что данные используются в стандартизированном формате, который потребители ожидают использовать. Это предварительный шаг для запуска качества данных.

  1. Следуйте этому руководству, чтобы создать Фабрика данных Azure: Создание Фабрика данных Azure

  2. Скопируйте данные из CSV-файла в контейнере "bronze" в "золотой" контейнер в виде таблицы разностного формата с помощью Фабрика данных Azure руководства: Преобразование данных с помощью потока данных сопоставления

  3. Откройте интерфейс Фабрика данных Azure (ADF) из портал Azure, нажав кнопку Запустить студию на вкладке Обзор созданного ресурса ADF.

    Снимок экрана: запуск ADF Studio из портал Azure.

  4. Перейдите на вкладку Автор в студии ADF.

    Снимок экрана: выбор автора в меню навигации слева Фабрика данных Azure.

  5. Нажмите кнопку + и выберите Поток данных в раскрывающемся меню.

    Снимок экрана: кнопка для создания потока данных.

  6. Присвойте потоку данных имя CSVtoDeltaC19VaxTrends.

  7. Выберите Добавить источник в пустом поле.

    Снимок экрана: добавление источника данных для потока данных.

  8. Задайте для параметров источника значение:

    1. Имя выходного потока: "C19csv"
    2. Описание: оставьте пустым
    3. Тип источника: Встроенный
    4. Тип встроенного набора данных: текст с разделителями
    5. Связанная служба: выберите озеро данных, в котором хранится CSV-файл.

  9. Задайте для параметров источника значение:

    1. Режим файла: файл
    2. Путь к файлу: /bronze/ Covid-19_Vaccination_Case _Trends
    3. Разрешить отсутствие файлов: не устанавливайте флажок
    4. Отслеживание измененных данных: не устанавливайте флажок
    5. Тип сжатия: Нет
    6. Кодировка: по умолчанию (UTF-8)
    7. Разделитель столбцов: запятая (,)
    8. Разделитель строк: default(\r, \n или\r\n)
    9. Символ кавычек: двойная кавычка (")
    10. Escape-символ: обратная косая черта ()
    11. Первая строка в качестве заголовка: CHECKED
    12. Оставьте остальные значения по умолчанию

  10. Выберите маленький + Рядом с созданным источником и выберите Приемник.

    Снимок экрана: создание приемника для потока данных.

  11. Создайте приемник, в котором будут храниться данные формата и расположения, чтобы переместить данные из csv-файла в "bronze" в разностную таблицу с золотом.

    1. Задайте значения приемника (оставьте все параметры по умолчанию, если не указано).
    2. Тип приемника: встроенный
    3. Тип встроенного набора данных: Delta
    4. Связанная служба: то же озеро данных, которое используется в источнике, так как мы будем храниться в другом контейнере.

  12. Задайте значения параметров (оставьте все параметры по умолчанию, если не указано)

    1. Путь к папке: gold/Covid19 Вакцины и случаи заболевания

  13. Необходимо ввести значение, так как это имя является тем, как мы хотим, чтобы данные хранились и не существуют для выбора.

  14. Выберите Проверить, чтобы проверить поток данных и предоставить инструкции по устранению ошибок.

  15. Выберите Опубликовать все.

    Снимок экрана: публикация потока данных.

  16. Нажмите кнопку + и выберите конвейер в раскрывающемся меню.

    Снимок экрана: создание конвейера.

  17. Присвойте конвейеру имя "CSV-to Delta C19 Vax Trends"

  18. Выберите поток данных, созданный на предыдущих шагах CSV-файла, в Delta (C19VaxTrends) и перетащите его на открытой вкладке конвейера.

  19. Выберите Проверить.

  20. Выберите Опубликовать.

  21. Выберите Отладка (использовать среду выполнения действия), чтобы запустить конвейер.

    Снимок экрана: запуск конвейера для создания разностной таблицы.

    Совет

    Если вы столкнулись с ошибками для пробелов или недопустимыми символами для разностного формата, откройте скачанный CSV-файл и внесите исправления. Затем выполните повторную загрузку и перезапись CSV в зоне bronze. Затем повторно запустите конвейер.

  22. Перейдите к контейнеру gold в озере данных, и теперь вы увидите новую таблицу Delta, созданную во время конвейера.

Сканирование ресурсов

Если вы не сканировали ресурсы данных в Схема данных Microsoft Purview, вы можете выполнить следующие действия, чтобы заполнить карту данных.

При проверке источников в вашем пространстве данных автоматически собираются метаданные ресурсов данных (таблицы, файлы, папки, отчеты и т. д.) в этих источниках. Регистрируя источник данных и создавая проверку, вы устанавливаете техническое право собственности на источники и ресурсы, отображаемые в каталоге, и гарантируете, что у вас есть контроль над тем, кто может получить доступ к метаданным в Microsoft Purview. Регистрируя и сохраняя источники и ресурсы на уровне домена, они будут храниться на самом высоком уровне иерархии доступа. Как правило, лучше всего создать некоторые коллекции, в которых вы будете сканировать метаданные ресурса и установить правильную иерархию доступа для данных.

Если вы решили использовать Microsoft Fabric или SQL, вы можете использовать следующие руководства для предоставления доступа:

Регистрация озера данных и сканирование ресурсов

  1. В Схема данных Microsoft Purview на вкладке Домены выберите назначение ролей для домена (это будет имя учетной записи Microsoft Purview):

    1. Добавьте себя в качестве администратора источника данных и куратора данных в домен.
      1. Щелкните значок пользователя рядом с ролью Администратор источника данных.
      2. Выполните поиск по имени в Microsoft Entra ID (может потребоваться ввести полное имя точно так же, как в Microsoft Entra ID).
      3. Нажмите OK.
      4. Повторите эти действия для куратора данных.

    Снимок экрана: добавление необходимых разрешений доступа к коллекции.

  2. Зарегистрируйте озеро данных:

    1. Перейдите на вкладку Источники данных .
    2. Нажмите Зарегистрировать.
    3. Выберите тип хранилища Azure Data Lake Storage 2-го поколения.

    Снимок экрана: регистрация источника данных.

  3. Укажите сведения для подключения:

    1. Подписка (необязательно)
    2. Имя источника данных (это будет имя источника ADLS 2-го поколения)
    3. Коллекция, в которой должны храниться метаданные ресурса (необязательно)
    4. Выберите Зарегистрировать

  4. После завершения регистрации источника данных можно настроить проверку. Регистрация означает, что Microsoft Purview подключен к источнику данных и поместил его в правильную коллекцию для владения. Затем сканирование считывает метаданные из источника и заполняет ресурсы на карте данных.

  5. Выберите источник, зарегистрированный на вкладке "Источники данных"

    Снимок экрана: создание проверки для источника данных.

  6. Выберите новое сканирование и укажите сведения:

    1. Использование среды выполнения интеграции по умолчанию для этой проверки
    2. Учетные данные должны быть MSI Microsoft Purview (система)
    3. Уровень сканирования — автоматическое обнаружение
    4. Выберите коллекцию или используйте домен (коллекция должна быть той же или дочерней коллекцией, где был зарегистрирован источник данных).
    5. Нажмите кнопку Продолжить.

    Совет

    На этом этапе Microsoft Purview проверит подключение для проверки возможности проверки. Если вы не предоставили читателю MSI Microsoft Purview доступ к источнику данных, он завершится ошибкой. Если вы не являетесь владельцем источника данных или имеете доступ пользователя участник проверка завершится ошибкой, так как ожидается, что у вас есть авторизация для создания подключения.

  7. Теперь выберите только контейнер gold, в котором мы разместили разностную таблицу в разделе данных о сборке учебника. Это помешает сканировать другие ресурсы данных, которые находятся в хранилище данных.

    1. Если рядом с gold есть только один синий проверка, вы можете оставить чеки рядом со всем, так как он будет сканировать полный источник и по-прежнему создавать ресурсы, которые мы будем использовать, и многое другое.
    2. Нажмите кнопку Продолжить.

  8. На экране Выбор набора правил проверки следует использовать набор правил проверки по умолчанию.

  9. Нажмите кнопку Продолжить.

  10. При установке триггера сканирования вы зададите частоту сканирования, чтобы по мере добавления ресурсов данных в золотой контейнер озера он продолжал заполнять карту данных. Выберите Один раз.

  11. Нажмите Продолжить.

  12. Выберите Сохранить и выполнить. При этом будет создано сканирование, которое считывает метаданные только из золотого контейнера озера данных и заполняет таблицу, которую мы будем использовать в Каталог данных Microsoft Purview в следующих разделах. Если выбрать только сохранить, проверка не будет выполняться, и ресурсы не отображаются. После выполнения проверки вы увидите созданное сканирование с состоянием Последнего выполнения в очереди. Когда проверка завершит чтение, ресурсы будут готовы к работе со следующим разделом. Это может занять несколько минут или часов в зависимости от количества ресурсов в источнике.

Дальнейшие действия

Раздел 3. Публикация продуктов данных