Руководство по Lakehouse: прием данных в lakehouse

Статья
11/24/2024

В этом руководстве вы используете более мерные и фактические таблицы из широкой мировой импортеров (WWI) в лейкхаус.

Необходимые компоненты

Если у вас нет озера, необходимо создать озеро.

Прием данных

В этом разделе описано, как использовать действие копирования данных конвейера Фабрики данных для приема примеров данных из учетной записи хранения Azure в раздел "Файлы " созданного ранее озера.

Выберите рабочие области в области навигации слева и выберите новую рабочую область в меню "Рабочие области". Откроется представление элементов рабочей области.
На ленте рабочей области выберите "+Создать" в конвейере данных.
В диалоговом окне "Создать конвейер" укажите имя в качестве IngestDataFromSourceToLakehouse и нажмите кнопку "Создать". Создается и открывается новый конвейер фабрики данных.
Затем настройте HTTP-подключение для импорта примеров данных World Wide Imports в Lakehouse. В списке "Новые источники" выберите "Просмотреть больше", найдите http и выберите его.

В окне "Подключение к источнику данных" введите сведения из приведенной ниже таблицы и нажмите кнопку "Далее".

Свойство	Значение
URL	`https://assetsprod.microsoft.com/en-us/wwi-sample-dataset.zip`
Connection	Создание нового подключения
Имя подключения	wwisampledata
Шлюз данных	нет
Тип проверки подлинности	Анонимные

Снимок экрана: параметры для настройки http-подключения.

На следующем шаге включите двоичную копию и выберите ZipDeflate (.zip) в качестве типа сжатия, так как источник является файлом .zip. Сохраните другие поля в значениях по умолчанию и нажмите кнопку "Далее".
В окне "Подключение к данным" укажите корневую папку в качестве файлов и нажмите кнопку "Далее". При этом данные записываются в раздел "Файлы " в лейкхаусе.
Выберите формат файла в качестве двоичного файла для назначения. Нажмите кнопку "Далее", а затем нажмите кнопку "Сохранить и запустить". Конвейеры можно запланировать периодические обновления данных. В этом руководстве мы запускаем конвейер только один раз. Процесс копирования данных занимает около 10–15 минут.
Вы можете отслеживать выполнение конвейера и действие на вкладке "Выходные данные ". Вы также можете просмотреть подробные сведения о передаче данных, выбрав значок очков рядом с именем конвейера, который отображается при наведении указателя мыши на имя.
После успешного выполнения конвейера перейдите в lakehouse (wwilakehouse) и откройте обозреватель, чтобы просмотреть импортированные данные.
Убедитесь, что папка WideWorldImportersDW присутствует в представлении обозревателя и содержит данные для всех таблиц.
Данные создаются в разделе "Файлы " обозревателя lakehouse. Новая папка с GUID содержит все необходимые данные. Переименование GUID в wwi-raw-data