Получение данных из хранилища Azure

В этой статье вы узнаете, как получить данные из хранилища Azure (контейнер ADLS 2-го поколения, контейнер BLOB-объектов или отдельные BLOB-объекты) в новую или существующую таблицу.

Необходимые условия

• Рабочая область с поддержкой Microsoft Fabric емкости
• База данных KQL с разрешениями на редактирование
• учетная запись хранения

Источник

1. На нижней панели базы данных KQL выберите Получить данные.

   В окне Получение данных выбрана вкладка "Источник".

2. Выберите источник данных из доступного списка. В этом примере вы получаете данные из хранилища Azure.

   

Настроить

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, выберите + Создать таблицу и введите имя таблицы.

   Заметка

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. Чтобы добавить источник данных, вставьте строку подключения к хранилищу в поле URI и выберите +. В следующей таблице перечислены поддерживаемые методы проверки подлинности и разрешения, необходимые для приема данных из хранилища Azure.

   Метод проверки подлинности	Отдельный большой двоичный объект	BLOB-контейнер	Azure Data Lake Storage 2-го поколения
   маркера общего доступа (SAS)	Чтение и запись	Прочитать и перечислить	Прочтите и список
   ключ доступа к учетной записи хранения

   Заметка

   • Можно добавить до 10 отдельных BLOB-объектов или принять до 5000 BLOB-объектов из одного контейнера. Вы не можете принимать оба одновременно.
   • Каждый blob может быть не более 1 ГБ в несжатом виде.

   1. Если вы вставили строку подключения для контейнера BLOB-объектов или Azure Data Lake Storage 2-го поколения, можно добавить следующие необязательные фильтры:

      

      настройка	описание поля
      фильтры файлов (необязательно)
      Путь к папке	Фильтрует данные для импорта файлов с конкретным путем к папке.
      Расширение файла	Фильтрует данные для приема файлов только с определенным расширением файла.

3. Нажмите кнопку "Далее"

Осматривать

Откроется вкладка "Проверка" с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно:

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
• Используйте раскрывающееся меню файла определения схемы, чтобы изменить файл, из которого получена схема.
• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Дополнительные сведения см. в форматах данных, поддерживаемых анализом Real-Time.
• Изменить столбцы.
• Изучите дополнительные параметры на основе типа данных.

Изменение столбцов

Заметка

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить данные с существующим столбцом, сначала удалите новый столбец.
• Невозможно изменить существующий тип столбца. Если вы попытаетесь сопоставить столбец с другим форматом, вы можете в результате получить пустые столбцы.

Изменения, которые можно внести в таблицу, зависят от следующих параметров:

• тип таблицы является новым или существующим
• тип сопоставления новый или существующий

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Новое сопоставление	Переименовать столбец, изменить тип данных, изменить источник данных, трансформация сопоставления , добавить столбец, удалить столбец.
Существующая таблица	Новое сопоставление	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Существующее сопоставление	никакой

Преобразование картографирования

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования на этапе загрузки данных. Чтобы применить преобразования маппинга, создайте или обновите столбец в окне Редактирование столбцов.

Преобразования сопоставления можно выполнять в столбце типа string или datetime, источником которых является столбец с типом данных int или long. Поддерживаемые преобразования сопоставления:

• Форматирование даты и времени из секунд UNIX
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• ДатаВремяИзЮниксНаносекунд

Дополнительные параметры на основе типа данных

табличный (CSV, TSV, PSV):

• Если вы используете табличные форматы в существующей таблице, можно выбрать Дополнительно>Сохранить схему таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите Дополнительно>Первая строка - это заголовки столбцов.

  

JSON:

• Чтобы определить деление данных JSON, выберите Расширенные>вложенные уровниот 1 до 100.

• Если выбрать Advanced>Skip JSON lines with errors, данные будут приниматься в формате JSON. Если этот флажок не выбран, данные загружаются в формате "multijson".

  

Сводка

Когда прием данных завершается успешно, в окне подготовки данных все три шага помечаются зелеными галочками. Вы можете выбрать карту для запроса, удалить загруженные данные или просмотреть информационную панель итоговой информации по загрузке.

Связанное содержимое

• Сведения об управлении базой данных см. в статье Управление данными
• Сведения о создании, хранении и экспорте запросов см. в разделе Запрос данных в наборе запросов KQL