Поделиться через

Формат Айсберга в Фабрика данных Azure и Azure Synapse Analytics

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Следуйте этой статье, когда вы хотите записать данные в формат Айсберга.

Формат Айсберга поддерживается для следующих соединителей:

Набор данных Iceberg можно использовать в действие Copy.

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе представлен список свойств, поддерживаемых набором данных формата Iceberg.

Свойство Описание: Обязательное поле
type Свойство типа набора данных должно иметь значение Iceberg. Да
расположение Параметры расположения файлов. Каждый файловый соединитель имеет собственный тип расположения и поддерживает собственный набор свойств в разделе location. Да

Ниже приведен пример набора данных Айсберга на Azure Data Lake Storage 2-го поколения:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе представлен список свойств, поддерживаемых приемником Iceberg.

Айсберг в качестве приемника

В разделе *sink* действия Copy поддерживаются следующие свойства.

Свойство Описание: Обязательное поле
type Свойство type источника действия копирования должно иметь значение IcebergSink. Да
formatSettings Группа свойств. См. таблицу параметров записи айсберга ниже. No
storeSettings Группа свойств, определяющих способы записи данных в хранилище данных. Каждый файловый соединитель поддерживает собственный набор параметров записи в разделе storeSettings. No

Поддерживаемые параметры записи Iceberg в разделе formatSettings:

Свойство Описание: Обязательное поле
type Тип formatSettings должен иметь значение IcebergWriteSettings. Да

Ниже приведены некоторые распространенные соединители и форматы, связанные с форматом текста с разделителями:

Связанный контент