次の方法で共有

Azure Data Factory および Azure Synapse Analytics での Iceberg 形式

  • [アーティクル]

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

データを Iceberg 形式に書き込む場合は、こちらの記事に従ってください。

Iceberg 形式は、以下のコネクタでサポートされています。

Iceberg データセットは、Copy アクティビティで使用できます。

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。 このセクションでは、Iceberg 形式データセットでサポートされるプロパティの一覧を示します。

プロパティ 内容 必須
type データセットの type プロパティは、Iceberg に設定する必要があります。 はい
location ファイルの場所の設定。 ファイル ベースの各コネクタには、固有の場所の種類と location でサポートされるプロパティがあります。 はい

Azure Data Lake Storage Gen2 の Iceberg データセットの例を次に示します。

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

コピー アクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、Iceberg シンクでサポートされるプロパティの一覧を示します。

シンクとしての Iceberg

Copy アクティビティの *sink* セクションでは、次のプロパティがサポートされます。

プロパティ 内容 必須
type コピー アクティビティのソースの type プロパティは IcebergSink に設定する必要があります。 はい
formatSettings プロパティのグループ。 以下の Iceberg の書き込み設定に関する表を参照してください。 いいえ
storeSettings データ ストアにデータを書き込む方法を指定するプロパティのグループ。 ファイル ベースの各コネクタには、storeSettings に、固有のサポートされる書き込み設定があります。 いいえ

formatSettingsでサポートされている Iceberg の書き込み設定:

プロパティ 内容 必須
type formatSettings の type は IcebergWriteSettings に設定する必要があります。 はい

区切られたテキスト形式に関連する一般的なコネクタと形式をいくつか次に示します。

関連するコンテンツ