Azure Data Factory 和 Azure Synapse Analytics 中的 Iceberg 格式
適用於:Azure Data Factory Azure Synapse Analytics
提示
試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用 (部分機器翻譯)!
當您想要 將數據寫入 Iceberg 格式時,請遵循這篇文章。
下列連接器支援 Iceberg 格式:
- Azure Data Lake Storage Gen2 \(部分機器翻譯\)
您可以在 複製活動 中使用 Iceberg 數據集。
資料集屬性
如需可用來定義資料集的區段和屬性完整清單,請參閱資料集一文。 本節提供 Iceberg 格式數據集所支持的屬性清單。
屬性 | 描述 | 必要 |
---|---|---|
type | 數據集的 type 屬性必須設定為 Iceberg。 | Yes |
location | 檔案的位置設定。 每個檔案型連接器都包含專屬的位置類型,並支援 location 下的屬性。 |
Yes |
以下是 Azure Data Lake Storage Gen2 上的 Iceberg 數據集範例:
{
"name": "IcebergDataset",
"properties": {
"type": "Iceberg",
"linkedServiceName": {
"referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
"type": "LinkedServiceReference"
},
"schema": [ < physical schema, optional, auto retrieved during authoring >
],
"typeProperties": {
"location": {
"type": "AzureBlobFSLocation",
"fileSystem": "filesystemname",
"folderPath": "folder/subfolder",
}
}
}
}
複製活動屬性
如需可用來定義活動的區段和屬性完整清單,請參閱管線一文。 本節提供 Iceberg 接收器所支持的屬性清單。
冰山作為水槽
複製活動的 [接收] 區段支援下列屬性。
屬性 | 描述 | 必要 |
---|---|---|
type | 複製活動來源的 type 屬性必須設定為 IcebergSink。 | Yes |
formatSettings | 屬性群組。 請參閱下方的 Iceberg 寫入設定表。 | No |
storeSettings | 屬性群組,可決定將資料寫入資料存放區的方式。 每個以檔案為基礎的連接器在 storeSettings 底下皆具有自身的支援寫入設定。 |
No |
支援的 Iceberg 寫入設定 底下 formatSettings
:
屬性 | 描述 | 必要 |
---|---|---|
type | formatSettings 的類型必須設定為 IcebergWriteSettings。 | Yes |
相關的連接器和格式
以下是一些與分隔符號文字格式相關的常見連接器和格式:
- Azure Data Lake Storage Gen2 \(部分機器翻譯\)
- 二進位格式
- 差異格式
- Excel 格式
- JSON 格式
- Parquet 格式