다음을 통해 공유


Azure Data Factory 및 Azure Synapse Analytics의 Iceberg 형식

적용 대상: Azure Data Factory Azure Synapse Analytics

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

데이터를 Iceberg 형식으로 쓰려는 경우 이 문서를 따릅니다.

다음 커넥터에 대해 Iceberg 형식이 지원됩니다.

복사 작업 Iceberg 데이터 세트를 사용할 수 있습니다.

데이터 세트 속성

데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Iceberg 형식 데이터 세트에서 지원하는 속성 목록을 제공합니다.

속성 설명 필수
type 데이터 세트의 type 속성은 Iceberg설정해야 합니다.
location 파일의 위치 설정입니다. 각 파일 기반 커넥터에는 location의 고유한 위치 형식 및 지원되는 속성이 있습니다.

다음은 Azure Data Lake Storage Gen2의 Iceberg 데이터 세트 예제입니다.

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

복사 작업 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Iceberg 싱크에서 지원하는 속성 목록을 제공합니다.

싱크대로서의 빙산

복사 작업 *sink* 섹션에서 지원되는 속성은 다음과 같습니다.

속성 설명 필수
type 복사 작업 원본의 type 속성을 IcebergSink설정해야 합니다.
formatSettings 속성 그룹입니다. 아래의 Iceberg 쓰기 설정 표를 참조하세요. 아니요
storeSettings 데이터 저장소에 데이터를 쓰는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 쓰기 설정이 있습니다. 아니요

지원되는 Iceberg 쓰기 설정은 다음과 같습니다.formatSettings

속성 설명 필수
type formatSettings의 형식은 IcebergWriteSettings설정해야 합니다.

다음은 구분된 텍스트 형식과 관련된 몇 가지 일반적인 커넥터 및 형식입니다.