Azure Data Factory 및 Azure Synapse Analytics의 Iceberg 형식
적용 대상: Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
데이터를 Iceberg 형식으로 쓰려는 경우 이 문서를 따릅니다.
다음 커넥터에 대해 Iceberg 형식이 지원됩니다.
복사 작업 Iceberg 데이터 세트를 사용할 수 있습니다.
데이터 세트 속성
데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Iceberg 형식 데이터 세트에서 지원하는 속성 목록을 제공합니다.
속성 | 설명 | 필수 |
---|---|---|
type | 데이터 세트의 type 속성은 Iceberg로 설정해야 합니다. | 예 |
location | 파일의 위치 설정입니다. 각 파일 기반 커넥터에는 location 의 고유한 위치 형식 및 지원되는 속성이 있습니다. |
예 |
다음은 Azure Data Lake Storage Gen2의 Iceberg 데이터 세트 예제입니다.
{
"name": "IcebergDataset",
"properties": {
"type": "Iceberg",
"linkedServiceName": {
"referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
"type": "LinkedServiceReference"
},
"schema": [ < physical schema, optional, auto retrieved during authoring >
],
"typeProperties": {
"location": {
"type": "AzureBlobFSLocation",
"fileSystem": "filesystemname",
"folderPath": "folder/subfolder",
}
}
}
}
복사 작업 속성
작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Iceberg 싱크에서 지원하는 속성 목록을 제공합니다.
싱크대로서의 빙산
복사 작업 *sink* 섹션에서 지원되는 속성은 다음과 같습니다.
속성 | 설명 | 필수 |
---|---|---|
type | 복사 작업 원본의 type 속성을 IcebergSink로 설정해야 합니다. | 예 |
formatSettings | 속성 그룹입니다. 아래의 Iceberg 쓰기 설정 표를 참조하세요. | 아니요 |
storeSettings | 데이터 저장소에 데이터를 쓰는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 쓰기 설정이 있습니다. |
아니요 |
지원되는 Iceberg 쓰기 설정은 다음과 같습니다.formatSettings
속성 | 설명 | 필수 |
---|---|---|
type | formatSettings의 형식은 IcebergWriteSettings로 설정해야 합니다. | 예 |
관련 커넥터 및 형식
다음은 구분된 텍스트 형식과 관련된 몇 가지 일반적인 커넥터 및 형식입니다.