Microsoft Fabric의 Data Factory에 있는 Avro 형식
이 문서에서는 Microsoft Fabric의 Data Factory 데이터 파이프라인에서 Avro 형식을 구성하는 방법을 간략히 설명합니다.
지원되는 기능
Avro 형식은 원본 및 목적지로서 다음 작업과 커넥터에 대해 지원됩니다.
복사 작업의 Avro 형식
Avro 형식을 구성하려면 데이터 파이프라인 복사 작업의 원본 또는 목적지에서 연결을 선택한 다음, 파일 형식의 드롭다운 목록에서 Avro를 선택합니다. 이 형식을 추가로 구성하려면 설정을 선택하세요.
Avro 형식이 원본인 경우
파일 형식 섹션에서 설정을 선택하면 다음 속성이 팝업 파일 형식 설정 대화 상자에 표시됩니다.
압축 유형: 드롭다운 목록에서 Avro 파일을 읽는 데 사용되는 압축 코덱을 선택합니다. 없음 또는 deflate를 선택할 수 있습니다. 식 작성기에서 유형을 지정하기 위해 동적 콘텐츠 추가를 선택할 수도 있습니다.
압축 수준: 압축 비율을 지정합니다. 1~7 중에서 선택하세요. 식 작성기에서 수준을 지정하기 위해 동적 콘텐츠 추가를 선택할 수도 있습니다.
Avro 형식이 목적지인 경우
설정을 선택하면 다음 속성이 팝업 파일 형식 설정 대화 상자에 표시됩니다.
압축 유형: 드롭다운 목록에서 Avro 파일을 쓰는 데 사용되는 압축 코덱을 선택합니다. 없음 또는 deflate를 선택할 수 있습니다. 식 작성기에서 유형을 지정하기 위해 동적 콘텐츠 추가를 선택할 수도 있습니다.
압축 수준: 압축 비율을 지정합니다. 1~7 중에서 선택하세요. 식 작성기에서 수준을 지정하기 위해 동적 콘텐츠 추가를 선택할 수도 있습니다.
목적지 탭의 고급 설정에서 다음과 같은 Avro 형식 관련 속성이 표시됩니다.
- 파일당 최대 행 수: 폴더에 데이터를 쓸 때 여러 파일에 쓰도록 선택하고 파일당 최대 행 수를 지정할 수 있습니다.
- 파일 이름 접두사: 파일당 최대 행 수가 구성된 경우에 적용됩니다. 여러 파일에 데이터를 쓸 때 파일 이름 접두사를 지정합니다. 이 패턴은
<fileNamePrefix>_00000.<fileExtension>입니다. 지정하지 않으면 파일 이름 접두사가 자동으로 생성됩니다. 원본인 파일 기반 저장소이거나 파티션 옵션이 활성화된 데이터 저장소인 경우 이 속성은 적용되지 않습니다.
테이블 요약
Avro를 원본으로
Avro 형식을 사용할 때 복사 작업 원본 섹션에서는 다음 속성이 지원됩니다.
| 속성 | 설명 | 값 | Required | Avro 스크립트 속성 |
|---|---|---|---|---|
| 파일 형식 | 사용하려는 파일 형식입니다. | Avro | 예 | 유형(datasetSettings 에서):Avro |
| 압축 유형 | Avro 파일을 읽는 데 사용되는 압축 코덱입니다. | 없음 deflate |
아니요 | avroCompressionCodec: deflate |
| 압축 수준 | 압축 비율입니다. | 1~7 | 아니요 | avroCompressionLevel: 1~7 |
Avro가 목적지인 경우
Avro 형식을 사용할 때 복사 작업 목적지 섹션에서 다음 속성이 지원됩니다.
| 속성 | 설명 | 값 | Required | Avro 스크립트 속성 |
|---|---|---|---|---|
| 파일 형식 | 사용하려는 파일 형식입니다. | Avro | 예 | 유형(datasetSettings 에서):Avro |
| 압축 유형 | Avro 파일을 쓰는 데 사용된 압축 코덱입니다. | 없음 deflate |
아니요 | avroCompressionCodec: deflate |
| 압축 수준 | 압축 비율입니다. | 1~7 | 아니요 | avroCompressionLevel: 1~7 |
| 파일당 최대 행 수 | 폴더에 데이터를 쓸 때 여러 파일에 쓰도록 선택하고 파일당 최대 행 수를 지정할 수 있습니다. | < 파일당 최대 행 수 > | 아니요 | maxRowsPerFile |
| 파일 이름 접두사 | 파일당 최대 행 수가 구성된 경우에 적용됩니다. 여러 파일에 데이터를 쓸 때 파일 이름 접두사를 지정합니다. 이 패턴은 <fileNamePrefix>_00000.<fileExtension>입니다. 지정하지 않으면 파일 이름 접두사가 자동으로 생성됩니다. 원본인 파일 기반 저장소이거나 파티션 옵션이 활성화된 데이터 저장소인 경우 이 속성은 적용되지 않습니다. |
< 파일 이름 접두사 > | 아니요 | fileNamePrefix |