복사 작업에서 Azure Blob Storage 구성
이 문서에서는 데이터 파이프라인에서 복사 작업을 사용하여 Azure Blob Storage에서 데이터를 복사하는 방법을 간략하게 설명합니다.
지원되는 형식
Azure Blob Storage는 다음과 같은 파일 형식을 지원합니다. 형식 기반 설정에 대한 각 문서를 참조하세요.
지원되는 구성
복사 작업 아래의 각 탭을 구성하려면 각각 다음 섹션으로 이동합니다.
일반
일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.
원본
복사 작업의 원본 탭에서 Azure Blob Storage에 대해 지원되는 속성은 다음과 같습니다.
다음 속성은 필수입니다.
- 데이터 저장소 유형: 외부를 선택합니다.
- 연결: 연결 목록에서 Azure Blob Storage 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Azure Blob Storage 연결을 만듭니다.
- 파일 경로: 찾아보기를 선택하여 복사할 파일을 선택하거나 경로를 수동으로 채웁니다.
- 파일 설정: 파일 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.
고급에서 다음 필드를 지정할 수 있습니다.
파일 경로 유형: 파일 경로 유형으로 파일 경로, 접두사, 와일드카드 파일 경로, 파일 목록을 선택할 수 있습니다. 각 설정의 구성은 다음과 같습니다.
파일 경로: 이 형식을 선택하면 이전에 지정한 지정된 컨테이너 또는 폴더/파일 경로에서 데이터를 복사할 수 있습니다.
접두사: 원본 Blob 파일을 필터링하기 위해 구성된 제공한 컨테이너의 Blob 이름에 대한 접두사입니다. 이름이
container/this_prefix로 시작하는 Blob이 선택됩니다. Blob Storage에 대한 서비스 쪽 필터를 활용합니다.접두사를 사용하고 계층 구조를 유지하는 파일 기반 대상으로 복사하도록 선택하는 경우 접두사의 마지막 "/" 뒤에 하위 경로가 유지됩니다. 예를 들어 원본
container/folder/subfolder/file.txt가 있고 접두사를folder/sub로 구성하면 유지되는 파일 경로는subfolder/file.txt입니다.
와일드카드 파일 경로: 지정된 Blob 컨테이너 아래에 와일드카드 문자로 폴더 또는 파일 경로를 지정하여 원본 폴더 또는 파일을 필터링합니다.
허용되는 와일드카드는
*(문자 0자 이상 일치) 및?(문자 0자 또는 1자 일치)입니다. 폴더 이름에 와일드카드 또는 이 이스케이프 문자가 있는 경우^을 사용하여 이스케이프합니다. 더 많은 예를 보려면 폴더 및 파일 필터 예를 참조하세요.
와일드카드 폴더 경로: 지정된 컨테이너 아래에 와일드카드 문자로 폴더 경로를 지정하여 원본 폴더를 필터링합니다.
와일드카드 파일 이름: 지정된 컨테이너 및 폴더 경로(또는 와일드카드 폴더 경로) 아래에 와일드카드 문자로 파일 이름을 지정하여 원본 파일을 필터링합니다.
파일 목록: 복사할 위치인 지정된 파일 집합을 지정합니다. 파일 목록 경로에서 복사할 파일 목록이 포함된 텍스트 파일을 입력하거나 찾습니다. 이는 각 파일에 대한 상대 경로로, 한 줄에 한 파일씩 입력하거나 찾습니다.
이 옵션을 사용하는 경우 파일 이름을 지정하지 마세요. 더 많은 예를 보려면 파일 목록 예로 이동합니다.
재귀적: 이 확인란을 선택하면 입력 폴더와 하위 폴더의 모든 파일이 재귀적으로 처리됩니다. 확인란을 선택 취소하면 선택한 폴더에 있는 항목만 처리됩니다. 단일 파일을 선택하면 이 설정을 사용할 수 없습니다.
완료 후 파일 삭제: 이 확인란을 선택하면 이진 파일이 대상 저장소로 성공적으로 이동한 후 원본 저장소에서 삭제됩니다. 파일 삭제는 파일 단위로 이루어지므로 복사 작업에 실패하면 일부 파일은 대상에 복사되고 원본에서 삭제된 반면, 다른 파일은 원본 저장소에 계속 남아 있는 것을 확인할 수 있습니다.
참고 항목
이 속성은 이진 파일 복사 시나리오에서만 유효합니다.
최대 동시 연결: 이는 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한을 의미합니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.
대상
복사 작업의 대상 탭에서 Azure Blob Storage에 대해 지원되는 속성은 다음과 같습니다.
다음 속성은 필수입니다.
- 데이터 저장소 유형: 외부를 선택합니다.
- 연결: 연결 목록에서 Azure Blob Storage 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 Azure Blob Storage 연결을 만듭니다.
- 파일 경로: 찾아보기를 선택하여 복사할 파일을 선택하거나 경로를 수동으로 채웁니다.
- 파일 설정: 파일 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.
고급에서 다음 필드를 지정할 수 있습니다.
복사 동작: 원본이 파일 기반 데이터 저장소의 파일인 경우의 복사 동작을 정의합니다. 드롭다운 목록에서 동적 콘텐츠 추가, 없음, FlattenHierarchy 또는 계층 구조 유지를 선택할 수 있습니다.
동적 콘텐츠 추가: 속성 값에 대한 식을 지정하려면 동적 콘텐츠 추가를 선택합니다. 이 항목을 선택하면 지원되는 시스템 변수, 작업 출력, 함수 및 사용자가 지정한 변수 또는 매개 변수에서 식을 빌드할 수 있는 식 작성기가 열립니다. 식 언어에 대한 자세한 내용은 식 및 함수를 참조하세요.
없음: 복사 동작을 사용하지 않려면 이 선택 항목을 선택합니다.
계층 구조 평면화: 소스 폴더의 모든 파일이 대상 폴더의 최상위 레벨에 저장됩니다. 대상 파일에는 자동 생성된 이름이 있습니다.
계층 구조 유지: 대상 폴더에서 파일의 계층 구조를 그대로 유지합니다. 원본 폴더의 원본 파일 상대 경로는 대상 폴더의 대상 파일 상대 경로와 동일합니다.
최대 동시 연결: 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.
블록 크기(MB): 블록 Blob에 데이터를 쓰는 데 사용되는 블록 크기(메가바이트)를 지정합니다. 자세한 내용을 알아보려면 블록 Blob 정보로 이동합니다.
메타데이터: 대상으로 복사할 때 사용자 지정 메타데이터를 설정합니다.
metadata배열의 각 개체는 추가 열을 나타냅니다.name은 메타데이터 키 이름을 정의하고value는 해당 키의 데이터 값을 나타냅니다. 특성 유지 기능을 사용하는 경우 지정된 메타데이터는 원본 파일 메타데이터와 통합/덮어씁니다.허용되는 데이터 값은 다음과 같습니다.
$$LASTMODIFIED: 예약된 변수는 원본 파일의 마지막으로 수정된 시간을 저장함을 나타냅니다. 이진 형식만 사용하는 파일 기반 원본에 적용합니다.식
정적 값
매핑
매핑 탭을 구성하려면 매핑 탭에서 매핑 구성으로 이동합니다. 파일 형식으로 바이너리를 선택하면 매핑이 지원되지 않습니다.
설정
설정 탭을 구성하려면 설정 탭에서 기타 설정 구성을 참조하세요.
표 요약
다음 표에는 Azure Blob Storage의 복사 활동에 대한 자세한 정보가 포함되어 있습니다.
원본 정보
| 이름 | 설명 | 값 | 필수 | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 유형 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| 연결 | 원본 데이터 저장소에 대한 연결입니다. | <연결> | 예 | connection |
| 파일 경로 | 원본 데이터의 파일 경로입니다. | <원본의 파일 경로> | 예 | 컨테이너 fileName |
| 파일 경로 유형 | 사용하려는 파일 경로 유형입니다. | • 파일 경로 • 접두사 • 와일드카드 폴더 경로, 와일드카드 파일 이름 • 파일 목록 |
아니요 | • 접두사 • wildcardFolderPath, wildcardFileName • fileListPath |
| 재귀적 | 입력 폴더와 해당 하위 폴더의 모든 파일을 재귀적으로 처리하거나 선택한 폴더에 있는 파일만 처리합니다. 단일 파일을 선택하면 이 설정을 사용할 수 없습니다. | 선택 또는 선택 취소 | 아니요 | 재귀 |
| 완료 후 파일 삭제 | 원본 데이터 저장소의 파일은 대상 저장소로 이동한 직후 삭제됩니다. 파일 삭제는 파일 단위로 이루어지므로 복사 작업에 실패하면 일부 파일은 대상에 복사되고 원본에서 삭제된 반면, 다른 파일은 원본 저장소에 계속 남아 있는 것을 확인할 수 있습니다. | 선택 또는 선택 취소 | 아니요 | deleteFilesAfterCompletion |
| 최대 동시 연결 수 | 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다. | <최대 동시 연결 수> | 아니요 | maxConcurrentConnections |
대상 정보
| 이름 | 설명 | 값 | 필수 | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 유형 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| 연결 | 대상 데이터 저장소에 대한 연결입니다. | <연결> | 예 | connection |
| 파일 경로 | 대상 데이터의 파일 경로입니다. | 원본의 파일 경로 | 예 | 컨테이너 fileName |
| 복사 동작 | 스토리지와 같은 한 파일 시스템에서 다른 파일 시스템으로 파일을 복사할 때의 동작을 정의합니다(예: 한 Blob Storage에서 다른 Blob Storage로). | • 없음 • 동적 콘텐츠 추가 • 계층 구조 평면화 • 계층 구조 유지 |
아니요 | copyBehavior |
| 최대 동시 연결 수 | 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다. | <최대 동시 연결 수> | 아니요 | maxConcurrentConnections |
| 블록 크기(MB) | Azure Blob Storage에 데이터를 쓸 때 블록 크기를 MB 단위로 지정합니다. 허용되는 값은 4~100MB입니다. | <블록 크기> | 아니요 | blockSizeInMB |
| 메타데이터 | 대상으로 복사할 때 사용자 지정 메타데이터를 설정합니다. | • $$LASTMODIFIED• 식 • 고정 값 |
아니요 | metadata |