복사 작업에서 SFTP 구성
이 문서에서는 데이터 파이프라인의 복사 작업을 사용하여 SFTP에서 데이터를 복사하는 방법에 대해 설명합니다.
지원되는 형식
SFTP는 다음 파일 형식을 지원합니다. 형식 기반 설정에 대한 각 문서를 참조하세요.
지원되는 구성
복사 작업 아래의 각 탭을 구성하려면 각각 다음 섹션으로 이동합니다.
일반
일반 설정 탭을 구성하려면 일반 설정 지침을 참조하세요.
Source
원본 탭으로 이동하여 복사 작업 원본을 구성합니다. 자세한 구성은 다음 내용을 참조하세요.
다음 3개의 속성은 필수입니다.
데이터 저장소 유형: 외부를 선택합니다.
연결: 연결 목록에서 SFTP 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 SFTP 연결을 만듭니다.
파일 경로 형식: 파일을 읽으려는 방식에 따라 파일 경로, 와일드카드 파일 경로 및 파일 목록에서 선택합니다.
파일 경로: 이 형식을 선택하는 경우 원본 파일 경로를 지정합니다. 찾아보기를 선택하여 원본 파일을 선택하거나 파일 경로를 수동으로 입력할 수 있습니다.
와일드 파일 경로: 이 형식을 선택하는 경우 와일드카드 경로를 지정하여 원본 폴더 또는 파일을 필터링합니다.
허용되는 와일드카드는
*(문자 0자 이상 일치) 및?(문자 0자 또는 1자 일치)입니다. 폴더 이름에 와일드카드 또는 이 이스케이프 문자가 있는 경우^을 사용하여 이스케이프합니다. 더 많은 예를 보려면 폴더 및 파일 필터 예를 참조하세요.
와일드드카드 폴더 경로: 원본 폴더를 필터링할 와일드카드 문자가 포함된 폴더 경로를 지정합니다.
와일드카드 파일 이름: 원본 파일을 필터링하기 위해 지정된 folderPath/wildcardFolderPath 아래의 와일드카드 문자가 포함된 파일 이름입니다.
파일 목록: 이 형식을 선택하는 경우 지정된 파일 집합을 복사하도록 표시할 폴더 경로 및 파일 경로 목록을 지정합니다. 복사하려는 파일 목록이 포함된 텍스트 파일을 한 줄에 한 파일씩 가리킵니다. 더 많은 예를 보려면 파일 목록 예를 참조하세요.
폴더 경로:원본 폴더 경로를 지정합니다. 필수입니다.
파일 목록 경로: 복사할 파일 목록이 포함된 텍스트 파일의 경로를 지정합니다.
파일 형식: 드롭다운 목록에서 적용된 파일 형식을 선택합니다. 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.
고급에서 다음 필드를 지정할 수 있습니다.
마지막으로 수정한 날짜별로 필터링: 지정한 마지막 수정 날짜를 기준으로 파일이 필터링됩니다. 파일 경로 형식을 파일 목록으로 구성할 때는 이 속성이 적용되지 않습니다.
- 시작 시간(UTC): 마지막으로 수정한 시간이 구성된 시간보다 크거나 같은 경우 파일이 선택됩니다.
- 종료 시간(UTC): 마지막으로 수정한 시간이 구성된 시간보다 작은 경우 파일이 선택됩니다.
시작 시간(UTC) 날짜/시간 값이 있지만 종료 시간(UTC) NULL인 경우 마지막으로 수정한 특성이 datetime 값보다 크거나 같은 파일이 선택됨을 의미합니다. UTC(종료 시간) 날짜/시간 값이 있지만 시작 시간(UTC) NULL인 경우 마지막으로 수정한 특성이 날짜/시간 값보다 작은 파일이 선택됨을 의미합니다. 속성은 NULL일 수 있습니다. 즉, 데이터에 파일 특성 필터가 적용되지 않습니다.
청크 사용 안 함: 청크는 성능을 최적화하도록 설계되었으며 그 아래에서 발생합니다. 이 옵션을 사용하면 각 파일 내에서 청크를 사용하지 않도록 설정할 수 있습니다. SFTP에서 데이터를 복사할 때 서비스는 파일 길이를 먼저 가져온 다음, 해당 파일을 여러 부분으로 나누어 병렬로 읽습니다. SFTP 서버에서 파일 길이 가져오기 또는 특정 오프셋에서 읽기를 지원하는지 여부를 지정합니다. 기본적으로 선택되지 않습니다.
파티션 탐색사용: 파일 경로에서 파티션을 분석하여 추가 원본 열로 추가할지 여부를 지정합니다. 기본적으로 선택되지 않으며 이진 파일 형식을 사용하는 경우 지원되지 않습니다.
파티션 루트 경로: 파티션 검색을 사용하는 경우 분할된 폴더를 데이터 열로 읽도록 절대 루트 경로를 지정합니다.
지정되지 않은 경우 기본적으로- 소스의 파일 경로 또는 파일 목록을 사용하는 경우 파티션 루트 경로는 사용자가 구성한 경로입니다.
- 와일드카드 폴더 필터를 사용하는 경우 파티션 루트 경로는 첫 번째 와일드카드 앞의 하위 경로입니다.
예를 들어 경로를 다음과 같이
root/folder/year=2020/month=08/day=27로 구성합니다.- 파티션 루트 경로를
root/folder/year=2020지정하는 경우 복사 작업은 파일 내의 열 외에 각각 값이 "08"과 "27"인 월과 일 열을 두 개 더 생성합니다. - 파티션 루트 경로를 지정하지 않으면 추가 열이 생성되지 않습니다.
최대 동시 연결: 이는 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한을 의미합니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.
추가 열: 원본 파일의 상대 경로 또는 정적 값을 저장할 추가 데이터 열을 추가합니다. 식은 후자에 대해 지원됩니다. 자세한 내용은 복사 시 추가 열 추가로 이동하십시오.
대상
대상 탭으로 이동하여 복사 작업 대상을 구성합니다. 자세한 구성은 다음 내용을 참조하세요.
- 데이터 저장소 유형: 외부를 선택합니다.
- 연결: 연결 목록에서 SFTP 연결을 선택합니다. 연결이 없으면 새로 만들기를 선택하여 새 SFTP 연결을 만듭니다.
- 파일 경로: 데이터를 쓸 파일 경로를 지정합니다. 찾아보기를 선택하여 원본 파일을 선택하거나 파일 경로를 수동으로 입력할 수 있습니다.
- 파일 형식: 드롭다운 목록에서 적용된 파일 형식을 선택합니다. 설정을 선택하여 파일 형식을 구성합니다. 다른 파일 형식의 설정에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요.
고급에서 다음 필드를 지정할 수 있습니다.
복사 행동: 원본이 파일 기반 데이터 저장소의 파일인 경우 복사 동작을 저정합니다. 다음 속성 중에서 선택합니다.
- 계층 평탄화: 소스 폴더의 모든 파일이 대상 폴더의 최상위 레벨에 저장됩니다. 대상 파일은 자동 생성된 이름을 갖습니다.
- 파일 병합: 원본 폴더의 모든 파일을 하나의 파일로 병합합니다. 파일 이름이 지정된 경우 병합되는 파일 이름은 지정된 이름입니다. 그렇지 않으면 자동 생성된 파일 이름입니다.
- 계층 유지(기본값): 대상 폴더에서 파일의 계층 구조를 그대로 유지합니다. 원본 폴더의 원본 파일 상대 경로는 대상 폴더의 대상 파일 상대 경로와 동일합니다.
- 동적 콘텐츠 추가: 동적 콘텐츠를 사용하여 복사 동작을 지정하려면 이 옵션을 선택합니다.
최대 동시 연결: 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다.
작업 시간 제한(분): 각 청크를 SFTP 서버에 쓰기 위한 시간 제한을 지정합니다. 기본값은 60분입니다.
임시 파일로 업로드: 임시 파일에 업로드하고 이름을 바꿀지, 아니면 대상 폴더나 파일 위치에 직접 쓸지 지정합니다. 기본적으로 이 파일은 선택되고 서비스는 먼저 임시 파일에 쓴 다음 업로드가 완료되면 이름을 바꿉니다.
이 시퀀스는 (1) 다른 프로세스가 동일한 파일에 쓰는 경우 파일이 손상될 수 있는 충돌을 방지하고 (2) 전송 중에 파일의 원래 버전이 존재하는지 확인하는 데 도움이 됩니다. SFTP 서버에서 이름 바꾸기 작업을 지원하지 않는 경우 이 옵션을 사용하지 않도록 설정하고 대상 파일에 동시 쓰기가 수행되지 않도록 합니다.
팁
SFTP에 데이터를 쓸 때 “UserErrorSftpPathNotFound”, “UserErrorSftpPermissionDenied” 또는 “SftpOperationFail” 오류가 표시되고 사용하는 SFTP 사용자에게 적절한 권한이 있는 경우 SFTP 서버 지원 파일 이름 바꾸기 작업이 작동하는지 확인합니다. 그렇지 않으면 임시 파일 업로드 옵션을 사용하지 않도록 설정하고 다시 시도하세요.
매핑
설정
설정 탭을 구성하려면 설정 탭에서 기타 설정 구성으로 이동합니다.
표 요약
다음 표에는 SFTP의 복사 활동에 대한 자세한 정보가 포함되어 있습니다.
Source
| 속성 | 설명 | 값 | Required | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 형식 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| Connection | 데이터 원본에 대한 SFTP 연결입니다. | < SFTP 연결 > | 예 | connection |
| 파일 경로 유형 | 원본 데이터를 가져오는 데 사용되는 파일 경로 형식입니다. | • 파일 경로입니다 • 와일드카드 파일 경로 • 파일 목록 |
예 | / |
| 파일 경로 | 원본 파일에 대한 경로 | < 파일 경로 > | 예 | fileName folderPath |
| 와일드카드 경로 | 원본 파일에 대한 와일드카드 경로 | < 와일드카드 파일 경로 > | 와일드카드 파일 이름에 대한 동의 | wildcardFolderPath wildcardFileName |
| 폴더 경로 | 원본 폴더의 경로입니다. | < 폴더 경로 > | 예 | folderPath |
| 텍스트 파일 경로 | 지정된 파일 집합을 복사하도록 지정합니다. 복사하려는 파일 목록이 포함된 텍스트 파일을 한 줄에 한 파일씩 가리킵니다. | < 파일 목록 경로 > | 아니요 | fileListPath |
| 파일 형식 | 원본 데이터의 파일 형식입니다. 다른 파일 형식의 정보에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요. | / | 예 | / |
| 마지막으로 수정한 시간으로 필터링 | [시작 시간, 종료 시간) 범위에서 마지막으로 수정된 시간이 있는 파일은 추가 처리를 위해 필터링됩니다. 시간은 UTC 표준 시간대에 yyyy-mm-ddThh:mm:ss.fffZ형식으로 적용됩니다. 이러한 속성을 건너뛸 수 있습니다. 즉, 파일 특성 필터가 적용되지 않습니다. 파일 경로 형식을 파일 목록으로 구성할 때는 이 속성이 적용되지 않습니다. |
날짜/시간 | 아니요 | modifiedDatetimeStart modifiedDatetimeEnd |
| 청크 사용 안 함 | 청크는 성능을 최적화하도록 설계되었으며 그 아래에서 발생합니다. 이 옵션을 사용하면 각 파일 내에서 청크를 사용하지 않도록 설정할 수 있습니다. SFTP에서 데이터를 복사할 때 서비스는 파일 길이를 먼저 가져온 다음, 해당 파일을 여러 부분으로 나누어 병렬로 읽습니다. SFTP 서버에서 파일 길이 가져오기 또는 특정 오프셋에서 읽기를 지원하는지 여부를 지정합니다. | 선택되거나 선택되지 않음(기본값) | 아니요 | disableChunking: true 또는 false(기본값) |
| 파티션 검색 사용 | 파일 경로에서 파티션을 구문 분석하고 추가 원본 열로 추가할지 여부를 나타냅니다. | 선택되거나 선택되지 않음(기본값) | 아니요 | enablePartitionDiscovery: true 또는 false(기본값) |
| 파티션 루트 경로 | 파티션이 분할된 폴더를 데이터 열로 읽기 위한 절대 파티션 루트 경로입니다. 파티션 검색을 사용하도록 설정할 때 지정합니다. | < 파티션 루트 경로 > | 아니요 | partitionRootPath |
| 최대 동시 연결 수 | 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다. |
< 동시 연결 수의 상한 > (정수) |
아니요 | maxConcurrentConnections |
| 추가 열 | 원본 파일의 상대 경로 또는 정적 값을 저장할 추가 데이터 열을 추가합니다. 식은 후자에 대해 지원됩니다. 자세한 내용은 복사 중에 |
• 이름 • 값 |
아니요 | additionalColumns: • 이름 • 값 |
대상
| 속성 | 설명 | 값 | Required | JSON 스크립트 속성 |
|---|---|---|---|---|
| 데이터 저장소 형식 | 데이터 저장소 유형입니다. | 외부 | 예 | / |
| Connection | 원본 SFTP에 대한 연결입니다. | < 연결 > | 예 | connection |
| 파일 경로 | 대상 데이터의 파일 경로입니다. | 대상 파일 경로 | 예 | folderPath fileName |
| 파일 형식 | 원본 데이터의 파일 형식입니다. 다른 파일 형식의 정보에 대한 자세한 내용은 지원되는 형식의 문서를 참조하세요. | / | 예 | / |
| 복사 행동 | 원본이 파일 기반 데이터 저장소의 파일인 경우 복사 동작을 정의합니다. | • 계층 구조 평면화 • 파일 병합 • 계층 구조 유지 |
아니요 | copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy |
| 최대 동시 연결 수 | 작업 실행 중 데이터 저장소에 설정된 동시 연결의 상한입니다. 동시 연결을 제한하려는 경우에만 값을 지정합니다. | < 최대 동시 연결 수 > | 아니요 | maxConcurrentConnections |
| 작업 시간 제한(분) | 각 청크를 SFTP 서버에 쓰기 위한 시간 제한입니다. |
< 작업 시간 제한 > 기본값은 60입니다. |
아니요 | operationTimeout |
| 임시 파일을 사용하여 업로드 | 임시 파일을 업로드하고 이름을 바꿀지 여부를 나타냅니다. SFTP 서버에서 이름 바꾸기 작업을 지원하지 않는 경우 이 옵션을 사용하지 않도록 설정합니다. | 선택됨(기본값) 또는 선택 취소됨 | 아니요 | useTempFileRename: true(기본값) 또는 false |