데이터 복사 작업 사용
데이터 복사 작업은 데이터 파이프라인의 가장 일반적인 용도 중 하나입니다. 많은 파이프라인은 외부 원본에서 레이크하우스 파일 또는 테이블로 데이터를 수집하는 데 사용되는 단일 데이터 복사 작업으로 구성됩니다.
또한 데이터 복사 작업을 다른 작업과 결합하여 반복 가능한 데이터 수집 프로세스를 만들 수도 있습니다. 예를 들어 데이터 삭제 작업을 사용하여 기존 데이터를 제거하고, 데이터 복사 작업을 사용하여 삭제된 데이터를 외부 원본의 데이터가 포함된 파일로 바꾸고 , Notebook 작업을 사용하여 파일의 데이터를 변환하고 테이블에 로드하는 Spark 코드를 실행할 수 있습니다.
데이터 복사 도구
파이프라인에 데이터 복사 작업(activity)을 추가하면 그래픽 도구를 통해 복사 작업(operation)의 데이터 원본과 데이터 대상을 구성하는 데 필요한 단계를 수행하게 됩니다. 다양한 원본 연결이 지원되므로 가장 일반적인 원본에서 데이터를 수집할 수 있습니다. OneLake에서는 레이크하우스, 웨어하우스, SQL 데이터베이스 등에 대한 지원이 포함됩니다.
데이터 복사 작업 설정
파이프라인에 데이터 복사 작업을 추가한 후에는 파이프라인 캔버스에서 해당 작업을 선택하고 아래 창에서 해당 설정을 편집할 수 있습니다.
데이터 복사 작업을 사용하는 경우
변환을 적용하지 않고 지원되는 원본과 대상 간에 직접 데이터를 복사해야 하는 경우 또는 원시 데이터를 가져오고 이후 파이프라인 작업에서 변환을 적용하려는 경우, 데이터 복사 작업을 사용합니다.
데이터를 수집할 때 변환을 적용하거나 여러 원본의 데이터를 병합해야 하는 경우 Data Flow 작업을 사용하여 데이터 흐름(Gen2)을 실행하는 것이 좋습니다. Power Query 사용자 인터페이스를 사용하여 여러 변환 단계를 포함하는 데이터 흐름(Gen2)을 정의하고 파이프라인에 포함할 수 있습니다.
팁
데이터를 수집하기 위해 Microsoft Fabric의 데이터 흐름(Gen2)에 대해 자세히 알아보려면 Microsoft Fabric의 Dataflows Gen2를 사용하여 데이터 수집 모듈을 완료하는 것이 좋습니다.