파이프라인 이해
Microsoft Fabric의 파이프라인은 데이터 이동 및 처리 태스크를 수행하는 일련의 활동을 캡슐화합니다. 파이프라인을 사용하여 데이터 전송 및 변환 활동을 정의하고 분기, 반복 및 기타 일반적인 처리 논리를 관리하는 제어 흐름 활동을 통해 이러한 활동을 오케스트레이션할 수 있습니다. Fabric 사용자 인터페이스의 그래픽 파이프라인 캔버스를 사용하면 코딩이 최소화되거나 필요하지 않은 복잡한 파이프라인을 빌드할 수 있습니다.
핵심 파이프라인 개념
Microsoft Fabric에서 파이프라인을 빌드하기 전에 몇 가지 핵심 개념을 이해해야 합니다.
활동
활동은 파이프라인의 실행 가능한 작업입니다. 활동을 시퀀스로 연결하여 활동 흐름을 정의할 수 있습니다. 특정 활동의 결과(성공, 실패 또는 완료)를 사용하여 시퀀스의 다음 활동으로 흐름을 전달할 수 있습니다.
파이프라인에는 두 가지 광범위한 범주의 작업이 있습니다.
데이터 변환 작업 - 원본에서 데이터를 추출하여 대상으로 로드하는 간단한 데이터 복사 작업과 전송되는 데이터에 변환을 적용하는 데이터 흐름(Gen2) 작업을 포함하여 데이터 전송 작업을 캡슐화하는 작업입니다. 다른 데이터 변환 작업에는 Spark Notebook을 실행하는 Notebook 작업, SQL 코드를 실행하는 저장 프로시저 작업, 기존 데이터를 삭제하기 위한 데이터 삭제 작업 등이 있습니다. OneLake에서 레이크하우스, 웨어하우스, SQL 데이터베이스 또는 기타 옵션에 대한 대상을 구성할 수 있습니다.
제어 흐름 작업 - 루프, 조건부 분기를 구현하거나 변수 및 매개 변수 값을 관리하는 데 사용할 수 있는 작업입니다. 다양한 제어 흐름 작업을 사용하면 복잡한 파이프라인 논리를 구현하여 데이터 수집 및 변환 흐름을 오케스트레이션할 수 있습니다.
팁
Microsoft Fabric에서 사용할 수 있는 전체 파이프라인 작업 집합에 대한 자세한 내용은 Microsoft Fabric 설명서의 작업 개요를 참조하세요.
매개 변수
파이프라인을 매개 변수화하여 파이프라인이 실행될 때마다 사용할 특정 값을 제공할 수 있습니다. 예를 들어 파이프라인을 사용하여 수집된 데이터를 폴더에 저장할 수 있지만 파이프라인이 실행될 때마다 폴더 이름을 유연하게 지정할 수 있습니다.
매개 변수를 사용하면 파이프라인의 재사용 가능성이 높아져 유연한 데이터 수집 및 변환 프로세스를 만들 수 있습니다.
파이프라인 실행
파이프라인이 실행될 때마다 데이터 파이프라인 실행이 시작됩니다. Fabric 사용자 인터페이스에서 요청 시 실행을 시작하거나 특정 빈도로 시작하도록 예약할 수 있습니다. 고유 실행 ID를 사용하여 실행 세부 정보를 검토하여 성공적으로 완료되었는지 확인하고 각 실행에 사용되는 특정 설정을 조사합니다.