Spark 작업 정의 활동을 실행하여 데이터 변환
Microsoft Fabric용 데이터 팩터리의 Spark 작업 정의 활동을 사용하면 Spark 작업 정의에 대한 연결을 만들고 데이터 파이프라인에서 실행할 수 있습니다.
필수 조건
시작하기 전에 다음 전제 조건을 완료해야 합니다.
- 활성 구독이 있는 테넌트 계정. 체험 계정을 만듭니다.
- 작업 영역이 만들어집니다.
UI를 사용하여 파이프라인에 Spark 작업 정의 활동 추가
작업 영역에 새 데이터 파이프라인을 만듭니다.
홈 화면 카드에서 Spark 작업 정의를 검색하여 선택하거나 활동 표시 줄에서 활동을 선택하여 파이프라인 캔버스에 추가합니다.
홈 화면 카드에서 활동 만들기.
활동 표시줄에서 활동 만들기.
아직 선택하지 않은 경우 파이프라인 편집기 캔버스에서 새 Spark 작업 정의 활동을 선택합니다.
일반 설정 탭에 있는 옵션을 구성하려면 일반 설정 지침을 참조하세요.
Spark 작업 정의 활동 설정
활동 속성 창에서 설정 탭을 선택한 다음 실행하려는 Spark 작업 정의가 포함된 패브릭 작업 영역을 선택합니다.
알려진 제한 사항
패브릭 데이터 팩터리에 대한 Spark 작업 정의 활동의 현재 제한 사항이 여기에 나열되어 있습니다. 이 구역은 변경될 수 있습니다.
- 현재는 활동 내에서 새 Spark 작업 정의 활동 만들기를 지원하지 않습니다(설정 아래).
- 매개 변수화 지원을 사용할 수 없습니다.
- 출력 탭을 통해 활동 모니터링을 지원하지만 아직 더 세부적인 수준에서 Spark 작업 정의를 모니터링할 수는 없습니다. 예를 들어 모니터링 페이지, 상태, 기간 및 이전 Spark 작업 정의 실행에 대한 링크는 데이터 팩터리에서 직접 사용할 수 없습니다. 그러나 Spark 작업 정의 모니터링 페이지에서 더 세부적인 세부 정보를 볼 수 있습니다.
파이프라인 저장 및 실행 또는 예약
파이프라인에 필요한 다른 작업을 구성한 후 파이프라인 편집기 맨 위에 있는 홈 탭으로 전환하고 저장 버튼을 선택하여 파이프라인을 저장합니다. 실행을 선택하여 직접 실행하거나 예약을 선택해 일정을 잡습니다. 여기에서 실행 기록을 보거나 다른 설정을 구성할 수도 있습니다.
