연속 작업 실행
연속 모드를 사용하여 워크로드가 지속적으로 실행되도록 예약합니다. Databricks는 항상 켜져 있는 스트리밍 워크로드에는 연속 모드를 사용하는 것을 권장합니다.
연속 모드는 구조적 스트리밍 워크로드에 대한 레거시 권장 사항을 대체하여 작업을 무제한 재시도 정책 및 최대 1회 동시 실행으로 구성됩니다.
Important
작업용 서버리스 컴퓨팅은 연속 모드를 지원하지 않습니다.
연속 모드에서 실행되도록 작업 구성
연속 모드에서 실행되도록 작업을 구성하려면 다음을 수행합니다.
- 사이드바에서 워크플로를 클릭합니다.
- 작업 탭에서 이름column의 작업 이름을 클릭합니다.
- 트리거 추가를 작업 세부 정보 패널에서 클릭하고, select연속을 트리거 유형에서 선택한 후, 저장을 클릭합니다.
연속 작업을 중지하려면 일시 중지 버튼를 클릭합니다. 재개를 클릭하여 작업을 연속 모드로 다시 시작합니다.
참고 항목
- 연속 작업으로 실행 중인 인스턴스는 하나만 있을 수 있습니다.
- 실행 종료 및 새 실행 시작 사이에 지연이 발생합니다. 이 지연 시간은 60초 미만이어야 합니다.
- 연속 작업에서는 작업 종속성을 사용할 수 없습니다.
- 연속 작업에서는 재시도 정책을 사용할 수 없습니다. 대신 연속 작업은 지수 백오프를 사용하여 작업 실행 실패를 관리합니다.
- Select 이제 실행하여 일시 중지된 연속 작업에서 새 작업 실행을 트리거합니다.
- 연속 작업이 새 구성을 선택하도록 기존 실행을 취소합니다. 새 실행이 자동으로 시작됩니다. 실행 다시 시작을 클릭하여 업데이트된 구성으로 작업 실행을 다시 시작할 수도 있습니다.
연속 작업에 대한 오류는 어떻게 처리되나요?
Azure Databricks는 지수 백오프 스키마를 사용하여 연속 오류가 여러 차례 발생한 연속 작업을 관리합니다. 지수 백오프를 사용하면 연속 작업을 일시 중지하지 않고 실행하고, 복구 가능한 오류가 발생했을 때 정상 상태로 돌아갈 수 있습니다.
다음 내용에서는 연속 작업이 허용된 임계값을 초과하여 연속으로 실패하는 경우, 후속 작업 실행이 관리되는 방법을 설명합니다.
- 시스템에서 set 재시도 기간이 지나면 작업이 다시 시작됩니다.
- 다음 작업 실행이 실패하면, 재시도 기간이 늘어나고, 늘어난 재시도 기간 이후에 작업이 다시 시작됩니다.
- 각 후속 작업 실행 실패에 대해 재시도 기간은 시스템에 의해 최대 재시도 기간 set까지 증가합니다. 최대 재시도 기간에 도달하면, 최대 재시도 기간을 사용하여 작업을 계속 다시 시도합니다. 연속 작업의 재시도 횟수에 대한 limit이 없습니다.
- 작업 실행에 성공하고 새 실행을 시작하거나 실행이 실패 없이 임계값을 초과하는 경우, 작업이 정상으로 간주되고 백오프 시퀀스가 초기화됩니다.
작업 UI의 지수 백오프 상태에서 연속 작업을 다시 시작하거나, Jobs 2.1 API에서 POST /api/2.1/jobs/run-now 요청 또는 Jobs 2.0 API에서 POST /api/2.0/jobs/run-now 요청 작업 ID를 전달하여 연속 작업을 다시 시작할 수 있습니다.