Microsoft Fabric용 Apache Spark의 작업 허용
적용 대상:✅ Microsoft Fabric의 데이터 엔지니어링 및 데이터 과학
Fabric용 Apache Spark는 낙관적 작업 허용 기술을 활용하여 Spark 작업에 대한 최소 핵심 요구 사항을 결정합니다. 이 프로세스는 Notebook, Lakehouse 또는 Spark 작업 정의에서 대화형 또는 일괄 처리 작업에 적용할 수 있습니다. 작업 영역 설정 또는 연결된 환경에서 선택한 Spark 풀의 최소 노드 설정에 의존합니다. 작업 영역에 연결된 Fabric 용량에서 사용 가능한 코어가 발견되면 작업이 수락되고 실행을 시작합니다. 작업은 최소 노드 설정으로 시작하고 작업 단계에 따라 최대 노드 제한 내에서 확장할 수 있습니다. Fabric 용량을 활용하는 작업을 실행하는 데 사용되는 총 코어가 할당된 최대 버스트 코어보다 낮으면 Fabric Spark의 작업 허용 및 제한 계층을 통해 작업이 확장될 수 있습니다.
자세한 내용은 Microsoft Fabric Spark의 동시성 제한 및 큐를 참조하세요.
낙관적 작업 허가는 어떻게 이루어지나요?
Fabric에서 시작 풀은 기본 최소 노드 1개와 함께 제공되며, 사용자 지정 풀을 사용하면 워크로드 요구 사항에 따라 최소 노드를 설정할 수 있습니다. 자동 크기 조정은 구성된 최소 및 최대 노드 내에서 실행 단계에서 Spark 작업에 대한 컴퓨팅 요구 사항을 조정합니다. 낙관적 작업 허용은 사용 가능한 코어를 기반으로 작업 제출을 평가하고 최소 코어로 실행합니다. 작업은 실행 중에 할당된 최대 노드에 따라 증가하려고 시도합니다. 사용되는 총 Spark 코어가 할당된 용량 제한 내에 있는 경우 확장 요청이 승인됩니다.
참고 항목
사용량이 최대 한도에 도달하고 Fabric의 총 용량 내의 모든 코어가 사용 중인 경우 모든 확장 요청이 거부됩니다. 활성 작업은 완료되거나 취소되어 코어를 확보해야 합니다.
이는 작업 동시성에 어떤 영향을 미치나요?
각 작업에 대한 최소 핵심 요구 사항은 작업을 수락할 수 있는지 여부를 결정합니다. 용량이 완전히 활용되고 작업의 최소 코어 요구 사항을 충족하기 위해 남은 코어가 없는 경우 작업이 거부됩니다. 대화형 Notebook 작업 또는 Lakehouse 작업이 현재 사용 가능한 용량이 모두 사용 중이므로 이 요청을 제출할 수 없습니다라는 오류 메시지와 함께 차단됩니다. 현재 실행 중인 작업을 취소하거나 사용 가능한 용량을 늘리거나 나중에 다시 시도하세요.라는 메시지가 표시됩니다. 일괄 처리 작업은 코어를 사용할 수 있게 되면 큐에 대기되고 실행됩니다.
예를 들어 사용자가 Fabric F32 용량 SKU를 활용하는 시나리오를 고려해 보세요. 모든 작업이 낙관적 작업 허용 없이 기본 시작 풀 설정을 사용한다면 용량은 최대 3개의 작업 동시성을 지원합니다. 최대 노드 구성에 따라 작업당 최대 코어 수가 할당됩니다.
위와 동일한 용량의 낙관적 작업 허용을 사용하면 최대 동시성 시나리오 동안 최소 노드 구성을 사용하여 24개의 작업을 허용하고 실행할 수 있습니다. 각 작업에는 최소 노드 구성 크기가 중간인 8개의 Spark VCore가 필요하기 때문입니다.
Spark 자동 크기 조정을 사용하여 작업 크기 조정
Spark 풀에 대해 자동 크기 조정을 사용하도록 설정하면 작업이 최소 노드 구성으로 실행됩니다. 런타임 중에 크기 조정이 발생할 수 있습니다. 이러한 요청은 작업 허용 제어를 통과합니다. 승인된 요청은 사용 가능한 총 코어에 따라 최대 한도까지 확장됩니다. 거부된 요청은 활성 작업에 영향을 주지 않습니다. 코어를 사용할 수 있을 때까지 현재 구성으로 계속 실행됩니다.
참고 항목
최대 노드 구성에 따라 작업에 대한 최대 코어 할당을 보장하려면 자동 크기 조정을 사용하지 않도록 설정하고 Fabric 용량 SKU 내에서 최대 노드를 설정합니다. 이 경우 작업에 최소 코어 요구 사항이 없으므로 무료 코어를 사용할 수 있게 되면 실행이 시작되어 구성된 합계까지 확장됩니다. 용량이 완전히 사용되는 경우 Notebook 대화형 작업이 느려지거나 대기될 수 있습니다. 코어를 사용할 수 있게 되면 큐에 대기 중인 작업이 자동으로 다시 시도됩니다.
관련 콘텐츠
- Microsoft Fabric에서 Spark 작업 영역 관리 설정을 시작합니다.
- 데이터 엔지니어링 및 데이터 과학인 Spark compute for Fabric에 대해 알아보세요.
- Fabric Spark의 동시성 및 큐 제한에 대해 자세히 알아봅니다.