다음을 통해 공유

Microsoft Fabric용 Apache Spark의 작업 큐

  • 아티클

적용 대상:✅ Microsoft Fabric의 데이터 엔지니어링 및 데이터 과학

Fabric 용량에 대한 Spark 컴퓨팅 제한에 도달한 경우 Microsoft Fabric은 백그라운드 작업 큐를 지원합니다. 작업 큐 시스템은 큐 만료에 도달할 때까지 큐에 추가되는 작업에 대해 자동 재시도를 제공합니다. 사용자가 Azure에서 Microsoft Fabric 용량을 만들 때 분석 워크로드의 크기에 따라 용량 크기를 선택합니다. 용량을 구매한 후 관리자는 Microsoft Fabric의 용량 내에서 작업 영역을 만들 수 있습니다. 이러한 작업 영역 내에서 실행되는 Spark 작업은 지정된 용량에 할당된 최대 코어까지 사용할 수 있으며, 최대 제한에 도달하면 작업이 제한되거나 큐에 대기됩니다.

Microsoft Fabric의 Spark 동시성 제한에 대해 자세히 알아보기

작업 큐는 파이프라인 또는 스케줄러를 통해 트리거되는 Notebook 작업과 Spark 작업 정의에 대해 지원됩니다. Notebook 공개 API를 통해 트리거되는 대화형 Notebook 작업 및 Notebook 작업에는 큐가 지원되지 않습니다.

큐는 FIFO(선입선출) 방식으로 작동합니다. 여기서 작업은 제출 시간에 따라 큐에 추가되고 지속적으로 다시 시도되고 용량이 해제될 때 실행을 시작합니다.

참고 항목

Fabric 용량이 제한된 상태인 경우 Spark 작업 큐는 지원되지 않습니다. 제출된 모든 새 작업은 거부됩니다.

Microsoft Fabric의 작업 큐 프로세스에 대한 애니메이션 그림입니다.

작업이 큐에 추가되면 해당 상태가 모니터링 허브에서 시작되지 않음으로 업데이트됩니다 . Notebook 및 Spark 작업 정의가 큐에서 선택되고 실행을 시작하면 해당 상태가 시작되지 않음에서 진행 중으로 업데이트됩니다.

참고 항목

큐 만료는 큐에 입원한 시점부터 모든 작업에 대해 24시간입니다. 만료 시간에 도달하면 작업을 다시 제출해야 합니다.

큐 크기

Fabric Spark는 작업 영역에 연결된 용량 SKU 크기에 따라 큐 크기를 적용하여 사용자가 구매한 Fabric 용량 SKU에 따라 작업을 제출할 수 있는 제한 및 큐 메커니즘을 제공합니다.

다음 섹션에서는 용량 SKU를 기반으로 하는 Microsoft Fabric을 기반으로 하는 Spark 워크로드에 대한 다양한 큐 크기를 나열합니다.

Fabric SKU 용량 동등한 Power BI SKU 큐 제한
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
평가판 용량 P1 해당 없음

참고 항목

Fabric 평가판 용량에는 큐가 지원되지 않습니다. 사용자는 Spark 작업에 큐를 사용하려면 유료 Fabric F 또는 P SKU로 전환해야 합니다.

Fabric 용량에 대한 최대 큐 제한에 도달하면 제출된 새 작업이 오류 메시지 [TooManyRequestsForCapacity]로 제한됩니다. Spark 컴퓨팅 또는 API 속도 제한에 도달했기 때문에 이 Spark 작업을 실행할 수 없습니다. 이 Spark 작업을 실행하려면 모니터링 허브를 통해 활성 Spark 작업을 취소하거나, 더 큰 용량 SKU를 선택하거나, 나중에 다시 시도합니다. HTTP 상태 코드: 430 {자세한 정보} HTTP 상태 코드: 430.

관련 콘텐츠