Apache Spark 용량 사용 모니터링
이 문서의 목적은 관리하는 용량에서 활동을 모니터링하려는 관리자를 위한 지침을 제공하는 것입니다. 관리자는 Microsoft Fabric 용량 메트릭 앱에서 사용할 수 있는 Apache Spark 용량 사용 보고서를 활용하여 Lakehouse, Notebook 및 Apache Spark 작업 정의를 비롯한 항목에 대해 청구 가능한 Spark 용량 소비에 대한 인사이트를 얻을 수 있습니다. 일부 Spark 용량 사용 활동은 앱에서 보고되지 않습니다.
Spark 용량 소비량 보고
Lakehouses, Notebook 및 Spark 작업 정의의 다음 작업은 청구 가능한 작업으로 처리됩니다.
| 작업 이름 | Item | 설명 |
|---|---|---|
| Lakehouse 운영 | Lakehouse | 사용자는 Lakehouse 탐색기에서 테이블을 미리 봅니다. |
| Lakehouse 테이블 로드 | Lakehouse | 사용자는 Lakehouse 탐색기에서 Delta 테이블을 로드합니다. |
| Notebook 실행 | Notebook | Notebook은 사용자가 수동으로 실행합니다. |
| Notebook HC 실행 | Notebook | Notebook은 높은 동시성 Apache Spark 세션에서 실행됩니다. |
| Notebook 예약 실행 | Notebook | Notebook 예약 이벤트에 의해 트리거되는 Notebook 실행 |
| Notebook 파이프라인 실행 | Notebook | Notebook은 파이프라인에 의해 트리거됩니다. |
| Notebook VS Code 실행 | Notebook | Notebook은 VS Code에서 실행됩니다. |
| Spark 작업 실행 | Spark 작업 정의 | Spark 일괄 처리 작업은 사용자 제출에 의해 시작됩니다. |
| Spark 작업 예약 실행 | Spark 작업 정의 | Notebook 예약 이벤트에 의해 트리거되는 Batch 작업 실행 |
| Spark 작업 파이프라인 실행 | Spark 작업 정의 | 일괄 처리 작업은 파이프라인에 의해 트리거됩니다. |
| Spark 작업 VS Code 실행 | Spark 작업 정의 | VS Code에서 제출된 Spark 작업 정의입니다. |
보고되지 않은 Spark 용량 사용량
메트릭 앱에 보고되지 않는 일부 Spark 용량 사용 활동이 있습니다. 이러한 작업에는 라이브러리 관리를 위한 시스템 Spark 작업과 Spark Live 풀 또는 라이브 세션에 대한 특정 시스템 Spark 작업이 포함됩니다.
라이브러리 관리 - 작업 영역 수준의 라이브러리 관리와 관련된 용량 사용량은 메트릭 앱에 보고되지 않습니다.
시스템 Spark 작업 - Notebook, Spark 작업 정의 또는 Lakehouse와 연결되지 않은 Spark 용량 사용량은 용량 보고에 포함되지 않습니다.
용량 소비 보고서
모든 Spark 관련 작업은 백그라운드 작업으로 분류됩니다. Spark의 용량 사용량은 Notebook, Spark 작업 정의 또는 Lakehouse 아래에 표시되며 작업 이름 및 항목별로 집계됩니다.
백그라운드 작업 보고서
특정 시간대에 대한 백그라운드 작업이 표시됩니다. 보고서 테이블에서 각 행은 사용자 작업을 참조합니다. 사용자 열을 검토하여 특정 작업을 수행한 사용자를 식별합니다. 특정 작업에 대한 자세한 정보가 필요한 경우 해당 작업 ID를 사용하여 Microsoft Fabric 모니터링 허브에서 조회할 수 있습니다.
