다음을 통해 공유


Apache Spark 모니터링 개요

Microsoft Fabric Spark 모니터링은 진행 중인 Spark 애플리케이션의 진행 상황 및 상태를 모니터링하고, 과거 Spark 활동을 탐색하고, 성능을 분석 및 최적화하고, 오류 문제 해결을 용이하게 하기 위한 풍부한 기능이 내장된 웹 UI 기반 환경을 제공하도록 설계되었습니다. Spark 애플리케이션 세부 정보를 검색, 모니터링 및 보기 위해 여러 진입점을 사용할 수 있습니다.

모니터 허브

모니터 허브는 항목 간에 Spark 활동을 검색하기 위한 중앙 집중식 포털 역할을 합니다. Notebook, Spark 작업 정의 및 파이프라인에서 트리거된 진행 중인 Spark 애플리케이션을 한눈에 볼 수 있습니다. 다른 기준에 따라 Spark 애플리케이션을 검색 및 필터링하고 드릴다운하여 Spark 애플리케이션의 더 많은 Spark 실행 세부 정보를 볼 수도 있습니다. 패브릭 포털의 탐색 창에서 모니터을 선택하여 모니터 허브를 엽니다.

최근 실행 항목

특정 항목에서 작업할 때 항목 최근 실행 기능을 사용하면 항목의 현재 및 최근 활동을 찾아보고 제출자, 상태, 기간 및 사용자 또는 다른 사용자가 제출한 활동에 대한 기타 정보에 대한 인사이트를 얻을 수 있습니다.

Notebook 상황별 모니터링

Notebook 컨텍스트 모니터링은 단일 위치 내에서 Spark 작업을 작성, 모니터링 및 디버깅하는 기능을 제공합니다. Spark 작업 진행률을 모니터링하고, Spark 실행 태스크 및 실행기를 보고, Notebook 셀 수준에서 Notebook 내의 Spark 로그에 액세스할 수 있습니다. Spark 관리자는 코드 및 셀 Spark 실행에 대한 실시간 조언을 제공하고 오류 분석을 수행하기 위해 Notebook에 기본 제공됩니다.

Spark 작업 정의 인라인 모니터링

Spark 작업 정의 인라인 모니터링 기능을 사용하면 Spark 작업 정의 제출 및 실행 상태를 실시간으로 볼 수 있으며 Spark 작업 정의의 과거 실행 및 구성을 볼 수 있습니다. Spark 애플리케이션 세부 정보 페이지로 이동하여 자세한 내용을 볼 수 있습니다.

파이프라인 Spark 작업 인라인 모니터링

파이프라인 Spark 작업 인라인 모니터링의 경우 파이프라인 내의 Notebook 및 Spark 작업 정의 작업에 딥 링크가 기본 제공되었습니다. Spark 애플리케이션 실행 세부 정보, 해당 Notebook 및 Spark 작업 정의 스냅샷을 보고 문제 해결을 위해 Spark 로그에 액세스할 수 있습니다. Spark 작업이 실패하면 파이프라인 Spark 작업 내에서도 인라인 오류 메시지를 사용할 수 있습니다.