Spark UI를 사용하여 비용 및 성능 문제 진단

이 가이드에서는 Spark UI를 사용하여 비용 및 성능 문제를 진단하는 방법을 안내합니다. 단계별 가이드이며 실용적인 방법입니다. Spark UI의 각 페이지에 대한 설명을 제공하는 대신 무엇을 찾아야 하는지, 무엇을 의미하는지 알려줍니다. 드라이버, 작업자, 실행기, 단계 및 작업의 개념에 익숙하지 않은 경우 Spark 아키텍처를 검토할 수 있습니다.

다양한 최적화 도구의 포괄적인 목록을 찾고 있는 경우 Databricks 최적화 가이드를 사용합니다. 최적화 가이드의 섹션은 이 Spark UI 가이드에서 참조됩니다.

이 가이드 사용

가이드를 탐색하려면 각 페이지에 포함된 링크를 사용하여 다음 단계로 이동합니다. 이 가이드에는 다음 단계가 순서대로 포함되어 있습니다.

1. 작업 타임라인을 사용하여 주요 문제 식별
2. 가장 긴 단계 살펴보기
3. 기울이기 또는 유출 찾기
4. 가장 긴 단계가 I/O 바인딩되어 있는지 확인
5. 느린 스테이지 런타임의 다른 원인 찾기

이제 시작하겠습니다.

Spark UI를 여는 방법

1. 클러스터의 페이지로 이동합니다.

   

2. Spark UI를 클릭합니다.

   

다음 단계

이제 Spark UI를 열었으므로 다음으로 이벤트 타임라인 검토하여 파이프라인 또는 쿼리에 대해 자세히 알아봅니다. 작업 타임라인 참조하세요.