실패한 작업 또는 실행기 제거됨
따라서 실패한 작업 또는 제거된 실행기가 표시됩니다.
실행기가 제거되는 일반적인 이유는 다음과 같습니다.
- 자동 크기 조정: 이 경우 오류가 아닌 예상되는 결과입니다. 자동 크기 조정 사용을 참조하세요.
- 스폿 인스턴스 손실: 클라우드 공급자가 VM을 회수하고 있습니다. 여기에서 스폿 인스턴스를 자세히 알아볼 수 있습니다.
- 실행기 메모리 부족
작업 실패
실패한 작업이 표시되면 해당 작업을 클릭하여 해당 페이지로 이동하세요. 그런 다음 아래로 스크롤하여 실패한 단계와 실패 이유를 확인합니다.
일반적인 오류가 발생할 수 있습니다. 설명의 링크를 클릭하여 자세한 정보를 얻을 수 있는지 확인합니다.
이 페이지에서 아래로 스크롤하면 각 작업이 실패한 이유를 확인할 수 있습니다. 이 경우 메모리 문제가 분명해지고 있습니다.
실패한 실행기
실행기가 실패하는 이유를 알아보려면 먼저 컴퓨팅의 이벤트 로그 를 확인하여 실행기가 실패한 이유에 대한 설명이 있는지 확인해야 합니다. 예를 들어 스폿 인스턴스를 사용하고 클라우드 공급자가 해당 인스턴스를 다시 사용할 수 있습니다.
실행기의 손실을 설명하는 이벤트가 있는지 확인합니다. 예를 들어 클러스터 크기가 조정 중이거나 스폿 인스턴스가 손실되고 있음을 나타내는 메시지가 표시될 수 있습니다.
- 스폿 인스턴스를 사용하는 경우 스폿 인스턴스 손실을 참조 하세요.
- 컴퓨팅의 크기가 자동 크기 조정으로 조정된 경우 오류가 아닌 것으로 예상됩니다. 클러스터 크기 조정에 대한 자세한 내용을 참조하세요.
이벤트 로그에 정보가 표시되지 않으면 Spark UI로 다시 이동한 다음 실행기 탭을 클릭합니다.
여기에서 실패한 실행기에서 로그를 가져올 수 있습니다.
다음 단계
지금까지 얻은 경우 가장 유사한 설명은 메모리 문제입니다. 다음 단계는 메모리 문제를 자세히 살펴보는 것입니다. Spark 메모리 문제를 참조하세요.