Diagnozowanie problemów z kosztami i wydajnością przy użyciu interfejsu użytkownika platformy Spark

W tym przewodniku przedstawiono sposób używania interfejsu użytkownika platformy Spark do diagnozowania problemów z kosztami i wydajnością. Jest to przewodnik krok po kroku i jest praktycznym przewodnikiem. Zamiast po prostu dostarczać wyjaśnienie, co robi każda strona w interfejsie użytkownika platformy Spark, informuje o tym, co należy szukać i co to znaczy. Jeśli nie znasz pojęć dotyczących sterowników, procesów roboczych, funkcji wykonawczych, etapów i zadań, warto przejrzeć architekturę platformy Spark.

Jeśli szukasz kompleksowego list narzędzi do optymalizacji, skorzystaj z przewodnika dotyczącego optymalizacji w usłudze Databricks. Sekcje przewodnika optymalizacji znajdują się w tym przewodniku po interfejsie użytkownika platformy Spark.

Korzystanie z tego przewodnika

Aby przejść przez przewodnik, użyj linków osadzonych na każdej stronie, aby przejść do następnego kroku. Przewodnik zawiera następujące kroki w następującej kolejności:

1. Użyj linii czasu zadań, aby zidentyfikować główne problemy
2. Spójrz na najdłuższy etap
3. Poszukaj niesymetryczności lub rozlania
4. ustal, czy najdłuższy etap jest ograniczony przez we/wy
5. Poszukaj innych przyczyn powolnego działania etapu

Zacznijmy get!

Jak otworzyć interfejs użytkownika platformy Spark

1. Przejdź do strony klastra:

   Compute

2. Kliknij Spark UI:

   

Następny krok

Po otwarciu interfejsu użytkownika Spark sprawdź oś czasu zdarzeń, aby dowiedzieć się więcej o przetwarzaniu lub zapytaniu. Zobacz harmonogram zadań .