Monitorowanie aplikacji platformy Apache Spark przy użyciu Synapse Studio

Korzystając z usługi Azure Synapse Analytics, możesz użyć platformy Apache Spark do uruchamiania notesów, zadań i innych rodzajów aplikacji w pulach platformy Apache Spark w obszarze roboczym.

W tym artykule wyjaśniono, jak monitorować aplikacje platformy Apache Spark i śledzić najnowsze informacje dotyczące stanu, problemów i postępu.

Wyświetlanie aplikacji platformy Apache Spark

Wszystkie aplikacje platformy Apache Spark można wyświetlić z obszaru Monitorowanie aplikacji platformy>Apache Spark.

Wyświetlanie ukończonych aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o ukończonych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównywania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Kliknij pozycję Serwer historii platformy Spark , aby otworzyć stronę Serwer historii.

5. Sprawdź informacje o podsumowaniu .

6. Sprawdź diagnostykę na karcie Diagnostyka .

7. Sprawdź dzienniki. Pełny dziennik dzienników usługi Livy, prelaunch i sterowników można wyświetlić, wybierając różne opcje z listy rozwijanej. Możesz również bezpośrednio pobrać wymagane informacje dziennika, wyszukując słowa kluczowe. Kliknij pozycję Pobierz dziennik , aby pobrać informacje dziennika do lokalizacji lokalnej, a następnie zaznacz pole wyboru Filtruj błędy i ostrzeżenia , aby filtrować potrzebne błędy i ostrzeżenia.

8. Omówienie zadania można zobaczyć na wygenerowanym wykresie zadań. Domyślnie wykres przedstawia wszystkie zadania. Ten widok można filtrować według identyfikatora zadania.

9. Domyślnie jest zaznaczony ekran Postęp . Przepływ danych można sprawdzić, wybierając pozycję Postęp/odczytaj/ zapisany /czas trwania na liście rozwijanej Widok.

10. Aby odtworzyć zadanie, kliknij przycisk Odtwarzanie . Możesz kliknąć przycisk Zatrzymaj w dowolnym momencie, aby zatrzymać.

11. Użyj paska przewijania, aby powiększyć i powiększyć wykres zadania. Możesz również wybrać pozycję Powiększ, aby dopasować go do ekranu.

12. Węzeł grafu zadania wyświetla następujące informacje dotyczące każdego etapu:

    • Identyfikator zadania

    • Numer zadania

    • Czas trwania

    • Liczba wierszy

    • Odczyt danych: suma rozmiaru danych wejściowych i rozmiaru odczytu mieszania

    • Zapisane dane: suma rozmiaru danych wyjściowych i rozmiaru operacji zapisu mieszania

    • Numer etapu

      

13. Umieść kursor myszy nad zadaniem, a szczegóły zadania zostaną wyświetlone w etykietce narzędzia:

    • Ikona stanu zadania: jeśli stan zadania zakończy się pomyślnie, będzie on wyświetlany jako zielony "√"; Jeśli zadanie wykryje problem, zostanie wyświetlony żółty "!"

    • Identyfikator zadania

    • Część ogólna:

      • Postęp
      • Czas trwania
      • Łączna liczba zadań

    • Część danych:

      • Łączna liczba wierszy
      • Rozmiar odczytu
      • Rozmiar zapisany

    • Część niesymetryczna:

      • Niesymetryczność danych
      • Niesymetryczność czasu

    • Numer etapu

      

14. Kliknij pozycję Numer etapu , aby rozwinąć wszystkie etapy zawarte w zadaniu. Kliknij przycisk Zwiń obok identyfikatora zadania, aby zwinąć wszystkie etapy zadania.

15. Kliknij pozycję Wyświetl szczegóły na wykresie etapu, a następnie zostaną wyświetlone szczegóły etapu.

    

Monitorowanie postępu aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o uruchomionych aplikacjach platformy Apache Spark, wybierz przesłaną aplikację platformy Apache Spark. Jeśli aplikacja platformy Apache Spark jest nadal uruchomiona, możesz monitorować postęp.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Anuluj aplikację platformy Apache Spark.

3. Odśwież zadanie.

4. Kliknij przycisk Interfejs użytkownika platformy Spark , aby przejść do strony Zadania platformy Spark.

5. W przypadku wykresu zadaniapodsumowanie, diagnostyka, dzienniki. Omówienie zadania można zobaczyć na wygenerowanym wykresie zadań. Zapoznaj się z krokami 5–15 ukończonych aplikacji platformy Apache Spark.

Wyświetlanie anulowanych aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o anulowanych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównywania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Otwórz link serwer historii apache, klikając pozycję Serwer historii platformy Spark.

5. Wyświetl wykres. Omówienie zadania można zobaczyć na wygenerowanym wykresie zadań. Zapoznaj się z krokami 5–15 ukończonych aplikacji platformy Apache Spark.

Debugowanie aplikacji platformy Apache Spark nie powiodło się

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o nieudanych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównywania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Otwórz link serwer historii apache, klikając pozycję Serwer historii platformy Spark.

5. Wyświetl wykres. Omówienie zadania można zobaczyć na wygenerowanym wykresie zadań. Zapoznaj się z krokami 5–15 ukończonych aplikacji platformy Apache Spark.

Wyświetlanie danych wejściowych/danych wyjściowych

Wybierz aplikację platformy Apache Spark i kliknij kartę Dane wejściowe/Dane wyjściowe , aby wyświetlić daty danych wejściowych i wyjściowych aplikacji Apache Spark. Ta funkcja może ułatwić debugowanie zadania platformy Spark. Źródło danych obsługuje trzy metody magazynowania: gen1, gen2 i blob.

Karta Dane wejściowe

1. Kliknij przycisk Kopiuj dane wejściowe , aby wkleić plik wejściowy do lokalnego.

2. Kliknij przycisk Eksportuj do pliku CSV, aby wyeksportować plik wejściowy w formacie CSV.

3. Pliki można wyszukiwać według słów kluczowych wejściowych w polu wyszukiwania (słowa kluczowe obejmują nazwę pliku, format odczytu i ścieżkę).

4. Pliki wejściowe można sortować, klikając pozycję Nazwa, Format odczytu i ścieżka.

5. Użyj myszy, aby umieścić wskaźnik myszy na pliku wejściowym. Zostanie wyświetlona ikona przycisku Pobierz/Kopiuj ścieżkę/Więcej .

6. Kliknij przycisk Więcej . Ścieżka kopiowania/Pokaż w eksploratorze/właściwości zostanie wyświetlona w menu kontekstowym.

   

   • Ścieżka kopiowania: może kopiować pełną ścieżkę i ścieżkę względną.

   • Pokaż w eksploratorze: może przejść do połączonego konta magazynu (połączone dane>).

   • Właściwości: pokaż podstawowe właściwości pliku (Nazwa pliku/Ścieżka pliku/Format odczytu/Rozmiar/Zmodyfikowano).

     

Karta Dane wyjściowe

Wyświetla te same funkcje co karta wprowadzania.

Porównanie aplikacji platformy Apache Spark

Istnieją dwa sposoby porównywania aplikacji. Możesz porównać, wybierając pozycję Porównaj aplikację lub klikając przycisk Porównaj w notesie , aby wyświetlić go w notesie.

Porównanie według aplikacji

Kliknij przycisk Porównaj aplikacje i wybierz aplikację, aby porównać wydajność. Można zobaczyć różnicę między dwiema aplikacjami.

1. Użyj myszy, aby zatrzymać wskaźnik myszy nad aplikacją, a następnie zostanie wyświetlona ikona Porównaj aplikacje .

2. Kliknij ikonę Porównaj aplikacje , a zostanie wyświetlona strona Porównanie aplikacji.

3. Kliknij przycisk Wybierz aplikację , aby otworzyć stronę Wybierz aplikację porównania .

4. Podczas wybierania aplikacji porównania musisz wprowadzić adres URL aplikacji lub wybrać z listy cyklicznej. Następnie kliknij przycisk OK .

   

5. Wynik porównania zostanie wyświetlony na stronie porównywania aplikacji.

   

Porównanie w notesie

Kliknij przycisk Porównaj w notesie na stronie Porównaj aplikacje , aby otworzyć notes. Domyślna nazwa pliku ipynb to Recurrent Application Analytics.

W notesie: cykliczny plik usługi Application Analytics można uruchomić go bezpośrednio po ustawieniu puli platformy Spark i języka.

Następne kroki

Aby uzyskać więcej informacji na temat monitorowania przebiegów potoków, zobacz artykuł Monitorowanie przebiegów potoków przy użyciu Synapse Studio.