Monitorowanie i obserwowanie zadań usługi Databricks

W tym artykule opisano funkcje dostępne w interfejsie użytkownika usługi Azure Databricks, aby wyświetlić zadania, do których masz dostęp, wyświetlić historię przebiegów zadania i wyświetlić szczegóły przebiegów zadań. Aby skonfigurować powiadomienia dotyczące zadań, zobacz Dodawanie powiadomień e-mail i powiadomień systemowych dotyczących zdarzeń zadań.

Aby dowiedzieć się więcej o używaniu interfejsu wiersza polecenia usługi Databricks do wyświetlania zadań i uruchamiania zadań, uruchom polecenia databricks jobs list -hinterfejsu wiersza polecenia , databricks jobs get -hi databricks jobs run-now -h. Aby dowiedzieć się więcej o korzystaniu z interfejsu API zadań, zobacz Interfejs API zadań.

Jeśli masz dostęp do schematu system.lakeflow , możesz również wyświetlać i wykonywać zapytania dotyczące rekordów przebiegów zadań i zadań z całego konta. Zobacz Dokumentację tabeli systemu zadań.

Wyświetlanie zadań

Aby wyświetlić listę zadań, do których masz dostęp, kliknij pozycję Przepływy pracy na pasku bocznym. Karta Zadania w interfejsie użytkownika przepływów pracy zawiera informacje o wszystkich dostępnych zadaniach, takich jak twórca zadania, wyzwalacz zadania, jeśli istnieje, oraz wynik ostatniego uruchomienia.

Aby zmienić kolumny wyświetlane na liście zadań, kliknij i wybierz lub usuń zaznaczenie kolumn.

Zadania można filtrować na liście Zadania:

• Używanie słów kluczowych. Jeśli włączono funkcję zwiększonego limitu zadań dla tego obszaru roboczego, wyszukiwanie według słów kluczowych jest obsługiwane tylko dla pól nazw, identyfikatorów zadań i tagów zadań.
• Wybieranie tylko własnych zadań.
• Wybranie wszystkich zadań, do których masz uprawnienia dostępu.
• Używanie tagów. Aby wyszukać tag utworzony tylko przy użyciu klucza, wpisz klucz w polu wyszukiwania. Aby wyszukać tag utworzony przy użyciu klucza i wartości, możesz wyszukiwać według klucza, wartości lub zarówno klucza, jak i wartości. Na przykład w przypadku tagu z kluczem department i wartością financemożna wyszukać department lub finance znaleźć pasujące zadania. Aby wyszukać według klucza i wartości, wprowadź klucz i wartość oddzieloną dwukropkiem; na przykład department:finance.

Możesz również kliknąć dowolny nagłówek kolumny, aby posortować listę zadań (malejąco lub rosnąco) według tej kolumny. Po włączeniu funkcji zwiększonego limitu zadań można sortować tylko według Name, Job IDlub Created by. Domyślne sortowanie jest według Name kolejności rosnącej.

Kliknij , aby uzyskać dostęp do akcji zadania, na przykład usunąć zadanie.

Wyświetlanie przebiegów dla zadania

Możesz wyświetlić listę aktualnie uruchomionych i ostatnio ukończonych przebiegów dla wszystkich zadań, do których masz dostęp, w tym przebiegów uruchomionych przez zewnętrzne narzędzia orkiestracji, takie jak Apache Airflow lub Azure Data Factory. Aby wyświetlić listę ostatnich uruchomień zadań:

1. Kliknij pozycję Przepływy pracy na pasku bocznym.
2. W kolumnie Nazwa kliknij nazwę zadania. Karta Uruchomienia zostanie wyświetlona z macierzą i widokami listy aktywnych i ukończonych przebiegów.

Widok macierzy przedstawia historię przebiegów zadania, w tym każdego zadania podrzędnego.

W wierszu Run total duration (Łączny czas trwania przebiegu) macierzy jest wyświetlany całkowity czas trwania przebiegu i stan przebiegu. Aby wyświetlić szczegóły przebiegu, w tym czas rozpoczęcia, czas trwania i stan, umieść kursor na pasku w wierszu Run total duration (Łączny czas trwania przebiegu).

Każda komórka w wierszu Zadania reprezentuje zadanie i odpowiadający mu stan zadania. Aby wyświetlić szczegóły każdego zadania, w tym czas rozpoczęcia, czas trwania, klaster i stan, umieść kursor na komórce dla tego zadania.

Paski uruchamiania zadania i uruchamiania zadań są oznaczone kolorem, aby wskazać stan przebiegu. Pomyślne przebiegi są zielone, nieudane przebiegi są czerwone, a pominięte przebiegi są różowe. Wysokość pojedynczego uruchomienia zadania i pasków uruchamiania zadań wizualnie wskazują czas trwania przebiegu.

Jeśli skonfigurowano oczekiwany czas ukończenia, widok macierzy wyświetla ostrzeżenie, gdy czas trwania przebiegu przekracza skonfigurowany czas.

Domyślnie w widoku listy przebiegów są wyświetlane:

• Godzina rozpoczęcia przebiegu.
• Identyfikator przebiegu.
• Czy przebieg został wyzwolony zgodnie z harmonogramem zadań, czy żądaniem interfejsu API, czy został uruchomiony ręcznie.
• Czas, który upłynął dla aktualnie uruchomionego zadania lub łączny czas wykonywania dla ukończonego przebiegu. Zostanie wyświetlone ostrzeżenie, jeśli czas trwania przekracza skonfigurowany oczekiwany czas ukończenia.
• Linki do dzienników platformy Spark.
• Stan przebiegu, Queuedalbo , PendingRunningSkippedSucceededFailedTerminatingTerminatedInternal ErrorTimed OutCanceledCancelinglub .Waiting for Retry
• Kliknij , aby uzyskać dostęp do akcji specyficznych dla kontekstu dla przebiegu, na przykład zatrzymać aktywne uruchomienie lub usunąć ukończone uruchomienie.

Aby zmienić kolumny wyświetlane w widoku listy przebiegów, kliknij i wybierz lub usuń zaznaczenie kolumn.

Aby wyświetlić szczegóły uruchomienia zadania, kliknij link do przebiegu w kolumnie Godzina rozpoczęcia w widoku listy przebiegów. Aby wyświetlić szczegóły ostatniego pomyślnego uruchomienia tego zadania, kliknij pozycję Przejdź do najnowszego pomyślnego uruchomienia.

Usługa Azure Databricks utrzymuje historię przebiegów zadania przez maksymalnie 60 dni. Jeśli chcesz zachować przebiegi zadań, usługa Databricks zaleca eksportowanie wyników przed ich wygaśnięciem. Aby uzyskać więcej informacji, zobacz Eksportowanie wyników przebiegu zadania.

Wyświetlanie szczegółów uruchomienia zadania

Strona szczegółów uruchomienia zadania zawiera dane wyjściowe zadania i linki do dzienników, w tym informacje o powodzeniu lub niepowodzeniu każdego zadania w uruchomieniu zadania. Szczegółowe informacje o uruchomieniu zadania można uzyskać na karcie Uruchomienia zadania. Aby wyświetlić szczegóły uruchomienia zadania na karcie Uruchomienia, kliknij link dla przebiegu w kolumnie Godzina rozpoczęcia w widoku listy przebiegów. Aby powrócić do karty Uruchomienia zadania, kliknij wartość Identyfikator zadania.

Jeśli zadanie zawiera wiele zadań, kliknij zadanie, aby wyświetlić szczegóły uruchomienia zadania, w tym:

• klaster, w ramach którego uruchomiono zadanie
  • interfejs użytkownika platformy Spark dla zadania
  • dzienniki zadania
  • metryki zadania

Kliknij wartość Identyfikator zadania, aby powrócić do karty Uruchomienia zadania.

Jak usługa Azure Databricks określa stan uruchomienia zadania?

Usługa Azure Databricks określa, czy przebieg zadania zakończył się pomyślnie na podstawie wyniku zadań liści zadania. Zadanie liścia to zadanie, które nie ma zależności podrzędnych. Uruchomienie zadania może mieć jeden z trzech wyników:

• Powodzenie: wszystkie zadania zakończyły się pomyślnie.
• Powodzenie z błędami: niektóre zadania zakończyły się niepowodzeniem, ale wszystkie zadania liścia zakończyły się pomyślnie.
• Niepowodzenie: co najmniej jedno zadanie liścia nie powiodło się.

Wyświetlanie metryk dla zadań przesyłania strumieniowego

Ważny

Obserwowalność przesyłania strumieniowego dla zadań w usłudze Databricks jest dostępna w publicznej wersji zapoznawczej.

Podczas wyświetlania szczegółów przebiegu zadania można uzyskać dane dotyczące obciążeń przesyłania strumieniowego z metrykami obserwowalności transmisji strumieniowej w interfejsie użytkownika zadań. Te miary obejmują sekundy opóźnienia, bajty opóźnienia, rekordy opóźnienia i pliki opóźnienia dla źródeł obsługiwanych przez Spark Structured Streaming, w tym Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub i tabele Delta. Metryki są wyświetlane jako wykresy w okienku po prawej stronie podczas wyświetlania szczegółów przebiegu zadania. Metryki wyświetlane na każdym wykresie są wartościami maksymalnymi zagregowanymi o minutę i mogą obejmować maksymalnie 48 poprzednich godzin.

Każde źródło przesyłania strumieniowego obsługuje tylko określone metryki. Metryki nieobsługiwane przez źródło przesyłania strumieniowego nie są dostępne do wyświetlenia w interfejsie użytkownika. W poniższej tabeli przedstawiono metryki dostępne dla obsługiwanych źródeł przesyłania strumieniowego:

źródło	bajty zaległości	elementy zaległe	sekundy zaległości	Pliki zaległe
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Moduł automatycznego ładowania	✓			✓
Google Pub/Sub	✓	✓

Można również określić progi dla każdej metryki przesyłania strumieniowego i skonfigurować powiadomienia, jeśli strumień przekroczy próg podczas przebiegu zadania. Zobacz Konfigurowanie powiadomień o przekroczeniu progu.

Aby wyświetlić metryki przesyłania strumieniowego dla przebiegu zadania, które przesyła strumieniowo dane z jednego z obsługiwanych źródeł przesyłania strumieniowego ze strukturą:

1. Na stronie Szczegóły wykonania zadania kliknij na zadanie, dla którego chcesz wyświetlić wskaźniki.
2. Kliknij kartę Metryki w okienku zadania .
3. Aby otworzyć wykres dla metryki, kliknij obok nazwy metryki.
4. Aby wyświetlić metryki dla określonego strumienia, wprowadź identyfikator strumienia w polu tekstowym Filtruj według stream_id. Identyfikator strumienia można znaleźć w danych wyjściowych dla uruchomienia zadania.
5. Aby zmienić okres dla wykresów metryk, użyj menu rozwijanego czasu.
6. Przewijaj strumienie, jeśli przebieg zawiera więcej niż dziesięć strumieni, kliknij Dalej lub Poprzedni.

Ograniczenia monitorowania streamingu

• Metryki są aktualizowane co minutę, chyba że przebieg ma więcej niż cztery strumienie. Jeśli przebieg ma więcej niż cztery strumienie, metryki są aktualizowane co pięć minut.
• Metryki są zbierane tylko dla pierwszych pięćdziesięciu strumieni w każdej serii.

Wyświetlanie historii uruchamiania zadań

Aby wyświetlić historię uruchamiania zadania, w tym pomyślne i nieudane uruchomienia:

1. Kliknij zadanie na stronie Szczegóły uruchomienia zadania. Zostanie wyświetlona strona Szczegóły uruchomienia zadania.
2. Wybierz zadanie uruchomione w menu rozwijanym Historia uruchamiania.

Wyświetlanie historii uruchamiania For each zadań dla zadania

Uzyskiwanie dostępu do historii uruchamiania For each zadania jest takie samo jak standardowe zadanie zadań usługi Azure Databricks. Możesz kliknąć For each węzeł zadania na stronie Szczegóły uruchomienia zadania lub odpowiednią komórkę w widoku macierzy. Jednak w przeciwieństwie do zadania standardowego szczegóły przebiegu zadania For each są prezentowane jako tabela iteracji zagnieżdżonych zadań.

Aby wyświetlić tylko iteracji, które zakończyły się niepowodzeniem, kliknij pozycję Tylko nieudane iteracji.

Aby wyświetlić dane wyjściowe iteracji, kliknij wartości Godzina rozpoczęcia lub Godzina zakończenia iteracji.

Wyświetlanie ostatnich przebiegów zadań

Możesz wyświetlić listę aktualnie uruchomionych i ostatnio ukończonych przebiegów dla wszystkich zadań w obszarze roboczym, do którego masz dostęp, w tym przebiegów uruchomionych przez zewnętrzne narzędzia orkiestracji, takie jak Apache Airflow lub Azure Data Factory. Aby wyświetlić listę ostatnich uruchomień zadań:

1. Kliknij pozycję Przepływy pracy na pasku bocznym.
2. Kliknij kartę Uruchomienia zadań, aby wyświetlić listę Przebiegi zadań.

Wykres Liczba zakończonych przebiegów przedstawia liczbę przebiegów zadań zakończonych w ciągu ostatnich 48 godzin. Domyślnie na wykresie są wyświetlane przebiegi zakończone niepowodzeniem, pominięte i pomyślne. Możesz również filtrować wykres, aby wyświetlić określone stany przebiegu lub ograniczyć wykres do określonego zakresu czasu. Karta Uruchomienia zadania zawiera również tabelę zadań uruchamianych z ostatnich 67 dni. Domyślnie tabela zawiera szczegółowe informacje dotyczące zakończonych niepowodzeniem, pominiętych i pomyślnych przebiegów zadań.

Uwaga

Wykres Liczba zakończonych przebiegów jest wyświetlany tylko po kliknięciu pozycji Należące do mnie.

Liczbę zakończonych przebiegów można filtrować według stanu uruchomienia:

• Aby zaktualizować wykres w celu wyświetlenia aktualnie uruchomionych zadań lub oczekiwania na uruchomienie, kliknij pozycję Aktywne uruchomienia.
• Aby zaktualizować wykres w celu wyświetlenia tylko ukończonych przebiegów, w tym zakończonych niepowodzeniem, pomyślnych i pominiętych przebiegów, kliknij przycisk Ukończono przebiegi.
• Aby zaktualizować wykres w celu wyświetlenia tylko przebiegów zakończonych pomyślnie w ciągu ostatnich 48 godzin, kliknij pozycję Pomyślne przebiegi.
• Aby zaktualizować wykres tak, aby pokazywał tylko pominięte przebiegi, kliknij pozycję Pominięte uruchomienia. Przebiegi są pomijane, ponieważ przekroczono maksymalną liczbę współbieżnych uruchomień w obszarze roboczym lub przekroczono maksymalną liczbę współbieżnych przebiegów określonych przez konfigurację zadania.
• Aby zaktualizować wykres w celu wyświetlenia tylko przebiegów zakończonych w stanie błędu, kliknij pozycję Przebiegi zakończone niepowodzeniem.

Po kliknięciu dowolnego przycisku filtru lista przebiegów w tabeli uruchomień zostanie również zaktualizowana w celu wyświetlenia tylko przebiegów zadań, które są zgodne z wybranym stanem.

Aby ograniczyć zakres czasu wyświetlany na wykresie Liczba zakończonych przebiegów , kliknij i przeciągnij kursor na wykres, aby wybrać zakres czasu. Wykres i aktualizacja tabeli przebiegów w celu wyświetlenia przebiegów tylko z wybranego zakresu czasu.

Domyślnie lista przebiegów w tabeli uruchomień jest wyświetlana:

• Godzina rozpoczęcia przebiegu.
• Nazwa zadania skojarzonego z uruchomieniem.
• Nazwa użytkownika, w ramach którego zadanie jest uruchamiane.
• Czy przebieg został wyzwolony zgodnie z harmonogramem zadań, czy żądaniem interfejsu API, czy został uruchomiony ręcznie.
• Czas, który upłynął dla aktualnie uruchomionego zadania lub łączny czas wykonywania dla ukończonego przebiegu. Zostanie wyświetlone ostrzeżenie, jeśli czas trwania przekracza skonfigurowany oczekiwany czas ukończenia.
• Stan przebiegu, Queuedalbo , PendingRunningSkippedSucceededFailedTerminatingTerminatedInternal ErrorTimed OutCanceledCancelinglub .Waiting for Retry
• Wszystkie parametry przebiegu.
• Kliknij , aby uzyskać dostęp do akcji specyficznych dla kontekstu dla przebiegu, na przykład zatrzymać aktywne uruchomienie lub usunąć ukończone uruchomienie.

Aby zmienić kolumny wyświetlane na liście przebiegów, kliknij i usuń zaznaczenie kolumn.

Tabela Pierwszych 5 typów błędów zawiera listę najczęstszych typów błędów z wybranego zakresu czasu, co pozwala szybko zobaczyć najczęstsze przyczyny problemów z zadaniami w obszarze roboczym.

Aby wyświetlić szczegóły uruchomienia zadania, kliknij link w kolumnie Godzina rozpoczęcia przebiegu. Aby wyświetlić szczegóły zadania, kliknij nazwę zadania w kolumnie Zadanie .

Wyświetlanie informacji o pochodzenia zadania

Jeśli wykaz aparatu Unity jest włączony w obszarze roboczym, możesz wyświetlić informacje o pochodzenia dla dowolnych tabel wykazu aparatu Unity w przepływie pracy. Jeśli informacje o pochodzenia są dostępne dla przepływu pracy, zobaczysz link z liczbą tabel nadrzędnych i podrzędnych w panelu Szczegóły zadania dla zadania, panel Szczegóły przebiegu zadania dla przebiegu zadania lub panel Szczegóły przebiegu zadania dla przebiegu zadania. Kliknij link, aby wyświetlić listę tabel. Kliknij tabelę, aby wyświetlić szczegółowe informacje w Eksploratorze wykazu.

Wyświetlanie i uruchamianie zadania utworzonego za pomocą pakietu zasobów usługi Databricks

Interfejs użytkownika zadań usługi Azure Databricks umożliwia wyświetlanie i uruchamianie zadań wdrożonych przez pakiet zasobów usługi Databricks. Domyślnie te zadania są tylko do odczytu w interfejsie użytkownika zadań. Aby edytować zadanie wdrożone przez pakiet, zmień plik konfiguracji pakietu i ponownie wdróż zadanie. Zastosowanie zmian tylko do konfiguracji pakietu gwarantuje, że pliki źródłowe pakietu zawsze przechwytują bieżącą konfigurację zadania.

Jeśli jednak musisz wprowadzić natychmiastowe zmiany w zadaniu, możesz odłączyć zadanie od konfiguracji pakietu, aby włączyć edytowanie ustawień zadania w interfejsie użytkownika. Aby odłączyć zadanie, kliknij pozycję Odłącz od źródła. W oknie dialogowym Odłącz od źródła kliknij przycisk Rozłącz, aby potwierdzić.

Wszelkie zmiany wprowadzone w zadaniu w interfejsie użytkownika nie są stosowane do konfiguracji pakietu. Aby zastosować zmiany wprowadzone w interfejsie użytkownika do pakietu, należy ręcznie zaktualizować konfigurację pakietu. Aby ponownie połączyć zadanie z konfiguracją pakietu, ponownie wdróż zadanie przy użyciu pakietu.

Eksportowanie wyników uruchomienia zadania

Możesz wyeksportować wyniki uruchamiania notesu i dzienniki uruchamiania zadań dla wszystkich typów zadań.

Eksportowanie wyników uruchamiania notesu

Uruchomienia zadań można utrwały, eksportując ich wyniki. W przypadku przebiegów zadań notesu można wyeksportować renderowany notes, który można później zaimportować do obszaru roboczego usługi Azure Databricks.

Aby wyeksportować wyniki uruchomienia notesu dla zadania z jednym zadaniem:

1. Na stronie szczegółów zadania kliknij link Wyświetl szczegóły przebiegu w kolumnie Uruchom w tabeli Ukończone przebiegi (w ciągu ostatnich 60 dni).
2. Kliknij pozycję Eksportuj do kodu HTML.

Aby wyeksportować wyniki uruchomienia notesu dla zadania z wieloma zadaniami:

1. Na stronie szczegółów zadania kliknij link Wyświetl szczegóły przebiegu w kolumnie Uruchom w tabeli Ukończone przebiegi (w ciągu ostatnich 60 dni).
2. Kliknij zadanie notesu, aby wyeksportować.
3. Kliknij pozycję Eksportuj do kodu HTML.

Eksportowanie dzienników uruchamiania zadania

Możesz również wyeksportować dzienniki dla przebiegu zadania. Zadanie można skonfigurować tak, aby automatycznie dostarczać dzienniki do systemu plików DBFS za pośrednictwem interfejsu API zadań. new_cluster.cluster_log_conf Zobacz obiekt w treści żądania przekazany do operacji Tworzenie nowego zadania (POST /jobs/create) w interfejsie API zadań.