Konfigurowanie i edytowanie zadań usługi Databricks
Ten artykuł koncentruje się na instrukcjach dotyczących tworzenia, konfigurowania i edytowania zadań przy użyciu interfejsu użytkownika obszaru roboczego Przepływy pracy.
Usługa Azure Databricks zarządza zadaniami jako składnikami zadań usługi Databricks. Zadanie ma co najmniej jedno zadanie. Nowe zadanie należy utworzyć w interfejsie użytkownika obszaru roboczego, konfigurując pierwsze zadanie. Aby skonfigurować nowe zadanie, zobacz Konfigurowanie i edytowanie zadań usługi Databricks.
Każde zadanie ma skojarzony zasób obliczeniowy, który uruchamia logikę zadań. Jeśli używasz bezserwerowych, usługa Azure Databricks konfiguruje zasoby obliczeniowe. Jeśli nie używasz serwera bezserwerowego, zobacz Konfigurowanie obliczeń dla zadań.
Usługa Azure Databricks ma inne punkty wejścia i narzędzia do konfiguracji zadań, w tym następujące:
- Dokumentacja interfejsu API REST zadań
- Co to jest Databricks CLI?
- Tworzenie zaplanowanych zadań notesu i zarządzanie nimi
Tworzenie lub konfigurowanie zadania
Aby edytować istniejące zadanie lub dodać nowe zadanie za pomocą interfejsu użytkownika obszaru roboczego, wybierz istniejące zadanie, wykonując następujące kroki:
- Kliknij pozycję Przepływy pracy na pasku bocznym.
- W kolumnie Nazwa kliknij nazwę zadania.
- Kliknij kartę Zadania . Zostanie wyświetlony wykres zadań.
- Aby edytować zadanie, kliknij nazwę zadania. Konfiguracja zadania jest wyświetlana poniżej grafu zadań.
- Aby dodać zadanie, kliknij pozycję .
Typy zadań
Opcje konfiguracji i instrukcje różnią się w zależności od zadania. Dostępne są następujące typy zadań:
- Notes
- Skrypt języka Python
- Koło języka Python
- SQL
- Potok DLT
- dbt
- SŁOIK
- Przesyłanie platformy Spark
- Uruchamianie zadania
- Jeśli/inne
- Dla każdego
Klonowanie zadania
Sklonuj zadania, aby skopiować wszystkie konfiguracje istniejącego zadania, w tym zależności nadrzędne.
Aby sklonować zadanie, wykonaj następujące czynności:
- Wybierz zadanie na wykresie zadań.
- Kliknij pozycję .
- Określ nazwę sklonowanego zadania i kliknij przycisk Klonuj.
Usuwanie zadania
Aby usunąć zadanie, wykonaj następujące czynności:
- Wybierz zadanie na wykresie zadań.
- Kliknij i wybierz pozycję Usuń zadanie.
Kopiowanie ścieżki zadania
Niektóre typy zadań, na przykład zadania notesu, umożliwiają skopiowanie ścieżki do kodu źródłowego zadania:
- Kliknij kartę Zadania .
- Wybierz zadanie zawierające ścieżkę do skopiowania.
- Kliknij obok ścieżki zadania, aby skopiować ścieżkę do schowka.
Zaawansowane ustawienia zadań
Następujące zaawansowane ustawienia kontrolują ponawianie prób dla nieudanych zadań i zasad przekroczenia limitu czasu dla nieodpowiadanych zadań.
Uwaga
Powiadomienia można ustawić na poziomie zadania lub zadania. Zobacz Dodawanie wiadomości e-mail i powiadomień systemowych dotyczących zdarzeń zadań.
Ustawianie zasad ponawiania prób
Ustawienie domyślne dla ponownych prób zadania zależy od konfiguracji zadania. W przypadku większości konfiguracji ustawienie domyślne nie ponawia próby wykonania żadnych zadań w przypadku niepowodzenia zadania.
Zadania bezserwerowe są domyślnie automatycznie optymalizowanie ponownych prób. Zobacz Konfigurowanie automatycznej optymalizacji zasobów obliczeniowych bezserwerowych, aby nie zezwalać na ponawianie prób
Zadania ciągłe używają zasad ponawiania wykładniczego wycofywania. Zobacz Jak są obsługiwane błędy dla zadań ciągłych?.
Aby skonfigurować zasady określające, kiedy i ile razy nie powiodło się ponowne uruchomienie zadania, kliknij pozycję + Dodaj obok pozycji Ponawianie prób.
Interwał ponawiania prób jest obliczany w milisekundach między rozpoczęciem nieudanego uruchomienia a kolejnym uruchomieniem ponawiania.
Uwaga
Jeśli skonfigurujesz zarówno limit czasu, jak i ponawianie prób, limit czasu ma zastosowanie do każdego ponawiania próby.
Konfigurowanie progów czasu trwania wykonywania zadania lub metryk zaległości w przesyłaniu strumieniowym
Ważny
Możliwość obserwowania przesyłania strumieniowego zadań usługi Databricks znajduje się w publicznej wersji zapoznawczej.
Możesz skonfigurować opcjonalne progi dla czasu wykonania zadania lub metryk zaległości strumieniowania. Aby skonfigurować progi czasu trwania lub progi metryk przesyłania strumieniowego, kliknij progi metryk w panelu konfiguracji zadania.
Aby skonfigurować progi czasu trwania zadania, w tym oczekiwane i maksymalne czasy ukończenia zadania, wybierz Czas trwania wykonania w menu rozwijanym Metryka. Wprowadź czas trwania w polu Ostrzeżenie, aby skonfigurować oczekiwany czas ukończenia zadania. Jeśli uruchomienie zadania przekroczy ten próg, zostanie wyzwolone zdarzenie. Aby skonfigurować maksymalny czas ukończenia zadania, wprowadź maksymalny czas trwania w polu Limit czasu . Jeśli zadanie nie zostanie ukończone w tym czasie, usługa Azure Databricks ustawia jego stan na "Przekroczono limit czasu".
Aby skonfigurować próg dla metryki zaległości przesyłania strumieniowego, wybierz metrykę w menu rozwijanym Metryka i wprowadź wartość progu. Aby dowiedzieć się więcej o określonych metrykach obsługiwanych przez źródło przesyłania strumieniowego, zobacz Wyświetl metryki dla zadań przesyłania strumieniowego.
Wprowadź czas trwania w polu Ostrzeżenie , aby skonfigurować oczekiwany czas ukończenia zadania. Jeśli zadanie przekroczy ten próg, zostanie wyzwolone zdarzenie. To zdarzenie służy do powiadamiania, gdy zadanie działa wolno. Zobacz Konfigurowanie powiadomień o przekroczeniu progu.
Aby skonfigurować maksymalny czas ukończenia zadania, wprowadź maksymalny czas trwania w polu Limit czasu . Jeśli zadanie nie zostanie ukończone w tym czasie, usługa Azure Databricks ustawia jego stan na "Przekroczono limit czasu".
Jeśli zdarzenie jest wyzwalane z powodu przekroczenia progu, możesz użyć zdarzenia do wysłania powiadomienia. Zobacz Konfigurowanie powiadomień o przekroczeniu progu.