Opracowywanie i debugowanie potoków DLT w notatnikach

Ważny

Środowisko notesu do opracowywania biblioteki DLT jest w publicznej wersji zapoznawczej.

W tym artykule opisano funkcje notesów usługi Azure Databricks, które ułatwiają opracowywanie i debugowanie kodu DLT.

Omówienie funkcji

Podczas pracy z notebookiem Python lub SQL skonfigurowanym jako kod źródłowy dla istniejącego potoku DLT, możesz połączyć notebook bezpośrednio z potokiem. Gdy notes jest połączony z potokiem, dostępne są następujące funkcje:

• Uruchom i zweryfikuj potok z notatnika.
• Wyświetl wykres przepływu danych potoku i dziennik zdarzeń dla najnowszej aktualizacji w notatniku.
• Wyświetl diagnostykę rurociągu w edytorze notatnika.
• Wyświetl stan klastra potoku w notesie.
• Uzyskaj dostęp do interfejsu użytkownika DLT z notesu.

Warunki wstępne

• Musisz mieć istniejący potok DLT z notatnikiem Python lub SQL skonfigurowanym w roli kodu źródłowego.
• Musisz być właścicielem potoku lub mieć uprawnienia CAN_MANAGE.

Ograniczenia

• Funkcje opisane w tym artykule są dostępne tylko w notesach usługi Azure Databricks. Pliki obszaru roboczego nie są obsługiwane.
• Terminal internetowy nie jest dostępny, gdy jest dołączony do potoku. W związku z tym nie jest widoczna jako zakładka w dolnym panelu.

Łączenie laptopa z potokiem DLT

W notesie kliknij menu rozwijane używane do wybierania obliczeń. W menu rozwijanym są wyświetlane wszystkie potoki DLT z tym notesem jako kodem źródłowym. Aby połączyć notebook z potokiem, wybierz go z listy.

Wyświetlanie stanu klastra potoku

Aby łatwo zrozumieć stan klastra potoku, jego status jest wyświetlany w menu rozwijanym obliczeń kolorem zielonym, co oznacza, że klaster działa.

Zweryfikuj kod potoku

Możesz zweryfikować potok, aby wykryć błędy składni w kodzie źródłowym bez przetwarzania żadnych danych.

Aby zweryfikować potok, wykonaj jedną z następujących czynności:

• W prawym górnym rogu notesu kliknij pozycję Weryfikuj.
• Naciśnij Shift+Enter w dowolnej komórce notesu.
• W menu rozwijanym komórki kliknij pozycję Zweryfikuj pipeline.

Notatka

Jeśli spróbujesz zweryfikować pipeline, gdy istniejąca aktualizacja jest już w toku, zostanie wyświetlone okno dialogowe z pytaniem, czy chcesz zakończyć tę aktualizację. Jeśli klikniesz Tak, istniejąca aktualizacja zostanie zatrzymana, a automatycznie rozpocznie się aktualizacja walidacyjna.

Rozpocznij aktualizację potoku

Aby rozpocząć aktualizację potoku, kliknij przycisk Uruchom w prawym górnym rogu notesu. Zobacz Uruchom aktualizację w potoku DLT.

Wyświetlanie stanu aktualizacji

W górnym panelu w notesie jest wyświetlana informacja o tym, czy aktualizacja potoku jest następująca:

• Rozpoczęcie
• Sprawdzanie poprawności
• Zatrzymanie

Wyświetlanie błędów i diagnostyki

Po rozpoczęciu aktualizacji lub walidacji potoku wszelkie błędy są wyświetlane w tekście z czerwonym podkreśleniem. Najedź kursorem na błąd, aby wyświetlić więcej informacji.

Wyświetlanie zdarzeń potoku

Po dołączeniu do potoku w dolnej części notesu znajduje się karta dziennika zdarzeń DLT.

Wyświetl wykres przepływu danych potoku

Aby wyświetlić wykres przepływu danych potoku, użyj karty grafu DLT w dolnej części notesu. Wybranie węzła na grafie powoduje wyświetlenie jego schematu w prawym panelu.

Jak uzyskać dostęp do interfejsu użytkownika DLT z notesu

Aby łatwo przejść do interfejsu użytkownika DLT, użyj menu w prawym górnym rogu notesu.

Uzyskiwanie dostępu do dzienników sterowników i interfejsu użytkownika platformy Spark z notesu

Dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark skojarzonego z opracowywanym potokiem można łatwo uzyskać w menu Widok notesu.

Uzyskaj dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark