Udostępnij za pośrednictwem


Wizualne monitorowanie fabryk danych platformy Azure

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Po utworzeniu i opublikowaniu potoku w usłudze Azure Data Factory możesz skojarzyć go z wyzwalaczem lub ręcznie uruchomić uruchamianie ad hoc. Wszystkie uruchomienia potoku można monitorować natywnie w środowisku użytkownika usługi Azure Data Factory. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku użytkownika usługi ADF, kliknij ikonę Monitor na lewym pasku bocznym.

Domyślnie wszystkie przebiegi fabryki danych są wyświetlane w lokalnej strefie czasowej przeglądarki. Jeśli zmienisz strefę czasową, wszystkie pola daty/godziny zostaną dopasowane do wybranej strefy czasowej.

Monitorowanie uruchomień potoku

Domyślny widok monitorowania to lista wyzwolonych przebiegów potoków w wybranym okresie. Możesz zmienić zakres czasu i filtrować przebiegi według stanu, nazwy potoku lub adnotacji. Zatrzymaj wskaźnik myszy na określonym przebiegu potoku, aby uzyskać akcje specyficzne dla przebiegu, takie jak ponowne uruchamianie i raport użycia.

Zrzut ekranu przedstawiający widok listy na potrzeby monitorowania przebiegów potoków.

Siatka uruchamiania potoku zawiera następujące kolumny:

Nazwa kolumny Opis
Nazwa potoku Nazwa potoku
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Zakończenie przebiegu Data i godzina zakończenia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Czas trwania Czas trwania przebiegu (HH:MM:SS)
Wyzwolone przez Nazwa wyzwalacza, który uruchomił potok
Stan Niepowodzenie, powodzenie, w toku, anulowane lub w kolejce
Adnotacje Tagi z możliwością filtrowania skojarzone z potokiem
Parametry Parametry przebiegu potoku (pary nazwa/wartość)
Błąd Jeśli potok nie powiedzie się, błąd uruchomienia
Uruchom Oryginalny, uruchom ponownie lub uruchom ponownie (najnowsza wersja)
Identyfikator przebiegu Identyfikator przebiegu potoku

Aby odświeżyć listę przebiegów potoku i działań, musisz ręcznie wybrać przycisk Odśwież . Autorefresh nie jest obecnie obsługiwany.

 Zrzut ekranu przedstawiający przycisk odświeżenia.

Aby wyświetlić wyniki przebiegu debugowania, wybierz kartę Debugowanie .

Zrzut ekranu przedstawiający ikonę aktywnego uruchamiania debugowania widoku.

Monitorowanie uruchomień działania

Aby uzyskać szczegółowy widok poszczególnych uruchomień działań określonego przebiegu potoku, kliknij nazwę potoku.

Zrzut ekranu przedstawiający uruchomienia działań wyświetlania.

Widok listy zawiera uruchomienia działań, które odpowiadają każdemu uruchomieniu potoku. Zatrzymaj wskaźnik myszy na określonym uruchomieniu działania, aby uzyskać informacje specyficzne dla przebiegu, takie jak dane wejściowe JSON, dane wyjściowe JSON i szczegółowe środowiska monitorowania specyficzne dla działania.

Zrzut ekranu przedstawiający informacje o działaniu SalesAnalyticsMLPipeline, a następnie listę uruchomień działań.

Nazwa kolumny Opis
Nazwa działania Nazwa działania wewnątrz potoku
Typ działania Typ działania, takiego jak Copy, ExecuteDataFlow lub AzureMLExecutePipeline
Akcje Ikony, które umożliwiają wyświetlanie informacji wejściowych JSON, informacji wyjściowych JSON lub szczegółowych środowisk monitorowania specyficznych dla działania
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia uruchomienia działania (MM/DD/RRRR, HH:MM:SS AM/PM)
Czas trwania Czas trwania przebiegu (HH:MM:SS)
Stan Niepowodzenie, powodzenie, w toku lub anulowane
Środowisko Integration Runtime Na którym środowisku Integration Runtime uruchomiono działanie
Właściwości użytkownika Właściwości zdefiniowane przez użytkownika działania
Błąd Jeśli działanie nie powiodło się, błąd uruchomienia
Identyfikator przebiegu Identyfikator przebiegu działania

Jeśli działanie nie powiodło się, możesz wyświetlić szczegółowy komunikat o błędzie, klikając ikonę w kolumnie błędu.

Zrzut ekranu przedstawiający powiadomienie ze szczegółami błędu, w tym kodem błędu, typem błędu i szczegółami błędu.

Podwyższanie poziomu właściwości użytkownika do monitorowania

Podwyższ poziom dowolnej właściwości działania potoku, na przykład właściwości użytkownika, aby stała się monitorowanym obiektem. Na przykład możesz podwyższyć poziom właściwości Źródło i Miejsce docelowe działania kopiowania w potoku jako właściwości użytkownika.

Uwaga

Można podwyższyć poziom tylko do pięciu właściwości działania potoku jako właściwości użytkownika.

Zrzut ekranu przedstawiający tworzenie właściwości użytkownika.

Po utworzeniu właściwości użytkownika można je monitorować w widokach listy monitorowania.

Zrzut ekranu przedstawiający dodawanie kolumn dla właściwości użytkownika do listy przebiegów działań.

Jeśli źródłem działania kopiowania jest nazwa tabeli, możesz monitorować nazwę tabeli źródłowej jako kolumnę w widoku listy dla przebiegów działań.

Zrzut ekranu przedstawiający listę przebiegów działań z kolumnami dla właściwości użytkownika.

Ponowne uruchamianie potoków i działań

Ponowne uruchamianie działań kontenera jest następujące:

  • Wait- Działanie będzie zachowywać się tak jak wcześniej.
  • Set Variable - Działanie będzie zachowywać się tak jak wcześniej.
  • Filter - Działanie będzie zachowywać się tak jak wcześniej.
  • Until Działanie obliczy wyrażenie i będzie wykonywane w pętli do momentu spełnienia warunku. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • Foreach Działanie zawsze będzie wykonywane w pętli na otrzymanych elementach. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • If and switch - Warunki będą zawsze oceniane. Wszystkie działania wewnętrzne zostaną ocenione. Działania wewnętrzne mogą być nadal pomijane na podstawie reguł ponownego uruchamiania, ale działania, takie jak Execute Pipeline, zostaną uruchomione ponownie.
  • Execute pipeline activity — Potok podrzędny zostanie wyzwolony, ale wszystkie działania w potoku podrzędnym mogą być nadal pomijane na podstawie reguł ponownego uruchamiania.

Aby ponownie uruchomić potok, który został wcześniej uruchomiony od początku, umieść kursor na określonym przebiegu potoku i wybierz pozycję Uruchom ponownie. Jeśli wybierzesz wiele potoków, możesz użyć przycisku Uruchom ponownie , aby uruchomić je wszystkie.

Zrzut ekranu przedstawiający ponowne uruchamianie potoku.

Jeśli chcesz ponownie uruchomić polecenie, zaczynając od określonego punktu, możesz to zrobić w widoku uruchomień działań. Wybierz działanie, od którego chcesz rozpocząć, i wybierz pozycję Uruchom ponownie z działania.

Zrzut ekranu przedstawiający ponowne uruchamianie działania.

Możesz również ponownie uruchomić potok i zmienić parametry. Wybierz przycisk Nowe parametry, aby zmienić parametry.

Zrzut ekranu przedstawiający ponowne uruchamianie działania z nowymi parametrami.

Uwaga

Ponowne uruchomienie potoku z nowymi parametrami zostanie uznane za nowe uruchomienie potoku, więc nie będzie wyświetlane w obszarze ponownego uruchamiania grupowania dla uruchomienia potoku.

Ponowne uruchamianie działania zakończonego niepowodzeniem

Jeśli działanie zakończy się niepowodzeniem lub zostanie anulowane, możesz ponownie uruchomić potok z poziomu tego działania zakończonego niepowodzeniem, wybierając pozycję Uruchom ponownie z poziomu działania, które zakończyło się niepowodzeniem.

Zrzut ekranu przedstawiający działanie ponownego uruchamiania nie powiodło się.

Wyświetlanie historii ponownego uruchomiania

Możesz wyświetlić historię ponownego uruchamiania dla wszystkich przebiegów potoku w widoku listy.

Zrzut ekranu przedstawiający historię wyświetlania.

Można również wyświetlić historię ponownego uruchamiania dla określonego uruchomienia potoku.

Zrzut ekranu przedstawiający historię wyświetlania przebiegu potoku.

Monitorowanie użycia

Zasoby używane przez przebieg potoku można wyświetlić, klikając ikonę zużycia obok przebiegu.

Zrzut ekranu pokazujący, gdzie można zobaczyć zasoby używane przez potok.

Kliknięcie ikony powoduje otwarcie raportu użycia zasobów używanych przez uruchomienie tego potoku.

Zrzut ekranu przedstawiający użycie monitora.

Możesz podłączyć te wartości do kalkulatora cen platformy Azure, aby oszacować koszt uruchomienia potoku. Aby uzyskać więcej informacji na temat cennika usługi Azure Data Factory, zobacz Omówienie cen.

Uwaga

Te wartości zwracane przez kalkulator cen to oszacowanie. Nie odzwierciedla on dokładnej kwoty naliczanej przez usługę Azure Data Factory

Widoki wykresu Gantta

Wykres Gantta to widok, który umożliwia wyświetlanie historii przebiegów w zakresie czasu. Po przełączeniu się do widoku Gantta widać wszystkie przebiegi potoku pogrupowane według nazw wyświetlanych jako paski wskazujące, jak długo trwał dany przebieg. Możesz również grupować według adnotacji/tagów utworzonych w potoku. Widok Gantta jest również dostępny na poziomie uruchomienia działania.

Zrzut ekranu przedstawiający przykład wykresu Gantta.

Długość paska informuje o czasie trwania potoku. Możesz również wybrać pasek, aby wyświetlić więcej szczegółów.

Zrzut ekranu przedstawiający czas trwania wykresu Gantta.

Alerty

Dla obsługiwanych metryk w usłudze Data Factory można skonfigurować alerty. Wybierz pozycję Monitoruj>alerty i metryki na stronie monitorowania usługi Data Factory, aby rozpocząć pracę.

Zrzut ekranu przedstawiający stronę Monitor fabryki danych.

Aby zapoznać się z siedmiominutowym wprowadzeniem i pokazem tej funkcji, obejrzyj następujący film wideo:

Tworzenie alertów

  1. Wybierz pozycję Nowa reguła alertu, aby utworzyć nowy alert.

    Zrzut ekranu przedstawiający przycisk Nowa reguła alertu.

  2. Określ nazwę reguły i wybierz ważność alertu.

    Zrzut ekranu przedstawiający pola nazwy reguły i ważności.

  3. Wybierz kryteria alertu.

    Zrzut ekranu przedstawiający pole wyboru kryteriów docelowych.

    Zrzut ekranu przedstawiający miejsce wybrania jednej metryki w celu skonfigurowania warunku alertu.

    Zrzut ekranu przedstawiający listę kryteriów.

    Możesz tworzyć alerty dotyczące różnych metryk, w tym dla liczby jednostek usługi ADF,rozmiaru, przebiegów działania/potoku/wyzwalacza, wykorzystania procesora CPU środowiska Integration Runtime (IR), pamięci/liczby węzłów/kolejki, a także wykonań pakietów usług SSIS i operacji uruchamiania/zatrzymywania środowiska SSIS IR.

  4. Skonfiguruj logikę alertu. Możesz utworzyć alert dla wybranej metryki dla wszystkich potoków i odpowiednich działań. Możesz również wybrać określony typ działania, nazwę działania, nazwę potoku lub typ błędu.

    Zrzut ekranu przedstawiający opcje konfigurowania logiki alertu.

  5. Skonfiguruj powiadomienia e-mail, SMS, wypychane i głosowe dla alertu. Utwórz grupę akcji lub wybierz istniejącą dla powiadomień o alertach.

    Zrzut ekranu przedstawiający opcje konfigurowania powiadomień.

    Zrzut ekranu przedstawiający opcje dodawania powiadomienia.

  6. Utwórz regułę alertu.

    Zrzut ekranu przedstawiający opcje tworzenia reguły alertu.

Aby dowiedzieć się więcej na temat monitorowania potoków i zarządzania nimi, zobacz artykuł Monitorowanie potoków i zarządzanie nimi programowo .