Dzienniki diagnostyczne i metryki programu Workflow Orchestration Manager

Artykuł
10/03/2024

Uwaga

Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.

W tym artykule przedstawiono kroki opisane w następujących krokach:

Włącz dzienniki diagnostyczne i metryki dla programu Workflow Orchestration Manager w usłudze Azure Data Factory.
Wyświetlanie dzienników i metryk.
Uruchom zapytanie.
Monitoruj metryki i ustawiaj system alertów w kierowanym niepowodzeniu grafu acyklicznego (DAG).

Wymagania wstępne

Wymagana jest subskrypcja platformy Azure. Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto platformy Azure.

Włączanie dzienników diagnostycznych i metryk dla programu Workflow Orchestration Manager

Otwórz zasób usługi Data Factory i wybierz pozycję Ustawienia diagnostyczne w okienku po lewej stronie. Następnie wybierz pozycję Dodaj ustawienie diagnostyczne.
Wypełnij nazwę ustawień diagnostycznych. Wybierz następujące kategorie dla dzienników przepływów powietrza:
- Dzienniki wykonywania zadań przepływu powietrza
- Dzienniki procesów roboczych przepływu powietrza
- Dzienniki przetwarzania daG przepływu powietrza
- Dzienniki harmonogramu przepływów powietrza
- Dzienniki internetowe przepływu powietrza
- Jeśli wybierzesz pozycję Wszystkie metryki, różne metryki usługi Data Factory zostaną udostępnione do monitorowania lub zgłaszania alertów. Metryki te obejmują metryki dotyczące działania usługi Data Factory i środowiska Integration Runtime orchestration Manager, takie jak AirflowIntegrationRuntimeCpuUsage i AirflowIntegrationRuntimeMemory.
W obszarze Szczegóły miejsca docelowego zaznacz pole wyboru Wyślij do obszaru roboczego usługi Log Analytics.
Wybierz pozycję Zapisz.

Wyświetlanie dzienników

Po dodaniu ustawień diagnostycznych można je znaleźć na liście w sekcji Ustawienia diagnostyczne. Aby uzyskać dostęp do dzienników i wyświetlić je, wybierz skonfigurowany obszar roboczy usługi Log Analytics.
W sekcji Maksymalizuj środowisko usługi Log Analytics wybierz pozycję Wyświetl dzienniki.
Zostanie przekierowany do obszaru roboczego usługi Log Analytics, w którym można zobaczyć, że wybrane tabele zostały zaimportowane automatycznie do obszaru roboczego.

Inne przydatne linki dla schematu:

Pisanie zapytania

Zacznijmy od najprostszego zapytania, które zwraca wszystkie rekordy w pliku ADFAirflowTaskLogs. Możesz kliknąć dwukrotnie nazwę tabeli, aby dodać ją do okna zapytania. Możesz również wprowadzić nazwę tabeli bezpośrednio w oknie.
Aby zawęzić wyniki wyszukiwania, takie jak filtrowanie ich na podstawie określonego identyfikatora zadania, możesz użyć następującego zapytania:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Podobnie można tworzyć zapytania niestandardowe zgodnie z potrzebami przy użyciu dowolnych tabel dostępnych w programie LogManagement.

Aby uzyskać więcej informacji, zobacz:

Monitorowanie metryk

Usługa Data Factory oferuje kompleksowe metryki dla środowisk Integration Runtime airflow, co umożliwia efektywne monitorowanie wydajności środowiska Airflow Integration Runtime i ustanawianie mechanizmów zgłaszania alertów w razie potrzeby.

Otwórz zasób usługi Data Factory.
W okienku po lewej stronie w sekcji Monitorowanie wybierz pozycję Metryki.
Wybierz metryka >Metryki metryki>metryki zakresu, którą chcesz monitorować.
Zapoznaj się z wykresem wielowierszowym, który wizualizuje procent użycia procesora CPU środowiska Integration Runtime i rozmiar torby Dag Runtime.
Możesz skonfigurować regułę alertu, która jest wyzwalana, gdy metryki spełniają określone warunki. Aby uzyskać więcej informacji, zobacz Omówienie alertów usługi Azure Monitor.
Wybierz pozycję Zapisz na pulpicie nawigacyjnym po zakończeniu wykresu lub inny wykres zniknie.

Metryki przepływu powietrza

Aby wyświetlić metryki dostępne dla programu Workflow Orchestration Manager, wyświetl metryki przepływu pracy wymienione w tabeli Obsługiwane metryki .

Udostępnij za pośrednictwem