Diagnostikloggar och mått för Arbetsflödesorkestreringshanteraren

Kommentar

Workflow Orchestration Manager drivs av Apache Airflow.

Den här artikeln vägleder dig genom stegen för att:

• Aktivera diagnostikloggar och mått för Workflow Orchestration Manager i Azure Data Factory.
• Visa loggar och mått.
• Kör en fråga.
• Övervaka mått och ange aviseringssystemet i ett riktat acykliskt diagramfel (DAG).

Förutsättningar

Du behöver en Azure-prenumerationen. Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt Azure-konto innan du börjar.

Aktivera diagnostikloggar och mått för Workflow Orchestration Manager

1. Öppna datafabriksresursen och välj Diagnostikinställningar i det vänstra fönstret. Välj sedan Lägg till diagnostikinställning.

   

2. Fyll i namnet på Diagnostikinställningar . Välj följande kategorier för Airflow-loggarna:

   • Körningsloggar för airflow-aktiviteter
   • Arbetsloggar för luftflöde
   • Airflow DAG-bearbetningsloggar
   • Airflow Scheduler-loggar
   • Webbloggar för luftflöde
   • Om du väljer AllMetrics görs olika Data Factory-mått tillgängliga så att du kan övervaka eller aktivera aviseringar. Dessa mått omfattar mått för Data Factory-aktivitet och Integration Runtime för Workflow Orchestration Manager, till exempel AirflowIntegrationRuntimeCpuUsage och AirflowIntegrationRuntimeMemory.

   

3. Under Målinformation markerar du kryssrutan Skicka till Log Analytics-arbetsyta .

   

4. Välj Spara.

Visa loggar

1. När du har lagt till diagnostikinställningar hittar du dem i avsnittet Diagnostikinställning . Om du vill komma åt och visa loggar väljer du den Log Analytics-arbetsyta som du har konfigurerat.

   

2. Under avsnittet Maximera din Log Analytics-upplevelse väljer du Visa loggar.

   

3. Du dirigeras till din Log Analytics-arbetsyta där du kan se att de tabeller som du valde importerades till arbetsytan automatiskt.

   

Andra användbara länkar för schemat:

• Referens för Azure Monitor-loggar – ADFAirflowSchedulerLogs | Microsoft Learn
• Referens för Azure Monitor-loggar – ADFAirflowTaskLogs | Microsoft Learn
• Referens för Azure Monitor-loggar – ADFAirflowWebLogs | Microsoft Learn
• Referens för Azure Monitor-loggar – ADFAirflowWorkerLogs | Microsoft Learn
• Referens för Azure Monitor-loggar – AirflowDagProcessingLogs | Microsoft Learn

Skriva en fråga

1. Vi börjar med den enklaste frågan som returnerar alla poster i ADFAirflowTaskLogs. Du kan dubbelklicka på tabellnamnet för att lägga till det i ett frågefönster. Du kan också ange tabellnamnet direkt i fönstret.

   

2. Om du vill begränsa sökresultaten, till exempel filtrera dem baserat på ett specifikt aktivitets-ID, kan du använda följande fråga:

   ADFAirflowTaskLogs
   | where DagId == "<your_dag_id>"
   and TaskId == "<your_task_id>"
   

På samma sätt kan du skapa anpassade frågor efter dina behov med hjälp av alla tabeller som är tillgängliga i LogManagement.

Mer information finns i:

• Log Analytics-självstudie
• översikt över Kusto-frågespråk (KQL) – Azure Data Explorer | Microsoft Learn

Övervaka mått

Data Factory erbjuder omfattande mått för Airflow-integreringskörningar, så att du effektivt kan övervaka prestanda för din Airflow-integreringskörning och upprätta aviseringsmekanismer efter behov.

1. Öppna datafabriksresursen.

2. I den vänstra rutan går du till avsnittet Övervakning och väljer Mått.

   

3. Välj måttets namnområdesmått> för omfattning>som du vill övervaka.

   

4. Granska det flerradsdiagram som visualiserar cpu-procentandelen för Integration Runtime och Integration Runtime Dag Bag Size.

   

5. Du kan konfigurera en aviseringsregel som utlöses när dina mått uppfyller specifika villkor. Mer information finns i Översikt över Azure Monitor-aviseringar.

6. Välj Spara på instrumentpanelen när diagrammet är klart, annars försvinner diagrammet.

   

Luftflödesmått

Om du vill se de mått som är tillgängliga för Workflow Orchestration Manager kan du visa airflow-måtten som anges i tabellen Mått som stöds.