Diagnostische logboeken en metrische gegevens voor Workflow Orchestration Manager

Artikel
10/03/2024

Notitie

Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.

In dit artikel worden de volgende stappen beschreven:

Schakel diagnostische logboeken en metrische gegevens in voor Workflow Orchestration Manager in Azure Data Factory.
Logboeken en metrische gegevens weergeven.
Voer een query uit.
Monitor metrics and set the alert system in directed acyclic graph (DAG) failure.

Vereisten

U hebt een Azure-abonnement nodig. Als u nog geen abonnement op Azure hebt, maakt u een gratis Azure-account voordat u begint.

Diagnostische logboeken en metrische gegevens inschakelen voor Workflow Orchestration Manager

Open uw Data Factory-resource en selecteer diagnostische instellingen in het meest linkse deelvenster. Selecteer vervolgens Diagnostische instelling toevoegen.
Vul de naam van de diagnostische instellingen in. Selecteer de volgende categorieën voor de Airflow-logboeken:
- Uitvoeringslogboeken voor Airflow-taken
- Airflow-werklogboeken
- Logboeken voor DAG-verwerking van airflows
- Airflow scheduler-logboeken
- Weblogboeken van Airflow
- Als u AllMetrics selecteert, worden er verschillende metrische gegevens van Data Factory beschikbaar gesteld om waarschuwingen te bewaken of te genereren. Deze metrische gegevens omvatten de metrische gegevens voor Data Factory-activiteit en de Integration Runtime van Workflow Orchestration Manager, zoals AirflowIntegrationRuntimeCpuUsage en AirflowIntegrationRuntimeMemory.
Schakel onder Doeldetails het selectievakje Verzenden naar Log Analytics-werkruimte in.
Selecteer Opslaan.

Logboeken weergeven

Nadat u diagnostische instellingen hebt toegevoegd, kunt u deze vinden in de sectie Diagnostische instelling . Als u logboeken wilt openen en weergeven, selecteert u de Log Analytics-werkruimte die u hebt geconfigureerd.
Selecteer Logboeken weergeven in de sectie Uw Log Analytics-ervaring maximaliseren.
U wordt omgeleid naar uw Log Analytics-werkruimte, waar u kunt zien dat de tabellen die u hebt geselecteerd, automatisch in de werkruimte zijn geïmporteerd.

Andere nuttige koppelingen voor het schema:

Een query schrijven

Laten we beginnen met de eenvoudigste query die alle records in ADFAirflowTaskLogsretourneert. U kunt dubbelklikken op de tabelnaam om deze toe te voegen aan een queryvenster. U kunt de tabelnaam ook rechtstreeks in het venster invoeren.
Als u de zoekresultaten wilt beperken, zoals het filteren ervan op basis van een specifieke taak-id, kunt u de volgende query gebruiken:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Op dezelfde manier kunt u aangepaste query's maken op basis van uw behoeften door alle tabellen te gebruiken die beschikbaar zijn in LogManagement.

Zie voor meer informatie:

Metrische gegevens bewaken

Data Factory biedt uitgebreide metrische gegevens voor Airflow-integratieruntimes, zodat u de prestaties van uw Airflow Integration Runtime effectief kunt bewaken en waar nodig waarschuwingsmechanismen kunt opzetten.

Open uw Data Factory-resource.
Selecteer in het meest linkse deelvenster onder de sectie Bewaking de optie Metrische gegevens.
Selecteer de >metrische naamruimte>voor bereik die u wilt bewaken.
Bekijk het diagram met meerdere regels waarmee het CPU-percentage van Integration Runtime en de grootte van de Dag Bag van Integration Runtime worden gevisualiseerd.
U kunt een waarschuwingsregel instellen die wordt geactiveerd wanneer uw metrische gegevens voldoen aan specifieke voorwaarden. Zie Overzicht van Azure Monitor-waarschuwingen voor meer informatie.
Selecteer Opslaan in dashboard nadat de grafiek is voltooid of als de grafiek verdwijnt.

Metrische gegevens van airflow

Als u de metrische gegevens wilt zien die beschikbaar zijn voor Workflow Orchestration Manager, bekijkt u de metrische gegevens van Airflow die worden vermeld in de tabel Ondersteunde metrische gegevens .

Delen via