Diagnostické protokoly a metriky pro Správce orchestrace pracovního postupu

Článek
10/03/2024

Poznámka:

Správce orchestrace pracovních postupů využívá Apache Airflow.

Tento článek vás provede jednotlivými kroky:

Povolte diagnostické protokoly a metriky pro Správce orchestrace pracovních postupů ve službě Azure Data Factory.
Zobrazení protokolů a metrik
Spusťte dotaz.
Monitorujte metriky a nastavte systém upozornění v řízeném selhání acyklického grafu (DAG).

Požadavky

Musíte mít předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.

Povolenídiagnostických

Otevřete prostředek služby Data Factory a v levém podokně vyberte Nastavení diagnostiky. Pak vyberte Přidat nastavení diagnostiky.
Vyplňte název nastavení diagnostiky. Pro protokoly Airflow vyberte následující kategorie:
- Protokoly spouštění úkolů airflow
- Protokoly pracovních procesů airflow
- Protokoly zpracování DAG pro airflow
- Protokoly plánovače airflow
- Webové protokoly Airflow
- Pokud vyberete Možnost AllMetrics (Všechny metriky), zpřístupní se vám různé metriky služby Data Factory, na které můžete monitorovat nebo zvyšovat výstrahy. Mezi tyto metriky patří metriky pro aktivitu služby Data Factory a prostředí Integration Runtime Orchestration Manageru pracovního postupu, například AirflowIntegrationRuntimeCpuUsage a AirflowIntegrationRuntimeMemory.
V části Podrobnosti o cíli zaškrtněte políčko Odeslat do pracovního prostoru služby Log Analytics.
Zvolte Uložit.

Zobrazení protokolů

Po přidání nastavení diagnostiky je najdete v části Nastavení diagnostiky. Pokud chcete získat přístup k protokolům a zobrazit je, vyberte pracovní prostor služby Log Analytics, který jste nakonfigurovali.
V části Maximalizovat prostředí Log Analytics vyberte Zobrazit protokoly.
Budete přesměrováni do pracovního prostoru služby Log Analytics, kde vidíte, že vybrané tabulky se do pracovního prostoru naimportovaly automaticky.

Další užitečné odkazy pro schéma:

Napsání dotazu

Začněme nejjednodušším dotazem, který vrátí všechny záznamy v ADFAirflowTaskLogssouboru . Poklikáním na název tabulky ho můžete přidat do okna dotazu. Název tabulky můžete zadat také přímo v okně.
Pokud chcete výsledky hledání zúžit, například je filtrovat na základě konkrétního ID úkolu, můžete použít následující dotaz:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Podobně můžete vytvářet vlastní dotazy podle svých potřeb pomocí libovolných tabulek dostupných v LogManagement.

Další informace naleznete v tématu:

Monitorování metrik

Data Factory nabízí komplexní metriky pro prostředí Airflow Integration Runtime, které umožňují efektivně monitorovat výkon prostředí Airflow Integration Runtime a podle potřeby vytvářet mechanismy upozorňování.

Otevřete prostředek služby Data Factory.
V levém podokně v části Monitorování vyberte Metriky.
Vyberte metriku > oboru názvů oboru názvů>, kterou chcete monitorovat.
Projděte si víceřádkový graf, který vizualizuje procento procesoru integration runtime a velikost balíčku Dag Integration Runtime.
Můžete nastavit pravidlo upozornění, které se aktivuje, když metriky splňují konkrétní podmínky. Další informace najdete v tématu Přehled upozornění služby Azure Monitor.
Po dokončení grafu vyberte Uložit na řídicí panel nebo jinak graf zmizí.

Metriky airflow

Pokud chcete zobrazit metriky dostupné pro Správce orchestrace pracovního postupu, zobrazte metriky Airflow uvedené v tabulce Podporované metriky .

Sdílet prostřednictvím