共用方式為

工作流程協調流程管理員的診斷記錄和計量

  • 發行項

注意

工作流程協調管理員是由 Apache Airflow 提供。

本文引導您逐步完成各步驟：

  • 在 Azure Data Factory 中啟用工作流程協調流程管理員的診斷記錄和計量。
  • 檢視記錄和計量。
  • 執行查詢。
  • 監視計量，並且設定有向非循環圖 (DAG) 失敗的警示系統。

必要條件

您需要訂閱 Azure。 如果您沒有 Azure 訂用帳戶，請在開始前建立免費 Azure 帳戶。

啟用工作流程協調流程管理員的診斷記錄和計量

  1. 開啟 Azure Data Factory 資源，然後選取最左邊窗格的 [診斷設定]。 然後選取 [新增診斷設定]。

    此螢幕擷取畫面顯示 Data Factory 中 [診斷記錄] 索引標籤所在位置。

  2. 填寫 [診斷設定] 的名稱。 針對 Airflow 記錄選取下列類別：

    • Airflow 工作執行記錄
    • Airflow 背景工作角色記錄
    • Airflow DAG 處理記錄
    • Airflow 排程器記錄
    • Airflow Web 記錄
    • 如果您選取 [AllMetrics]，則會提供各種 Data Factory 計量供您監視或引發警示。 這些計量包括 Data Factory 活動和工作流程協調管理員整合執行階段的計量，例如 AirflowIntegrationRuntimeCpuUsage 和 AirflowIntegrationRuntimeMemory。

    此螢幕擷取畫面顯示要為 Airflow 環境選取哪些記錄。

  3. 在 [目的地詳細資料] 底下，選取 [傳送至 Log Analytics 工作區] 核取方塊。

    此螢幕擷取畫面顯示選取 Log Analytics 工作區作為診斷記錄的目的地。

  4. 選取 [儲存]。

檢視記錄

  1. 新增診斷設定之後，[診斷設定] 區段隨即列出這些設定。 若要存取和檢視記錄，請選取您設定的 Log Analytics 工作區。

    此螢幕擷取畫面顯示選取 Log Analytics 工作區 URL。

  2. 在 [最大化 Log Analytics 體驗] 區段下方，選取 [檢視記錄]。

    此螢幕擷取畫面顯示選取 [檢視記錄]。

  3. 系統隨即將您導向 Log Analytics 工作區，在這裡可以看到您選取的資料表已自動匯入工作區。

    此螢幕擷取畫面顯示 Log Analytics 工作區。

結構描述的其他實用連結：

撰寫查詢

  1. 我們先從傳回 ADFAirflowTaskLogs 所有記錄這個最簡單查詢開始。 您可以按兩下資料表名稱，將它新增至查詢視窗。 您也可以直接在視窗輸入資料表名稱。

    此螢幕擷取畫面顯示要擷取所有記錄的 Kusto 查詢。

  2. 若要縮小搜尋結果的範圍，例如根據特定工作識別碼篩選，您可以使用下列查詢：

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

同樣地，您可以使用 LogManagement 提供的任何資料表，根據需求建立自訂查詢。

如需詳細資訊，請參閱

監視計量

Data Factory 提供 Airflow Integration Runtime 的完整計量，讓您有效監視 Airflow Integration Runtime 的效能，並視需要建立警示機制。

  1. 開啟 Data Factory 資源。

  2. 在最左側的窗格，選取 [監視] 區段下方的 [計量]。

    此螢幕擷取畫面顯示 Data Factory 中 [計量] 索引標籤所在位置。

  3. 選取您想要監視的 [範圍]>[計量命名空間]>[計量]。

    此螢幕擷取畫面顯示要選取的計量。

  4. 檢閱將 Microsoft Integration Runtime CPU 百分比、Microsoft Integration Runtime Dag Bag Size 視覺化的多線圖。

    此螢幕擷取畫面顯示計量的多行圖表。

  5. 您可以設定在計量符合特定條件時觸發的警示規則。 如需詳細資訊，請參閱 Azure 監視器警示的概觀。

  6. 圖表完成後請選取 [儲存到儀表板]，否則圖表就會消失。

    此螢幕擷取畫面顯示 [儲存至儀表板]。

Airflow 計量

若要查看工作流程協調流程管理員可用的計量，請檢視支援計量資料表中所列的 Airflow 計量。