快速入门:创建 Apache Airflow 作业

注意

Apache Airflow 作业由 Apache Airflow 提供支持。
Apache Airflow 是一个开源平台,用于以编程方式创建、计划和监视复杂的作业。 它允许定义一组称为运算器的任务,这些任务可以组合成有向无环图 (DAG) 以表示数据管道。

Apache Airflow 作业提供了一种简单有效的方法来创建和管理 Apache Airflow 环境,可轻松大规模运行业务流程作业。 在本快速入门中,我们来创建一个简单的 Apache Airflow 作业,以熟悉 Apache Airflow 作业的环境和功能。

先决条件

  • 在租户中启用 Apache Airflow 作业。

注意

由于 Apache Airflow 作业处于预览状态,因此需要通过租户管理员启用它。如果你已看到 Apache Airflow 作业,则租户管理员可能已启用它。

  1. 转到“管理门户”->“租户设置”-> 在 Microsoft Fabric 下 -> 展开“用户可以创建和使用 Apache Airflow 作业(预览版)”部分。
  2. 选择“应用”。

在租户中启用 Apache Airflow 的屏幕截图。

创建 Apache Airflow 作业

  1. 可使用现有工作区或创建新工作区

  2. 展开 + New 下拉列表 -> 单击“更多选项” - Data Factory 部分下 > -> 选择 Apache Airflow 作业(预览版)

    屏幕截图显示点击更多选项。

    选择 Apache Airflow 作业的屏幕截图。

  3. 给项目起一个名字,然后点击“创建”按钮。

创建 DAG 文件

  1. 单击“新建DAG文件”卡 - > 为文件命名,然后单击“创建”按钮。

    命名 DAG 文件的屏幕截图。

  2. 将向你显示样本 DAG 代码。 可根据要求编辑文件。

    显示了 Microsoft Fabric 中的样本 DAG 文件的屏幕截图。

  3. 单击“保存”图标。

    显示如何在 Microsoft Fabric 中保存 DAG 文件的屏幕截图。

运行 DAG

  1. 首先单击“运行 DAG”按钮。

    从数据工作流 UI 运行 DAG 的屏幕截图。

  2. 启动后,系统会立刻显示一条通知,指示 DAG 正在运行。

  3. 若要监视 DAG 运行的进度,只需单击通知中心内的“查看详细信息”。 此操作会将你重定向到 Apache Airflow UI,你可以在其中方便地跟踪 DAG 运行的状态和详细信息。

    从通知中心导航到 Apache Airflow UI 的屏幕截图。

在 Apache Airflow UI 中监视 Apache Airflow DAG

保存的 DAG 文件将加载到 Apache Airflow UI 中。 可以通过单击“Apache Airflow 中的监视器”按钮来监视它们。

监视 Airflow DAG 的屏幕截图。

屏幕截图显示了加载的 Airflow DAG。