快速入门:创建 Apache Airflow 作业
注意
Apache Airflow 作业由 Apache Airflow 提供支持。
Apache Airflow 是一个开源平台,用于以编程方式创建、计划和监视复杂的作业。 它允许定义一组称为运算器的任务,这些任务可以组合成有向无环图 (DAG) 以表示数据管道。
Apache Airflow 作业提供了一种简单有效的方法来创建和管理 Apache Airflow 环境,可轻松大规模运行业务流程作业。 在本快速入门中,我们来创建一个简单的 Apache Airflow 作业,以熟悉 Apache Airflow 作业的环境和功能。
先决条件
- 在租户中启用 Apache Airflow 作业。
注意
由于 Apache Airflow 作业处于预览状态,因此需要通过租户管理员启用它。如果你已看到 Apache Airflow 作业,则租户管理员可能已启用它。
- 转到“管理门户”->“租户设置”-> 在 Microsoft Fabric 下 -> 展开“用户可以创建和使用 Apache Airflow 作业(预览版)”部分。
- 选择“应用”。
创建 Apache Airflow 作业
可使用现有工作区或创建新工作区。
展开
+ New
下拉列表 -> 单击“更多选项” -Data Factory
部分下 > -> 选择 Apache Airflow 作业(预览版)给项目起一个名字,然后点击“创建”按钮。
创建 DAG 文件
运行 DAG
首先单击“运行 DAG”按钮。
启动后,系统会立刻显示一条通知,指示 DAG 正在运行。
若要监视 DAG 运行的进度,只需单击通知中心内的“查看详细信息”。 此操作会将你重定向到 Apache Airflow UI,你可以在其中方便地跟踪 DAG 运行的状态和详细信息。
在 Apache Airflow UI 中监视 Apache Airflow DAG
保存的 DAG 文件将加载到 Apache Airflow UI 中。 可以通过单击“Apache Airflow 中的监视器”按钮来监视它们。