通过运行 Spark 作业定义来转换数据
可通过 Microsoft Fabric 数据工厂中的 Spark 作业定义活动创建与 Spark 作业定义的连接,并从数据管道运行。
先决条件
如果要开始,必须满足以下先决条件:
- 具有有效订阅的租户帐户。 免费创建帐户。
- 创建了工作区。
通过 UI 将 Spark 作业定义活动添加到管道
在工作区中创建新数据管道。
从主屏幕卡搜索Spark 作业定义并选中,或者从“活动”栏选择活动以将其添加到管道画布。
如果尚未选择管道编辑器画布上的新 Spark 作业定义活动,请选择该活动。
请参阅常规设置指南,以配置常规设置选项卡中的选项。
Spark 作业定义活动设置
选择活动属性窗格中的设置选项卡,然后选择包含要运行的 Spark 作业定义的 Fabric 工作区。
已知限制
此处列出了 Fabric 数据工厂的 Spark 作业定义活动中的当前限制。 此部分可能随时发生变化。
- 目前不支持在活动中创建新的 Spark 作业定义活动(在“设置”下)
- 参数化支持不可用。
- 尽管我们支持通过输出选项卡监视活动,但还无法在更精细的级别监视 Spark 作业定义。 例如,指向监视页、状态、持续时间和以前的 Spark 作业定义运行的链接在数据工厂中不可直接提供。 但是,可以在 Spark 作业定义监视页中查看更详细的详细信息。
进行保存,并运行或计划管道
配置管道所需的任何其他活动后,切换到管道编辑器顶部的“主页”选项卡,然后选择“保存”按钮以保存管道。 选择“运行”来直接运行它,或者选择“计划”进行计划。 还可以在此处查看运行历史记录,或者配置其他设置。