在 Microsoft Fabric 中集成数据流 Gen2 和管道
数据流 Gen2 为 Microsoft Fabric 中的数据转换提供了极佳的选项。 需要对转换后的数据执行其他操作时,数据流和管道的组合将非常有用。
数据管道是数据工程中的一个常见概念,可提供各种各样的活动以进行协调。 一些常见活动包括:
- 复制数据
- 合并数据流
- 添加笔记本
- 获取元数据
- 执行脚本或存储过程
管道提供了一种直观的方式来按特定顺序完成活动。 可以使用数据流进行数据引入、转换和登陆 Fabric 数据存储。 然后将数据流合并到管道中以协调额外的活动,例如在数据流完成后执行脚本或存储过程。
还可以通过触发器计划或激活管道来运行数据流。 通过使用管道来运行数据流,可以在需要数据时刷新数据,而无需手动运行数据流。 在处理企业数据或频繁更改的数据时,自动化使你能够专注于其他职责。