了解管道

  • 6 分钟

Microsoft Fabric 中的管道封装了一系列用于执行数据移动和处理任务的活动。 你可使用管道来定义数据传输和转换活动，并通过管理分支、循环和其他典型处理逻辑的控制流活动来编排这些活动。 使用 Fabric 用户界面中的图形管道画布，可通过少量编码或无需编码来生成复杂的管道。

Microsoft Fabric 中管道的屏幕截图。

核心管道概念

在 Microsoft Fabric 中生成管道之前，你应该了解一些核心概念。

活动

活动是管道中的可执行任务。 可通过按顺序连接活动来定义活动流。 特定活动的结果（成功、失败或完成）可用于将流定向到序列中的下一个活动。

管道中有两大类活动。

  • 数据转换活动 - 封装数据传输操作的活动，包括简单的复制数据活动（从源提取数据并将其加载到目标）以及更复杂的数据流活动（封装在传输数据时对数据应用转换的数据流 (Gen2)）。 其他数据转换活动包括运行 Spark 笔记本的笔记本活动、运行 SQL 代码的存储过程活动、删除现有数据的删除数据活动等等。 在 OneLake 中，可以将目标配置为湖屋、仓库、SQL 数据库或其他选项。

  • 控制流活动 - 用于实现循环、条件分支，或者管理变量和参数值的活动。 广泛的控制流活动使你能够实现复杂的管道逻辑，以协调数据引入和转换流。

提示

有关 Microsoft Fabric 中提供的整套管道活动的详细信息，请参阅 Microsoft Fabric 文档中的活动概述。

参数

管道可以参数化，使你能够提供要在每次运行管道时使用的特定值。 例如，你可能希望使用管道将引入的数据保存在文件夹中，但可以灵活地在每次运行管道时指定文件夹名称。

使用参数可提高管道的可重用性，使你能够创建灵活的数据引入和转换过程。

管道运行

每次执行管道时，都会启动数据管道运行。 可以在 Fabric 用户界面中按需启动运行，也可以计划以特定频率启动运行。 使用唯一的运行 ID 查看运行详细信息，以确认它们是否已成功完成，并调查用于每次执行的特定设置。