探索 Microsoft Fabric 中的数据流 Gen2

已完成

在 Microsoft Fabric 中,可以在数据工厂工作负载或 Power BI 工作区中创建数据流 Gen2,也可以直接在湖屋中进行创建。 由于我们的方案侧重于数据引入,因此,让我们来看看数据工厂工作负载体验。 数据流 Gen2 使用 Power Query Online 来可视化转换。 请参阅接口概述:

Power Query Online 接口的屏幕截图。

1. Power Query 功能区

数据流 Gen2 支持各种数据源连接器。 常见的源包括云和本地关系数据库、Excel 或平面文件、SharePoint、SalesForce、Spark、Fabric 湖屋。 然后,可以进行多种数据转换,例如:

  • 筛选和排序行
  • 透视和逆透视
  • 合并和追加查询
  • 拆分和有条件拆分
  • 替换值和删除重复项
  • 添加、重命名、重新排序或删除列
  • 级别和百分比计算器
  • 选择前 N 和后 N

还可以创建和管理数据源连接、管理参数,以及在此功能区中配置默认数据目标。

2.“查询”窗格

“查询”窗格显示不同的数据源 - 现在称为查询。 加载到数据存储时,这些查询称为表。 如果需要相同数据的多个副本(例如创建星型架构并将数据拆分为单独的较小的表),可以复制或引用查询。 如果只需要一次性导入,还可以禁用查询的加载。

3. 图示视图

通过图示视图,可以直观地查看数据源的连接方式以及应用的不同转换。 例如,数据流连接到数据源、复制查询、从源查询中移除列,然后取消透视重复查询。 每个查询都表示为一个形状,其中包含所有已应用的转换,并由重复查询的线条连接。 可以打开或关闭此视图。

4.“数据预览”窗格

“数据预览”窗格仅显示一部分数据,使你能够查看应进行哪些转换以及它们如何影响数据。 还可以通过拖放列来更改顺序或右键单击列来进行筛选或更改,从而与预览窗格进行交互。 数据预览显示所选查询的所有转换。

5.“查询设置”窗格

“查询设置”窗格包括“已应用的步骤”。 每个转换都表示为一步,其中一些步骤在连接数据源时会自动应用。 根据转换的复杂性,你可能为每个查询应用了多个步骤。 大多数步骤都有一个齿轮图标,可用于修改该步骤,否则必须删除并重复转换。

每次右键单击时,每个步骤还都有一个上下文菜单,以便重命名、重新排序或删除步骤。 连接到支持查询折叠的数据源时,还可以查看数据源查询。

虽然此可视化界面很有用,但你也可以通过“高级编辑器”来查看 M 代码。

带有示例代码的“高级编辑器”的屏幕截图

在“查询设置”窗格中,可以看到一个“数据目标”选项,用于将数据置于 Fabric 环境中的以下位置之一:

  • Lakehouse
  • Warehouse
  • SQL 数据库

还可以将数据流加载到 Azure SQL 数据库、Azure 数据资源管理器或 Azure Synapse Analytics。

数据流 Gen2 提供了一种低到无代码解决方案,用于将数据引入、转换和加载到 Fabric 数据存储中。 Power BI 开发人员对此很熟悉,可以快速开始执行上游转换以提高报表的性能。

注意

有关详细信息,请参阅 Power Query 文档以优化数据流。