从 Azure 数据工厂迁移到 Microsoft Fabric 中的数据工厂
本文面向 Azure 数据工厂和 Synapse Gen2 管道创建者。 它为您提供指导和理由,以帮助您将管道现代化并迁移到 Microsoft Fabric 的数据工厂。
背景
Microsoft Fabric 是一个用于自助服务和 IT 托管企业数据的集成平台。 随着数据量和复杂性的指数增长,Fabric 客户需要企业解决方案,这些解决方案可缩放、安全、易于管理,并且可供组织中最大的所有用户访问。
近年来,Microsoft投入了大量工作,为客户提供可缩放的云功能。 为了实现这一目标,Fabric 中的数据工厂赋予了一个经历数十年发展的大型数据集成开发者和解决方案生态系统以完整的特性和功能,这些远远超越了以前几代产品的可比功能。
当然,客户会询问是否有机会通过在 Fabric 中托管其数据集成解决方案来整合。 他们经常提出如下问题:
- 我们依赖的所有功能是否能在 Fabric 管道中正常运行?
- 哪些功能仅在 Fabric 管道中可用?
- 如何将现有管道迁移到 Fabric 管道?
- Microsoft 企业数据引入的路线图是什么?
本文介绍了其中许多问题的解答。
注释
迁移到 Fabric 容量的决定取决于每个客户的要求。 客户应仔细评估其他权益,以便做出明智的决策。 我们预计,随着时间的推移,客户将自然地迁移到 Fabric 管道,我们的目标是每位客户都能在他们感到满意的条件下进行这种迁移。
为了清楚起见,目前没有任何计划弃用 Azure 数据工厂或 Synapse Gen2 进行数据引入。 优先关注用于企业数据引入的 Fabric 管道的投资,因此 Fabric 容量提供的额外价值会随着时间的推移而增加。 选择 Fabric 容量的客户有望从与 Microsoft Fabric 产品路线图保持一致中受益。
企业和自助服务数据集成趋同
Fabric 中项目的整合通过将资源集中在一起来简化发现、协作和管理。 这样,中心 IT 团队就可以将任务关键型数据移动和转换服务与公司标准(包括数据世系和监视)相一致,同时更轻松地集成常用的自助服务项目。
为了支持组织的协作和可缩放需求,Fabric 管道引入了 Office 365 和 Teams 活动,用于发送消息、无缝刷新 Power BI 语义模型以及可靠的治理功能,帮助组织管理数据世系和管道监视。 通过 Copilot 实现生成式 AI 的集成,提供智能管道生成和错误解决方案解释,从而简化复杂解决方案的创建和管理,进一步增强了管道体验。
通过利用通用平台,简化了工作流,增强了业务和 IT 之间的解决方案开发。 这样,组织便可以将其数据解决方案扩展到企业级别,确保管理大量数据的高性能、灵活性和效率。
织物容量
由于其分布式体系结构,Fabric 容量对总体负载、时态峰值和高并发性不太敏感。 通过将容量合并到更大容量的Fabric SKU,客户可以实现更高的性能和吞吐量。
功能比较
下表列出了 Azure 数据工厂和结构数据工厂支持的功能。
功能 / 特征 | Azure 数据工厂 | Fabric 数据工厂 |
---|---|---|
管道活动 | ||
Office 365 和 Teams 活动使你能够无缝地发送邮件,促进整个组织的高效沟通和协作 | 否 | 是 |
创建与 Power BI 语义模型和 Dataflow Gen2 的连接,确保你的数据不断刷新并保持最新 | 否 | 是 |
管道中的验证,用于确保管道仅在验证附加数据集引用存在并满足指定条件或超时后才继续执行 | 是 | 是1 |
执行 SQL Server Integration Services(SSIS) 包来执行数据集成和转换操作 | 是 | 已计划的 |
数据转换 | ||
使用 Apache Spark 群集进行可视化设计的数据转换,映射数据流 通过图形界面创建和管理数据转换过程 | 是 | 否2 |
使用 Fabric 计算引擎和 Dataflow Gen2 中 Power Query 的直观图形界面的可视数据转换 | 否 | 是 |
连接性 | ||
支持所有数据工厂数据源 | 是 | 正在进行3 |
可伸缩性 | ||
确保使用计划的运行在管道中无缝执行活动 | 是 | 是 |
为单个管道计划多个运行,实现灵活高效的管道管理 | 是 | 已计划 |
利用翻转窗口触发器在不同的非重叠时间窗口内计划管道运行 | 是 | 已计划 |
事件触发机制,用于在特定或相关事件发生时自动执行管道运行 | 是 | 是4 |
人工智能 | ||
Copilot for Data Factory,它提供智能管道生成,以便轻松地引入数据,同时提供解释以帮助更好地理解复杂的管道,并提供有关错误信息的建议。 | 否 | 是 |
内容管理 | ||
数据世系视图,帮助用户了解和评估管道依赖项 | 否 | 是 |
部署管道,用于管理内容的生命周期 | 否 | 是 |
平台可伸缩性和复原能力 | ||
高级容量体系结构,支持增加规模和性能 | 否 | 是 |
多地理位置支持,可帮助跨国客户解决区域要求、行业特定的要求或组织数据驻留要求 | 是 | 是 |
安全性 | ||
虚拟网络(虚拟网络)数据网关连接,它使得 Fabric 能够在组织的虚拟网络中无缝工作 | 否 | 已计划 |
本地数据网关 连接,这样就可以安全地访问组织本地数据源和 Fabric 项之间的数据 | 否 | 是 |
Azure 服务标记 支持,这是一组定义的 IP 地址,可自动管理这些地址,以最大程度地降低更新或更改网络安全规则的复杂性 | 是 | 是 |
治理 | ||
内容 认可,促进或认证有价值的高质量织物物品 | 否 | 是 |
Microsoft Purview 集成,这有助于客户管理和治理 Fabric 项目 | 是 | 是 |
Microsoft 信息保护 (MIP) 敏感度标签,以及与 Microsoft Defender for Cloud Apps 的集成(用于数据丢失防护) | 否 | 是 |
监视和诊断日志记录 | ||
将管道执行事件记录到事件存储中,以监视、分析和排查管道性能问题 | 是 | 已计划的 |
监视中心,它为 Fabric 项目提供监视功能 | 否 | 是 |
Microsoft Fabric 容量指标应用,它为 Fabric 容量提供监视功能 | 否 | 是 |
审核日志,用于跟踪 Fabric 和 Microsoft 365 之间的用户活动 | 否 | 是 |
1使用获取元数据,Until 和 If 条件活动进行验证活动的等效元数据检索。
2 使用调用远程管道函数执行映射数据流活动,请参阅 调用管道活动。
3 若要查看数据管道当前支持的连接器,请参阅 管道支持。
4 使用 Fabric 事件流和 Reflex 触发执行事件,请参阅 流水线事件触发器。
注意事项
在迁移到 Fabric 管道之前,需要考虑一些其他注意事项。
许可
Fabric 管道至少需要 Microsoft Fabric(免费)许可证才能在高级容量工作区中进行创作。若要了解详细信息,请参阅 Fabric 许可证。
路线图
Microsoft Fabric 发布计划文档会向客户公布最新更新和时间线,因为功能已准备好供将来发布,包括 Microsoft Fabric 中数据工厂的新增功能和计划内容。
有关详细信息,请参阅 Microsoft Fabric 发布计划文档。