通过

Fabric Runtime 1.1 （EOSA）

  • 项目

Microsoft Fabric 运行时是基于 Apache Spark 的 Azure 集成平台，可实现 Fabric 中数据工程和数据科学体验的执行和管理。 本文档介绍 Fabric Runtime 1.1 组件和版本。

警告

运行时 1.1 的终止支持日期已宣布为 2024 年 7 月 12 日。 基于 Apache Spark 3.3 的运行时 1.1 将于 2025 年 3 月 31 日起弃用并禁用。 将工作区和环境升级到运行时 1.2 或运行时 1.3。 有关 Fabric 中 Apache Spark 运行时的完整生命周期和支持策略，请参阅 Fabric 中的 Apache Spark 运行时生命周期。

Microsoft Fabric Runtime 1.1 是 Microsoft Fabric 平台中提供的运行时之一。 Runtime 1.1 主要组件包括：

  • Apache Spark 3.3
  • 操作系统：Ubuntu 18.04
  • Java：1.8.0_282
  • Scala：2.12.15
  • Python：3.10
  • Delta Lake：2.2
  • R：4.2.2

提示

始终对生产工作负荷使用最新的 GA 运行时版本，该版本当前为 Runtime 1.3。

Microsoft Fabric Runtime 1.1 附带默认级别包的集合，包括完整的 Anaconda 安装以及 Java/Scala、Python 和 R 的常用库。在 Microsoft Fabric 平台中使用笔记本或作业时，会自动包含这些库。 有关库的完整列表，请参阅文档。

Microsoft Fabric 定期发布适用于 Runtime 1.1 的维护更新，提供 bug 修复、性能增强和安全修补程序。 确保及时安装最新更新可保证数据处理任务的最佳性能和可靠性。 如果当前使用的是 Runtime 1.1，可以通过导航到工作区设置>数据工程师/Science > Spark 设置>环境升级到 Runtime 1.3 或 Runtime 1.2。

屏幕截图显示在何处选择运行时版本。

新增功能和改进 - Apache Spark 3.3.1

通过访问 Spark 3.3.0 和 Spark 3.3.1 阅读特定 Apache Spark 版本发行说明的完整版本。

新增功能和改进 - Delta Lake 2.2

查看 Delta Lake 2.2.0 的源和完整发行说明。

Java/Scala 的默认级别包

有关 Java、Scala、Python 的所有默认级别包及其各自版本的列表，请参阅发行说明。

在不同 Apache Spark 版本之间进行迁移

将工作负载从旧版 Apache Spark 迁移到 Fabric Runtime 1.1 (Apache Spark 3.3)，涉及一系列步骤，以确保顺利迁移。 本指南概述了帮助你高效和有效地迁移的必要步骤。

  1. 查看 Fabric Runtime 1.1 发行说明，包括检查运行时中包含的组件和默认级别包，以了解新功能和改进。

  2. 检查当前设置和所有相关库（包括依赖项和集成）的兼容性。 查看迁移指南，确定潜在的中断性变更：

  3. 将工作负载移动到 Fabric，并确保备份数据和配置文件，以防需要将还原到以前的版本。

  4. 更新 Apache Spark 新版本或其他 Fabric 运行时 1.1 相关组件可能影响的任何依赖项，包括第三方库或连接器。 在部署到生产环境之前，请确保在过渡环境中测试更新的依赖项。

  5. 更新工作负载上的 Apache Spark 配置，包括更新配置设置、调整内存分配和修改任何已弃用的配置。

  6. 修改 Apache Spark 应用程序（笔记本和 Apache Spark 作业定义），以使用 Fabric Runtime 1.1 和 Apache Spark 3.3 中引入的新 API 和功能。 你可能需要更新代码以适应任何已弃用或已删除的 API，以及重构应用程序以利用性能改进和新功能。

  7. 在过渡环境中全面测试更新的应用程序，以确保与 Apache Spark 3.3 的兼容性和稳定性。 执行性能测试、功能测试和回归测试，以识别并解决迁移过程中可能出现的任何问题。

  8. 在过渡环境中验证应用程序后，将更新的应用程序部署到生产环境。 在迁移后监视应用程序的性能和稳定性，以确定需要解决的任何问题。

  9. 更新内部文档和培训材料，以反映 Fabric Runtime 1.1 中引入的更改。 确保团队成员熟悉新功能和改进，以最大限度地利用迁移的优势。

相关内容