Fabric 中的 Apache Spark 运行时生命周期
Microsoft Fabric 运行时是基于 Apache Spark 的 Azure 集成平台。 它有助于执行和管理数据工程和数据科学工作流。 它合成专有和开放源代码资源中的基本元素,来提供全面的解决方案。 为简单起见,我们将 Apache Spark 提供支持的 Microsoft Fabric 运行时称为 Fabric 运行时。
发布节奏
Apache Spark 通常每隔 6 到 9 个月发布一个次要版本。 Microsoft Fabric Spark 团队致力于快速提供新的运行时版本,同时确保提供一流质量和集成以及持续支持。 每个版本包含大约 110 个组件。 运行时扩展到 Apache Spark 之外时,我们可确保在 Azure 生态系统中实现无缝集成。
凭借对卓越的追求,我们将仔细处理新的预览运行时版本,目标是在大约 3 个月内推出试验性预览,并逐个建立时间线。 这涉及评估每个 Spark 版本的关键组件,包括 Java、Scala、Python、R 和 Delta Lake。 经过彻底评估,我们将创建详细的时间线,其中概述运行时的可用性和各阶段进展。 总而言之,我们的目标是为 Apache Spark 的 Microsoft Fabric 运行时建立标准的生命周期路径。
下表列出了受支持的 Azure Synapse 运行时版本的运行时名称和发布日期。
运行时名称 | 发布阶段 | 终止支持日期 |
---|---|---|
基于 Apache Spark 3.5 的运行时 1.3 | GA | 2026 年 9 月 30 日 |
基于 Apache Spark 3.4 的运行时 1.2 | GA | 2026 年 3 月 31 日 |
基于 Apache Spark 3.3 的运行时 1.1 | EOSA | 2025 年 3 月 31 日 |
此图概述了运行时版本从试验性公共预览版到弃用和删除阶段的生命周期。
阶段 | 说明 | 典型生命周期 |
---|---|---|
试验性公共预览版 | 试验性公共预览版阶段标志着新运行时版本的初始发布。 在此阶段,尽管存在记录限制,用户应尝试最新版本的 Apache Spark 和 Delta Lake 并提供反馈。 Microsoft Azure 预览版条款适用。 请参阅预览版使用条款。 | 2 – 3 个月* |
公共预览版 | 在进一步做出改进并尽可能减少限制后,运行时将进入预览阶段。 Microsoft Azure 预览版条款适用。 请参阅预览版使用条款。 | 3 个月* |
正式发布版 (GA) | 运行时版本满足正式发布 (GA) 条件后,就会向公众发布,并可用于生产工作负荷。 要达到此阶段,运行时必须在性能、与平台的集成、可靠性评估以及满足用户需求的能力方面满足严格的要求。 | 24 个月 |
长期支持 (LTS) | 发布正式发布 (GA) 版本后,运行时可能会过渡到长期支持 (LTS) 阶段,具体取决于 Spark 版本的特定要求。 可能会宣布此 LTS 阶段,详细说明客户的预期支持持续时间,这段时间通常是额外的完全支持年份。 | 12 个月* |
宣布终止支持日期 | 运行时终止支持时,它不会收到任何进一步的更新或支持。 通常,在弃用运行时之前,会提前六个月发出通知。 通过更新特定表中的生命周期结束日期来记录此终止支持日期,这标志着终止支持。 | 弃用日前 6 个月 |
终止支持日期。 运行时不受支持且已弃用 | 到达之前宣布的终止支持日期后,运行时将正式不受支持。 这意味着它不会收到任何更新或缺陷修复,并且团队不会提供官方支持。 将自动解决所有支持票证。 使用不受支持的运行时产生的风险由用户自行承担。 将从 Fabric 工作区设置和环境项中删除运行时,因此无法在工作区级别使用。 此外,还将从环境中删除运行时,并且无法为此受支持的运行时版本创建新环境。 将无法执行在现有环境中运行的现有 Spark 作业。 | 空值 |
运行时已删除 | 运行时到达不受支持的阶段后,将消除使用此运行时的所有环境。 还会删除与此运行时关联的所有后端相关组件。 | 终止支持日期后的几天 |
* 每个阶段的运行时预期持续时间。 这些时间线只作为示例提供,可能会因各种因素而异。 Microsoft 会自行决定更改生命周期时间线。
版本控制
运行时版本编号与语义化版本控制密切相关,但采用的方法略有不同。 运行时主版本对应 Apache Spark 主版本。 因此,运行时 1 对应 Spark 版本 3。 同样,即将推出的运行时 2 将与 Spark 4.0 保持一致。 请务必注意,当前运行时之间可能会出现更改,包括添加或删除不同的库。 此外,我们的平台还提供库管理功能,使用户能够安装任何所需的库。