你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
适用于 Apache Spark 3.3 的 Azure Synapse 运行时 (EOSA)
Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.3 的 Azure Synapse 运行时的运行时组件和版本。
警告
Azure Synapse Runtime for Apache Spark 3.3 的支持结束通知
- 2024 年 7 月 12 日，宣布 Azure Synapse Runtime for Apache Spark 3.3 支持结束。
- 自 2025 年 3 月 31 日起，Azure Synapse 将停止 Spark 3.3 Runtimes 官方支持。
- 强烈建议将基于 Apache Spark 3.3 的工作负载升级到适用于 Apache Spark 3.4 的 Azure Synapse Runtime（GA）。
- 有关最新信息、详细更改列表和 Spark 运行时的特定发行说明，请查看和订阅 Spark 运行时发布和更新。
组件版本
| 组件 | 版本 |
|---|---|
| Apache Spark | 3.3.1 |
| 操作系统 | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R（预览版） | 4.2.2 |
Synapse-Python310-CPU.yml 包含 Azure Synapse Spark 中默认 Python 3.10 环境中提供的库列表。
重要
.NET for Apache Spark
.NET for Apache Spark 是 .NET Foundation 下的一个开源项目，它当前需要 .NET 3.1 库，而该库已到达不受支持状态。 我们希望告知 Azure Synapse Spark 的用户，在 Azure Synapse Runtime for Apache Spark 版本 3.3 中，.NET for Apache Spark 库已被移除。 有关此情况的详细信息，用户可以参阅 .NET 支持策略。
因此，用户将无法再通过 C# 和 F# 使用 Apache Spark API，也无法再在 Synapse 中的笔记本中或通过 Synapse 中的 Apache Spark 作业定义执行 C# 代码。 请务必注意，此更改仅影响适用于 Apache Spark 3.3 及更高版本的 Azure Synapse Runtime。
我们将继续根据 Azure Synapse Runtime 的生命周期阶段在所有以前版本的 Azure Synapse Runtime 中支持 .NET for Apache Spark。 但是，我们没有计划支持适用于 Apache Spark 3.3 的 Azure Synapse Runtime 和将来版本的 .NET for Apache Spark。 建议使用由 C# 或 F# 编写的现有工作负载的用户迁移到 Python 或 Scala。 建议用户关注此信息并相应地进行计划。
Libraries
要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.3 的 Azure Synapse 运行时中包含的库，请转到适用于 Apache Spark 3.3 的 Azure Synapse 运行时
后续步骤
- 在 Azure Synapse Analytics 中管理 Apache Spark 池的库
- 安装工作区包 wheel (Python)、jar (Scala/Java) 或 tar.gz (R)
- 通过 Azure PowerShell 和 REST API 管理包
- 管理会话范围内的包
- Apache Spark 3.3.1 文档
- Apache Spark 概念
Apache Spark 版本之间的迁移 - 支持
有关从旧版运行时迁移到适用于 Apache Spark 3.3 或 3.4 的 Azure Synapse 运行时的指南，请参阅 Apache Spark 运行时概述。