你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

适用于 Apache Spark 3.2 的 Azure Synapse 运行时(已弃用)

Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.2 的 Azure Synapse 运行时的运行时组件和版本。

注意

适用于 Apache Spark 3.2 的 Azure Synapse 运行时的弃用和禁用通知

  • 2023 年 7 月 8 日,Azure Synapse Runtime for Apache Spark 3.2 宣布终止支持。 根据 Apache Spark 生命周期策略的 Synapse 运行时,截至 2024 年 7 月 8 日,Apache Spark 3.2 的 Azure Synapse 运行时已停用。 现有工作流将继续运行,但安全更新和 bug 修复将不再提供。 元数据将暂时保留在 Synapse 工作区中。
  • 从 2024 年 7 月 8 日起,Azure Synapse 停止了对 Spark 3.2 运行时的官方支持。 但是,根据从多个客户收到的请求,我们已将此运行时的使用扩展到 2024 年 10 月 31 日,作业禁用将在之后不久启动。
  • 强烈建议将 Apache Spark 3.2 工作负载升级到适用于 Apache Spark 3.4 的 Azure Synapse Runtime。
  • 有关最新信息、详细更改列表和 Spark 运行时的特定发行说明,请查看和订阅 Spark 运行时发布和更新

组件版本

组件 版本
Apache Spark 3.2.1
操作系统 Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.1
.NET Core 3.1
.NET 2.0.0
Delta Lake 1.2
Python 3.8
R(预览版) 4.2

Synapse-Python38-CPU.yml 包含 Azure Synapse Spark 中默认 Python 3.8 环境中提供的库列表。

Libraries

要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.2 的 Azure Synapse 运行时中包含的库,请转到适用于 Apache Spark 3.2 的 Azure Synapse 运行时发行说明

后续步骤

Apache Spark 版本之间的迁移 - 支持

有关从旧版运行时迁移到适用于 Apache Spark 3.3 或 3.4 的 Azure Synapse 运行时的指南,请参阅 Apache Spark 运行时概述