次の方法で共有


Azure Synapse Runtime for Apache Spark 3.3 (EOSA)

Azure Synapse Analytics は、Apache Spark の複数のランタイムをサポートしています。 このドキュメントでは、Azure Synapse Runtime for Apache Spark 3.3 のランタイム コンポーネントとバージョンについて説明します。

警告

Azure Synapse Runtime for Apache Spark 3.3 のサポート終了通知

コンポーネントのバージョン

コンポーネント Version
Apache Spark 3.3.1
オペレーティング システム Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (プレビュー) 4.2.2

Synapse-Python310-CPU.yml には、Azure Synapse Spark の既定の Python 3.10 環境に付属しているライブラリの一覧が含まれています。

重要

.NET for Apache Spark

  • .NET for Apache Spark は、サポート対象外の状態に達している .NET 3.1 ライブラリを現在必要とする .NET Foundation のオープンソース プロジェクトです。 Azure Synapse Runtime for Apache Spark バージョン 3.3 で .NET for Apache Spark ライブラリが削除されることを Azure Synapse Spark のユーザーにお知らせします。 この問題の詳細については .NET サポート ポリシーを参照することができます。

  • その結果、ユーザーは C# および F# を介して Apache Spark API を利用したり、Synapse 内のノートブックや Synapse の Apache Spark ジョブ定義を使用して C# コードを実行したりすることができなくなります。 この変更は、 Azure Synapse Runtime for Apache Spark 3.3 以降にのみ影響することに注意してください。

  • .NET for Apache Spark は、Azure Synapse Runtime のすべてのバージョンで、それらのライフサイクル ステージに従って引き続きサポートされます。 ただし、Azure Synapse Runtime for Apache Spark 3.3 以降のバージョンでは、.NET for Apache Spark をサポートする予定はありません。 C# または F# で記述された既存のワークロードを持つユーザーは、Python または Scala に移行することをお勧めします。 ユーザーはこの情報をメモし、適切に計画することをお勧めします。

ライブラリ

Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala、Python、R に含まれるライブラリを確認するには、Apache Spark 3.3 用 Azure Synapse Runtime に移動します

次のステップ

Apache Spark バージョン間の移行 - サポート

古いランタイム バージョンから Azure Synapse Runtime for Apache Spark 3.3 または 3.4 への移行に関するガイダンスについては、「 Runtime for Apache Spark の概要を参照してください。