Runtime Azure Synapse pour Apache Spark 3.3 (EOSA)
Azure Synapse Analytics prend en charge plusieurs runtimes pour Apache Spark. Ce document présente les composants et les versions du runtime Azure Synapse pour Apache Spark 3.3.
Avertissement
Notification de fin de prise en charge pour Azure Synapse Runtime pour Apache Spark 3.3
- Le 12 juillet 2024, la fin du support a été annoncée pour Azure Synapse Runtime pour Apache Spark 3.3.
- À compter du 31 mars 2025, Azure Synapse interrompt la prise en charge officielle des runtimes Spark 3.3.
- Nous vous recommandons vivement de mettre à niveau vos charges de travail basées sur Apache Spark 3.3 vers Azure Synapse Runtime pour Apache Spark 3.4 (GA).
- Pour obtenir des informations à jour, une liste détaillée des modifications et des notes de publication spécifiques pour les runtimes Spark, vérifiez et abonnez-vous aux versions et mises à jour des runtimes Spark.
Versions des composants
| Composant | Version |
|---|---|
| Apache Spark | 3.3.1 |
| Système d’exploitation | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (préversion) | 4.2.2 |
Synapse-Python310-CPU.yml contient la liste des bibliothèques fournies dans l’environnement Python 3.10 par défaut dans Azure Synapse Spark.
Important
.NET pour Apache Spark
NET pour Apache Spark est un projet open source sous .NET Foundation qui nécessite actuellement la bibliothèque .NET 3.1 qui a atteint l’état de non prise en charge. Nous tenons à informer les utilisateurs d’Azure Synapse Spark de la suppression de la bibliothèque .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark version 3.3. Les utilisateurs peuvent se référer à la Stratégie de prise en charge .NET pour obtenir d’autres informations à ce sujet.
Par conséquent, il ne sera plus possible pour les utilisateurs d’utiliser les API Apache Spark via C# et F# ou d’exécuter du code C# dans des notebooks dans Synapse ou via des définitions de tâche Apache Spark dans Synapse. Il est important de noter que cette modification affecte uniquement Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures.
Nous continuerons à prendre en charge .NET pour Apache Spark dans toutes les versions antérieures de Runtime Azure Synapse en fonction de leurs phases de cycle de vie. Toutefois, nous ne prévoyons pas de prendre en charge .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures. Nous recommandons aux utilisateurs disposant de charges de travail existantes écrites en C# ou F# de migrer vers Python ou Scala. Nous invitons les utilisateurs à prendre note de ces informations et à planifier en conséquence.
Bibliothèques
Pour vérifier les bibliothèques incluses dans Le runtime Azure Synapse pour Apache Spark 3.3 pour Java/Scala, Python et R, accédez à Azure Synapse Runtime pour Apache Spark 3.3
Étapes suivantes
- Gérer des bibliothèques pour Apache Spark dans Azure Synapse Analytics
- Installer des packages d’espace de travail avec des fichiers wheel (Python), jar (Scala/Java) ou tar.gz (R)
- Gérer des packages via Azure PowerShell et l’API REST
- Gérer les packages avec étendue de session
- Documentation Apache Spark 3.3.1
- Concepts Apache Spark
Migration entre les versions d’Apache Spark - prise en charge
Pour obtenir des conseils sur la migration d’anciennes versions du runtime vers Azure Synapse Runtime pour Apache Spark 3.3 ou 3.4, reportez-vous à Runtime pour Apache Spark Overview.