Azure Synapse Runtime para Apache Spark 3.3 (EOSA)
Azure Synapse Analytics admite varios entornos de ejecución para Apache Spark. En este documento se describen los componentes y versiones del entorno de ejecución de Azure Synapse para Apache Spark 3.3.
Advertencia
Finalización de la notificación de soporte técnico para Azure Synapse Runtime para Apache Spark 3.3
- El 12 de julio de 2024, se anunció la finalización del soporte técnico para Azure Synapse Runtime para Apache Spark 3.3.
- A partir del 31 de marzo de 2025, Azure Synapse interrumpirá la compatibilidad oficial con los entornos de ejecución de Spark 3.3.
- Se recomienda encarecidamente actualizar las cargas de trabajo basadas en Apache Spark 3.3 a Azure Synapse Runtime para Apache Spark 3.4 (GA).
- Para obtener información actualizada, una lista detallada de cambios y notas de la versión específicas para los entornos de ejecución de Spark, compruebe y suscríbase a las versiones y actualizaciones de Spark Runtimes.
Versiones de componentes
| Componente | Versión |
|---|---|
| Spark de Apache | 3.3.1 |
| Sistema operativo | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (versión preliminar) | 4.2.2 |
Synapse-Python310-CPU.yml contiene la lista de bibliotecas enviadas en el entorno de Python 3.10 predeterminado en Azure Synapse Spark.
Importante
.NET para Apache Spark
.NET para Apache Spark es un proyecto de código abierto en .NET Foundation que actualmente requiere la biblioteca de .NET 3.1, que ya no tiene compatibilidad con el estado de asistencia. Nos gustaría informar a los usuarios de Azure Synapse Spark de la eliminación de la biblioteca de .NET para Apache Spark en la versión 3.3 de Azure Synapse Runtime para Apache Spark. Los usuarios pueden consultar la directiva de soporte técnico de .NET para obtener más detalles sobre este asunto.
Como resultado, ya no será posible que los usuarios usen las API de Apache Spark a través de C# y F#, o bien ejecuten código de C# en cuadernos de Synapse o mediante definiciones de trabajos de Apache Spark en Synapse. Es importante tener en cuenta que este cambio solo afecta a Azure Synapse Runtime para Apache Spark 3.3 y versiones posteriores.
Se seguirá admitiendo .NET para Apache Spark en todas las versiones anteriores de Azure Synapse Runtime según sus fases de ciclo de vida. Sin embargo, no tenemos planes para admitir .NET para Apache Spark en Azure Synapse Runtime para Apache Spark 3.3 y versiones futuras. Se recomienda que los usuarios con cargas de trabajo existentes escritas en C# o F# migren a Python o Scala. Se recomienda a los usuarios tomar nota de esta información y planear en consecuencia.
Bibliotecas
Para comprobar las bibliotecas incluidas en Azure Synapse Runtime para Apache Spark 3.3 para Java/Scala, Python y R, vaya a Azure Synapse Runtime para Apache Spark 3.3.
Pasos siguientes
- Administración de bibliotecas para grupos de Apache Spark en Azure Synapse Analytics
- Instalar la rueda de paquetes del área de trabajo (Python), jar (Scala/Java) o tar.gz (R)
- Administración de paquetes mediante cmdlets de Azure PowerShell y REST API
- Administración de paquetes de ámbito de sesión
- Documentación de Apache Spark 3.3.1
- Conceptos de Apache Spark
Migración entre versiones de Apache Spark: compatibilidad
Para obtener instrucciones sobre la migración desde versiones anteriores del entorno de ejecución a Azure Synapse Runtime para Apache Spark 3.3 o 3.4, consulte Introducción al entorno de ejecución para Apache Spark.