Среда выполнения Azure Synapse для Apache Spark 3.2 (устарело)
Azure Synapse Analytics поддерживает несколько сред выполнения для Apache Spark. В этом документе рассматриваются компоненты и версии среды выполнения Для среды выполнения Azure Synapse для Apache Spark 3.2.
Внимание
Уведомление об отмене и отключении для среды выполнения Azure Synapse для Apache Spark 3.2
- Было объявлено о завершении поддержки для среды выполнения Azure Synapse для Apache Spark 3.2 июля 8 2023 г. В соответствии с политикой жизненного цикла Apache Spark среда выполнения Synapse для Apache Spark 3.2 прекращена с 8 июля 2024 г. Существующие рабочие процессы будут продолжать выполняться, но обновления системы безопасности и исправления ошибок больше не будут доступны. Метаданные временно останутся в рабочей области Synapse.
- С 8 июля 2024 г. Azure Synapse прекратила официальную поддержку среды выполнения Spark 3.2. Однако на основе запросов, полученных от нескольких клиентов, мы расширили использование этой среды выполнения до 31 октября 2024 года, и отключение заданий начнется вскоре после этого.
- Настоятельно рекомендуется обновить рабочие нагрузки Apache Spark 3.2 до среды выполнения Azure Synapse для Apache Spark 3.4.
- Актуальные сведения см. в подробном списке изменений и конкретных заметках о выпуске для сред выполнения Spark, проверке и подписке на выпуски и обновления Spark Runtimes.
Версии компонентов
| Компонент | Версия |
|---|---|
| Apache Spark | 3.2.1 |
| Операционная система | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.1 |
| .NET Core | 3.1 |
| .NET | 2.0.0 |
| Delta Lake | 1.2 |
| Python | 3,8 |
| R (предварительная версия) | 4.2 |
Synapse-Python38-CPU.yml содержит список библиотек, отправленных в среде Python 3.8 по умолчанию в Azure Synapse Spark.
Библиотеки
Чтобы проверить библиотеки, включенные в среду выполнения Azure Synapse для Apache Spark 3.2 для Java/Scala, Python и R, перейдите в Заметки о выпуске Azure Synapse для Apache Spark 3.2.
Следующие шаги
Миграция между версиями Apache Spark — поддержка
Рекомендации по миграции из более старых версий среды выполнения в Среду выполнения Azure Synapse для Apache Spark 3.3 или 3.4 см. в обзоре среды выполнения Для Apache Spark.