Жизненный цикл сред выполнения Apache Spark в Fabric
Среда выполнения Microsoft Fabric — это интегрированная с Azure платформа на основе Apache Spark. Это упрощает выполнение и управление рабочими процессами инженерии и обработки и анализа данных. Он синтезирует основные элементы как из собственных, так и ресурсов с открытым исходным кодом, чтобы предложить комплексное решение. Для краткости мы ссылаемся на среду выполнения Microsoft Fabric, на основе Apache Spark просто как среду выполнения Fabric.
Ритмичность выпуска
Apache Spark обычно выпускает дополнительные версии каждые 6–9 месяцев. Команда Microsoft Fabric Spark стремится предоставлять новые версии среды выполнения с alacrity, обеспечивая высокое качество и интеграцию, а также непрерывную поддержку. Каждая версия состоит из около 110 компонентов. Так как среда выполнения расширяется за пределами Apache Spark, мы обеспечиваем простую интеграцию в экосистеме Azure.
С приверженностью превосходству мы подходим к новым выпускам среды выполнения предварительной версии тщательно, нацелив экспериментальную предварительную версию в течение ~3 месяцев, но в конечном счете устанавливаем временные шкалы на основе регистра. Это включает в себя оценку критически важных компонентов каждой версии Spark, включая Java, Scala, Python, R и Delta Lake. После тщательной оценки мы создадим подробную временную шкалу, описывающую доступность и прогрессию среды выполнения на различных этапах. В целом наша цель — установить стандартный путь жизненного цикла для сред выполнения Microsoft Fabric для Apache Spark.
Совет
Всегда используйте последнюю версию среды выполнения общедоступной версии для рабочей рабочей нагрузки, которая в настоящее время является средой выполнения 1.3.
В следующей таблице перечислены имя среды выполнения и даты выпуска для поддерживаемых выпусков среды выполнения Azure Synapse.
| Имя среды выполнения | Этап выпуска | Дата окончания поддержки: |
|---|---|---|
| Среда выполнения 1.3 на основе Apache Spark 3.5 | Общедоступная версия | 30 сентября 2026 г. |
| Среда выполнения 1.2 на основе Apache Spark 3.4 | Общедоступная версия | 31 марта 2026 г. |
| Среда выполнения 1.1 на основе Apache Spark 3.3 | EOSA | 31 марта 2025 г. |
Схема описывает жизненный цикл версии среды выполнения из экспериментальной общедоступной предварительной версии до ее отмены и удаления.
| Этап | Description | Типичный жизненный цикл |
|---|---|---|
| Экспериментальная общедоступная предварительная версия | Этап экспериментальной общедоступной предварительной версии обозначает начальный выпуск новой версии среды выполнения. На этом этапе пользователям рекомендуется экспериментировать с последними версиями Apache Spark и Delta Lake и предоставлять отзывы, несмотря на наличие задокументированных ограничений. Применяются условия предварительной версии Microsoft Azure. См . предварительный просмотр условий использования. | 2-3 месяца* |
| Общедоступная предварительная версия | После внесения дополнительных улучшений и ограничений среда выполнения выполняется до этапа предварительной версии. Применяются условия предварительной версии Microsoft Azure. См . предварительный просмотр условий использования. | 3 месяца* |
| Общедоступная версия | После того как версия среды выполнения соответствует критериям общедоступной доступности, она будет выпущена для общественности и подходит для рабочих нагрузок. Чтобы достичь этого этапа, среда выполнения должна соответствовать строгим требованиям с точки зрения производительности, интеграции с платформой, оценкой надежности и ее способностью соответствовать потребностям пользователей. | 24 месяца |
| Долгосрочная поддержка (LTS) | После выпуска общедоступной версии среда выполнения может перейти на этап долгосрочной поддержки (LTS) в зависимости от конкретных требований версии Spark. Этот этап LTS может быть объявлен, подробные сведения о ожидаемой продолжительности поддержки для клиентов, что, как правило, является дополнительным годом полной поддержки. | 12 месяцев* |
| Дата окончания поддержки объявлена | Когда среда выполнения достигнет конца поддержки, она не получит никаких дополнительных обновлений или поддержки. Как правило, перед прекращением использования среды выполнения будет дано уведомление за шесть месяцев. Эта дата окончания поддержки задокументирована путем обновления определенной таблицы с датой окончания срока действия, которая отмечает прекращение поддержки. | 6 месяцев до истечения дня отмены |
| Дата окончания поддержки. Неподдерживаемые и устаревшие среды выполнения | После поступления ранее объявленной даты окончания поддержки среда выполнения становится официально неподдерживаемой. Это означает, что она не будет получать никаких обновлений или исправлений ошибок, а официальная поддержка не будет предоставлена командой. Все запросы в службу поддержки будут автоматически разрешены. Использование неподдерживаемой среды выполнения находится под собственным риском пользователя. Среда выполнения будет удалена из параметров рабочей области Fabric и элемента среды, что делает его невозможным для использования на уровне рабочей области. Кроме того, среда выполнения также будет удалена из сред, и нет возможности создать новую среду для этой поддерживаемой версии среды выполнения. Существующие задания Spark, выполняемые в существующих средах, не смогут выполняться. | Н/П |
| Удалена среда выполнения | Когда среда выполнения достигнет неподдерживаемого этапа, все среды, использующие эту среду выполнения, удаляются. Все компоненты, связанные с серверной частью, связанные с этой средой выполнения, также удаляются. | Через несколько дней после окончания срока поддержки |
* Ожидаемая длительность выполнения на каждом этапе. Эти временные шкалы предоставляются в качестве примера и могут отличаться в зависимости от различных факторов. Временные шкалы жизненного цикла могут изменяться по усмотрению Майкрософт.
Управление версиями
Нумерирование версий среды выполнения, тесно связанное с семантической версией, следует немного отличается. Основная версия среды выполнения соответствует основной версии Apache Spark. Поэтому среда выполнения 1 соответствует Spark версии 3. Аналогичным образом, предстоящее время выполнения 2 будет соответствовать Spark 4.0. Важно отметить, что между текущими средами выполнения могут возникать изменения, включая добавление или удаление различных библиотек. Кроме того, наша платформа предлагает функцию управления библиотеками, которая позволяет пользователям устанавливать все нужные библиотеки.
Связанный контент
- Узнайте о средах выполнения Apache Spark в Fabric: обзор, управление версиями, поддержка нескольких сред выполнения и обновление протокола Delta Lake
- Среда выполнения 1.3 (Spark 3.5, Java 11, Python 3.11, Delta Lake 3.2)
- Среда выполнения 1.2 (Spark 3.4, Java 11, Python 3.10, Delta Lake 2.4)
- Среда выполнения 1.1 (Spark 3.3, Java 8, Python 3.10, Delta Lake 2.2)