Среда выполнения Fabric 1.1 (EOSA)
Среда выполнения Microsoft Fabric — это интегрированная с Azure платформа на основе Apache Spark, которая обеспечивает выполнение и управление Инжиниринг данных и Обработка и анализ данных интерфейсов в Fabric. В этом документе рассматриваются компоненты и версии среды выполнения Fabric 1.1.
Предупреждение
Дата окончания поддержки среды выполнения 1.1 была объявлена 12 июля 2024 г. Среда выполнения 1.1, основанная на Apache Spark 3.3, будет устарела и отключена с 31 марта 2025 г. Обновите рабочую область и среды до среды выполнения 1.2 или среды выполнения 1.3. Полный жизненный цикл и политики поддержки сред выполнения Apache Spark в Fabric см. в статье о жизненном цикле сред выполнения Apache Spark в Fabric.
Среда выполнения Microsoft Fabric 1.1 является одной из сред выполнения, предлагаемых на платформе Microsoft Fabric. Основные компоненты среды выполнения 1.1:
- Apache Spark 3.3
- Операционная система: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Совет
Всегда используйте последнюю версию среды выполнения общедоступной версии для рабочей рабочей нагрузки, которая в настоящее время является средой выполнения 1.3.
Среда выполнения Microsoft Fabric 1.1 поставляется с коллекцией пакетов уровня по умолчанию, включая полную установку Anaconda и часто используемые библиотеки для Java/Scala, Python и R. Эти библиотеки автоматически включаются при использовании записных книжек или заданий на платформе Microsoft Fabric. Ознакомьтесь с документацией по полному списку библиотек.
Microsoft Fabric периодически выпускает обновления обслуживания для среды выполнения 1.1, предоставляя исправления ошибок, улучшения производительности и исправления системы безопасности. Обеспечение актуальности этих обновлений гарантирует оптимальную производительность и надежность задач обработки данных. Если в настоящее время используется среда выполнения 1.1, можно обновить до среды выполнения 1.3 или среды выполнения 1.2, перейдя к параметрам > рабочей области Инжиниринг данных / среда параметров > Spark для обработки и анализа > данных.
Новые функции и улучшения — Apache Spark 3.3.1
Прочитайте полную версию заметок о выпуске для конкретной версии Apache Spark, перейдя как в Spark 3.3.0, так и в Spark 3.3.1.
Новые возможности и улучшения — Delta Lake 2.2
Проверьте исходные и полные заметки о выпуске в Delta Lake 2.2.0.
Пакеты уровня по умолчанию для Java/Scala
Список всех пакетов уровня по умолчанию для Java, Scala, Python и их соответствующих версий см. в заметках о выпуске.
Миграция между различными версиями Apache Spark
Перенос рабочих нагрузок в Среду выполнения Fabric 1.1 (Apache Spark 3.3) из более старой версии Apache Spark включает ряд шагов для обеспечения плавной миграции. В этом руководстве описаны необходимые шаги для эффективной и эффективной миграции.
Ознакомьтесь с заметками о выпуске Fabric Runtime 1.1, включая проверку компонентов и пакетов уровня по умолчанию, включенных в среду выполнения, чтобы понять новые функции и улучшения.
Проверьте совместимость текущей установки и всех связанных библиотек, включая зависимости и интеграции. Просмотрите руководства по миграции, чтобы определить потенциальные критические изменения:
- Ознакомьтесь с руководством по миграции Spark Core.
- Ознакомьтесь с руководством по миграции SQL, наборов данных и кадра данных.
- Если решение связано с потоковой передачей структуры Apache Spark, ознакомьтесь с руководством по миграции структурированной потоковой передачи.
- Если вы используете PySpark, ознакомьтесь с руководством по миграции Pyspark.
- Если вы переносите код из Koalas в PySpark, просмотрите api Koalas на pandas в руководстве по миграции Spark.
Переместите рабочие нагрузки в Fabric и убедитесь, что у вас есть резервные копии данных и файлов конфигурации, если вам потребуется вернуться к предыдущей версии.
Обновите все зависимости, которые могут повлиять на новые версии Apache Spark или других связанных компонентов среды выполнения Fabric 1.1, включая сторонние библиотеки или соединители. Перед развертыванием в рабочей среде обязательно протестируйте обновленные зависимости в промежуточной среде.
Обновите конфигурацию Apache Spark в рабочей нагрузке, включая обновление параметров конфигурации, настройку выделения памяти и изменение устаревших конфигураций.
Измените приложения Apache Spark (записные книжки и определения заданий Apache Spark), чтобы использовать новые API и функции, представленные в Среде выполнения Fabric 1.1 и Apache Spark 3.3. Возможно, потребуется обновить код, чтобы разместить устаревшие или удаленные API, а также рефакторинг приложений, чтобы воспользоваться преимуществами улучшения производительности и новых функций.
Тщательно протестируйте обновленные приложения в промежуточной среде, чтобы обеспечить совместимость и стабильность с Apache Spark 3.3. Выполните тестирование производительности, функциональное тестирование и регрессию, чтобы определить и устранить все проблемы, которые могут возникнуть во время процесса миграции.
После проверки приложений в промежуточной среде разверните обновленные приложения в рабочей среде. Отслеживайте производительность и стабильность приложений после миграции, чтобы определить все проблемы, которые необходимо устранить.
Обновите внутреннюю документацию и учебные материалы, чтобы отразить изменения, внесенные в Среду выполнения Fabric 1.1. Убедитесь, что члены вашей команды знакомы с новыми функциями и улучшениями, чтобы максимально повысить преимущества миграции.