Известная проблема. Задания Spark могут завершиться сбоем из-за обновлений среды выполнения 1.3 для общедоступной версии
Среда выполнения Microsoft Fabric 1.3 на основе Apache Spark 3.5 стала общедоступной 23 сентября 2024 года. Теперь среда выполнения Fabric 1.3 может использоваться для рабочих нагрузок. В рамках перехода с общедоступной предварительной версии на общий этап доступности мы выпустили основные встроенные обновления библиотеки для улучшения функциональности, безопасности, надежности и производительности. Эти обновления могут повлиять на ваши среды Microsoft Fabric, если вы установили библиотеки или переопределили встроенную версию библиотеки, используя Runtime 1.3.
Статус : открыто
Опыт продукта: Инженерия данных
Симптомы
Если вы установили окружения с библиотеками с версией среды выполнения 1.3, задание Spark начинает завершаться с ошибкой, аналогичной Post Personalization failed. Импорт установленных пользовательских библиотек может завершиться ошибкой из-за обновления базовых встроенных библиотек.
Решения и обходные пути
Переустановите библиотеки для среды выполнения Fabric 1.3 в средах Microsoft Fabric. Переустановка создает новую зависимость на основе последних обновлений. Если пользовательские библиотеки имеют несовместимые зависимости в встроенных пакетах Python, установка завершается ошибкой, а журнал самостоятельной отладки создается со списком необходимых версий. Можно обновить зависимости, чтобы обеспечить совместимость пользовательских библиотек. В существующей записной книжке или конвейере могут возникнуть несоответствия или изменения, нарушающие совместимость, так как были изменены базовые пакеты Python. Чтобы устранить проблему, необходимо пересмотреть код.