Problème connu - Les travaux Spark risquent d’échouer en raison des mises à jour apportées à Runtime 1.3 pour la version en disponibilité générale (GA)
Microsoft Fabric Runtime 1.3 basé sur Apache Spark 3.5 est passé en disponibilité générale (GA) le 23 septembre 2024. Fabric Runtime 1.3 peut désormais être utilisé pour les charges de travail de production. Dans le cadre de la transition de la phase de préversion publique à la phase de disponibilité générale, nous avons publié des mises à jour majeures des bibliothèques intégrées pour améliorer les fonctionnalités, la sécurité, la fiabilité et les performances. Ces mises à jour peuvent affecter vos environnements Microsoft Fabric si vous avez installé des bibliothèques, ou substitué la version des bibliothèques intégrées par la version Runtime 1.3.
Statut : Ouvert
Expérience produit : Ingénieurs de données
Symptômes
Si vous avez installé les environnements en utilisant des bibliothèques de Runtime 1.3, le travail Spark se met à échouer avec une erreur semblable à Post Personalization failed. L’importation de bibliothèques personnalisées installées peut échouer en raison de la mise à jour des bibliothèques intégrées sous-jacentes.
Solutions et méthodes de contournement
Réinstallez les bibliothèques pour Fabric Runtime 1.3 dans vos environnements Microsoft Fabric. La réinstallation génère la nouvelle dépendance en fonction des dernières mises à jour. Si vos bibliothèques personnalisées ont des dépendances incompatibles avec les packages intégrés Python, l’installation échoue, et un journal de débogage automatique est généré avec la liste des versions nécessaires. Vous pouvez mettre à jour les dépendances pour rendre vos bibliothèques personnalisées compatibles. Il peut exister des incompatibilités ou des changements cassants sur le notebook ou le pipeline existant, car les packages Python sous-jacents ont été changés. Vous devez revoir le code pour atténuer les problèmes.