Fabric Runtime 1.1 (EOSA)
Microsoft Fabric Runtime est une plateforme intégrée à Azure basée sur Apache Spark qui permet l’exécution et la gestion des expériences d’engineering données et de Science des données dans Fabric. Ce document couvre les composants et versions de Fabric Runtime 1.1.
Avertissement
La date de fin de prise en charge du Runtime 1.1 a été annoncée au 12 juillet 2024. Runtime 1.1, basé sur Apache Spark 3.3, sera déconseillé et désactivé à compter du 31 mars 2025. Mettez à niveau votre espace de travail et vos environnements vers Runtime 1.2 ou Runtime 1.3. Pour le cycle de vie complet et les stratégies de support Apache Spark dans Fabric, reportez-vous à Cycle de vie des runtimes d’Apache Spark dans Fabric.
Microsoft Fabric Runtime 1.1 est l’un des runtimes proposés dans la plateforme Microsoft Fabric. Les principaux composants runtime 1.1 sont les suivants :
- Apache Spark 3.3
- Système d’exploitation : Ubuntu 18.04
- Java : 1.8.0_282
- Scala : 2.12.15
- Python : 3.10
- Delta Lake : 2.2
- R: 4.2.2
Conseil
Utilisez toujours la version la plus récente du runtime ga pour votre charge de travail de production, qui est actuellement Runtime 1.3.
Microsoft Fabric Runtime 1.1 est fourni avec une collection de packages de niveau par défaut, y compris une installation Complète d’Anaconda et des bibliothèques couramment utilisées pour Java/Scala, Python et R. Ces bibliothèques sont automatiquement incluses lors de l’utilisation de notebooks ou de travaux dans la plateforme Microsoft Fabric. Reportez-vous à la documentation pour obtenir la liste complète des bibliothèques.
Microsoft Fabric publie régulièrement des mises à jour de maintenance pour Runtime 1.1, fournissant des correctifs de bogues, des améliorations du niveau de performance et des correctifs de sécurité. Veiller à rester à jour garantit des performances et une fiabilité optimales pour vos tâches de traitement des données. Si vous utilisez actuellement Runtime 1.1, vous pouvez effectuer une mise à niveau vers Runtime 1.3 ou Runtime 1.2 en accédant aux paramètres > de l’espace de travail Ingénieurs Données ing/Environnement de paramètres > Science > Spark.
Voici les améliorations et nouvelles fonctionnalités : Apache Spark 3.3.1
Lisez la version complète des notes de publication d’une version spécifique d’Apache Spark en visitant Spark 3.3.0 et Spark 3.3.1.
Améliorations et nouvelles fonctionnalités : Delta Lake 2.2
Consultez les notes de publication sources et complètes sur Delta Lake 2.2.0.
Packages de niveau par défaut pour Java/Scala
Pour obtenir la liste de tous les packages de niveau par défaut pour Java, Scala, Python et leurs versions respectives, consultez les notes de publication.
Migration entre différentes versions d’Apache Spark
La migration de vos charges de travail vers Fabric Runtime 1.1 (Apache Spark 3.3) à partir d’une version antérieure d’Apache Spark implique une série d’étapes pour garantir une migration fluide. Ce guide décrit les étapes nécessaires pour vous aider à migrer efficacement.
Passez en revue les notes de publication de Fabric Runtime 1.1, y compris la vérification des composants et des packages au niveau par défaut inclus dans le runtime, pour comprendre les nouvelles fonctionnalités et les améliorations.
Vérifiez la compatibilité de votre configuration actuelle et de toutes les bibliothèques associées, y compris les dépendances et les intégrations. Passez en revue les guides de migration pour identifier les changements cassants potentiels :
- Consultez le guide de migration Spark Core.
- Consultez le guide de migration SQL, Datasets et DataFrame.
- Si votre solution est liée à Apache Spark Structured Streaming, consultez le Guide de migration Structured Streaming.
- Si vous utilisez PySpark, consultez le guide de migration Pyspark.
- Si vous migrez du code de Koalas vers PySpark, consultez l’API Koalas vers pandas sur le guide de migration Spark.
Déplacez vos charges de travail vers Fabric et assurez-vous que vous disposez de sauvegardes de vos fichiers de données et de configuration au cas où vous deviez revenir à la version précédente.
Mettez à jour toutes les dépendances que la nouvelle version d’Apache Spark ou d’autres composants liés à Fabric Runtime 1.1 pourraient avoir un impact, y compris les bibliothèques ou connecteurs tiers. Assurez-vous de tester les dépendances mises à jour dans un environnement intermédiaire avant de les déployer en production.
Mettez à jour la configuration d’Apache Spark sur votre charge de travail, notamment en mettant à jour les paramètres de configuration, en ajustant les allocations de mémoire et en modifiant les configurations obsolètes.
Modifiez vos applications Apache Spark (ordinateurs portables et définitions de tâches Apache Spark) pour utiliser les nouvelles API et fonctionnalités introduites dans Fabric Runtime 1.1 et Apache Spark 3.3. Vous devrez peut-être mettre à jour votre code pour prendre en charge les API obsolètes ou supprimées, et refactoriser vos applications pour profiter des améliorations de performances et des nouvelles fonctionnalités.
Testez minutieusement vos applications mises à jour dans un environnement intermédiaire pour garantir la compatibilité et la stabilité avec Apache Spark 3.3. Effectuez des tests de performances, des tests fonctionnels et des tests de régression pour identifier et résoudre tout problème pouvant survenir pendant le processus de migration.
Après avoir validé vos applications dans un environnement intermédiaire, déployez les applications mises à jour dans votre environnement de production. Surveillez les performances et la stabilité de vos applications après la migration pour identifier les problèmes qui doivent être résolus.
Mettez à jour votre documentation interne et vos supports de formation pour refléter les modifications introduites dans Fabric Runtime 1.1. Assurez-vous que les membres de votre équipe sont familiarisés avec les nouvelles fonctionnalités et les améliorations pour optimiser les avantages de la migration.