Gestion des bibliothèques dans Spark
Important
Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.
Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.
Important
Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.
L’objectif de la gestion des bibliothèques est de rendre le code open source ou personnalisé disponible pour les notebooks et les travaux exécutés sur vos clusters. Vous pouvez charger des bibliothèques Python à partir de référentiels PyPI. Cet article se concentre sur la gestion des bibliothèques dans l’interface utilisateur du cluster. Azure HDInsight sur AKS inclut déjà de nombreuses bibliothèques courantes dans le cluster. Pour voir quelles bibliothèques sont incluses dans HDI sur le cluster AKS, consultez la page de gestion des bibliothèques.
Installer des bibliothèques
Vous pouvez installer des bibliothèques en deux modes :
- Installé en cluster
- Portée du Notebook
Cluster installé
Tous les notebooks exécutés sur un cluster peuvent utiliser des bibliothèques de cluster. Vous pouvez installer une bibliothèque de cluster directement à partir d’un référentiel public tel que PyPi. Le chargement à partir de référentiels Maven, le chargement de bibliothèques personnalisées à partir du stockage cloud se trouve dans la feuille de route.
Limité au carnet
Bibliothèques spécifiques aux notebooks, disponibles pour Python et Scala, qui vous permettent d’installer des bibliothèques et de créer un environnement spécifique à une session de notebook. Ces bibliothèques n’affectent pas les autres blocs-notes s’exécutant sur le même cluster. Les bibliothèques associées au bloc-notes ne sont pas persistantes et doivent être réinstallées pour chaque session.
Note
Utilisez des bibliothèques délimitées à un bloc-notes lorsque vous avez besoin d’un environnement personnalisé pour un notebook spécifique.
Modes d’installation de la bibliothèque
pyPI: récupérer des bibliothèques à partir du référentiel PyPI open source en mentionnant le nom et la version de la bibliothèque dans l’interface utilisateur d’installation.
Afficher les bibliothèques installées
Dans la page Vue d’ensemble, accédez au Gestionnaire de bibliothèque.
À partir du Gestionnaire de cluster Spark, cliquez sur Gestionnaire de bibliothèque.
Vous pouvez afficher la liste des bibliothèques installées à partir d’ici.
Ajouter un widget de bibliothèque
PyPI
À partir de l'onglet PyPI, entrez le Nom du package et la Version du package..
Cliquez sur Installer.
Désinstallation des bibliothèques
Si vous décidez de ne plus utiliser les bibliothèques, vous pouvez facilement supprimer les packages de bibliothèques via le bouton désinstaller dans la page de gestion de bibliothèque.
Sélectionnez et cliquez sur le nom de la bibliothèque
Cliquez sur Désinstaller dans le widget
Note
- Les packages installés à partir du notebook Jupyter ne peuvent être supprimés que de Jupyter Notebook.
- Les packages installés à partir du gestionnaire de bibliothèque ne peuvent être désinstallés que du gestionnaire de bibliothèques.
- Pour mettre à niveau une bibliothèque/un package, désinstallez la version actuelle de la bibliothèque et réinstallez la version requise de la bibliothèque.
- L’installation de bibliothèques à partir du notebook Jupyter est particulière à la session. Ce n’est pas persistant.
- L’installation de packages lourds peut prendre un certain temps en raison de leur taille et de leur complexité.