Bibliotheekbeheer in Spark
Notitie
Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.
Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.
Belangrijk
Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.
Het doel van Bibliotheekbeheer is om opensource- of aangepaste code beschikbaar te maken voor notebooks en taken die worden uitgevoerd op uw clusters. U kunt Python-bibliotheken uploaden vanuit PyPI-opslagplaatsen. Dit artikel is gericht op het beheren van bibliotheken in de gebruikersinterface van het cluster. Azure HDInsight in AKS bevat al veel algemene bibliotheken in het cluster. Als u wilt zien welke bibliotheken zijn opgenomen in HDI op een AKS-cluster, raadpleegt u de pagina bibliotheekbeheer.
Bibliotheken installeren
U kunt bibliotheken in twee modi installeren:
- Cluster geïnstalleerd
- Notebook-scoped
Cluster geïnstalleerd
Alle notebooks die op een cluster worden uitgevoerd, kunnen clusterbibliotheken gebruiken. U kunt een clusterbibliotheek rechtstreeks vanuit een openbare opslagplaats, zoals PyPi, installeren. Uploaden vanuit Maven-opslagplaatsen, aangepaste bibliotheken uploaden vanuit cloudopslag staan in de roadmap.
Notebook-scoped
Notebook-scoped bibliotheken, beschikbaar voor Python en Scala, waarmee u bibliotheken kunt installeren en een omgeving kunt maken die is gericht op een notebooksessie. Deze bibliotheken zijn niet van invloed op andere notebooks die op hetzelfde cluster worden uitgevoerd. Bibliotheken met notebookbereik blijven niet behouden en moeten voor elke sessie opnieuw worden geïnstalleerd.
Notitie
Gebruik notebookbibliotheken wanneer u een aangepaste omgeving nodig hebt voor een specifiek notitieblok.
Installatiemodi van bibliotheek
PyPI: Haal bibliotheken op uit de open source PyPI-opslagplaats door de naam en versie van de bibliotheek in de installatiegebruikersinterface te vermelden.
De geïnstalleerde bibliotheken weergeven
Ga op de overzichtspagina naar Bibliotheekbeheer.
Klik in Spark-clusterbeheer op Bibliotheekbeheer.
U kunt hier de lijst met geïnstalleerde bibliotheken bekijken.
Bibliotheekwidget toevoegen
PyPI
Voer op het tabblad PyPI de pakketnaam en pakketversie in.
Klik op Install.
Bibliotheken verwijderen
Als u besluit de bibliotheken niet meer te gebruiken, kunt u de bibliothekenpakketten eenvoudig verwijderen via de knop Verwijderen op de pagina bibliotheekbeheer.
Selecteer en klik op de naam van de bibliotheek
Klik op Verwijderen in de widget
Notitie
- Pakketten die zijn geïnstalleerd vanuit Jupyter Notebook, kunnen alleen worden verwijderd uit Jupyter Notebook.
- Pakketten die vanuit bibliotheekbeheer zijn geïnstalleerd, kunnen alleen worden verwijderd uit bibliotheekbeheer.
- Als u een bibliotheek/pakket wilt upgraden, verwijdert u de huidige versie van de bibliotheek en installeert u de vereiste versie van de bibliotheek opnieuw.
- De installatie van bibliotheken van Jupyter Notebook is met name voor de sessie. Het is niet permanent.
- Het installeren van zware pakketten kan enige tijd duren vanwege hun grootte en complexiteit.