Bibliotheekbeheer in Spark

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Kom meer te weten over uit deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

Het doel van Bibliotheekbeheer is om opensource- of aangepaste code beschikbaar te maken voor notebooks en taken die worden uitgevoerd op uw clusters. U kunt Python-bibliotheken uploaden vanuit PyPI-opslagplaatsen. Dit artikel is gericht op het beheren van bibliotheken in de gebruikersinterface van het cluster. Azure HDInsight in AKS bevat al veel algemene bibliotheken in het cluster. Als u wilt zien welke bibliotheken zijn opgenomen in HDI op een AKS-cluster, raadpleegt u de pagina bibliotheekbeheer.

Bibliotheken installeren

U kunt bibliotheken in twee modi installeren:

• Geïnstalleerd in cluster
• Notebook-bereik

Cluster geïnstalleerd

Alle notebooks die op een cluster worden uitgevoerd, kunnen clusterbibliotheken gebruiken. U kunt een clusterbibliotheek rechtstreeks vanuit een openbare opslagplaats, zoals PyPi, installeren. Uploaden vanuit Maven-opslagplaatsen, aangepaste bibliotheken uploaden vanuit cloudopslag staan in de roadmap.

Notebook-bereik

Notebook-scoped bibliotheken, beschikbaar voor Python en Scala, waarmee u bibliotheken kunt installeren en een omgeving kunt maken die is gericht op een notebooksessie. Deze bibliotheken zijn niet van invloed op andere notebooks die op hetzelfde cluster worden uitgevoerd. Bibliotheken die notebook-gebonden zijn, blijven niet behouden en moeten voor elke sessie opnieuw worden geïnstalleerd.

Notitie

Gebruik notebook-specifieke bibliotheken als u een aangepaste omgeving nodig hebt voor een specifiek notitieblok.

Installatiemodi van bibliotheek

PyPI-: Bibliotheken ophalen uit open source PyPI-opslagplaats door de naam en versie van de bibliotheek in de installatiegebruikersinterface te vermelden.

De geïnstalleerde bibliotheken weergeven

1. Ga op de overzichtspagina naar Bibliotheekbeheer.

   

2. Klik in Spark-clusterbeheer op Bibliotheekbeheer.

3. U kunt hier de lijst met geïnstalleerde bibliotheken bekijken.

   

Bibliotheekwidget toevoegen

PyPI

1. Voer op het tabblad PyPI de pakketnaam en pakketversie in..

2. Klik op Installeren.

   

Bibliotheken verwijderen

Als u besluit de bibliotheken niet meer te gebruiken, kunt u de bibliothekenpakketten eenvoudig verwijderen via de knop Verwijderen op de pagina bibliotheekbeheer.

1. Selecteer en klik op de naam van de bibliotheek

   

2. Klik op Verwijderen in de widget

   

   Notitie

   • Pakketten die zijn geïnstalleerd vanuit Jupyter Notebook, kunnen alleen worden verwijderd uit Jupyter Notebook.
   • Pakketten die vanuit bibliotheekbeheer zijn geïnstalleerd, kunnen alleen worden verwijderd uit bibliotheekbeheer.
   • Als u een bibliotheek/pakket wilt upgraden, verwijdert u de huidige versie van de bibliotheek en installeert u de vereiste versie van de bibliotheek opnieuw.
   • De installatie van bibliotheken in Jupyter Notebook is specifiek voor de sessie. Het is niet permanent.
   • Het installeren van zware pakketten kan enige tijd duren vanwege hun grootte en complexiteit.