Bibliotekshantering i Spark
Kommentar
Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.
Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.
Viktigt!
Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.
Syftet med bibliotekshantering är att göra öppen källkod eller anpassad kod tillgänglig för notebook-filer och jobb som körs i dina kluster. Du kan ladda upp Python-bibliotek från PyPI-lagringsplatser. Den här artikeln fokuserar på att hantera bibliotek i klustrets användargränssnitt. Azure HDInsight på AKS innehåller redan många vanliga bibliotek i klustret. Om du vill se vilka bibliotek som ingår i HDI i AKS-klustret läser du sidan för bibliotekshantering.
Installera bibliotek
Du kan installera bibliotek i två lägen:
- Klusterinstallerat
- Notebook-omfång
Kluster installerat
Alla notebook-filer som körs i ett kluster kan använda klusterbibliotek. Du kan installera ett klusterbibliotek direkt från en offentlig lagringsplats, till exempel PyPi. Ladda upp från Maven-lagringsplatser, ladda upp anpassade bibliotek från molnlagring finns i översikten.
Notebook-omfång
Bibliotek med notebook-omfång som är tillgängliga för Python och Scala, som gör att du kan installera bibliotek och skapa en miljö som är begränsad till en notebook-session. De här biblioteken påverkar inte andra notebook-filer som körs i samma kluster. Bibliotek med notebook-omfång bevaras inte och måste installeras om för varje session.
Kommentar
Använd bibliotek med notebook-omfång när du behöver en anpassad miljö för en specifik notebook-fil.
Lägen för biblioteksinstallation
PyPI: Hämta bibliotek från öppen källkod PyPI-lagringsplats genom att nämna biblioteksnamnet och versionen i installationsgränssnittet.
Visa de installerade biblioteken
Från översiktssidan går du till Bibliotekshanteraren.
Från Spark Cluster Manager klickar du på Bibliotekshanteraren.
Du kan visa listan över installerade bibliotek härifrån.
Lägg till bibliotekswidget
PyPI
På fliken PyPI anger du paketnamn och paketversion..
Klicka på Installera.
Avinstallera bibliotek
Om du bestämmer dig för att inte längre använda biblioteken kan du enkelt ta bort bibliotekspaketen via avinstallationsknappen på bibliotekshanteringssidan.
Välj och klicka på biblioteksnamnet
Klicka på Avinstallera i widgeten
Kommentar
- Paket som är installerade från Jupyter Notebook kan bara tas bort från Jupyter Notebook.
- Paket som installeras från bibliotekshanteraren kan bara avinstalleras från bibliotekshanteraren.
- Om du vill uppgradera ett bibliotek/paket avinstallerar du den aktuella versionen av biblioteket och installerar om den nödvändiga versionen av biblioteket.
- Installation av bibliotek från Jupyter Notebook är särskilt för sessionen. Det är inte beständigt.
- Det kan ta lite tid att installera tunga paket på grund av deras storlek och komplexitet.