Zarządzanie bibliotekami na platformie Spark
Uwaga
Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.
Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.
Ważne
Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.
Celem zarządzania biblioteką jest udostępnienie kodu open source lub niestandardowego notesom i zadaniam uruchomionym w klastrach. Biblioteki języka Python można przekazywać z repozytoriów PyPI. Ten artykuł koncentruje się na zarządzaniu bibliotekami w interfejsie użytkownika klastra. Usługa Azure HDInsight w usłudze AKS zawiera już wiele popularnych bibliotek w klastrze. Aby sprawdzić, które biblioteki są zawarte w usłudze HDI w klastrze usługi AKS, przejrzyj stronę zarządzania biblioteką.
Instalowanie bibliotek
Biblioteki można zainstalować w dwóch trybach:
- Zainstalowane w klastrze
- Zakres notesu
Zainstalowany klaster
Wszystkie notesy uruchomione w klastrze mogą używać bibliotek klastra. Bibliotekę klastra można zainstalować bezpośrednio z publicznego repozytorium, takiego jak PyPi. Przekazywanie z repozytoriów Maven, przekazywanie bibliotek niestandardowych z magazynu w chmurze jest dostępne w harmonogramie działania.
Zakres notesu
Biblioteki o zakresie notesu, dostępne dla języków Python i Scala, które umożliwiają instalowanie bibliotek i tworzenie środowiska w zakresie sesji notesu. Te biblioteki nie mają wpływu na inne notesy uruchomione w tym samym klastrze. Biblioteki o zakresie notesu nie są utrwalane i muszą być ponownie zainstalowane dla każdej sesji.
Uwaga
Użyj bibliotek o zakresie notesu, jeśli potrzebujesz środowiska niestandardowego dla określonego notesu.
Tryby instalacji biblioteki
PyPI: pobierz biblioteki z repozytorium PyPI typu open source, podając nazwę biblioteki i wersję w interfejsie użytkownika instalacji.
Wyświetlanie zainstalowanych bibliotek
Na stronie Przegląd przejdź do Menedżera biblioteki.
W Menedżerze klastra Spark kliknij pozycję Menedżer biblioteki.
Listę zainstalowanych bibliotek można wyświetlić tutaj.
Dodawanie widżetu biblioteki
PyPI
Na karcie PyPI wprowadź nazwę pakietu i wersję pakietu.
Kliknij przycisk Zainstaluj.
Odinstalowywanie bibliotek
Jeśli zdecydujesz się już nie używać bibliotek, możesz łatwo usunąć pakiety bibliotek za pomocą przycisku odinstaluj na stronie zarządzania bibliotekami.
Wybierz i kliknij nazwę biblioteki
Kliknij pozycję Odinstaluj w widżecie
Uwaga
- Pakiety zainstalowane z notesu Jupyter można usuwać tylko z notesu Jupyter Notebook.
- Pakiety zainstalowane z menedżera biblioteki można odinstalować tylko z menedżera biblioteki.
- Aby uaktualnić bibliotekę/pakiet, odinstaluj bieżącą wersję biblioteki i zainstaluj ponownie wymaganą wersję biblioteki.
- Instalacja bibliotek z notesu Jupyter jest szczególna dla sesji. To nie jest trwałe.
- Instalowanie dużych pakietów może zająć trochę czasu ze względu na ich rozmiar i złożoność.