Zarządzanie bibliotekami na platformie Spark
Ważny
Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej w tym ogłoszeniu.
Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.
Ważny
Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe Warunki Użytkowania dotyczące wersji zapoznawczych Microsoft Azure zawierają więcej warunków prawnych, które dotyczą funkcji Azure w wersji beta, w wersji zapoznawczej lub które nie są jeszcze ogólnie dostępne. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz Azure HDInsight na AKS informacje o wersji zapoznawczej. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie na AskHDInsight, wraz ze szczegółami, i obserwuj nas, aby otrzymywać więcej aktualizacji na temat społeczności Azure HDInsight.
Celem zarządzania biblioteką jest udostępnienie kodu open source lub niestandardowego notesom i zadaniam uruchomionym w klastrach. Biblioteki języka Python można przekazywać z repozytoriów PyPI. Ten artykuł koncentruje się na zarządzaniu bibliotekami w interfejsie użytkownika klastra. Usługa Azure HDInsight w usłudze AKS zawiera już wiele popularnych bibliotek w klastrze. Aby sprawdzić, które biblioteki są zawarte w usłudze HDI w klastrze usługi AKS, przejrzyj stronę zarządzania biblioteką.
Instalowanie bibliotek
Biblioteki można zainstalować w dwóch trybach:
- Zainstalowane w ramach klastra
- Zakres zeszytu obliczeniowego
Zainstalowany klaster
Wszystkie notesy uruchamiane w klastrze mogą używać bibliotek klastra. Bibliotekę klastra można zainstalować bezpośrednio z publicznego repozytorium, takiego jak PyPi. Przekazywanie z repozytoriów Maven i przesyłanie bibliotek niestandardowych z magazynu w chmurze są uwzględnione w planach działań.
Zakres notesu
Biblioteki związane z notatnikiem, dostępne dla języków Python i Scala, które umożliwiają instalowanie bibliotek i tworzenie środowiska dostosowanego do sesji notatnika. Te biblioteki nie mają wpływu na inne notatniki uruchomione w tym samym klastrze. Biblioteki powiązane z notesem nie są utrwalane i muszą być ponownie zainstalowane dla każdej sesji.
Notatka
Użyj bibliotek o zakresie notatnika, jeśli potrzebujesz środowiska niestandardowego dla określonego notatnika.
Tryby instalacji biblioteki
PyPI: pobieraj biblioteki z otwartoźródłowego repozytorium PyPI, podając nazwę i wersję biblioteki w interfejsie użytkownika instalacji.
Wyświetlanie zainstalowanych bibliotek
Na stronie Przegląd przejdź do Menedżera biblioteki.
W Menedżerze klastra Spark kliknij pozycję Menedżer biblioteki.
Listę zainstalowanych bibliotek można wyświetlić tutaj.
Dodawanie widżetu biblioteki
PyPI
Na karcie PyPI wprowadź nazwę i wersję pakietu ..
Kliknij pozycję Zainstaluj.
Odinstalowywanie bibliotek
Jeśli zdecydujesz się już nie używać bibliotek, możesz łatwo usunąć pakiety bibliotek za pomocą przycisku odinstaluj na stronie zarządzania bibliotekami.
Wybierz i kliknij nazwę biblioteki
Kliknij Odinstaluj w widżecie
Notatka
- Pakiety zainstalowane z notesu Jupyter można usuwać tylko z notesu Jupyter Notebook.
- Pakiety zainstalowane z menedżera biblioteki można odinstalować tylko z menedżera biblioteki.
- Aby uaktualnić bibliotekę/pakiet, odinstaluj bieżącą wersję biblioteki i zainstaluj ponownie wymaganą wersję biblioteki.
- Instalacja bibliotek z notesu Jupyter jest specyficzna dla sesji. To nie jest trwałe.
- Instalowanie dużych pakietów może zająć trochę czasu ze względu na ich rozmiar i złożoność.