Bibliotheksverwaltung in Spark
Wichtig
Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.
Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.
Wichtig
Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge reichen Sie bitte eine Anfrage ein bei AskHDInsight mit den Details und folgen Sie uns, um mehr Updates über Azure HDInsight Communityzu erhalten.
Der Zweck der Bibliotheksverwaltung besteht darin, Open Source- oder benutzerdefinierten Code für Notizbücher und Aufträge verfügbar zu machen, die auf Ihren Clustern ausgeführt werden. Sie können Python-Bibliotheken aus PyPI-Repositorys hochladen. Dieser Artikel konzentriert sich auf die Verwaltung von Bibliotheken in der Clusterbenutzeroberfläche. Azure HDInsight auf AKS enthält bereits viele gängige Bibliotheken im Cluster. Um zu sehen, welche Bibliotheken in HDI im AKS-Cluster enthalten sind, überprüfen Sie die Bibliotheksverwaltungsseite.
Installieren von Bibliotheken
Sie können Bibliotheken in zwei Modi installieren:
- Cluster installiert
- Notebook-Geltungsbereich
Cluster installiert
Notizbücher, die auf einem Cluster laufen, können Clusterbibliotheken verwenden. Sie können eine Clusterbibliothek direkt aus einem öffentlichen Repository wie PyPi installieren. Hochladen von Maven-Repositorys, Hochladen benutzerdefinierter Bibliotheken aus Cloudspeicher befinden sich in der Roadmap.
Notizbuchbereich
Notebookspezifische Bibliotheken, verfügbar für Python und Scala, mit denen Sie Bibliotheken installieren und eine Umgebung erstellen können, die einer Notizbuchsitzung zugeordnet ist. Diese Bibliotheken wirken sich nicht auf andere Notizbücher aus, die auf demselben Cluster ausgeführt werden. Notebook-spezifische Bibliotheken werden nicht gespeichert und müssen für jede Sitzung neu installiert werden.
Anmerkung
Verwenden Sie notizbuch-spezifische Bibliotheken, wenn Sie eine benutzerdefinierte Umgebung für ein spezifisches Notizbuch benötigen.
Modi der Bibliotheksinstallation
PyPI: Abrufen von Bibliotheken aus dem PyPI-Repository aus open Source, indem Sie den Bibliotheksnamen und die Version in der Installations-UI erwähnen.
Anzeigen der installierten Bibliotheken
Navigieren Sie auf der Seite "Übersicht" zum Bibliotheks-Manager.
Klicken Sie im Spark Cluster-Manager auf den Bibliotheks-Manager.
Sie können die Liste der installierten Bibliotheken von hier aus anzeigen.
Bibliotheks-Widget hinzufügen
PyPI
Geben Sie auf der Registerkarte PyPI den Paketnamen und die Paketversionein.
Klicken Sie auf installieren.
Deinstallieren von Bibliotheken
Wenn Sie sich entscheiden, die Bibliotheken nicht mehr zu verwenden, können Sie die Bibliothekspakete einfach über die Schaltfläche "Deinstallieren" auf der Bibliotheksverwaltungsseite löschen.
Wählen Sie den Bibliotheksnamen aus und klicken Sie darauf.
Klicken Sie im Widget auf Deinstallieren
Anmerkung
- Pakete, die aus dem Jupyter-Notizbuch installiert sind, können nur aus Jupyter-Notizbuch gelöscht werden.
- Pakete, die vom Bibliotheks-Manager installiert wurden, können nur vom Bibliotheks-Manager deinstalliert werden.
- Zum Aktualisieren einer Bibliothek/eines Pakets deinstallieren Sie die aktuelle Version der Bibliothek, und installieren Sie die erforderliche Version der Bibliothek erneut.
- Die Installation von Bibliotheken aus dem Jupyter-Notizbuch ist spezifisch für die Sitzung. Es ist nicht dauerhaft.
- Das Installieren von schweren Paketen kann aufgrund ihrer Größe und Komplexität einige Zeit in Anspruch nehmen.