Freigeben über


Bibliotheksverwaltung in Spark

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge reichen Sie bitte eine Anfrage ein bei AskHDInsight mit den Details und folgen Sie uns, um mehr Updates über Azure HDInsight Communityzu erhalten.

Der Zweck der Bibliotheksverwaltung besteht darin, Open Source- oder benutzerdefinierten Code für Notizbücher und Aufträge verfügbar zu machen, die auf Ihren Clustern ausgeführt werden. Sie können Python-Bibliotheken aus PyPI-Repositorys hochladen. Dieser Artikel konzentriert sich auf die Verwaltung von Bibliotheken in der Clusterbenutzeroberfläche. Azure HDInsight auf AKS enthält bereits viele gängige Bibliotheken im Cluster. Um zu sehen, welche Bibliotheken in HDI im AKS-Cluster enthalten sind, überprüfen Sie die Bibliotheksverwaltungsseite.

Installieren von Bibliotheken

Sie können Bibliotheken in zwei Modi installieren:

  • Cluster installiert
  • Notebook-Geltungsbereich

Cluster installiert

Notizbücher, die auf einem Cluster laufen, können Clusterbibliotheken verwenden. Sie können eine Clusterbibliothek direkt aus einem öffentlichen Repository wie PyPi installieren. Hochladen von Maven-Repositorys, Hochladen benutzerdefinierter Bibliotheken aus Cloudspeicher befinden sich in der Roadmap.

Screenshot der Seite des in einem Cluster installierten Bibliotheksmanagers.

Notizbuchbereich

Notebookspezifische Bibliotheken, verfügbar für Python und Scala, mit denen Sie Bibliotheken installieren und eine Umgebung erstellen können, die einer Notizbuchsitzung zugeordnet ist. Diese Bibliotheken wirken sich nicht auf andere Notizbücher aus, die auf demselben Cluster ausgeführt werden. Notebook-spezifische Bibliotheken werden nicht gespeichert und müssen für jede Sitzung neu installiert werden.

Anmerkung

Verwenden Sie notizbuch-spezifische Bibliotheken, wenn Sie eine benutzerdefinierte Umgebung für ein spezifisches Notizbuch benötigen.

Modi der Bibliotheksinstallation

PyPI: Abrufen von Bibliotheken aus dem PyPI-Repository aus open Source, indem Sie den Bibliotheksnamen und die Version in der Installations-UI erwähnen.

Anzeigen der installierten Bibliotheken

  1. Navigieren Sie auf der Seite "Übersicht" zum Bibliotheks-Manager.

    Screenshot mit der Seite

  2. Klicken Sie im Spark Cluster-Manager auf den Bibliotheks-Manager.

  3. Sie können die Liste der installierten Bibliotheken von hier aus anzeigen.

    Screenshot, der zeigt, wie installierte Bibliotheken angezeigt werden.

Bibliotheks-Widget hinzufügen

PyPI

  1. Geben Sie auf der Registerkarte PyPI den Paketnamen und die Paketversionein.

  2. Klicken Sie auf installieren.

    Screenshot, der zeigt, wie PyPI installiert wird.

Deinstallieren von Bibliotheken

Wenn Sie sich entscheiden, die Bibliotheken nicht mehr zu verwenden, können Sie die Bibliothekspakete einfach über die Schaltfläche "Deinstallieren" auf der Bibliotheksverwaltungsseite löschen.

  1. Wählen Sie den Bibliotheksnamen aus und klicken Sie darauf.

    Screenshot, der zeigt, wie Bibliothek ausgewählt wird.

  2. Klicken Sie im Widget auf Deinstallieren

    Screenshot, der zeigt, wie Bibliothek deinstalliert wird.

    Anmerkung

    • Pakete, die aus dem Jupyter-Notizbuch installiert sind, können nur aus Jupyter-Notizbuch gelöscht werden.
    • Pakete, die vom Bibliotheks-Manager installiert wurden, können nur vom Bibliotheks-Manager deinstalliert werden.
    • Zum Aktualisieren einer Bibliothek/eines Pakets deinstallieren Sie die aktuelle Version der Bibliothek, und installieren Sie die erforderliche Version der Bibliothek erneut.
    • Die Installation von Bibliotheken aus dem Jupyter-Notizbuch ist spezifisch für die Sitzung. Es ist nicht dauerhaft.
    • Das Installieren von schweren Paketen kann aufgrund ihrer Größe und Komplexität einige Zeit in Anspruch nehmen.