Clusterbibliotheken
Clusterbibliotheken können von allen in einem Cluster ausgeführten Notebooks und Aufträgen verwendet werden. In diesem Artikel erfahren Sie mehr über die Verwendung der Benutzeroberfläche Bibliothek installieren im Azure Databricks-Arbeitsbereich.
Hinweis
Wenn Sie Compute mithilfe einer Richtlinie erstellen, die Bibliotheksinstallationen erzwingt, können Sie Bibliotheken auf Ihrem Compute weder installieren noch deinstallieren. Arbeitsbereichsadministrator*innen steuern die gesamte Bibliotheksverwaltung auf Richtlinienebene.
Sie können Bibliotheken mit den folgenden Methoden in einem Cluster installieren:
Installieren Sie eine Bibliothek nur für die Verwendung mit einem bestimmten Cluster.
Installieren Sie eine Bibliothek mit der REST-API. Weitere Informationen finden Sie in der Bibliotheks-API.
Installieren Sie eine Bibliothek mit dem Databricks CLI. Weitere Informationen finden Sie unter Was ist die Databricks-CLI?.
Installieren Sie eine Bibliothek mithilfe von Terraform. Weitere Informationen finden Sie unter Databricks Terraform-Anbieter und databricks_library.
Installieren Sie eine Bibliothek, indem Sie einen Cluster mit einer Richtlinie erstellen, die Bibliotheksinstallationen definiert. Weitere Informationen finden Sie unter Hinzufügen von Bibliotheken zu einer Richtlinie.
(Nicht empfohlen) Installieren Sie eine Bibliothek mithilfe eines Init-Skripts, das zum Zeitpunkt der Clustererstellung ausgeführt wird. Weitere Informationen finden Sie unter Installieren einer Bibliothek mit einem Initialisierungsskript (Legacy).
Installieren einer Bibliothek auf einem Cluster
Installieren einer Bibliothek in einem Cluster:
- Klicken Sie auf der Randleiste auf
Compute. - Klicken Sie auf einen Clusternamen.
- Klicken Sie auf die Registerkarte Bibliotheken.
- Klicken Sie auf Neu installieren.
- Das Dialogfeld Bibliothek installieren wird angezeigt.
- Wählen Sie eine der Optionen für Bibliotheksquelle aus, führen Sie die angezeigten Anweisungen aus und klicken Sie dann auf Installieren.
Wichtig
Bei Verwendung von Databricks Runtime 14.3 LTS und niedriger können Bibliotheken über DBFS installiert werden. Arbeitsbereichsbenutzer und -benutzerinnen können jedoch Bibliotheksdateien ändern, die in DBFS gespeichert sind. Um die Sicherheit von Bibliotheken in einem Azure Databricks-Arbeitsbereich zu verbessern, wurde das Speichern von Bibliotheksdateien im DBFS-Stamm eingestellt und ist in Databricks Runtime 15.1 und höher standardmäßig deaktiviert. Weitere Informationen finden Sie unter Das Speichern von Bibliotheken im DBFS-Stamm ist veraltet und standardmäßig deaktiviert.
Stattdessen empfiehlt Databricks, alle Bibliotheken (einschließlich Python-Bibliotheken, JAR-Dateien und Spark-Connectors) in Arbeitsbereichsdateien oder auf Unity Catalog-Volumes hochzuladen oder Bibliothekspaketrepositorys zu verwenden. Wenn Ihre Workload diese Muster nicht unterstützt, können Sie auch Bibliotheken verwenden, die im Cloudobjektspeicher gespeichert sind.
Nicht alle Clusterzugriffsmodi unterstützen alle Bibliothekskonfigurationen. Siehe Bibliotheken im Clusterbereich.
| Bibliotheksquelle | Anweisungen |
|---|---|
| Arbeitsbereich | Wählen Sie eine Arbeitsbereichsdatei aus, oder laden Sie eine Whl-, ZIP-, ZIP-, TAR- oder requirements.txt-Datei hoch. Weitere Informationen finden Sie unter Installieren von Bibliotheken aus Arbeitsbereichsdateien. |
| Volumes | Wählen Sie eine WHL-, JAR- oder requirements.txt-Datei von einem Volume aus. Siehe Installieren von Bibliotheken von einem Volume. |
| Dateipfad/ADLS | Wählen Sie den Bibliothekstyp aus, und geben Sie den vollständigen URI für das Bibliotheksobjekt an (z. B. : /Workspace/path/to/library.whl, /Volumes/path/to/library.whl, oder abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Siehe Installieren von Bibliotheken aus dem Objektspeicher. |
| PyPI | Geben Sie einen PyPI-Paketnamen ein. Weitere Informationen finden Sie unter PyPI-Paket. |
| Maven | Geben Sie eine Maven-Koordinate an. Weitere Informationen finden Sie unter Maven- oder Spark-Paket. |
| CRAN | Geben Sie den Namen eines Pakets ein. Weitere Informationen finden Sie unter CRAN-Paket. |
| DBFS (nicht empfohlen) | Laden Sie eine .JAR- oder .WHL-Datei in den DBFS-Stamm. Dies wird nicht empfohlen, da Dateien, die in DBFS gespeichert sind, von jedem Arbeitsbereichsbenutzer geändert werden können. |
Wenn Sie eine Bibliothek in einem Cluster installieren, wird die neue Bibliothek in einem Notebook, das bereits an dieses Cluster angefügt ist, nicht sofort angezeigt. Zuerst müssen Sie das Notebook trennen und dann erneut an das Cluster anschließen.
Hinweis
Eine Bibliothek, deren Installieren mehr als 2 Stunden dauerte, wird als fehlerhaft gekennzeichnet.
Installieren einer Bibliothek mithilfe einer Richtlinie
Wenn Sie einen Cluster mithilfe einer Richtlinie erstellen, die die Bibliotheksinstallation erzwingt, werden angegebene Bibliotheken automatisch auf Ihrem Cluster installiert. Sie können keine zusätzlichen Bibliotheken installieren oder Bibliotheken deinstallieren.
Arbeitsbereichsadministrator*innen können Richtlinien Bibliotheken hinzufügen, sodass sie Bibliotheksinstallationen auf allen Computes verwalten und erzwingen können, die die Richtlinie verwenden. Anweisungen für Administrator*innen finden Sie unter Hinzufügen von Bibliotheken zu einer Richtlinie.
Deinstallieren einer Bibliothek aus einem Cluster
Hinweis
Wenn Sie eine Bibliothek aus einem Cluster deinstallieren, wird die Bibliothek nur entfernt, wenn Sie das Cluster neu starten. Bis Sie das Cluster neu starten, wird der Status der deinstallierten Bibliothek als Deinstallation bis zum Neustart angezeigt.
Zum Deinstallieren einer Bibliothek können Sie die Clusterbenutzeroberfläche verwenden:
- Klicken Sie auf der Randleiste auf Compute.
- Klicken Sie auf einen Clusternamen.
- Klicken Sie auf die Registerkarte Bibliotheken.
- Aktivieren Sie das Kontrollkästchen neben dem Cluster, aus dem Sie die Bibliothek deinstallieren möchten, klicken Sie auf Deinstallieren und dann auf Bestätigen. Der Status ändert sich in Deinstallation bis zum Neustart.
Klicken Sie auf Neu starten und Bestätigen, um die Bibliothek zu deinstallieren. Die Bibliothek wird aus der Registerkarte „Bibliotheken des Clusters“ entfernt.
Anzeigen der in einem Cluster installierten Bibliotheken
- Klicken Sie auf der Randleiste auf Compute.
- Klicken Sie auf den Clusternamen.
- Klicken Sie auf die Registerkarte Bibliotheken. Auf der Registerkarte werden für jede Bibliothek der Name und die Version, der Typ, der Installationsstatus und, falls hochgeladen, die Quelldatei angezeigt.
Aktualisieren einer im Cluster installierten Bibliothek
Deinstallieren Sie zum Aktualisieren einer vom Cluster installierten Bibliothek die alte Version der Bibliothek, und installieren Sie eine neue Version.
Hinweis
Requirements.txt-Dateien erfordern keine Deinstallation und keinen Neustart. Wenn Sie den Inhalt einer requirements.txt-Datei geändert haben, können Sie sie einfach neu installieren, um den Inhalt der installierten Datei zu aktualisieren.