Klusterbibliotek
Klusterbibliotek kan användas av alla notebook-filer och jobb som körs i ett kluster. Den här artikeln beskriver hur du använder installationsbibliotekets användargränssnitt på Azure Databricks-arbetsytan.
Kommentar
Om du skapar beräkning med en princip som tillämpar biblioteksinstallationer kan du inte installera eller avinstallera bibliotek på din beräkning. Arbetsyteadministratörer styr all bibliotekshantering på principnivå.
Du kan installera bibliotek i ett kluster med hjälp av följande metoder:
Installera ett bibliotek för användning endast med ett specifikt kluster.
Installera ett bibliotek med REST-API:et. Se biblioteks-API:et.
Installera ett bibliotek med Databricks CLI. Se Vad är Databricks CLI?.
Installera ett bibliotek med Terraform. Se Databricks Terraform-provider och databricks_library.
Installera ett bibliotek genom att skapa ett kluster med en princip som definierar biblioteksinstallationer. Se Lägga till bibliotek i en princip.
(Rekommenderas inte) Installera ett bibliotek med ett init-skript som körs när klustret skapas. Se Installera ett bibliotek med ett init-skript (äldre).
Installera ett bibliotek i ett kluster
Så här installerar du ett bibliotek i ett kluster:
- Klicka på
Beräkna i sidofältet. - Klicka på ett klusternamn.
- Klicka på fliken Bibliotek .
- Klicka på Installera ny.
- Dialogrutan Installera bibliotek visas.
- Välj något av alternativen bibliotekskälla , slutför anvisningarna som visas och klicka sedan på Installera.
Viktigt!
Bibliotek kan installeras från DBFS när du använder Databricks Runtime 14.3 LTS och nedan. Alla arbetsyteanvändare kan dock ändra biblioteksfiler som lagras i DBFS. För att förbättra säkerheten för bibliotek på en Azure Databricks-arbetsyta är lagring av biblioteksfiler i DBFS-roten inaktuell och inaktiverad som standard i Databricks Runtime 15.1 och senare. Se Lagra bibliotek i DBFS-roten är inaktuell och inaktiverad som standard.
I stället rekommenderar Databricks att du laddar upp alla bibliotek, inklusive Python-bibliotek, JAR-filer och Spark-anslutningsappar, till arbetsytefiler eller Unity Catalog-volymer eller använder bibliotekspaketdatabaser. Om din arbetsbelastning inte stöder dessa mönster kan du även använda bibliotek som lagras i molnobjektlagring.
Alla klusteråtkomstlägen stöder inte alla bibliotekskonfigurationer. Se Bibliotek med klusteromfattning.
| Bibliotekskälla | Instruktioner |
|---|---|
| Arbetsyta | Välj en arbetsytefil eller ladda upp en Whl-fil, zippad styrhytt, JAR, ZIP, tjära eller requirements.txt fil. Se Installera bibliotek från arbetsytefiler |
| Volymer | Välj en Whl-, JAR- eller requirements.txt-fil från en volym. Se Installera bibliotek från en volym. |
| Filsökväg/ADLS | Välj bibliotekstyp och ange den fullständiga URI:n för biblioteksobjektet (till exempel: /Workspace/path/to/library.whl, /Volumes/path/to/library.whleller abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Se Installera bibliotek från objektlagring. |
| PyPI | Ange ett PyPI-paketnamn. Se PyPI-paketet. |
| Maven | Ange en Maven-koordinat. Se Maven- eller Spark-paketet. |
| CRAN | Ange namnet på ett paket. Se CRAN-paketet. |
| DBFS (rekommenderas inte) | Läs in en JAR- eller Whl-fil till DBFS-roten. Detta rekommenderas inte eftersom filer som lagras i DBFS kan ändras av alla arbetsyteanvändare. |
När du installerar ett bibliotek i ett kluster visas inte det nya biblioteket omedelbart i en notebook-fil som redan är ansluten till klustret. Du måste först koppla från och sedan koppla notebook-filen till klustret igen.
Kommentar
Ett bibliotek som har tagit mer än 2 timmar att installera markeras som misslyckat.
Installera ett bibliotek med hjälp av en princip
Om du skapar ett kluster med en princip som framtvingar biblioteksinstallation installeras de bibliotek som anges automatiskt i klustret. Du kan inte installera ytterligare bibliotek eller avinstallera några bibliotek.
Arbetsyteadministratörer kan lägga till bibliotek i principer, så att de kan hantera och framtvinga biblioteksinstallationer på all beräkning som använder principen. Administratörsinstruktioner finns i Lägga till bibliotek i en princip.
Avinstallera ett bibliotek från ett kluster
Kommentar
När du avinstallerar ett bibliotek från ett kluster tas biblioteket bara bort när du startar om klustret. Tills du startar om klustret visas statusen för det avinstallerade biblioteket som Avinstallera väntar på omstart.
Om du vill avinstallera ett bibliotek kan du använda klustrets användargränssnitt:
- Klicka på Beräkna i sidofältet.
- Klicka på ett klusternamn.
- Klicka på fliken Bibliotek .
- Markera kryssrutan bredvid klustret som du vill avinstallera biblioteket från, klicka på Avinstallera och bekräfta. Statusen ändras till Avinstallera väntar på omstart.
Klicka på Starta om och bekräfta för att avinstallera biblioteket. Biblioteket tas bort från klustrets biblioteksflik.
Visa biblioteken som är installerade i ett kluster
- Klicka på Beräkna i sidofältet.
- Klicka på klusternamnet.
- Klicka på fliken Bibliotek . För varje bibliotek visar fliken namn och version, typ, installationsstatus och, om det laddas upp, källfilen.
Uppdatera ett klusterinstallerat bibliotek
Om du vill uppdatera ett klusterinstallerat bibliotek avinstallerar du den gamla versionen av biblioteket och installerar en ny version.
Kommentar
Requirements.txt filer kräver inte avinstallation och omstart. Om du har ändrat innehållet i en requirements.txt fil kan du helt enkelt installera om den för att uppdatera innehållet i den installerade filen.