Bibliotecas de clúster
Las bibliotecas de clúster las pueden usar todos los cuadernos y trabajos que se ejecutan en un clúster. En este artículo se detalla el uso de la interfaz de usuario de la biblioteca de instalación en el área de trabajo de Azure Databricks.
Nota:
Si crea un proceso mediante una directiva que aplica instalaciones de biblioteca, no puede instalar ni desinstalar bibliotecas en el proceso. Los administradores del área de trabajo controlan toda la administración de bibliotecas en el nivel de directiva.
Puede instalar bibliotecas en un clúster mediante los métodos siguientes:
Instalar una biblioteca para usarla solo con un clúster específico.
Instalar una biblioteca con la API de REST. Conulte la API de las bibliotecas.
Instalar una biblioteca con la CLI de Databricks. Consulte ¿Qué es la CLI de Databricks?
Instalar una biblioteca mediante Terraform. Consulte Proveedor Databricks Terraform y databricks_library.
Instale una biblioteca creando un clúster con una directiva que defina las instalaciones de biblioteca. Consulte Agregar bibliotecas a una directiva.
(No recomendado) Instale una biblioteca mediante un script de inicialización que se ejecute en el momento de la creación del clúster. Consulte Instalar una biblioteca con un script de inicialización (heredado).
Instalación de una biblioteca en un clúster
Para instalar una biblioteca en un clúster:
- Haga clic en
Proceso en la barra lateral. - Haga clic en un nombre de clúster.
- Haga clic en la pestaña Bibliotecas.
- Haga clic en Instalar nueva.
- Se muestra el cuadro de diálogo Instalar biblioteca.
- Seleccione una de las opciones Origen de la biblioteca, complete las instrucciones que aparecen y, a continuación, haga clic en Instalar.
Importante
Las bibliotecas se pueden instalar desde DBFS cuando se usa Databricks Runtime 14.3 LTS y versiones anteriores. Sin embargo, cualquier usuario del área de trabajo puede modificar los archivos de biblioteca almacenados en DBFS. Para mejorar la seguridad de las bibliotecas en un área de trabajo de Azure Databricks, el almacenamiento de archivos de biblioteca en la raíz de DBFS está en desuso y deshabilitado de forma predeterminada en Databricks Runtime 15.1 y versiones posteriores. Consulte El almacenamiento de bibliotecas en la raíz de DBFS está en desuso y deshabilitado de manera predeterminada.
En su lugar, Databricks recomienda cargar todas las bibliotecas, incluidas las bibliotecas de Python, los archivos JAR y los conectores de Spark, en archivos de área de trabajo o volúmenes de Unity Catalog, o mediante repositorios de paquetes de biblioteca. Si la carga de trabajo no admite estos patrones, también puede usar bibliotecas almacenadas en el almacenamiento de objetos en la nube.
No todos los modos de acceso de clúster admiten todas las configuraciones de biblioteca. Consulte Bibliotecas con ámbito de clúster.
| Origen de la biblioteca | Instrucciones |
|---|---|
| Área de trabajo | Seleccione un archivo de área de trabajo o cargue un archivo Whl, wheelhouse comprimido, JAR, ZIP, tar o requirements.txt. Consulte Instalación de bibliotecas desde archivos del área de trabajo |
| Volúmenes | Seleccione un archivo Whl, JAR o requirements.txt de un volumen. Consulte Instalar bibliotecas desde un volumen. |
| Ruta de acceso de archivo/ADLS | Seleccione el tipo de biblioteca y proporcione el URI completo al objeto de biblioteca (por ejemplo: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl, o abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consulte Instalación de bibliotecas desde el almacenamiento de objetos. |
| PyPI | Escriba un nombre de paquete PyPI. Consulte Paquete PyPi. |
| Maven | Especifique una coordenada de Maven. Consulte Paquete de Maven o Spark. |
| CRAN | Escriba el nombre de un paquete. Consulte Paquete CRAN. |
| DBFS (no se recomienda) | Cargue un archivo JAR o Whl en la raíz de DBFS. Esto no se recomienda, ya que cualquier usuario del área de trabajo puede modificar los archivos almacenados en DBFS. |
Al instalar una biblioteca en un clúster, un cuaderno ya asociado a ese clúster no verá inmediatamente la nueva biblioteca. Primero debe desasociar y luego volver a asociar el cuaderno al clúster.
Nota:
Una biblioteca que ha tardado más de 2 horas en instalarse se marcará como errónea.
Instalar una biblioteca mediante una directiva
Si crea un clúster mediante una directiva que aplica la instalación de la biblioteca, las bibliotecas especificadas se instalan automáticamente en el clúster. No puede instalar bibliotecas adicionales ni desinstalar ninguna biblioteca.
Los administradores del área de trabajo pueden agregar bibliotecas a directivas, lo que les permite administrar y aplicar instalaciones de biblioteca en todos los procesos que usan la directiva. Para obtener instrucciones de administrador, consulte Agregar bibliotecas a una directiva.
Desinstalación de una biblioteca de un clúster
Nota:
Cuando se desinstala una biblioteca de un clúster, la biblioteca solo se quita cuando se reinicia el clúster. Hasta que reinicie el clúster, el estado de la biblioteca desinstalada aparece como Desinstalación pendiente de reinicio.
Para desinstalar una biblioteca, puede usar la interfaz de usuario del clúster:
- Haga clic en Proceso en la barra lateral.
- Haga clic en un nombre de clúster.
- Haga clic en la pestaña Bibliotecas.
- Active la casilla situada junto al clúster del que quiere desinstalar la biblioteca, haga clic en Desinstalar y luego en Confirmar. El estado cambia a Desinstalación pendiente de reinicio.
Haga clic en Reiniciar y en Confirmar para desinstalar la biblioteca. La biblioteca se quita de la pestaña Bibliotecas del clúster.
Visualización de las bibliotecas instaladas en un clúster
- Haga clic en Proceso en la barra lateral.
- Haga clic en el nombre del clúster.
- Haga clic en la pestaña Bibliotecas. Para cada biblioteca, la pestaña muestra el nombre y la versión, el tipo, el estado de instalación y, si se ha cargado, el archivo de origen.
Actualización de una biblioteca instalada en un clúster
Para actualizar una biblioteca instalada en un clúster, desinstale la versión anterior de la biblioteca e instale una nueva.
Nota:
Requirements.txt archivos no requieren desinstalar ni reiniciar. Si ha modificado el contenido de un archivo requirements.txt, simplemente puede reinstalarlo para actualizar el contenido del archivo instalado.