Bibliotecas de cluster
As bibliotecas de cluster podem ser usadas por todos os notebooks e trabalhos em execução em um cluster. Este artigo detalha o uso da interface do usuário Instalar biblioteca no workspace do Azure Databricks.
Observação
Se você criar a computação utilizando uma política que imponha instalações de bibliotecas, não será possível instalar ou desinstalar bibliotecas na sua computação. Os administradores do espaço de trabalho controlam todo o gerenciamento da biblioteca no nível da política.
Você pode instalar bibliotecas em um cluster usando as seguintes abordagens:
Instale uma biblioteca para uso somente com um cluster específico.
Instalar uma biblioteca com a API REST. Consulte a API de bibliotecas.
Instale uma biblioteca com a CLI do Databricks. Consulte O que é a CLI do Databricks?.
Instalar uma biblioteca usando o Terraform. Consulte Provedor do Databricks Terraform e databricks_library.
Instale uma biblioteca criando um cluster com uma política que define as instalações da biblioteca. Consulte Adicionar bibliotecas a uma política.
(Não recomendado) Instale uma biblioteca utilizando um script de inicialização que é executado no momento da criação do cluster. Consulte Instalar uma biblioteca com um script de inicialização (herdado).
Instalar uma biblioteca em um cluster
Para instalar uma biblioteca em um cluster:
- Clique em
Computação na barra lateral. - Clique em um nome de cluster.
- Clique na guia Bibliotecas.
- Clique em Instalar novo.
- A caixa de diálogo Instalar biblioteca é exibida.
- Selecione uma das opções de Origem da biblioteca, conclua as instruções exibidas e clique em Instalar.
Importante
As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS foi preterido e desabilitado por padrão no Databricks Runtime 15.1 e em versões posteriores. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.
Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas python, arquivos JAR e conectores Spark, para arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.
Nem todos os modos de acesso de cluster dão suporte a todas as configurações de biblioteca. Veja Bibliotecas com escopo de cluster.
| Origem da biblioteca | Instruções |
|---|---|
| Workspace | Selecione um arquivo de workspace ou carregue um arquivo Whl, wheelhouse compactado, JAR, ZIP, tar ou requirements.txt. Consulte Instalar bibliotecas de arquivos de workspace |
| Volumes | Selecione um arquivo whl, JAR ou requirements.txt de um volume. Consulte Instalar bibliotecas a partir de um volume. |
| Caminho do arquivo/ADLS | Selecione o tipo de biblioteca e forneça o URI completo do objeto da biblioteca (por exemplo: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl ou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consulte Instalar bibliotecas a partir do armazenamento de objetos. |
| PyPI | Insira um nome de pacote PyPI. Consulte Pacote PyPI. |
| Maven | Especifique uma coordenada do Maven. Consulte Pacote Maven ou Spark. |
| CRAN | Insira o nome de um pacote. Consulte Pacote CRAN. |
| DBFS (não recomendado) | Carregar um arquivo JAR ou Whl na raiz DBFS. Não recomendamos porque os arquivos armazenados no DBFS podem ser modificados por qualquer usuário do workspace. |
Quando você instala uma biblioteca em um cluster, um notebook já anexado a esse cluster não verá imediatamente a nova biblioteca. Primeiro, você deve desanexar e, em seguida, reanexar o notebook ao cluster.
Observação
Uma biblioteca que levou mais de 2 horas para ser instalada será marcada como “com falha”.
Instalar uma biblioteca usando uma política
Se você criar um cluster utilizando uma política que imponha a instalação de bibliotecas, as bibliotecas especificadas serão instaladas automaticamente no seu cluster. Você não pode instalar bibliotecas adicionais nem desinstalar nenhuma biblioteca.
Os administradores do espaço de trabalho podem adicionar bibliotecas às políticas, permitindo que gerenciem e imponham instalações de bibliotecas em toda a computação que usa a política. Para obter instruções de administração, consulte Adicionar bibliotecas a uma política.
Desinstalar uma biblioteca de um cluster
Observação
Quando você desinstala uma biblioteca de um cluster, a biblioteca é removida somente quando você reiniciar o cluster. Até que você reinicie o cluster, o status da biblioteca desinstalada será exibido como Desinstalação com reinicialização pendente.
Para desinstalar uma biblioteca, você pode usar a interface do usuário do cluster:
- Clique em Computação na barra lateral.
- Clique em um nome de cluster.
- Clique na guia Bibliotecas.
- Marque a caixa de seleção ao lado do cluster do qual você deseja desinstalar a biblioteca, clique em Desinstalar e, em seguida, Confirmar. O Status muda para Desinstalação com reinicialização pendente.
Clique em Reiniciar e Confirmar para desinstalar a biblioteca. A biblioteca será removida da guia de Bibliotecas do cluster.
Exibir as bibliotecas instaladas em um cluster
- Clique em Computação na barra lateral.
- Clique no nome do cluster.
- Clique na guia Bibliotecas. Para cada biblioteca, a guia exibirá o nome e a versão, o tipo, o status de instalação e, se carregado, o arquivo de origem.
Atualizar uma biblioteca instalada no cluster
Para atualizar uma biblioteca instalada em cluster, desinstale a versão antiga da biblioteca e instale uma nova versão.
Observação
Arquivos requirements.txt não exigem desinstalação e reinicialização. Se você modificou o conteúdo de um arquivo requirements.txt, poderá simplesmente reinstalá-lo para atualizar o conteúdo do arquivo instalado.