Bibliotecas do espaço de trabalho (herdado)
Importante
Esta documentação foi desativada e pode não estar atualizada. Não há mais suporte para os produtos, serviços ou tecnologias mencionados neste conteúdo. Consulte as Bibliotecas de cluster.
Observação
As bibliotecas do espaço de trabalho foram preteridas e não devem ser usadas. Entretanto, armazenar bibliotecas como arquivos de espaço de trabalho é diferente das bibliotecas de espaço de trabalho e ainda há suporte total. Você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho diretamente em tarefas de computação ou de trabalho.
Bibliotecas de workspace servem como repositório local do qual você cria bibliotecas instaladas em cluster. Uma biblioteca de workspace pode ser um código personalizado criado pela sua organização ou pode ser uma versão específica de uma biblioteca de software livre na qual sua organização tenha se padronizado.
Você deve instalar uma biblioteca de workspace em um cluster antes que ela possa ser usada em um notebook ou trabalho. Consulte Instalar uma biblioteca de espaço de trabalho em um cluster.
As bibliotecas de workspace na pasta compartilhada estão disponíveis para todos os usuários em um workspace, enquanto as bibliotecas de workspace em uma pasta de usuário estão disponíveis somente para esse usuário.
Importante
As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS foi preterido e desabilitado por padrão no Databricks Runtime 15.1 e em versões posteriores. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.
Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas python, arquivos JAR e conectores Spark, para arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.
Como as bibliotecas do espaço de trabalho diferem das bibliotecas armazenadas com os arquivos do espaço de trabalho?
O termo "bibliotecas do espaço de trabalho" se refere a qualquer biblioteca registrada em um espaço de trabalho. As bibliotecas do espaço de trabalho são exibidas junto com os notebooks e arquivos do espaço de trabalho e seguem as regras de ACL do diretório que as contém.
O termo "arquivos do espaço de trabalho" se refere a qualquer arquivo arbitrário armazenado no espaço de trabalho. Você pode armazenar pacotes .whl do Python como arquivos de espaço de trabalho e registrá-los como bibliotecas do espaço de trabalho. Consulte O que são Arquivos de workspace?.
Você pode carregar bibliotecas como arquivos do espaço de trabalho. Consulte Uso básico dos arquivos do espaço de trabalho
Embora você possa carregar muitos tipos de arquivos nos arquivos do espaço de trabalho, somente os arquivos .whl do Python podem ser instalados usando os arquivos de espaços de trabalho. Veja Bibliotecas com escopo de cluster.
No Databricks Runtime 13.3 LTS e posteriores, você pode usar %pip para instalar arquivos wheel do Python armazenados como arquivos de workspace. Consulte Instalar um pacote armazenado como um arquivo do espaço de trabalho com %pip.
Criar uma biblioteca de workspace
Aviso
Essa funcionalidade não está mais disponível. Veja A criação e instalação de bibliotecas de espaço de trabalho não estão mais disponíveis.
- Clique com o botão direito do mouse na pasta do workspace onde você deseja armazenar a biblioteca.
- Selecione Criar > Biblioteca. A caixa de diálogo Criar biblioteca é exibida.
- Selecione a Fonte da biblioteca e siga o procedimento apropriado:
Carregar um arquivo Jar, egg do Python ou wheel do Python
Observação
A instalação de arquivos egg do Python foi preterida e será removida em uma versão futura do Databricks Runtime.
Importante
As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS foi preterido e desabilitado por padrão no Databricks Runtime 15.1 e em versões posteriores. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.
Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas python, arquivos JAR e conectores Spark, para arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.
- Na lista de botões Fonte da Biblioteca, selecione Carregar.
- Selecione JAR, Python Egg ou Python Wheel.
- Opcionalmente, insira um nome para a biblioteca.
- Arraste seu JAR, Egg ou Wheel para a caixa suspensa ou clique na caixa suspensa e navegue até um arquivo. O arquivo é carregado no
dbfs:/FileStore/jars. - Clique em Criar. A tela status da biblioteca é exibida.
Referenciar um arquivo Jar, egg do Python ou wheel do Python carregado
Você pode criar uma nova biblioteca de espaço de trabalho fazendo referência a arquivos JAR, Python egg ou Python wheel armazenados na raiz do DBFS, no armazenamento de objetos ou com arquivos de espaço de trabalho. Seguir esse fluxo de trabalho registra um ponteiro em uma biblioteca sem carregar ou mover os arquivos.
Com o Databricks Runtime 13.2 e superior, você também pode referenciar um volume no Catálogo do Unity. Essa funcionalidade está em Visualização Pública.
Para o modo de acesso compartilhado, você deve adicionar JARs ao allowlist. Consulte Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.
- Selecione Caminho de arquivo/ADLS na lista de botões Fonte da Biblioteca.
- Selecione JAR, Python Egg ou Python Wheel.
- Opcionalmente, insira um nome para a biblioteca.
- Especifique o caminho na biblioteca, como os seguintes exemplos:
abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl/Workspace/path/to/library.whldbfs:/path/to/library.whl/Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
- Clique em Criar. A tela status da biblioteca é exibida.
Para obter mais informações sobre como trabalhar com bibliotecas no armazenamento de objetos, consulte Instalar bibliotecas do armazenamento de objetos.
Para obter mais informações sobre arquivos de workspace, confira Trabalhar com arquivos no Azure Databricks.
Instalar uma biblioteca de espaço de trabalho em um cluster
Observação
O Azure Databricks processa todas as bibliotecas de workspace na ordem em que foram instaladas no cluster. Talvez seja necessário prestar atenção à ordem de instalação no cluster se houver dependências entre bibliotecas.
Importante
As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS foi preterido e desabilitado por padrão no Databricks Runtime 15.1 e em versões posteriores. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.
Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas python, arquivos JAR e conectores Spark, para arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.
No modo de acesso de usuário único, a identidade da entidade de segurança atribuída (um usuário ou uma entidade de serviço) é usada. No modo de acesso compartilhado, as bibliotecas usam a identidade do usuário que instalou a biblioteca. O modo de acesso compartilhado sem isolamento não dá suporte a volumes, mas usa a mesma atribuição de identidade que o modo de acesso compartilhado.
Para ver todas as opções de instalação de bibliotecas em clusters, consulte Bibliotecas de clusters.
Para instalar uma biblioteca que já exista no workspace, você pode iniciar na interface do usuário do cluster ou na interface do usuário da biblioteca:
Cluster
- Na barra lateral, clique em
Computação. - Clique em um nome de cluster.
- Clique na guia Bibliotecas.
- Clique em Instalar novo.
- Na lista do botão Origem da Biblioteca, selecione Biblioteca do Espaço de Trabalho.
- Selecione uma biblioteca de workspaces.
- Clique em Instalar.
Biblioteca
- Vá para a pasta que contém a biblioteca.
- Clique no nome da biblioteca.
- Marque a caixa de seleção ao lado do cluster em que você deseja instalar a biblioteca e clique em Instalar. Somente os clusters em execução aparecem na lista.
Exibir detalhes da biblioteca de workspace
Observação
As pastas do espaço de trabalho fornecem conveniência para descobrir as bibliotecas do espaço de trabalho e gerenciar ACLs.
- Vá para a pasta do workspace que contém a biblioteca.
- Clique no nome da biblioteca.
A página de detalhes da biblioteca mostra os clusters em execução e o status de instalação da biblioteca. Se a biblioteca estiver instalada, a página conterá um link para o host do pacote. Se a biblioteca foi carregada, a página exibe um link para o arquivo de pacote carregado.
Mover uma biblioteca de workspace
Observação
As pastas do espaço de trabalho fornecem conveniência para descobrir as bibliotecas do espaço de trabalho e gerenciar ACLs. Mover uma biblioteca do espaço de trabalho não move os arquivos, mas pode modificar quais usuários têm acesso à biblioteca do espaço de trabalho.
- Vá para a pasta do workspace que contém a biblioteca.
- Clique com o botão direito do mouse no nome da biblioteca e selecione Mover. Um navegador de pastas é exibido.
- Clique na pasta de destino.
- Clique em Mover.
Excluir uma biblioteca de workspace
Importante
Antes de excluir uma biblioteca de workspace, você deve desinstalá-la de todos os clusters.
Para excluir uma biblioteca de workspace:
- Mova a biblioteca para a pasta da lixeira.
- Exclua permanentemente a biblioteca na pasta Lixeira ou esvazie a pasta Lixeira.