Gerenciamento de biblioteca no Spark

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight.

A finalidade do Gerenciamento de Biblioteca é disponibilizar código aberto ou personalizado para notebooks e trabalhos em execução em seus clusters. Você pode carregar bibliotecas python de repositórios de PyPI. Este artigo se concentra no gerenciamento de bibliotecas na interface do usuário do cluster. O Azure HDInsight no AKS já inclui muitas bibliotecas comuns no cluster. Para ver quais bibliotecas estão incluídas no HDI no cluster do AKS, examine a página de gerenciamento de bibliotecas.

Instalar bibliotecas

Você pode instalar bibliotecas em dois modos:

• Instalado em cluster
• Escopo do bloco de anotações

Cluster instalado

Todos os notebooks em execução em um cluster podem usar bibliotecas de cluster. Você pode instalar uma biblioteca de cluster diretamente de um repositório público, como pyPi. Carregar de repositórios do Maven e carregar bibliotecas personalizadas do armazenamento em nuvem estão no plano.

Escopo do bloco de anotações

Bibliotecas com escopo de notebook, disponíveis para Python e Scala, que permitem instalar bibliotecas e criar um ambiente específico para uma sessão de notebook. Essas bibliotecas não afetam outros notebooks em execução no mesmo cluster. As bibliotecas no escopo do notebook não persistem e precisam ser reinstaladas a cada sessão.

Nota

Use bibliotecas com escopo de notebook quando precisar de um ambiente personalizado para um notebook específico.

Modos de instalação da biblioteca

PyPI: obtenha bibliotecas do repositório de código aberto PyPI mencionando o nome da biblioteca e a versão na interface de instalação.

Exibir as bibliotecas instaladas

1. Na página Visão geral, navegue até o Gerenciador de Bibliotecas.

   

2. No Gerenciador de Cluster do Spark, clique no Gerenciador de Bibliotecas.

3. Você pode exibir a lista de bibliotecas instaladas a partir daqui.

   

Adicionar widget de biblioteca

PyPI

1. Na guia PyPI, insira o de Nome do Pacote e a versão do pacote ..

2. Clique em Instalar.

   

Desinstalando bibliotecas

Se você decidir não usar mais as bibliotecas, poderá excluir facilmente os pacotes de bibliotecas por meio do botão de desinstalação na página de gerenciamento da biblioteca.

1. Selecione e clique no nome da biblioteca

   

2. Clique em Desinstalar no widget

   

   Nota

   • Os pacotes instalados do Jupyter Notebook só podem ser excluídos do Jupyter Notebook.
   • Os pacotes instalados do gerenciador de bibliotecas só podem ser desinstalados do gerenciador de bibliotecas.
   • Para atualizar uma biblioteca/pacote, desinstale a versão atual da biblioteca e reinstale a versão necessária da biblioteca.
   • A instalação de bibliotecas no Jupyter Notebook é específica da sessão. Não é persistente.
   • A instalação de pacotes pesados pode levar algum tempo devido ao seu tamanho e complexidade.