Gestão de bibliotecas no Spark
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações sobre a Comunidade do Azure HDInsight .
O objetivo do Gerenciamento de Biblioteca é disponibilizar código aberto ou personalizado para blocos de anotações e trabalhos em execução em seus clusters. Você pode carregar bibliotecas Python a partir de repositórios PyPI. Este artigo se concentra no gerenciamento de bibliotecas na interface do usuário do cluster. O Azure HDInsight no AKS já inclui muitas bibliotecas comuns no cluster. Para ver quais bibliotecas estão incluídas no HDI no cluster AKS, consulte a página de gerenciamento de bibliotecas.
Instalar bibliotecas
Você pode instalar bibliotecas em dois modos:
- Instalado em cluster
- Limitado ao bloco de anotações
O Cluster foi instalado
Todos os cadernos executados num cluster podem usar bibliotecas de cluster. Você pode instalar uma biblioteca de cluster diretamente de um repositório público, como o PyPi. O carregamento de repositórios Maven e o carregamento de bibliotecas personalizadas da nuvem estão no planeamento.
Escopo do bloco de anotações
Bibliotecas limitadas ao notebook, disponíveis para Python e Scala, que permitem instalar bibliotecas e criar um ambiente restrito a uma sessão de notebook. Essas bibliotecas não afetam outros notebooks em execução no mesmo cluster. As bibliotecas no escopo do notebook não persistem e devem ser reinstaladas para cada sessão.
Observação
Utilize bibliotecas de âmbito notebook quando precisar de um ambiente personalizado para um notebook específico.
Modos de instalação da biblioteca
PyPI: Buscar bibliotecas do repositório PyPI de código aberto mencionando o nome e a versão da biblioteca na interface do usuário de instalação.
Ver as bibliotecas instaladas
Na página Visão geral, navegue até Gerenciador de bibliotecas.
No Spark Cluster Manager, clique em Library Manager.
Você pode visualizar a lista de bibliotecas instaladas aqui.
Adicionar widget de biblioteca
PyPI
Na aba PyPI, insira o Nome do Pacote e a Versão do Pacote..
Clique Instalar.
Desinstalando bibliotecas
Se você decidir não usar mais as bibliotecas, poderá excluir facilmente os pacotes de bibliotecas através do botão de desinstalação na página de gerenciamento de bibliotecas.
Selecione e clique no nome da biblioteca
Clique em desinstalar no widget
Observação
- Os pacotes instalados a partir do notebook Jupyter só podem ser excluídos do Jupyter Notebook.
- Os pacotes instalados a partir do gestor de bibliotecas só podem ser desinstalados a partir do gestor de bibliotecas.
- Para atualizar uma biblioteca/pacote, desinstale a versão atual da biblioteca e reinstale a versão necessária da biblioteca.
- A instalação de bibliotecas a partir do notebook Jupyter é específica para a sessão. Não é persistente.
- A instalação de pacotes pesados pode levar algum tempo devido ao seu tamanho e complexidade.