Gerenciamento de biblioteca em ambientes do Fabric
Os ambientes do Microsoft Fabric fornecem configurações flexíveis para executar seus trabalhos do Spark. As bibliotecas fornecem código reutilizável que os desenvolvedores desejam incluir em seu trabalho. Com exceção das bibliotecas internas que vêm com cada runtime do Spark, você pode instalar bibliotecas públicas e personalizadas em seus ambientes do Fabric. E você pode anexar facilmente ambientes aos seus notebooks e definições de trabalho do Spark.
Observação
Modificar a versão de um pacote específico pode potencialmente interromper outros pacotes que dependem dele. Por exemplo, o downgrade azure-storage-blob pode causar problemas com Pandas e várias outras bibliotecas que dependem de Pandas, incluindo mssparkutils, fsspec_wrapper e notebookutils.
Você poderá exibir a lista de pacotes pré-instalados e suas versões para cada runtime aqui.
Confira mais opções e melhores práticas de uso de bibliotecas no Microsoft Fabric: Gerenciar bibliotecas do Apache Spark no Microsoft Fabric
Bibliotecas públicas
Bibliotecas públicas são provenientes de repositórios como PyPI e Conda, que o Fabric dá suporte no momento.
Adicionar uma nova biblioteca pública
Para adicionar uma nova biblioteca pública, selecione uma origem e especifique o nome e a versão da biblioteca. Como alternativa, você pode carregar um arquivo .yml de especificação de ambiente do Conda para especificar as bibliotecas públicas. O conteúdo do arquivo .yml carregado é extraído e acrescentado à lista.
Observação
O recurso de preenchimento automático para nomes de biblioteca durante a adição é limitado às bibliotecas mais populares. Se a biblioteca que você deseja instalar não estiver nessa lista, você não receberá um prompt de preenchimento automático. Em vez disso, pesquise a biblioteca diretamente no PyPI ou no Conda inserindo seu nome completo. Se o nome da biblioteca for válido, você verá as versões disponíveis. Se o nome da biblioteca não for válido, você receberá um aviso de que a biblioteca não existe.
Adicionar bibliotecas públicas em um lote
Os ambientes oferecem suporte ao carregamento do arquivo YAML para gerenciar várias bibliotecas públicas em um lote. O conteúdo do YAML é extraído e anexado na lista de bibliotecas públicas.
Observação
Os canais conda personalizados no arquivo YAML não são suportados no momento. Apenas as bibliotecas do PyPI e do Conda são reconhecidas.
Filtrar bibliotecas públicas
Insira palavras-chave na caixa de pesquisa na página Bibliotecas Públicas, para filtrar a lista de bibliotecas públicas e encontrar a que você precisa.
Atualizar bibliotecas públicas
Para atualizar a versão de uma biblioteca pública existente, navegue até o ambiente e abra bibliotecas públicas ou bibliotecas personalizadas. Escolha a biblioteca necessária, selecione a lista suspensa de versão e atualize sua versão.
Excluir bibliotecas públicas
A opção de lixo para cada biblioteca é exibida quando você passa o mouse sobre a linha correspondente. Como alternativa, você pode excluir várias bibliotecas públicas selecionando-as e selecionando Excluir na faixa de opções.
Exibir dependência
Cada biblioteca pública tem várias dependências. A opção de dependência de exibição é exibida quando você passa o mouse sobre a linha correspondente.
Exportar para yaml
O Fabric fornece a opção de exportar a lista de bibliotecas públicas completa para um arquivo YAML e baixá-la para o diretório local.
Bibliotecas personalizadas
Bibliotecas personalizadas referem-se ao código criado por você ou sua organização. O Fabric dá suporte a arquivos de biblioteca personalizados nos formatos .whl, .jar e .tar.gz.
Observação
O Fabric só dá suporte a arquivos .tar.gz para a linguagem R. Use o formato de arquivo .whl para a linguagem Python.
Carregar a biblioteca personalizada
Você pode carregar bibliotecas personalizadas do diretório local para o ambiente do Fabric.
Excluir a biblioteca personalizada
A opção de lixo para cada biblioteca é exibida quando você passa o mouse na linha correspondente. Como alternativa, você pode excluir várias bibliotecas personalizadas selecionando-as e selecionando Excluir na faixa de opções.
Baixar todas as bibliotecas personalizadas
Se clicadas, as bibliotecas personalizadas baixam uma a uma no diretório de download padrão local.