Migrar bibliotecas do Spark do Azure Synapse para o Fabric
O pool do Azure Synapse Spark oferece diferentes opções de feed e biblioteca personalizada. No Fabric, cada tempo de execução vem com um conjunto pré-instalado de bibliotecas (bibliotecas internas). No entanto, com base em seus cenários e necessidades específicas, você também pode incluir outras bibliotecas usando bibliotecas de ambiente e bibliotecas embutidas. Para mover as bibliotecas do pool do Azure Synapse Spark para a Malha, use bibliotecas de ambiente.
Para obter considerações sobre a biblioteca do Spark, consulte as diferenças entre o Azure Synapse Spark e o Fabric.
Pré-requisitos
- Se você ainda não tiver um, crie um espaço de trabalho de malha em seu locatário.
- Se você ainda não tiver um, crie um Ambiente em seu espaço de trabalho.
Opção 1: Adicionar bibliotecas do Spark ao ambiente personalizado
Você pode mover as bibliotecas do pool do Spark para um ambiente da seguinte maneira:
- Abra o Synapse Studio: entre no Azure. Navegue até o espaço de trabalho do Azure Synapse e abra o Synapse Studio.
- Localize as bibliotecas do Spark:
- Vá para a área Gerenciar e selecione em pools do Apache Spark.
- Encontre o pool do Apache Spark, selecione Pacotes e localize as bibliotecas do Spark para o pool.
- Obter bibliotecas do Spark: localize os pacotes de requirements.txt, environment.yml ou espaço de trabalho instalados no pool. Obtenha a lista de bibliotecas instaladas no pool.
- Depois de ter bibliotecas do Spark, adicione bibliotecas personalizadas do Spark a um ambiente no Fabric. Dentro do seu Ambiente, vá para Bibliotecas e adicione bibliotecas:
- A partir das Bibliotecas Públicas, pode carregar um ficheiro .yml. Você também pode instalar bibliotecas usando PyPI e Conda.
- Em Bibliotecas personalizadas, você pode instalar bibliotecas usando arquivos .jar/.whl/.tar.gz.
- Clique em Salvar e publicar alterações.
Saiba mais sobre como adicionar bibliotecas do Spark a um ambiente.
Nota
Observe que a instalação da biblioteca pode levar algum tempo.