Problema conhecido - Fabric Runtime 1.3 causa bibliotecas inválidas
O Fabric Runtime 1.3 incorpora o Apache Spark 3.5. O Spark 3.5 lançou uma grande atualização em 15 de agosto de 2024, que faz com que as bibliotecas personalizadas instaladas em seus ambientes Fabric se tornem inválidas. Iniciar sessões de definição de trabalho do bloco de anotações e do Spark falha ao usar um ambiente inválido.
Estado: Corrigido: 7 de novembro de 2024
Experiência do produto: Engenharia de dados
Sintomas
Quando um novo bloco de anotações ou sessão de definição de trabalho do Spark com o ambiente Fabric Runtime 1.3 é executado, a inicialização da sessão do Spark falha com Spark_Ambiguous_SparkSubmit_PersonalizationFailed erro.
Soluções e soluções alternativas
Para corrigir o problema, siga os passos abaixo:
- Navegue até a instância do ambiente com o Runtime 1.3 em seu espaço de trabalho
- Fazer alterações na seção de bibliotecas conforme necessário com base nas dependências da biblioteca
- Salve e publique o ambiente novamente. O ambiente é reconstruído com a última atualização do tempo de execução do Spark 3.5.