Problema conhecido - Os trabalhos do Spark podem falhar devido às atualizações do Runtime 1.3 para GA
O Microsoft Fabric Runtime 1.3 baseado no Apache Spark 3.5 entrou em disponibilidade geral (GA) em 23 de setembro de 2024. O Fabric Runtime 1.3 agora pode ser usado para cargas de trabalho de produção. Como parte da transição da visualização pública para o estágio de disponibilidade geral, lançamos grandes atualizações internas de bibliotecas para melhorar a funcionalidade, a segurança, a confiabilidade e o desempenho. Essas atualizações podem afetar seus ambientes do Microsoft Fabric se você instalou bibliotecas ou substituiu a versão interna da biblioteca pelo Runtime 1.3.
Estado: Aberto
experiência de produto: engenharia de dados
Sintomas
Se você instalou os ambientes com bibliotecas com o Runtime 1.3, o trabalho do Spark começará a falhar com um erro semelhante ao Post Personalization failed. A importação de bibliotecas personalizadas instaladas pode falhar devido à atualização das bibliotecas internas subjacentes.
Soluções e soluções alternativas
Reinstale as bibliotecas do Fabric Runtime 1.3 em seus ambientes do Microsoft Fabric. A reinstalação cria a nova dependência com base nas atualizações mais recentes. Se suas bibliotecas personalizadas tiverem dependências incompatíveis com pacotes internos do Python, a instalação falhará e um log de autodepuração será gerado com a lista de versões necessárias. Você pode atualizar as dependências para tornar suas bibliotecas personalizadas compatíveis. Podem existir incompatibilidades ou alterações disruptivas no notebook ou pipeline existente porque os pacotes subjacentes do Python foram alterados. Você precisa revisitar o código para mitigar.