Problema conhecido: os trabalhos do Spark podem falhar devido às atualizações do Runtime 1.3 para GA
O Microsoft Fabric Runtime 1.3 baseado no Apache Spark 3.5 entrou em disponibilidade geral (GA) em 23 de setembro de 2024. O Fabric Runtime 1.3 agora pode ser usado para cargas de trabalho de produção. Como parte da transição da verão preliminar pública para o estágio de disponibilidade geral, lançamos grandes atualizações de biblioteca internas para melhorar a funcionalidade, a segurança, a confiabilidade e o desempenho. Essas atualizações podem afetar seus ambientes do Microsoft Fabric se você instalou bibliotecas ou substituiu a versão interna da biblioteca com o Runtime 1.3.
Status: aberto
Experiência do produto: Engenharia de Dados
Sintomas
Se você instalou os ambientes com bibliotecas com o Runtime 1.3, o trabalho do Spark começará a falhar com um erro semelhante a Post Personalization failed. A importação de bibliotecas personalizadas instaladas pode falhar devido à atualização das bibliotecas internas subjacentes.
Soluções e alternativas
Reinstale as bibliotecas do Fabric Runtime 1.3 em seus ambientes do Microsoft Fabric. A reinstalação cria a nova dependência com base nas atualizações mais recentes. Se suas bibliotecas personalizadas tiverem dependências incompatíveis em pacotes internos do Python, a instalação falhará e um log de auto-depuração será gerado com a lista de versões necessárias. Você pode atualizar as dependências para tornar suas bibliotecas personalizadas compatíveis. Pode haver incompatibilidades ou alterações significativas no notebook ou pipeline existentes à medida que os pacotes subjacentes do Python foram alterados. Você precisa revisitar o código para atenuar.