Problema conhecido - Erro não suportado para carimbo de data/hora herdado no Fabric Runtime 1.3
Ao utilizar o motor de execução nativo no Fabric Runtime 1.3, poderá encontrar um erro se os seus dados contiverem timestamps legados. Esse problema surge devido a desafios de compatibilidade introduzidos quando o Spark 3.0 fez a transição para a API de data/hora Java 8, que usa o calendário gregoriano proléptico (padrão SQL ISO). As versões anteriores do Spark utilizavam um calendário Julian-Gregorian híbrido, resultando em possíveis discrepâncias ao processar dados de carimbo de data/hora criados por diferentes versões do Spark.
Estado: Aberto
experiência de produto: engenharia de dados
Sintomas
Ao usar o suporte a carimbo de data/hora herdado no mecanismo de execução nativo para o Fabric Runtime 1.3, você recebe um erro. A mensagem de erro é semelhante a: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Soluções e soluções alternativas
Para obter mais informações sobre o recurso que aborda esse problema conhecido, consulte a postagem do blog sobre suporte a carimbo de data/hora herdado. Para ativar o recurso, adicione o seguinte à sua sessão do Spark: SET spark.gluten.legacy.timestamp.rebase.enabled = true. As datas posteriores a 1970 não são afetadas, garantindo a consistência sem etapas adicionais.