Clase de error INCONSISTENT_BEHAVIOR_CROSS_VERSION
Puede obtener un resultado diferente debido a la actualización a:
DATETIME_PATTERN_RECOGNITION
Spark >= 3.0:
No se puede reconocer el patrón <pattern> en DateTimeFormatter.
- Puede establecer
<config>en "LEGACY" para restaurar el comportamiento anterior a Spark 3.0. - Puede formar un patrón datetime válido con la guía de ‘
<docroot>/sql-ref-datetime-pattern.html’.
DATETIME_WEEK_BASED_PATTERN
Spark >= 3.0:
Todos los patrones basados en semana no son compatibles desde Spark 3.0, carácter basado en semana detectado: <c>.
Use la función SQL EXTRACT en su lugar.
PARSE_DATETIME_BY_NEW_PARSER
Spark >= 3.0:
No se puede analizar <datetime> en el nuevo analizador.
Puede establecer <config> en "LEGACY" para restaurar el comportamiento antes de Spark 3.0 o establecerlo en "CORRECTED" y tratarlo como una cadena datetime no válida.
READ_ANCIENT_DATETIME
Spark >= 3.0:
La lectura de fechas anteriores al 1582-10-15 o marcas de tiempo anteriores a 1900-01-01T00:00:00Z
de archivos <format> puede ser ambigua, ya que los archivos pueden haber sido escritos por
Spark 2.x o versiones heredadas de Hive, que usa un calendario híbrido heredado
distinto del calendario gregoriano proléptico de Spark 3.0+.
Consulte más detalles en SPARK-31404. Puede establecer el <config> de configuración de SQL o
la opción <option> de origen de datos en "LEGACY" para fusionar los valores datetime mediante cambio de base
con respecto a la diferencia de calendario durante la lectura. Para leer los valores datetime
como está, establezca la configuración <config> de SQL o la opción <option> de origen de datos.
"Corregido".
Por determinar
Spark >= <sparkVersion>: <details>
WRITE_ANCIENT_DATETIME
Spark >= 3.0:
Escribir fechas anteriores al 15-10-1582 o marcas de tiempo anteriores a 1900-01-01T00:00:00Z en archivos puede ser peligroso, ya que los archivos <format> pueden leerse más adelante con Spark 2.x o versiones heredadas de Hive, que usa un calendario híbrido heredado diferente del calendario gregoriano proléptico de Spark 3.0+.
Consulte más detalles en SPARK-31404.
Puede establecer <config> en “LEGACY” para fusionar los valores datetime mediante cambio de base en relación con la diferencia del calendario durante la escritura para obtener la máxima interoperabilidad.
O bien establezca la configuración en “CORRECTED” para escribir los valores datetime tal como están, si está seguro de que los archivos escritos solo se leerán con Spark 3.0+ u otros sistemas que usen el calendario gregoriano proléptico.