Compartir vía

Databricks Runtime 16.1

  • Artículo

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 16.1, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en diciembre de 2024.

Sugerencia

Para ver las notas de la versión de Databricks Runtime que han alcanzado el fin de su soporte técnico (EoS), consulte Notas de versión de Databricks Runtime de fin de soporte técnico. Las versiones de EoS Databricks Runtime se han retirado y es posible que no se actualicen.

Cambios de comportamiento

Cambio disruptivo: El manejo de expresiones regulares en Photon ahora es coherente con Apache Spark.

En Databricks Runtime 15.4 y versiones posteriores, el control de expresiones regulares en Photon se actualiza para que coincida con el comportamiento del control de expresiones regulares de Apache Spark. Anteriormente, las funciones de expresión regular ejecutadas por Photon, como split() y regexp_extract(), aceptaron algunas expresiones regulares rechazadas por el analizador de Spark. Para ser coherente con Apache Spark, ahora las consultas Photon fallarán para las expresiones regulares que Spark considera no válidas.

Debido a este cambio, es posible que vea errores si el código de Spark incluye expresiones regulares no válidas. Por ejemplo, la expresión split(str_col, '{'), que contiene una llave no coincidente y que Photon aceptaba anteriormente, ahora falla. Para corregir esta expresión, puede escapar el carácter de llave: split(str_col, '\\{').

El comportamiento de Photon y Spark también difiere para algunas expresiones regulares que coinciden con caracteres no ASCII. Esto también se actualiza para que Photon coincida con el comportamiento de Apache Spark.

El tipo de datos VARIANT ya no se puede usar con operaciones que requieren comparaciones.

En Databricks Runtime 16.1 y versiones posteriores, no puede usar las cláusulas o operadores siguientes en las consultas que incluyen un tipo de datos VARIANT:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Además, no puede usar estas funciones DataFrame:

  • df.dropDuplicates()
  • df.repartition()

Estas operaciones realizan comparaciones y comparaciones que usan el tipo de datos VARIANT producen resultados indefinidos y no se admiten en Databricks. Si usa el tipo VARIANT en las tablas o cargas de trabajo de Azure Databricks, Databricks recomienda los cambios siguientes:

  • Actualice las consultas o expresiones para convertir explícitamente valores de VARIANT en tipos de datos que no sean deVARIANT.
  • Si tiene campos que se deben usar con cualquiera de las operaciones anteriores, extraiga esos campos del tipo de datos VARIANT y almacénelos mediante tipos de datos que noVARIANT.

Para obtener más información, acceda a Consulta de datos de variante.

Nuevas características y mejoras

La compatibilidad con intercalaciones en Apache Spark está en versión preliminar pública

Ahora puede asignar intercalaciones que son conscientes del idioma, no distinguen mayúsculas de minúsculas y no son sensibles a las intercalaciones de las columnas y expresiones de STRING. Estas intercalaciones se usan en comparaciones de cadenas, ordenación, operaciones de agrupación y muchas funciones de cadena. Consulte Intercalación.

La compatibilidad con intercalaciones en Delta Lake está en versión preliminar pública

Ahora puede definir intercalaciones para columnas al crear o modificar una tabla Delta. Consulte Compatibilidad de las intercalaciones con Delta Lake.

El modo LITE para vacío se encuentra en versión preliminar pública

Ahora puede usar VACUUM table_name LITE para realizar una operación de vacío más ligera que aproveche los metadatos en el registro de transacciones de Delta. Consulte Modo completo frente a modo ligero y VACUUM.

Compatibilidad para parametrizar la cláusula USE CATALOG with IDENTIFIER

En Databricks Runtime 16.1 y versiones posteriores, la cláusula IDENTIFIER se admite para la instrucción USE CATALOG. Con esta compatibilidad, puede parametrizar el catálogo actual en función de una variable de cadena o un marcador de parámetro.

Compatibilidad de COMMENT ON COLUMN con tablas y vistas

En Databricks Runtime 16.1 y versiones posteriores, la instrucción COMMENT ON admite la modificación de comentarios para las columnas de vista y tabla.

Nuevas funciones SQL

En Databricks Runtime 16.1 y versiones posteriores, están disponibles las siguientes nuevas funciones SQL integradas:

  • dayname(expr) devuelve el acrónimo inglés de tres letras del día de la semana para la fecha especificada.
  • uniform(expr1, expr2 [,seed]) devuelve un valor aleatorio con valores independientes y distribuidos de forma idéntica dentro del intervalo de números especificado.
  • randstr(length) devuelve una cadena aleatoria de length caracteres alfanuméricos.

Invocación de parámetros con nombre para más funciones

En Databricks Runtime 16.1 y versiones posteriores, las siguientes funciones admiten la invocación de parámetros con nombre:

El parámetro SYNC METADATA para el comando REPAIR TABLE se admite con el metastore de Hive.

En Databricks Runtime 16.1 y versiones posteriores, puede usar el parámetro SYNC METADATA con el comando REPAIR TABLE para actualizar los metadatos de una tabla administrada de Metastore de Hive. Consulte REPAIR TABLE.

Integridad de datos mejorada para lotes comprimidos de Apache Arrow

En Databricks Runtime 16.1 y versiones posteriores, para proteger aún más contra la corrupción de datos, cada lote de Arrow comprimido de LZ4 ahora incluye las sumas de comprobación de contenido y de bloque de LZ4. Consulte Descripción del formato de trama LZ4.

Soporte añadido para los métodos de Scala en el cómputo en modo de acceso compartido del catálogo de Unity

En Databricks Runtime 16.1 y versiones posteriores, en el cómputo en modo de acceso compartido de Unity Catalog, se agrega compatibilidad con los siguientes métodos de Scala: Dataset.flatMapGroups(), Dataset.mapGroups()y DataStreamWriter.foreach().

Controlador JDBC integrado de Teradata

En Databricks Runtime 16.1 y versiones posteriores, el controlador JDBC de Teradata está integrado en Azure Databricks. Si usa un JAR del controlador JDBC subido por el cliente a través de DriverManager, debe volver a escribir scripts para utilizar explícitamente el JAR personalizado. De lo contrario, se usa el controlador integrado. Este controlador solo admite la federación de Lakehouse. Para otros casos de uso, debe proporcionar su propio controlador.

Compatibilidad de StreamingQueryListener con Scala

Ahora puede usar StreamingQueryListener en Scala en el proceso configurado con el modo de acceso compartido.

Controlador JDBC integrado de Oracle

En Databricks Runtime 16.1 y versiones posteriores, oracle JDBC Driver está integrado en Azure Databricks. Si utiliza un archivo JAR del controlador JDBC cargado por el cliente mediante DriverManager, debe volver a escribir los scripts para usar explícitamente el archivo JAR personalizado. De lo contrario, se usa el controlador integrado. Este controlador solo admite la federación de Lakehouse. Para otros casos de uso, debe proporcionar su propio controlador.

Errores más detallados para las tablas Delta a las que se accede con rutas

Ahora hay disponible una nueva experiencia de mensaje de error para las tablas Delta a las que se accede mediante rutas de acceso. Todas las excepciones ahora se reenvieron al usuario. La excepción DELTA_MISSING_DELTA_TABLE ahora está reservada para cuando los archivos subyacentes no se pueden leer como una tabla Delta.

Otros cambios

Se ha cambiado el nombre de los códigos de error para el origen de cloudFiles Structured Streaming

Esta versión incluye un cambio para cambiar el nombre de los siguientes códigos de error:

  • _LEGACY_ERROR_TEMP_DBR_0143 se renombra a CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 se renombra como CF_INCORRECT_BATCH_USAGE .

Correcciones

Los tipos anidados ahora aceptan correctamente restricciones NULL

Esta versión corrige un error que afecta a algunas columnas generadas por Delta de tipos anidados, por ejemplo, STRUCT. Estas columnas a veces rechazaban incorrectamente las expresiones basadas en restricciones de campos anidados NULL o NOT NULL. Esto se ha corregido.

Actualizaciones de biblioteca

  • Bibliotecas de Python actualizadas:
    • ipyflow-core de la versión 0.0.198 a 0.0.201
    • pyccolo de la versión 0.0.52 a 0.0.65
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.2.1 a 1.2.2
    • org.lz4.lz4-java de la versión 1.8.0 a 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 a 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 16.0, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-50482] [SC-182879][CORE] Configuración no-op spark.shuffle.spill en desuso
  • [SPARK-50032] [SC-182706][SQL][16.x] Permitir el uso del nombre de intercalación completo
  • [SPARK-50467] [SC-182823][PYTHON] Agregar __all__ para funciones integradas
  • [SPARK-48898] [SC-182828][SQL] Corrección del error de desglose de variantes
  • [SPARK-50441] [SC-182668][SQL] Corrección de identificadores parametrizados que no funcionan al hacer referencia a CTEs
  • [SPARK-50446] [SC-182639][PYTHON] Nivel de concurrencia en UDF de Python optimizado para Arrow
  • [SPARK-50430] [SC-182536][CORE] Use el archivo Properties.clone estándar en lugar del clon manual.
  • [SPARK-50471] [SC-182790][PYTHON] Admite el escritor de fuentes de datos de Python basado en Arrow
  • [SPARK-50466] [SC-182791][PYTHON] Refinar la docstring para funciones de cadena: parte 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integración de la NUEVA API de temporizador e API de estado inicial con temporizador
  • [SPARK-50437] [SC-182586][SS] Reducir la sobrecarga de creación de deserializadores en TransformWithStateExec
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Compatibilidad añadida para encadenamiento o...
  • [SPARK-49294] [SC-182730][UI] Agregado el atributo de ancho para la casilla shuffle-write-time.
  • [SPARK-50426] [SC-182540][PYTHON] Evitar la búsqueda estática de orígenes de datos de Python al usar orígenes de datos integrados o Java
  • [SPARK-48356] [SC-182603][SQL] Compatibilidad con la instrucción FOR
  • [SPARK-50333] [SC-182136][SQL] Compatibilidad con Codegen para CsvToStructs (mediante Invoke & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Métricas para confirmaciones en instancias de StagedTable
  • [SPARK-50081] [SC-182344][SQL] Compatibilidad con Codegen para XPath*(mediante Invoke & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates refactorizado
  • [SPARK-50067] [SC-179648][SQL] Compatibilidad de Codegen con SchemaOfCsv(by Invoke & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][SQL] Corrección del error posterior a la combinación durante las pruebas de errores
  • [SPARK-50118] [SC-181259][CONNET] Restablecer la caché de estado aislada cuando se ejecutan tareas
  • [SPARK-49873] [SC-178577][SQL] Asignar una clase de error adecuada para _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][CORE] Compatibilidad con spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] Agregar función DAYNAME
  • [SPARK-50270] [SC-181179][SS][PYTHON] Se agregaron métricas de estado personalizadas para TransformWithStateInPandas
  • [SPARK-50118] "[SC-181259][CONNECT] Restablecer la caché de estado aislado cuando se ejecutan las tareas" revertido
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Agregar API dataFrame para funciones con valores de tabla
  • [SPARK-49470] [SC-175736][UI] Actualizar hojas de estilos y javascripts de dataTables de 1.13.5 a 1.13.11
  • [SPARK-50235] "[SC-180786][SQL] Limpiar el recurso ColumnVector después de procesar todas las filas en ColumnarToRowExec" revertido
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] Hacer que createDataFrame desencadene Config RPC solo una vez
  • [SPARK-50387] [SC-182441][SS] Condición de actualización para la expiración del temporizador y la prueba pertinente
  • [SPARK-50287] [SC-182400][SQL] Opciones de combinación de tabla y relación al crear WriteBuilder en FileTable
  • [SPARK-50066] [SC-181484][SQL] Compatibilidad con Codegen para SchemaOfXml (mediante Invoke & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][SQL] Corregir el comportamiento del conector de PostgreSQL para matrices multidimensionales
  • [SPARK-50318] [SC-181641][SQL] Agregar IntervalUtils.makeYearMonthInterval para desduplicar código entre interpretado y codegen
  • [SPARK-50312] [SC-181646][SQL] Error en el paso de parámetros de SparkThriftServer createServer cuando kerberos es true
  • [SPARK-50246] [SC-181468][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] Desde json/xml no deben cambiar las intercalaciones en el esquema especificado
  • [SPARK-50250] [SC-181466][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] Restablecer la caché de estado aislada cuando se ejecutan tareas
  • [SPARK-50235] [SC-180786][SQL] Limpiar el recurso ColumnVector después de procesar todas las filas de ColumnarToRowExec
  • [SPARK-50156] [SC-180781][SQL] Integrar _LEGACY_ERROR_TEMP_2113 en UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][SQL] Integrar _LEGACY_ERROR_TEMP_0028 en UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] Compatibilidad con Codegen para StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][SQL] Agregue la alternativa TryMakeInterval.
  • [SPARK-50397] [SC-182367][CORE] Quitar argumentos --ip y -i en desuso de Master/Worker
  • [SPARK-50238] [SC-181434][PYTHON] Agregada compatibilidad con variantes en UDF/UDTF/UDAF de PySpark y UDF UC de Python
  • [SPARK-50079] [SC-179830][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][EXAMPLE] Ejemplo de adición de submit-sql.sh API REST
  • [SPARK-49966] [SC-179501][SQL] Uso de Invoke para implementar JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][SS] Asegúrese de que los tamaños de índice secundarios sean iguales a los tamaños de índice principal para las variables con estado TransformWithState con TTL
  • [SPARK-50301] [SC-182241][SS][16.x] Hacer que las métricas TransformWithState reflejen sus significados intuitivos
  • [SPARK-50175] [SC-182140][SQL] Cambio del cálculo de precedencia de intercalación
  • [SPARK-50148] [SC-180292][SQL] Hacer que StaticInvoke sea compatible con el método que declara la excepción throw
  • [SPARK-50280] [SC-181214][PYTHON] Refactorización de la ordenación de resultados y relleno de contenedores vacíos en compute_hist
  • [SPARK-50190] [SC-182458][PYTHON] Quitar la dependencia directa de Numpy del Histograma
  • [SPARK-50382] [SC-182368][CONNECT] Agregue documentación para obtener información general sobre el desarrollo de aplicaciones con Spark Connect o extensión
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Evite usar una propiedad de clase en el grupo de subprocesos para el cliente de Python Connect.
  • [SPARK-49566] [SC-182239][SQL] Agregar sintaxis de canalización SQL para el operador EXTEND
  • [SPARK-50036] [SC-179533][CORE][PYTHON] Inclusión de SPARK_LOG_SCHEMA en el contexto del shell de REPL
  • [SPARK-49859] [SC-178259][CONNECT] Reemplazo de multiprocessing.ThreadPool con ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] Permitir que lpad y rpad acepten argumentos de tipo Column
  • [SPARK-50379] [SC-182142][SQL] Corrección del control DayTimeIntevalType en WindowExecBase
  • [SPARK-49954] [SC-179110][SQL] Compatibilidad de Codegen con SchemaOfJson (mediante Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][CORE] Uso de ExitCode 0 para el uso de --help en scripts de Spark
  • [SPARK-50377] [SC-182238][SQL] Permitir evaluar RuntimeReplaceable plegable
  • [SPARK-50241] [SC-181444][SQL] Reemplazo de NullIntolerant Mixin por el método Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] Asignar la condición de error adecuada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] Asignar la condición de error adecuada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] Integrar _LEGACY_ERROR_TEMP_0039 en UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][SS] Adición de métrica personalizada para el seguimiento del tiempo gastado en el estado inicial en el proceso en transformWithState
  • [SPARK-50029] [SC-179531][SQL] Haga que StaticInvoke sea compatible con el método que devuelve Any
  • [SPARK-49990] [SC-179497][SQL] Mejorar el rendimiento de randStr
  • [SPARK-50048] [SC-179528][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] Convertir _LEGACY_ERROR_TEMP_2104 en INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] Compatibilidad de intercalación de recorte para funciones de cadena
  • [SPARK-48549] [SC-176472][SQL][PYTHON] Mejorar la función SQL sentences
  • [SPARK-50022] [SC-179503][CORE][UI] Corregir MasterPage para ocultar vínculos de la interfaz de usuario de la aplicación cuando la interfaz de usuario está deshabilitada
  • [SPARK-50087] [SC-182152] Control sólido de expresiones booleanas en CASE WHEN para MsSqlServer y conectores futuros
  • [SPARK-49991] [SC-179481][SQL] Hacer que HadoopMapReduceCommitProtocol respete "mapreduce.output.basename" para generar nombres de archivo
  • [SPARK-50038] [SC-179521][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] Corregir ApplicationPage para ocultar vínculos de interfaz de usuario de la aplicación cuando la interfaz de usuario está deshabilitada
  • [SPARK-49911] [SC-179111][SQL] Corrección de la semántica de soporte para la igualdad binaria
  • [SPARK-50025] [SC-179496][SQL] Integrar _LEGACY_ERROR_TEMP_1253 en EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][SS] Corrección del error en la optimización al agregar la entrada al almacén de estado en la combinación stream-stream
  • [SPARK-50004] [SC-179499][SQL] Integrar _LEGACY_ERROR_TEMP_3327 en FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator debe respetar el contrato en ConstantFolding
  • [SPARK-50340] [SC-181859][SQL] Desajustar UDT en la consulta de entrada INSERT
  • [SPARK-50237] [SC-181660][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] Solucionar el problema del cambio en el orden de las columnas de salida después de la optimización de AQE
  • [SPARK-49773] [SC-178369][SQL] Excepción de Java no detectada de make_timestamp() con zona horaria incorrecta
  • [SPARK-49977] [SC-179265][SQL] Uso del cálculo iterativo basado en pila para evitar la creación de muchos objetos de lista de Scala para árboles de expresiones profundas
  • [SPARK-50153] [SC-181591][SQL] Agregado name a RuleExecutor para que la impresión de los registros de QueryExecutionMetrics sea más clara
  • [SPARK-50320] [SC-181668][CORE] Convierta --remote una opción oficial quitando experimental advertencia
  • [SPARK-49909] [SC-179492] Se ha revertido "[SQL] Corrección del nombre descriptivo de algunas expresiones"
  • [SPARK-50330] [SC-180720][SC-181764][SQL] Añadir indicaciones a los nodos Sort y Window
  • [SPARK-50364] [SC-182003][SQL] Implementación de la serialización para el tipo LocalDateTime en Row.jsonValue
  • [SPARK-50016] [SC-182139][SQL] Asignar la condición de error adecuada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] Compatibilidad con deleteIfExists para TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][SQL] Compatibilidad de la expresión IDENTIFIER en la instrucción SETCATALOG
  • [SPARK-50315] [SC-181886][SQL] Compatibilidad con métricas personalizadas para escrituras V1Fallback
  • [SPARK-42838] [SC-181509][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] Refactorización de ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][SQL] Preparación de scripting SQL para agregar el marco de ejecución
  • [SPARK-49345] [SC-174786][CONNECT] Asegúrese de usar la sesión de Spark en ejecución actual.
  • [SPARK-49925] [SC-178882][SQL] Agregar pruebas para ORDER BY con cadenas intercaladas
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] Mejorar los mensajes de error y las importaciones de gráficos en PySpark
  • [SPARK-49368] [SC-174999][CONNECT] Evite acceder directamente a las clases protobuf lite.
  • [SPARK-50056] [SC-181378][SQL] Compatibilidad de Codegen con ParseUrl (mediante Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][SS][PYTHON] Admiten el control de estado inicial para TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][SS] Abordar la limitación del cálculo de métricas con los orígenes de streaming DSv1
  • [SPARK-49874] [SC-178303][SQL] Eliminación de los especificadores de intercalación trim y ltrim.
  • [SPARK-49513] [SC-180339][SS] Agregar compatibilidad con el temporizador en la API transformWithStateInPandas
  • [SPARK-49119] [SC-175607][SQL] Corregir la incoherencia de la sintaxis show columns entre v1 y v2
  • [SPARK-49206] [SC-173704][CORE][UI] Adición de la tabla Environment Variables a Master EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] Adición de la conversión implícita para acceder al mapa intercalado con literal
  • [SPARK-50049] [SC-181659][SQL] Compatibilidad con métricas de controladores personalizadas al escribir en la tabla v2
  • [SPARK-50171] [SC-180295][PYTHON] Hacer que numpy sea opcional para el trazado KDE
  • [SPARK-49962] [SC-179320][SQL] Simplificación de la jerarquía de clases AbstractStringTypes
  • [SPARK-50226] [SC-181483][SQL] Corregir MakeDTInterval y MakeYMInterval para capturar excepciones de Java
  • [SPARK-48775] [SC-170801][SQL][STS] Reemplazar SQLContext por SparkSession en STS
  • [SPARK-49015] [SC-175688][CORE] Connect Server debe respetar spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][SQL][16.x] Simplificación de la resolución de función que se va a reutilizar en el analizador de paso único
  • [SPARK-49995] [SC-180762][SQL] Añadir soporte para argumentos nombrados a más TVFs
  • [SPARK-49268] [SC-174903][CORE] Registro de excepciones de E/S en el proveedor de historial de SHS
  • [SPARK-48123] [SC-164989][Core] Proporcionar un esquema de tabla constante para consultar registros estructurados
  • [SPARK-49217] [SC-174904][CORE] Admiten la configuración de tamaño de búfer independiente en UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][SQL][16.x] Simplificación de la resolución de alias para reutilizarla en el analizador de paso único
  • [SPARK-50322] [SC-181665][SQL] Corrección del identificador con parámetros en una subconsulta
  • [SPARK-48400] [SC-175283][CORE] Promover PrometheusServlet a DeveloperApi
  • [SPARK-50118] "[SC-181259][CONNECT] Restablecer la caché de estado aislado cuando se ejecutan las tareas" revertido
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Compatibilidad con Python 3.13 en Spark Connect
  • [SPARK-50152] [SC-181264][SS] Compatibilidad de handleInitialState con el lector de orígenes de datos de estado
  • [SPARK-50260] [SC-181271][CONNECT] Refactorizar y optimizar Spark C...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migración de logInfo con variables al marco de registro estructurado
  • [SPARK-49312] [SC-174672][PYTHON] Mejora del mensaje de error para assertSchemaEqual
  • [SPARK-49439] [SC-175236][SQL] Corrección del nombre descriptivo de la expresión FromProtobuf y ToProtobuf
  • [SPARK-50092] [ES-1258521] Corrección del comportamiento del conector postgreSQL para matrices multidimensionales
  • [SPARK-49913] [SC-181565][SQL] Adición de comprobación de nombres de etiqueta únicos en ámbitos con etiquetas anidadas
  • [SPARK-49563] [SC-181465][SQL] Agregar sintaxis de canalización SQL para el operador WINDOW
  • [SPARK-49661] [SC-179021][SQL] Implementación del hash de intercalación de recorte y la comparación.
  • [SPARK-38912] [SC-181543][PYTHON] Eliminación del comentario relacionado con classmethod y property
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Mejora de la administración de asignación de archivos SST de RocksDB y corrección del problema con la recarga de la misma versión con la instantánea existente
  • [SPARK-49002] Se ha revertido "[SC-172846][SQL] Controlar constantemente ubicaciones no válidas en WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49668] [SC-178268][SQL] Implementación de la compatibilidad de la clave de intercalación para la intercalación de recorte
  • [SPARK-50262] [SC-181193][SQL] Prohibición de la especificación de tipos complejos durante la modificación de la intercalación
  • [SPARK-48898] [SC-181435][SQL] Adición de funciones de fragmentación de variante
  • [SPARK-48273] [SC-181381] Se ha revertido "[SQL] Corrección de la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][CORE] Compatibilidad con spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] Compatibilidad con spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] Los reemplazos de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 serán NullIntolerant
  • [SPARK-50247] [SC-180962][CORE] Definir BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] Simplificación de TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] Permitir que el operador TransformWithState use la codificación Avro
  • [SPARK-50267] [SC-181180][ML] Mejorar TargetEncoder.fit con las APIs de DataFrame
  • [SPARK-37178] [SC-180939][ML] Adición de codificación de destino a ml.feature
  • [SPARK-50118] [SC-181259][CONNET] Restablecer la caché de estado aislada cuando se ejecutan tareas
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Hacer que lit(ndarray) con np.int8 respete el tipo de datos de numpy
  • [SPARK-50256] [SC-181048][SQL] Agregar validación ligera para comprobar si un plan lógico deja de resolverse después de cada regla del optimizador
  • [SPARK-50196] [SC-180932][CONNECT] Corrección del contexto de error de Python para usar un contexto adecuado
  • [SPARK-50274] [SC-181181][CORE] Restricción contra use-after-close en DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] Compatibilidad con el parámetro opcional "column" en los trazados box, kde y hist
  • [SPARK-50273] [SC-181178][SS] Mejora del registro para los casos de adquisición y liberación de bloqueos de RocksDB
  • [SPARK-50033] [SC-180720][SC-180659][SQL] Agregar una sugerencia al nodo "logical.Aggregate()"
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Corrección del exceso de liberación de acquireLock en RocksDB debido al cliente de escucha de finalización
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join no debe obtener el identificador de punto de control si no está soportado.
  • [SPARK-50255] [SC-180964][PYTHON] Evitar la conversión innecesaria en compute_hist
  • [SPARK-50228] [SC-180780][SQL] Mover la regla de RewriteCollationJoin a FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Ajuste de la "precisión" para formar parte de kwargs para trazados box
  • [SPARK-49637] [SC-180160][SQL] Mensaje de error cambiado para INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][PYTHON] Obtención de la sesión activa de los dataframes
  • [SPARK-50195] [SC-180654][CORE] Corregir StandaloneRestServer para propagar spark.app.name a SparkSubmit correctamente
  • [SPARK-50229] [SC-180773] Reducir el uso de memoria en el controlador para esquemas anchos reduciendo la duración de los objetos AttributeReference creados durante la planeación lógica
  • [SPARK-50231] [SC-180815][PYTHON] Hacer que la función instr acepte la Columna substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Clonado del administrador de artefactos durante el clonado de sesión
  • [SPARK-50219] [SC-180694][SQL] Refactorizar ApplyCharTypePadding para que los métodos auxiliares se puedan usar en la resolución de paso único
  • [SPARK-50077] [SC-179827][SQL] Introduce un nuevo objeto de patrón para LogicalRelation para ayudar a evitar el patrón predeterminado de parámetros completos
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Agregar API de controlador de procesador con estado mediante codificadores implícitos en Scala
  • [SPARK-50061] [SC-179961][SQL] Permitir el análisis de la tabla para columnas cotejadas
  • [SPARK-49993] [SC-180084][SQL] Mejorar los mensajes de error para Sum y Average
  • [SPARK-49638] [SC-179665][SQL] Eliminación de la sugerencia de configuración ANSI en INVALID_URL
  • [SPARK-50204] [SC-180660][SQL] Simplificación de la resolución de la ruta de acceso de lectura HiveTableRelation
  • [SPARK-50193] [SC-180651][SS] Corregir el control de excepciones para validar los modos de tiempo
  • [SPARK-50179] [SC-180342][CORE] Haga que la propiedad spark.app.name sea opcional en la API REST.
  • [SPARK-50068] [SC-180300][SQL] Refactorizar TypeCoercion y AnsiTypeCoercion para separar las transformaciones de nodo único
  • [SPARK-49411] [SC-179483][SS] Comunicación del identificador de punto de comprobación del almacén de estado entre los operadores con estado y de controlador
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET deben conservar la ordenación de datos
  • [SPARK-49506] [SC-180165][SQL] Optimización de ArrayBinarySearch para la matriz plegable
  • [SPARK-50097] [SC-179908][SQL] Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] Agregar try_make_timestamp(_ltz y _ntz) y pruebas relacionadas
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] Compatibilidad con trazados de histograma
  • [SPARK-50015] [SC-179964][SQL] Asignar la condición de error adecuada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Mover archivos scala y java a sus carpetas predeterminadas
  • [SPARK-49980] [SC-180353][CORE][SQL] Corrección de posibles pérdidas de flujo de archivos causadas por la interrupción en las tareas canceladas
  • [SPARK-49010] [SC-172304][SQL][XML] Adición de pruebas de unidad para la sensibilidad a mayúsculas y minúsculas en la inferencia de esquemas XML
  • [SPARK-49562] [SC-180211][SQL] Adición de sintaxis de canalización SQL para la agregación
  • [SPARK-49663] [SC-180239][SQL] Habilitación de sugerencias RTRIM en expresiones de intercalación
  • [SPARK-48965] [SC-175926][SQL] Use el esquema correcto en Dataset#toJSON
  • [SPARK-48493] [SC-175893][PYTHON] Mejorar el lector de orígenes de datos de Python con compatibilidad directa con Arrow Batch para mejorar el rendimiento
  • [SPARK-49734] [SC-180226][PYTHON] Agregue seed argumento para la función shuffle
  • [SPARK-50174] [16.x][SC-180253][SQL] Simplificación de la resolución UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] Admisión de trazados kde/density
  • [SPARK-49805] [SC-180218][SQL][ML] Quitar funciones privadas[xxx] de function.scala
  • [SPARK-49808] [SC-179490][SQL] Corrección de un interbloqueo en la ejecución de subconsultas debido a valores diferidos
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] Compatibilidad con trazados box
  • [SPARK-50008] [SC-179290][PS][CONNECT] Evitar operaciones innecesarias en attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][PS][CONNECT] Refactorizar la invocación de función interna
  • [SPARK-49683] [SC-178341][SQL] Bloqueo de intercalación de recorte
  • [SPARK-49939] [SC-178941][SQL] Compatibilidad con Codegen para json_object_keys (mediante Invoke & RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][SQL] Agregar la expresión de TryParseUrl
  • [SPARK-49766] [SC-178933][SQL] Compatibilidad con Codegen para json_array_length (por Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][SS] Usar un orden estable del nodo EventTimeWatermark para calcular la marca de agua
  • [SPARK-49540] [SC-180145][PS] Unifique el uso de distributed_sequence_id
  • [SPARK-50060] [SC-179965][SQL] Se ha deshabilitado la conversión entre tipos con diferentes intercalados en TypeCoercion y AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][CONNECT] Usar un registro independiente para funciones internas de Column API
  • [SPARK-49811] [SC-177888][SQL]Se ha cambiado el nombre de StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] Aplicar ArrayBinarySearch para histograma
  • [SPARK-49203] [SC-175734][SQL] Agregar expresión para java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][CORE] Corrección de la clasificación incorrecta de errores fatales como excepciones no detectadas en SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][SQL] Las colaciones que usan ICU deben incluir la versión de la biblioteca ICU usada.
  • [SPARK-49985] [SC-179644][SQL] Eliminación de la compatibilidad con los tipos de intervalo en Variant
  • [SPARK-49103] [SC-173066][CORE] Compatibilidad con spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Refactorizar ResolveBinaryArithmetic para separar la transformación de un solo nodo
  • [SPARK-49902] [SC-179650][SQL] Detectar errores en tiempo de ejecución subyacentes en RegExpReplace
  • [SPARK-49126] [SC-173342][CORE] Se ha movido la definición de configuración spark.history.ui.maxApplications a History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] Mensaje de error mejorado al usar el perfilador de memoria en los editores sin número de línea
  • [SPARK-50062] [SC-179835][SQL] Admite intercalaciones por InSet
  • [SPARK-50035] [Backport][16x][SC-179530][SS] Se ha agregado la compatibilidad para la parte de la función handleExpiredTimer del procesador con estado
  • [SPARK-49982] [SC-179814][SQL] Corregir el almacenamiento en caché negativo en InMemoryRelation
  • [SPARK-49082] [SC-173350][SQL] Ampliación de promociones de tipos en AvroDeserializer
  • [SPARK-50088] [SC-179680][SQL] Refactorización de UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] Adición de compatibilidad para la lectura de la fuente de cambios para los tipos de mapa y lista usados en procesadores con estado
  • [SPARK-49846] [SC-179506][SS] Agregar métricas numUpdatedStateRows y numRemovedStateRows para su uso con el operador transformWithState
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Se ha hecho que lit acepte str y numpy ndarray de tipo booleano
  • [SPARK-49821] [SC-179527][SS][PYTHON] Implementación de la compatibilidad de MapState y TTL con TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][SQL] Agregar sintaxis de canalización SQL para LIMIT/OFFSET y ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][LC-4080][SQL] Corrección de canPlanAsBroadcastHashJoin para respetar las sugerencias de combinación aleatoria
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] Hacer que lit funcione con un numpy ndarray vacío
  • [SPARK-50018] [SC-179488][SQL] Se ha hecho que AbstractStringType sea serializable
  • [SPARK-50016] [SC-179491][SQL] Mejora del error de coincidencia de intercalación explícita
  • [SPARK-50010] [SC-179487][SQL] Expansión del error de coincidencia de intercalación implícita
  • [SPARK-48749] [SC-170116][SQL] Simplificar UnaryPositive y eliminar sus reglas Catalyst con RuntimeReplaceable
  • [SPARK-49857] [SC-178576][SQL] Agregar storageLevel a la API localCheckpoint del conjunto de datos
  • [SPARK-50058] [SC-179538][SQL] Simplificación de las funciones de normalización del plan para su uso posterior en las pruebas del Analizador de paso único
  • [SPARK-50052] [SC-179535][PYTHON][16.X] Hacer que NumpyArrayConverter admita str ndarray vacío
  • [SPARK-47261] [SC-173665][SQL] Asigne un nombre mejor para errores _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 y _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][CORE] Marcar KryoRegistrator con la interfaz DeveloperApi
  • [SPARK-48949] [SC-173070][SQL] SPJ: Filtrado de particiones en tiempo de ejecución
  • [SPARK-50044] [SC-179523][PYTHON] Refinado de docstring de varias funciones matemáticas
  • [SPARK-48757] [SC-170113][CORE] Haga que IndexShuffleBlockResolver tenga constructores explícitos
  • [SPARK-50037] [SQL] Refactorización de attributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][SQL] Agregar compatibilidad para ejecutar procedimientos en catálogos
  • [SPARK-49057] [SC-173081][SQL] No bloquee el bucle AQE al enviar fases de consulta
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Adición de la sintaxis SQL de la columna de identidad
  • [SPARK-48773] [SC-170773] Documentar la configuración "spark.default.parallelism" mediante el marco de trabajo de creación de configuraciones
  • [SPARK-48735] [SC-169810][SQL] Mejora del rendimiento de la función BIN
  • [SPARK-48900] [SC-172433] Adición del campo reason para todas las llamadas internas para la cancelación de tareas o etapas
  • [SPARK-48488] [SC-167605][CORE] Corregir métodos log[info|warning|error] en SparkSubmit
  • [SPARK-48708] [SC-169809][CORE] Eliminación de tres registros de tipos innecesarios de KryoSerializer
  • [SPARK-49958] [SC-179312][PYTHON] API de Python para funciones de validación de cadenas
  • [SPARK-49979] [SC-179264][SQL] Corrección del problema de bloqueo de AQE al recopilar dos veces en un plan con errores
  • [SPARK-48729] [SC-169795][SQL] Agregar una interfaz UserDefinedFunction para representar una función SQL
  • [SPARK-49997] [SC-179279][SQL] Integrar _LEGACY_ERROR_TEMP_2165 en MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][SS]Creación de particiones basadas en tamaño durante la lectura de kafka
  • [SPARK-48129] [SC-165006][PYTHON] Proporcionar un esquema de tabla constante en PySpark para consultar registros estructurados
  • [SPARK-49951] [SC-179259][SQL] Asignar una condición de error adecuada para LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][SQL] Integrar _LEGACY_ERROR_TEMP_1252 en EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][CONNECT] Deshacerse de bloqueos globales del servicio Spark Connect
  • [SPARK-49957] [SC-179202][SQL] Scala API para funciones de validación de cadenas
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener no debe verse afectado por spark.interrupt()
  • [SPARK-49643] [SC-179239][SQL] Combinar _LEGACY_ERROR_TEMP_2042 en ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][SQL] Corrección de ColumnarArray.copy() para leer valores NULL desde el desplazamiento correcto
  • [SPARK-49956] Se ha revertido "[SC-179070] Intercalaciones deshabilitadas con la expresión collect_set"
  • [SPARK-49987] [SC-179180][SQL] Corregir el mensaje de error cuando seedExpression no se puede plegar en randstr
  • [SPARK-49948] [SC-179158][PS][CONNECT] Adición del parámetro "precision" a Pandas en el trazado box de Spark
  • [SPARK-49970] [SC-179167][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][SQL] Lanzamiento de la excepción adecuada para el error de coincidencia de tipos entre ColumnType y el tipo de datos en algunas filas
  • [SPARK-49956] [SC-179070] Intercalaciones deshabilitadas con la expresión collect_set
  • [SPARK-49974] [16.x][SC-179071][SQL] Se ha movido resolveRelations(...) fuera de Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] Asignación de nombres a las condiciones de error para los errores de intervalo
  • [SPARK-47430] [SC-173679][SQL] Reestructurar la agrupación por tipo de mapa para corregir la excepción de referencia vinculada
  • [SPARK-49067] [SC-172616][SQL] Se ha movido el literal utf-8 a métodos internos de la clase UrlCodec
  • [SPARK-49955] [SC-178989][SQL] El valor NULL no significa que el archivo esté corrupto al analizar la cadena JSON RDD
  • [SPARK-49393] [SC-175212][SQL] Error de manera predeterminada en las API de extensión de catálogo en desuso
  • [SPARK-49952] [SC-178985][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][SQL] Restringir los conjuntos de caracteres en JsonOptions
  • [SPARK-49892] [SC-178975][SQL] Asignar una clase de error adecuada para _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][SQL] Asignar nombres a clases de error _LEGACY_ERROR_TEMP_105[3-4] y _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] Controlar ceros y unos en ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][SQL] Asignar una condición de error adecuada para _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][CORE] Uso del acceso de solo lectura para conf en SparkContext cuando proceda
  • [SPARK-49666] [SC-177891][SQL] Adición del indicador para la función de intercalación trim
  • [SPARK-48885] [SC-171050][SQL] Se ha hecho que algunas subclases de RuntimeReplaceable sobrescriban el reemplazo para valores diferidos
  • [SPARK-49932] [SC-178931][CORE] Uso de recursos de liberación de tryWithResourceJsonUtils#toJsonString para evitar pérdidas de memoria
  • [SPARK-49949] [SC-178978][PS] Evitar tareas de análisis innecesarias en attach_sequence_column
  • [SPARK-49924] [SC-178935][SQL] Mantener containsNull después del reemplazo de ArrayCompact
  • [SPARK-49121] [SC-174787][SQL] Compatibilidad con from_protobuf y to_protobuf para funciones SQL
  • [SPARK-47496] [SC-160529][SQL] Compatibilidad con SPI de Java para el registro dinámico de dialectos JDBC
  • [SPARK-49359] [SC-174895][SQL] Permitir que las implementaciones stagedTableCatalog vuelvan a escritura no atómica
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] Se ha mejorado el error que se genera al encontrar comas finales en la cláusula SELECT
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer: Documentación de la asignación de tipos de datos SQL de Spark desde Microsoft SQL Server y adición de pruebas
  • [SPARK-46037] [SC-175495][SQL] Corrección de la compilación de combinación de hash aleatorio izquierda sin codegen
  • [SPARK-47813] [SC-162615][SQL] Reemplazo de getArrayDimension por updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] Error de excepción en la evaluación de la transformación de particiones
  • [SPARK-47172] [SC-169537][CORE] Agregar compatibilidad con AES-GCM para el cifrado RPC
  • [SPARK-47666] [SC-161476][SQL] Corregir NPE al leer la matriz de bits mysql como LongType
  • [SPARK-48947] [SC-174239][SQL] Usar el nombre del conjunto de caracteres en minúsculas para reducir la memoria caché que falta en Charset.forName
  • [SPARK-49909] [SC-178552][SQL] Corregir el nombre bonito de algunas expresiones
  • [SPARK-47647] [SC-161377][SQL] Hacer que el origen de datos MySQL pueda leer bit(n>1) como BinaryType al igual que lo hace Postgres.
  • [SPARK-46622] [SC-153004][CORE] Invalidar el método toString para o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][PYTHON] Hacer que la nomenclatura de parámetros de PySparkException sea coherente con JVM
  • [SPARK-49889] [SC-178474][PYTHON] Agregar el argumento trim para funcionestrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] Corregir la asignación incorrecta de tipos de datos en MySQL Connector/J
  • [SPARK-47628] [SC-161257][SQL] Solución al problema de la matriz de bits de Postgres "No se puede convertir a booleano".
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] Corrección del comentario de cambio en las columnas char/varchar
  • [SPARK-49549] [SC-178764][SQL] Asignar un nombre a las condiciones de error _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] Hacer que DelegatingCatalogExtension sea más ampliable
  • [SPARK-49559] [SC-178551][SQL] Agregar sintaxis de canalización SQL para las operaciones establecidas
  • [SPARK-49906] [SC-178536][SQL] Introducción y uso del error de CONFLICTING_DIRECTORY_STRUCTURES para PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] Cambiar la firma de la función classifyException: añadir el argumento isRuntime
  • [SPARK-47501] [SC-160532][SQL] Adición de convertDateToDate como el convertTimestampToTimestamp existente para JdbcDialect
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType debe devolver el elemento secundario en caso de error
  • [SPARK-47462] [SC-160460][SQL] Alineación de las asignaciones de otros tipos numéricos no firmados con TINYINT en MySQLDialect
  • [SPARK-47435] [SC-160129][SQL] Corrección del problema de desbordamiento de MySQL UNSIGNED TINYINT causado por SPARK-45561
  • [SPARK-49398] [SC-176377][SQL] Mejora del error de los parámetros de la consulta CACHE TABLE y CREATE VIEW
  • [SPARK-47263] [SC-177012][SQL] Asignación de nombres a las condiciones heredadas _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] Corregir el mensaje cuando ascendingOrder es DataTypeMismatch en SortArray
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Quitar blank space redundantes después de show en clientes de Scala y Connect
  • [SPARK-47258] [SC-175032][SQL] Asignar nombres a clases de error _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] Agregar sintaxis de canalización SQL para el operador JOIN
  • [SPARK-49836] [SC-178339][SQL][SS] Corregir las consultas potencialmente rotas cuando se proporciona la ventana a la función window/session_window
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Control de la asignación de marcas de tiempo de SQL para Postgres y MySQL
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] Compatibilidad con trazados circulares
  • [SPARK-49824] [SC-178251][SS][CONNECT] Mejora del registro en SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] Refinado de la representación en cadena de las operaciones de campo de columna
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] Soporte para trazados de área
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] Compatibilidad con trazados de dispersión
  • [SPARK-49744] [SC-178363][SS][PYTHON] Implementación de la compatibilidad de TTL con ListState en TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][CORE] Mover TransportCipherUtil a un archivo independiente para eliminar las advertencias de compilación de Java
  • [SPARK-49866] [SC-178353][SQL] Mejorar el mensaje de error para describir la tabla con columnas de partición
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] Mejorar el mensaje de error cuando el índice está fuera de límites al llamar a GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][PYTHON] Actualización del enfoque de muestreo para gráficos basados en muestras
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Admisión de trazados de barras horizontales y verticales
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] Compatibilidad con trazados de líneas con backend de Plotly
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] Se modificó UnivocityParser para iniciar excepciones en tiempo de ejecución causadas por ArrayIndexOutOfBounds con mensajes más orientados al usuario
  • [SPARK-49870] [SC-178262][PYTHON] Agregar compatibilidad con Python 3.13 en Spark clásico
  • [SPARK-49560] [SC-178121][SQL] Agregar sintaxis de canalización SQL para el operador TABLESAMPLE
  • [SPARK-49864] [SC-178305][SQL] Mejorar el mensaje de BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][SQL] Se ha hecho que los errores en namedParametersSupport sean genéricos para controlar funciones y procedimientos
  • [SPARK-49358] [SC-178158][SQL] Expresión de modo para los tipos de mapa con cadenas intercaladas
  • [SPARK-47341] [SC-178157][SQL] Corregir la documentación inexacta de RuntimeConfig#get
  • [SPARK-48357] [SC-178153][SQL] Compatibilidad con la instrucción LOOP
  • [SPARK-49845] [SC-178059][CORE] Convertir appArgs y environmentVariables en opcionales en la API de REST
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable debe indicar si es para escribir
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Se ha agregado compatibilidad con el agente de escucha del lado cliente para Scala.
  • [SPARK-48700] [SC-177978][SQL] Expresión de modo para tipos complejos (todas las intercalaciones)
  • [SPARK-48196] [SC-177899][SQL] Conversión de los planes de valores diferidos de QueryExecution en LazyTry
  • [SPARK-49749] [16.x][SC-177877][CORE] Cambio del nivel de registro a modo de depuración en BlockManagerInfo
  • [SPARK-49561] [SC-177897][SQL] Agregar sintaxis de canalización SQL para los operadores de PIVOT y UNPIVOT
  • [SPARK-49823] [SC-177885][SS] Evitar el vaciado durante el apagado en la ruta cerrada rocksdb
  • [SPARK-49820] [SC-177855] [PYTHON] Cambiar raise IOError a raise OSError
  • [SPARK-49653] [SC-177266][SQL] Combinación única para subconsultas escalares correlacionadas
  • [SPARK-49552] [SC-177477][PYTHON] Adición de soporte de API de DataFrame para las nuevas funciones SQL "randstr" y "uniform"
  • [SPARK-48303] [16.x][SC-166251][CORE] Reorganización de las claves de registro
  • [SPARK-49656] [16x][Backport][SS] Incorporación de soporte para variables de estado que utilicen tipos de colección de valores de estado y lectura de opciones de la fuente de cambios
  • [SPARK-48112] [SC-165129][CONNECT] Exponer sesión en SparkConnectPlanner a complementos
  • [SPARK-48126] [16.x][SC-165309][Core] Activar la efectividad de spark.log.structuredLogging.enabled
  • [SPARK-49505] [SC-176873][SQL] Crear nuevas funciones SQL "randstr" y "uniformes" para generar cadenas o números aleatorios dentro de intervalos
  • [SPARK-49463] [SC-177474] Compatibilidad con ListState para TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][Core] Unificación de la clave MDC mdc.taskName y task_name
  • [SPARK-49557] [SC-177227][SQL] Agregar sintaxis de canalización SQL para el operador WHERE
  • [SPARK-49323] [16.x][SC-174689][CONNECT] Mover MockObserver desde la carpeta de prueba de Spark Connect Server a la carpeta principal del servidor
  • [SPARK-49745] [SC-177501][SS] Adición de cambios para leer temporizadores registrados a través del lector de fuentes de datos de estado
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Quitar ColumnFamilyOptions y agregar configuraciones directamente a dbOptions en RocksDB

Compatibilidad con controladores ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Consulte Actualizaciones de mantenimiento de Databricks Runtime 16.1.

Entorno del sistema

  • sistema operativo: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
tipos anotados 0.7.0 asttokens 2.0.5 astunparse 1.6.3
comando automático 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 negro 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
criptografía 42.0.5 ciclista 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 En desuso 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 puntos de entrada 0.4 executing 0.8.3
visión general de facetas 1.1.1 bloqueo de archivos 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 almacenamiento en la nube de Google 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
embalaje 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
almohada 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Solicitudes 2.32.2 cuerda 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacidad 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 tipos-solicitudes 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del administrador de paquetes de Posit el 2024-08-04.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 escoba 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
reloj 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compilador 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayón 1.5.3 credenciales 2.0.1 curl 5.2.1
data.table 1.15.4 conjuntos de datos 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digerir 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 colores 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
extranjero 0,8-86 forge 0.2.0 fs 1.6.4
futuro 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 asilo 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 etiquetado 0.4.3
later 1.3.2 retícula 0.22-5 lava 1.8.0
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 métodos 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pilar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 Promesas 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
Recetas 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 información de sesión 1.2.2
shape 1.4.6.1 brillante 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.4.0
estadísticas4 4.4.0 stringi 1.8.4 stringr 1.5.1
supervivencia 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
Formateo de texto 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 cambio de hora 0.3.0
timeDate 4032.109 tinytex 0.52 herramientas 4.4.0
tzdb 0.4.0 verificador de URL 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)

Id. de grupo Id. de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics corriente 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guayaba 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas y verificaciones de salud 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coleccionista 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper cuidador de zoológico 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API de WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1