Compartir a través de

Databricks Runtime 15.4 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 15.4 LTS, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en agosto de 2024.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Cambios en el comportamiento

El uso de VARIANT como tipo de entrada o salida con una UDF de Python, UDAF o UDTF produce una excepción

[Cambio importante] En Databricks Runtime 15.3 y versiones posteriores, llamar a cualquier función definida por el usuario (UDF) de Python, función de agregado definida por el usuario (UDAF) o función de tabla definida por el usuario (UDTF) que usa un tipo VARIANT como argumento o valor devuelto produce una excepción. Este cambio se realiza para evitar problemas que pueden producirse debido a un valor no válido devuelto por una de estas funciones. Para obtener más información sobre el tipo VARIANT, consulte Uso de VARIANT para almacenar datos semiestructurados.

Cambiar al modo de enlace de esquema predeterminado para las vistas

Las vistas ahora se adaptan a los cambios de esquema en la consulta subyacente mediante la compensación de esquemas con reglas de conversión normales. Este es un cambio del valor predeterminado anterior del modo BINDING, que generaba errores cuando no se podía realizar una conversión segura al hacer referencia a la vista.

Consulte CREATE VIEW y la función de conversión.

No permitir el uso de la sintaxis de ! no documentada en lugar de NOT fuera de las expresiones booleanas

Con esta versión, ya no se permite el uso de ! como sinónimo de NOT fuera de expresiones booleanas. Por ejemplo, instrucciones como las siguientes: CREATE ... IF ! EXISTS, IS ! NULL, una propiedad de campo o columna ! NULL, ! IN y ! BETWEEN, debe reemplazarse por: CREATE ... IF NOT EXISTS, IS NOT NULL, una propiedad de campo o columna NOT NULL, NOT IN y NOT BETWEEN.

Este cambio garantiza la coherencia, se alinea con el estándar SQL y hace que SQL sea más portátil.

El operador de prefijo booleano! (por ejemplo !is_mgr, o !(true AND false)) no se ve afectado por este cambio.

No permitir la sintaxis de definición de columna no documentada en vistas

Databricks admite CREATE VIEW con columnas con nombre y comentarios de columna. Anteriormente, se ha permitido la especificación de tipos de columna, restricciones NOT NULL o DEFAULT. Con esta versión, ya no puede usar esta sintaxis.

Este cambio garantiza la coherencia, se alinea con el estándar SQL y admite mejoras futuras.

Control coherente de errores para la descodificación de Base64 en Spark y Photon

Esta versión cambia el modo en que Photon controla los errores de descodificación de Base64 para que coincidan con el control de Spark de estos errores. Antes de estos cambios, la ruta de acceso de generación de código Photon y Spark a veces no podía generar excepciones de análisis, mientras que la ejecución de Spark interpretó correctamente IllegalArgumentException o ConversionInvalidInputError. Esta actualización garantiza que Photon genere de forma coherente las mismas excepciones que Spark durante los errores de descodificación de Base64, lo que proporciona un control de errores más predecible y confiable.

Agregar una restricción CHECK en una columna no válida ahora devuelve la clase de error UNRESOLVED_COLUMN.WITH_SUGGESTION

Para proporcionar mensajería de errores más útil, en Databricks Runtime 15.3 y versiones posteriores, una instrucción ALTER TABLE ADD CONSTRAINT que incluye una restricción CHECK que hace referencia a un nombre de columna no válido devuelve la clase de error UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, se devolvía un INTERNAL_ERROR.

Nuevas características y mejoras

Funciones de validación UTF-8

En esta versión se presentan las siguientes funciones para validar cadenas UTF-8:

  • is_valid_utf8 comprobó si una cadena es una cadena UTF-8 válida.
  • make_valid_utf8 convierte una cadena UTF-8 potencialmente no válida en una cadena UTF-8 válida mediante caracteres de sustitución
  • validate_utf8 genera un error si la entrada no es una cadena UTF-8 válida.
  • try_validate_utf8 devuelve NULL si la entrada no es una cadena UTF-8 válida.

funciones de to_avro y from_avro

Las funciones to_avro y from_avro permiten la conversión de tipos SQL a datos binarios de Avro y de vuelta.

API de conjuntos de datos tipificados con UDF de Scala

Esta versión incluye suporte técnico agregado para las API de conjunto de datos tipadas con funciones de Scala definidas por el usuario (excepto las funciones de agregado definidas por el usuario) en compilaciones habilitadas para catálogos de Unity con modo de acceso compartido. Consulte API de conjunto de datos con tipo.

Habilitación de UniForm Iceberg mediante ALTER TABLE

Ahora puede habilitar UniForm Iceberg en tablas existentes sin volver a escribir los archivos de datos. Consulte Habilitación modificando una tabla existente.

función try_url_decode

En esta versión se presenta la función try_url_decode, que descodifica una cadena codificada en dirección URL. Si la cadena no tiene el formato correcto, la función devuelve NULL en lugar de generar un error.

Opcionalmente, permitir que el optimizador dependa de restricciones de clave externa no aplicadas

Para mejorar el rendimiento de las consultas, ahora puede especificar la palabra clave RELY en restricciones de FOREIGN KEY al ejecutar CREATE o ALTER en una tabla.

Ejecuciones de trabajo en paralelo para sobrescrituras selectivas

Sobrescribe selectivamente mediante replaceWhere ahora ejecuta trabajos que eliminan datos e insertan nuevos datos en paralelo, lo cual mejora el rendimiento de las consultas y el uso del clúster.

Rendimiento mejorado para la fuente de datos modificados con sobrescrituras selectivas

Las sobrescrituras selectivas que usan replaceWhere en tablas con fuente de datos modificados ya no escriben archivos de datos modificados independientes para los datos insertados. Estas operaciones usan una columna oculta _change_type presente en los archivos de datos Parquet subyacentes para registrar cambios sin amplificación de escritura.

Latencia de consulta mejorada para el comando COPY INTO

Esta versión incluye un cambio que mejora la latencia de la consulta para el comando COPY INTO. Esta mejora se implementa haciendo asincrónica la carga de estado por parte del almacén de estados de RocksDB. Con este cambio, debería ver una mejora en las horas de inicio de las consultas con estados grandes, por ejemplo, consultas con un gran número de archivos ya ingeridos.

Compatibilidad con la eliminación de la característica de comprobar la tabla de restricciones

Ahora puede quitar la característica de tabla de checkConstraints de una tabla Delta mediante ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Deshabilitación de las restricciones de comprobación.

El proceso de usuario único admite el control de acceso específico, las vistas materializadas y las tablas de streaming (versión preliminar pública)

Cuando se habilita un área de trabajo para el proceso sin servidor, Databricks Runtime 15.4 LTS agrega compatibilidad con el control de acceso específico en un solo proceso de usuario. Cuando una consulta accede a cualquiera de los siguientes objetos, el recurso de proceso de usuario único en Databricks Runtime 15.4 LTS pasa la consulta al proceso sin servidor para ejecutar el filtrado de datos:

  • Vistas creadas sobre tablas en las que el usuario no tiene el privilegio SELECT.
  • Vistas dinámicas.
  • Tablas con filtros de fila o máscaras de columna aplicadas.
  • Vistas materializadas y tablas de streaming.

Estas consultas no son compatibles con el proceso de usuario único que ejecuta Databricks Runtime 15.3 y versiones posteriores.

Para obtener más información, consulte Control de acceso específico sobre el proceso de un solo usuario.

Compatibilidad expandida para bibliotecas de Java y Scala

A partir de Databricks Runtime 15.4 LTS, todas las bibliotecas de Java y Scala agrupadas con Databricks Runtime están disponibles en todos los modos de acceso de proceso cuando se usa Unity Catalog. Para obtener más información sobre la compatibilidad del lenguaje en el proceso habilitado para el Unity Catalog, consulte limitaciones del modo de acceso de proceso para Unity Catalog.

Compatibilidad expandida para las operaciones del conjunto de datos de Scala

Con esta versión, los recursos de proceso habilitados para Unity Catalog que usan el modo de acceso compartido admiten las siguientes operaciones Dataset de Scala: map, mapPartitions, foreachPartition, flatMap, reduce y filter.

Scala está disponible en el proceso compartido de Unity Catalog

Con esta versión, Scala está disponible con carácter general en el modo de acceso compartido, proceso habilitado para Unity Catalog, incluida la compatibilidad con funciones de escalado definidas por el usuario (UDF). No se admiten funciones de agregado definidas por el usuario de Structured Streaming, UDF de Hive y Hive. Para obtener una lista completa de las limitaciones, vea Limitaciones del modo de acceso de proceso para Unity Catalog.

Corrección de errores

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • azure-core de 1.30.1 a 1.30.2
    • google-auth de 2.29.0 a 2.31.0
    • google-cloud-storage de 2.16.0 a 2.17.0
    • google-resumable-media de 2.7.0 a 2.7.1
    • googleapis-common-protos de 1.63.0 a 1.63.2
    • mlflow-skinny de 2.11.3 a 2.11.4
    • proto-plus de 1.23.0 a 1.24.0
    • s3transfer de 0.10.1 a 0.10.2
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • com.databricks.databricks-sdk-java de 0.17.1 a 0.27.0
    • com.ibm.icu.icu4j de 72.1 a 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider from 1.6.1-linux-x86_64 to 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 15.3, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Permitir la agrupación en expresiones en subconsultas escalares, si están enlazadas a filas externas
  • [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Deshabilitación de la entrada y salida en las escalares de Python UDF, UDTF, UDAF durante la compilación de consultas
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] Corrección del comportamiento de StringTrim para intercalaciones que no sean UTF8_BINARY
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] Corrección del comportamiento de StringTranslate para intercalaciones que no sean UTF8_BINARY
  • [SPARK-48872] [SC-170866][PYTHON] Reducción de la sobrecarga de _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] Se evita llamar a _proto_to_string cuando el nivel INFO no está habilitado
  • [SPARK-48852] [SC-170837][CONNECT] Corrección de la función de recorte de cadenas en conexión
  • [SPARK-48791] [SC-170658][CORE] Corrección de la regresión de rendimiento causada por la sobrecarga de registro de acumuladores mediante CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Compatibilidad con SPARK_SQL_LEGACY_CREATE_HIVE_TABLE la variable env
  • [SPARK-48241] [SC-165811][SQL] Error de análisis de CSV con columnas de tipo char/varchar
  • [SPARK-48168] [SC-166900][SQL] Se ha agregado compatibilidad con operadores de desplazamiento bit a bit
  • [SPARK-48148] [SC-165630][CORE] Los objetos JSON no se deben modificar cuando se leen como STRING
  • [SPARK-46625] [SC-170561] CTE con la cláusula de identificador como referencia
  • [SPARK-48771] [SC-170546][SQL] Aceleración de LogicalPlanIntegrity.validateExprIdUniqueness para planes de consulta de gran tamaño
  • [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Se ha hecho que el nombre de columna predeterminado de cast sea compatible con Spark clásico
  • [SPARK-48623] [SC-170544][CORE] Migraciones de registro estructurado [Parte 2]
  • [SPARK-48296] [SC-166138][SQL] Compatibilidad de Codegen con to_xml
  • [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter para la combinación de varios niveles debe comprobar el tipo de combinación secundaria
  • [SPARK-48686] [SC-170365][SQL] Mejora del rendimiento de ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588] [PYTHON] Introducción spark.profile.render a la generación de perfiles basada en SparkSession
  • [SPARK-48048] [SC-169099] Revertir “[SC-164846][CONNECT][SS] Se ha agregado compatibilidad con el agente de escucha del lado cliente para Scala”
  • [SPARK-47910] [SC-168929][CORE] cierre la secuencia cuando DiskBlockObjectWriter closeResources para evitar pérdidas de memoria
  • [SPARK-48816] [SC-170547][SQL] Abreviatura para conversores de intervalos en UnivocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Agregar la opción snapshotStartBatchId y snapshotPartitionId al origen de datos de estado
  • [SPARK-48280] [SC-170293][SQL] Mejorar el área expuesta de pruebas de intercalación mediante el recorrido de expresiones
  • [SPARK-48837] [SC-170540][ML] En CountVectorizer, solo se lee el parámetro binario una vez por transformación, no una vez por fila
  • [SPARK-48803] [SC-170541][SQL] Produce un error interno en Orc(De)serializer para alinearse con ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Filtrado de fotogramas relacionados con IPython desde la pila de usuarios
  • [SPARK-48818] [SC-170414][PYTHON] Simplificación de funciones de percentile
  • [SPARK-48479] [SC-169079][SQL] Compatibilidad con la creación de UDF escalares y de tabla de SQL en el analizador
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Agregar filtros de cadena compatibles con intercalación
  • [SPARK-48800] [SC-170409][CONNECT][SS] Analizar ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Correcto desde la versión para del alias func integrada random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [SPARK-48638] [SC-169575][CONNECT] Agregar compatibilidad con ExecutionInfo para DataFrame
  • [SPARK-48064] [SC-164697][SQL] Actualización de mensajes de error para clases de error relacionadas con rutinas
  • [SPARK-48810] API [CONNECT] Session stop() debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
  • [SPARK-48650] [15.x][PYTHON] Mostrar el sitio de llamada correcto desde el bloc de notas de IPython
  • [SPARK-48271] [SC-166076][SQL] Convertir el error de coincidencia en RowEncoder en UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Corrección de la falta de coincidencia de resolución de tipos varchar para DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335][SQL] Corrección de la regresión para INSERT con lista de columnas parciales en una tabla con char/varchar
  • [SPARK-48767] [SC-170330][SQL] Corrección de algunos mensajes de error cuando los datos de tipo de variant no son válidos
  • [SPARK-48719] [SC-170339][SQL] Corrección del error de cálculo de RegrSlope y RegrIntercept cuando el primer parámetro es null
  • [SPARK-48815] [SC-170334][CONNECT] Actualizar entorno al detener la sesión de conexión
  • [SPARK-48646] [SC-169020][PYTHON] Refinar sugerencias de tipo y documentación de la API del origen de datos de Python
  • [SPARK-48806] [SC-170310][SQL] Pasar la excepción real cuando se produce un error en url_decode
  • [SPARK-47777] [SC-168818] corrección de la prueba de conexión del origen de datos de streaming de Python
  • [SPARK-48732] [SC-169793][SQL] Limpieza del uso de las API en desuso relacionadas con JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Corrección de la tabla de caché con columnas intercaladas
  • [SPARK-48623] [SC-169034][CORE] Migraciones de registro estructurado
  • [SPARK-48655] [SC-169542][SQL] SPJ: Adición de pruebas para la omisión aleatoria de consultas agregadas
  • [SPARK-48586] [SC-169808][SS] Quitar la adquisición de bloqueos en doMaintenance() realizando una copia profunda de asignaciones de archivos en RocksDBFileManager en load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Refactorización de versiones para metadatos de operador de lectura y escritura y autores de llamada
  • [SPARK-48808] [SC-170309][SQL] Corrección de NPE al conectar thriftserver a través de Hive 1.2.1 y el esquema de resultados está vacío
  • [SPARK-48715] [SC-170291][SQL] Integrar la validación de UTF8String en implementaciones de funciones de cadena compatibles con intercalación
  • [SPARK-48747] [SC-170120][SQL] Agregar iterador de punto de código a UTF8String
  • [SPARK-48748] [SC-170115][SQL] Caché numChars en UTF8String
  • [SPARK-48744] [SC-169817][Core] La entrada de registro solo se debe construir una vez
  • [SPARK-46122] [SC-164313][SQL] Se estableció spark.sql.legacy.createHiveTableByDefault en false de forma predeterminada
  • [SPARK-48765] [SC-170119][DEPLOY] Mejorar la evaluación de valores predeterminados para SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Agregar documento de migración para CREATE TABLE AS SELECT, cambio de comportamiento desde Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagación del esquema almacenado en caché en operaciones de trama de datos
  • [SPARK-48766] [SC-170126][PYTHON] Documentación de la diferencia de comportamiento de extraction entre element_at y try_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] No se debe almacenar en caché explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Cambie para leer los metadatos del operador una vez en el controlador para comprobar si podemos encontrar información sobre numColsPrefixKey que se usa para las consultas agg de ventana de sesión
  • [SPARK-48656] [SC-169529][CORE] Realice una comprobación de longitud e inicie el error COLLECTION_SIZE_LIMIT_EXCEEDED en CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-48472] [SC-169044][SQL] Habilitar expresiones reflect con cadenas intercaladas
  • [SPARK-48699] [SC-169597][SQL] Refinar las API de intercalación
  • [SPARK-48682] [SC-169812][SQL][BEHAVE-58] Uso de ICU en la expresión InitCap para cadenas de UTF8_BINARY
  • [SPARK-48282] [SC-169813][SQL] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Habilitación de compatibilidad de intercalación para la expresión Mode
  • [SPARK-48320] [SPARK-48490] Sincronización del último rasgo de registro y casos de prueba de OSS Spark
  • [SPARK-48629] [SC-169479] Migración del código residual al marco de registro estructurado
  • [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Uso de ICU en las expresiones Lower/Upper para cadenas de UTF8_BINARY
  • [SPARK-48573] [15.x][SC-169582][SQL] Actualización de la versión de ICU
  • [SPARK-48687] [Backport][15.x][SS] Agregar cambio para realizar la validación del esquema de estado y actualizar el controlador para consultas con estado
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4] Migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48008] [SC-167363][1/2] Compatibilidad de UDAF con Spark Connect
  • [SPARK-48578] [SC-169505][SQL] agregar funciones relacionadas con la validación de cadenas UTF8
  • [SPARK-48670] [SC-169598][SQL] Proporcionar sugerencia como parte del mensaje de error cuando se proporciona un nombre de intercalación no válido
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… …RK-48291] Marco de registro estructurado en el lado java
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Migración de logWarn con variables al marco de registro estructurado
  • [SPARK-48706] [SC-169589][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Haga siempre un relleno de caracteres en predicados
  • [SPARK-48662] [SC-169533][SQL] Corrección de la expresión StructsToXml con intercalaciones
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates y dropDuplicatesWIthinWatermark deben aceptar argumentos de longitud variable
  • [SPARK-48678] [SC-169463][CORE] Optimizaciones de rendimiento para SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Cambie el nombre del UTF8_BINARY_LCASE a UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]: Corrección del atributo de nulabilidad en el descodificador UDF
  • [SPARK-47579] [165297.x][SC-167310][CORE][PART1] Migración de logInfo con variables al marco de registro estructurado (nuevo)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal no usa los métodos en desuso
  • [SPARK-48431] [SC-167290][LC-4066][SQL] No reenviar predicados en columnas intercaladas a lectores de archivos
  • [SPARK-47579] Revertir “[165297.x][SC-167310][CORE][PART1] Migración de logInfo con variables al marco de registro estructurado”
  • [SPARK-47585] [SC-164306][SQL] SQL core: migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48466] [SC-169042][SQL] Crear un nodo dedicado para EmptyRelation en AQE
  • [SPARK-47579] [165297.x][SC-167310][CORE][PART1] Migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48410] [SC-168320][SQL] Corrección de la expresión InitCap para intercalaciones UTF8_BINARY_LCASE & ICU
  • [SPARK-48318] [SC-167709][SQL] Habilitar la compatibilidad con la combinación hash para todas las intercalaciones (tipos complejos)
  • [SPARK-48435] [SC-168128][SQL] La intercalación UNICODE no debe admitir la igualdad binaria
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Compatibilidad con el uso de columnas como parámetros para varias funciones en pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Adición de una función auxiliar para simplificar Column.py
  • [SPARK-48574] [SC-169043][SQL] Corrección de la compatibilidad de StructTypes con intercalaciones
  • [SPARK-48305] [SC-166390][SQL] Adición de compatibilidad de intercalación para expresiones CurrentLike
  • [SPARK-48342] [SC-168941][SQL] Introducción al analizador de scripting de SQL
  • [SPARK-48649] [SC-169024][SQL] Agregar las configuraciones “ignoreInvalidPartitionPaths” y “spark.sql.files.ignoreInvalidPartitionPaths” para permitir la omisión de rutas de acceso de partición no válidas
  • [SPARK-48000] [SC-167194][SQL] Habilitar la compatibilidad con la combinación hash para todas las intercalaciones (StringType)
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implementar DataFrameQueryContext en Spark
  • [SPARK-48602] [SC-168692][SQL] Hacer que el generador csv admita un estilo de salida diferente con spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Modificar la comparación de cadenas para UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830][SQL] refactorizar: usar idMap auxiliar en lugar de OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Evite inicializar estáticamente threadpool en ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [SC-164658][SQL] Presenta un BinaryFormatter universal para hacer que la salida binaria sea coherente
  • [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError causado por la tarea de eliminación de derrames
  • [SPARK-48572] [SC-168844][SQL] Corrección de expresiones DateSub, DateAdd, WindowTime, TimeWindow y SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Corrección de la conversión implícita de expresiones FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][SQL] Realice una comprobación de longitud e inicie el error COLLECTION_SIZE_LIMIT_EXCEEDED en Hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Evite la amplificación de almacenamiento al acceder a una subvariante
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] Refinamiento del mensaje de error de YearMonthIntervalType en df.collect
  • [SPARK-48307] [SC-167802][SQL] InlineCTE debe mantener relaciones no insertadas en el nodo WithCTE original
  • [SPARK-48596] [SC-168581][SQL] Mejora de rendimiento para calcular la cadena hexadecimal durante mucho tiempo
  • [SPARK-48621] [SC-168726][SQL] Corrección como simplificación en Optimizer para cadenas intercaladas
  • [SPARK-47148] [SC-164179][SQL] Evitar materializar AQE ExchangeQueryStageExec en la cancelación
  • [SPARK-48584] [SC-168579][SQL] Mejora de rendimiento para unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Reemplazo de secuencia de bytes UTF-8 no válido
  • [SPARK-48595] [SC-168580][CORE] Limpieza del uso de las API en desuso relacionadas con commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ: rowOrdering y structType de caché para InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Agregar el rasgo WriteFilesExecBase para la escritura v1
  • [SPARK-48551] [SC-168438][SQL] Mejora de rendimiento para escapePathName
  • [SPARK-48565] [SC-168437][UI] Corrección de la visualización del volcado de subproceso en la interfaz de usuario
  • [SPARK-48364] [SC-166782][SQL] Agregar la conversión de tipos AbstractMapType y corregir la asignación de parámetros RaiseError para trabajar con cadenas intercaladas
  • [SPARK-48421] [SC-168689][SQL] SPJ: Agregar documentación
  • [SPARK-48604] [SC-168698][SQL] Reemplazar la llamada de método new ArrowType.Decimal(precision, scale) en desuso
  • [SPARK-46947] [SC-157561][CORE] Retrasar la inicialización del administrador de memoria hasta que se cargue el complemento Driver
  • [SPARK-48411] [SC-168576][SS][PYTHON] Agregar prueba E2E para DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Seguimiento de errores de validación de filas de estado mediante la clase de error explícita
  • [SPARK-48221] [SC-167143][SQL] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Adición de compatibilidad de intercalación para la expresión Levenshtein
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] Corrección de la representación de cadena de la función lambda
  • [SPARK-48622] [SC-168710][SQL] obtener SQLConf una vez al resolver nombres de columna
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] Cambiar nombre del campo parent a child en ColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Corrección de las expresiones Lower y Upper para intercalaciones UTF8_BINARY_LCASE & ICU
  • [SPARK-48162] [SC-166062][SQL] Adición de compatibilidad de intercalación para expresiones MISC
  • [SPARK-48518] [SC-167718][CORE] Hacer que la compresión LZF se pueda ejecutar en paralelo
  • [SPARK-48474] [SC-167447][CORE] Corrección del nombre de clase del registro en SparkSubmitArguments y SparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ: compatibilidad con expresiones transfrom para un orden aleatorio lateral
  • [SPARK-48552] [SC-168212][SQL] la inferencia de esquema CSV de varias líneas también debe iniciar FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] Hacer que StreamingQueryListener.spark sea configurable
  • [SPARK-48569] [SC-168321][SS][CONNECT] Controlar casos perimetrales en query.name
  • [SPARK-47260] [SC-167323][SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagación del esquema almacenado en caché en operaciones establecidas
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation para unirse debe comprobar si el elemento secundario sigue siendo BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] Los nombres cortos de códec de compresión no distinguen mayúsculas de minúsculas, excepto el registro de eventos
  • [SPARK-48447] [SC-167607][SS] Comprobar la clase de proveedor del almacén de estado antes de invocar el constructor
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff y DateTimeUtils.timestampAdd no deben iniciar la excepción INTERNAL_ERROR
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Agregar clase de error para la compatibilidad del esquema de estado y la refactorización secundaria
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN con intercalación
  • [SPARK-48561] [SC-168250][PS][CONNECT] Iniciar PandasNotImplementedError para funciones de trazado no admitidas
  • [SPARK-48465] [SC-167531][SQL] Evitar propagación de relaciones vacías sin operación
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] Almacenar en caché más propiedades
  • [SPARK-48540] [SC-168069][CORE] Evite la configuración de carga de salida de ivy en stdout
  • [SPARK-48535] [SC-168057][SS] Se han actualizado los documentos de configuración para indicar la posibilidad de que se produzca un problema de pérdida o daños en los datos si se habilita la omisión de valores NULL para la configuración de combinaciones de secuencias de flujo.
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] Esquema especificado por el usuario en caché en applyInPandas y applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Escribir cadenas intercaladas en metastore de Hive mediante el tipo de cadena normal
  • [SPARK-48461] [SC-167442][SQL] Reemplazar NullPointerExceptions por clase de error en la expresión AssertNotNull
  • [SPARK-47833] [SC-163191][SQL][CORE] Stackstrace del autor de la llamada para checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Puerto HIVE-12270: Agregar compatibilidad de DBTokenStore al token de delegación de HS2
  • [SPARK-47578] [SC-167497][R] Migración de RPackageUtils con variables al marco de registro estructurado
  • [SPARK-47875] [SC-162935][CORE] Eliminar spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] Establezca spark.hadoop.fs.s3a.connection.establish.timeout en 30s si falta
  • [SPARK-47972] [SC-167692][SQL] Restringir la expresión CAST para intercalaciones
  • [SPARK-48430] [SC-167489][SQL] Corrección de la extracción de valores de asignación cuando la asignación contiene cadenas intercaladas
  • [SPARK-47318] [SC-162712][CORE][3.5] Adición de la ronda HKDF a la derivación de claves de AuthEngine para seguir las prácticas estándar de KEX
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Corrección de subconsultas escalares no válidas con agrupación por en columnas no equivalentes que se permitieron incorrectamente
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] Esquema especificado por el usuario de caché en DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Corrección del error en Windows donde iniciar varias instancias de Spark en el mismo segundo produce un error
  • [SPARK-45891] [SC-167608]Revertir ” Descripción del esquema de fragmentación para Variant”
  • [SPARK-48391] [SC-167554][CORE]El uso de addAll en lugar de la función add en el método fromAccumulatorInfos de la clase TaskMetrics
  • [SPARK-48496] [SC-167600][CORE] Uso de instancias de patrón regex estáticas en JavaUtils.timeStringAs y JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] Corrección del mensaje de error NPE para csv delmiter null
  • [SPARK-48489] [SC-167598][SQL] Inicie un error mejor orientado al usuario al leer un esquema no válido del origen de datos de texto
  • [SPARK-48471] [SC-167324][CORE] Mejora de la documentación y la guía de uso del servidor de historial
  • [SPARK-45891] [SC-167597] Descripción del esquema de fragmentación para Variant
  • [SPARK-47333] [SC-159043][SQL] Uso de checkInputDataTypes para comprobar los tipos de parámetro de la función to_xml
  • [SPARK-47387] [SC-159310] [SQL] Quitar algunas clases de error sin usar
  • [SPARK-48265] [ES-1131440][SQL] El lote de límite de grupos de ventanas de inferencia debe hacer plegado constante
  • [SPARK-47716] [SC-167444][SQL] Evitar conflictos de nombres de vista en el caso de prueba de ordenación semántica de SQLQueryTestSuite
  • [SPARK-48159] [SC-167141][SQL] Extensión de compatibilidad con cadenas intercaladas en expresiones datetime
  • [SPARK-48462] [SC-167271][SQL][Tests] Uso de withSQLConf en pruebas: refactorizar HiveQuerySuite y HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] También cargue spark-defaults.conf cuando se proporciona --properties-file
  • [SPARK-48468] [SC-167417] Agregar interfaz LogicalQueryStage en catalyst
  • [SPARK-47578] [SC-164988][CORE] Portabilidad con versiones anteriores manual para Spark PR #46309: migración de logWarning con variables al marco de registro estructurado
  • [SPARK-48415] [SC-167321]Revertir “[PYTHON] Refactorizar TypeName para admitir tipos de datos con parámetros”
  • [SPARK-46544] [SC-151361][SQL] Compatibilidad con la versión 2 DESCRIBE TABLE EXTENDED con estadísticas de tabla
  • [SPARK-48325] [SC-166963][CORE] Especifique siempre mensajes en ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Agregar compatibilidad de intercalación con configuraciones regionales de ICU y especificadores de intercalación
  • [SPARK-47221] [SC-157870][SQL] Uso de firmas de CsvParser a AbstractParser
  • [SPARK-47246] [SC-158138][SQL] Reemplazp de InternalRow.fromSeq por new GenericInternalRow para guardar una conversión de colección
  • [SPARK-47597] [SC-163932][STREAMING] Portabilidad con versiones anteriores manual para Spark PR #46192: Streaming: migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48415] [SC-167130][PYTHON] Refactorizar TypeName para admitir tipos de datos con parámetros
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Hacer que printSchema use el esquema almacenado en caché
  • [SPARK-48432] [ES-1097114][SQL] Evitar desempaquetar enteros en UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Uso de V2Predicate para ajustar la expresión con el tipo de valor devuelto booleano
  • [SPARK-47781] [SC-162293][SQL] Controlar decimales de escala negativos para orígenes de datos JDBC
  • [SPARK-48394] [SC-166966][CORE] Limpiar mapIdToMapIndex en mapoutput unregister
  • [SPARK-47072] [SC-156933][SQL] Corrección de los formatos de intervalo admitidos en los mensajes de error
  • [SPARK-47001] [SC-162487][SQL] Comprobación de delegación en el optimizador
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] Hacer que _parse_datatype_string sea compatible con Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Se habilitó spark.sql.sources.v2.bucketing.pushPartValues.enabled de forma predeterminada
  • [SPARK-48412] [SC-166898][PYTHON] Refactorizar el análisis json del tipo de datos
  • [SPARK-48215] [SC-166781][SQL] Extensión de compatibilidad con cadenas intercaladas en expresiones date_format
  • [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Agregar clases de error y pruebas para la descorrelación de subconsultas de predicado en la condición de combinación que hacen referencia a ambos elementos secundarios de combinación
  • [SPARK-47960] [SC-165295][SS][15.x] Permitir encadenar otros operadores con estado después del operador transformWithState.
  • [SPARK-48340] [SC-166468][PYTHON] Compatibilidad con errores de esquema de inferencia timestampNTZ al que le falta prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL] Adición de compatibilidad de intercalación para expresiones CSV
  • [SPARK-48158] [SC-165652][SQL] Adición de compatibilidad de intercalación para expresiones XML
  • [SPARK-48160] [SC-166064][SQL] Adición de compatibilidad de intercalación para expresiones XPATH
  • [SPARK-48229] [SC-165901][SQL] Adición de compatibilidad de intercalación para expresiones inputFile
  • [SPARK-48367] [SC-166487][CONNECT] Corrección de lint-scala para scalafmt para detectar archivos con el formato correcto
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refactorización de la estructura para el contexto de error de DataFrame
  • [SPARK-48370] [SC-166787][CONNECT] Punto de control y localCheckpoint en el cliente de Scala Spark Connect
  • [SPARK-48247] [SC-166028][PYTHON] Uso de todos los valores en un dict al deducir el esquema MapType
  • [SPARK-48395] [SC-166794][PYTHON] Corrección de StructType.treeString para tipos con parámetros
  • [SPARK-48393] [SC-166784][PYTHON] Mover un grupo de constantes a pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementar StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Punto de control y localCheckpoint en Spark Connect

Consulte las actualizaciones de mantenimiento de Databricks Runtime 15.4 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografía 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six (seis) 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
clase 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
r-reactr 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1