Compartir a través de

Databricks Runtime 14.3 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 14.3 LTS, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en febrero de 2024.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

Compatibilidad del sistema de archivos del área de trabajo en funciones definidas por el usuario (UDF) de PySpark en clústeres compartidos

Las UDF de PySpark en clústeres compartidos ahora pueden importar módulos de Python desde carpetas de Git, archivos de área de trabajo o volúmenes UC.

Para obtener más información sobre cómo trabajar con módulos en carpetas de Git o archivos de área de trabajo, vea Trabajar con módulos de Python y R.

Soporte con optimizaciones de vectores de eliminación MERGE sin Photon

Photon ya no es necesario para MERGE operaciones para aprovechar las optimizaciones de vectores de eliminación. Consulte ¿Qué son los vectores de eliminación?.

Las API del catálogo de Spark ahora son totalmente compatibles con el modo de acceso compartido

Ahora puede usar todas las funciones de la API spark.catalog tanto en Python como en Scala en el proceso configurado con el modo de acceso compartido.

Delta UniForm ya está disponible con carácter general

UniForm ahora está disponible con carácter general y usa la característica de tabla IcebergCompatV2. Ahora puede habilitar o actualizar UniForm en las tablas existentes. Consulte Uso de UniForm para leer tablas Delta con clientes de Iceberg.

Nueva función de SQL EXECUTE IMMEDIATE

Ahora puede usar la sintaxis EXECUTE IMMEDIATE para admitir consultas con parámetros en SQL. Consulte EXECUTE IMMEDIATE.

Recálculo de las estadísticas de omisión de datos para tablas delta

Ahora puede volver a calcular las estadísticas almacenadas en el registro delta después de cambiar las columnas que se usan para la omisión de datos. Vea Especificación de columnas de estadísticas delta.

Información de estado de consulta para consultas de streaming con estado

Ahora puede consultar metadatos y datos de estado de flujo estructurado. Consulte leer información de estado de flujo estructurado.

Uso de Microsoft Entra ID para la autenticación de Kafka en clústeres compartidos

Ahora puede autenticar los servicios de Event Hubs a través de OAuth con Microsoft Entra ID en el proceso configurado con el modo de acceso compartido. Consulte Autenticación de entidad de servicio con Microsoft Entra ID y Azure Event Hubs.

Compatibilidad agregada para la eliminación de archivos y particiones para mejorar el rendimiento de las consultas

Para acelerar algunas consultas que dependen de la igualdad con tolerancia a valores null en condiciones JOIN, ahora se admiten DynamicFilePruning y DynamicPartitionPruning para el operador EqualNullSafe en condiciones JOIN.

Declaración de variables temporales en una sesión de SQL

Esta versión presenta la capacidad de declarar variables temporales en una sesión que se puede establecer y, a continuación, hacer referencia a desde dentro de las consultas. Consulte Variables.

Actualizaciones del servidor Thrift para quitar características que no se usan

El código del servidor Thrift se ha actualizado para quitar el código de las características obsoletas. Debido a estos cambios, ya no se admiten las siguientes configuraciones:

  • Los archivos JAR auxiliares de Hive, configurados con la propiedad hive.aux.jars.path, ya no se admiten para las conexiones hive-thriftserver.
  • El archivo init global de Hive (.hiverc), cuya ubicación se configura mediante la propiedad hive.server2.global.init.file.location o la variable de entorno HIVE_CONF_DIR, ya no se admite para las conexiones hive-thriftserver.

Uso del almacén de confianza y los archivos de almacén de claves en volúmenes de Unity Catalog

Ahora puede usar archivos de almacén de confianza y almacén de claves en volúmenes de Unity Catalog para autenticarse en un registro de esquema de confluent para datos de avro o búfer de protocolo. Consulte la documentación de avro o búferes de protocolo.

Compatibilidad con el formato de archivo XML nativo (versión preliminar pública)

La compatibilidad con el formato de archivo XML nativo ahora está en versión preliminar pública. La compatibilidad con formatos de archivo XML permite la ingesta, la consulta y el análisis de datos XML para el procesamiento por lotes o el streaming. Puede deducir y evolucionar automáticamente los tipos de datos y esquemas, admite expresiones SQL como from_xml, y pueden generar documentos XML. No requiere archivos JAR externos y funciona sin problemas con Auto Loader, read_files, COPY INTOy Delta Live Tables. Consulte Lectura y escritura de archivos XML.

Compatibilidad con el almacenamiento de Cloudflare R2 (versión preliminar pública)

Ahora puede usar Cloudflare R2 como almacenamiento en la nube para los datos registrados en Unity Catalog. Cloudflare R2 está pensado principalmente para los casos de uso compartido de Delta en los que desea evitar las tarifas de salida de datos que cobran los proveedores de nube cuando los datos cruzan regiones. El almacenamiento de R2 admite todos los recursos de inteligencia artificial y datos de Databricks compatibles con AWS S3, Azure Data Lake Storage Gen2 y Google Cloud Storage. Consulte Uso de réplicas de Cloudflare R2 o migración de almacenamiento a R2 y Creación de una credencial de almacenamiento para conectarse a Cloudflare R2.

El acceso de Spark y dbutils a los archivos del área de trabajo admiten clústeres de Unity Catalog de acceso compartido

Spark y dbutils acceso de lectura y escritura a los archivos del área de trabajo ahora se admiten en clústeres de Unity Catalog en modo de acceso compartido. Consulte Trabajar con archivos del área de trabajo.

Soporte con scripts de inicialización y biblioteca de clústeres en clústeres de Unity Catalog de acceso compartido

La instalación de scripts de inicialización con ámbito de clúster y bibliotecas de Python y JAR en clústeres de Catálogo de Unity en modo de acceso compartido, incluida la instalación mediante directivas de clúster, ahora está disponible con carácter general. Databricks recomienda instalar scripts y bibliotecas de inicialización desde volúmenes de Unity Catalog.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • fastjsonschema de 2.19.0 a 2.19.1
    • filelock de 3.12.4 a 3.13.1
    • googleapis-common-protos de 1.61.0 a 1.62.0
    • packaging de 22.0 a 23.2
  • Bibliotecas de R actualizadas:
    • foreign de 0.8-82 a 0.8-85
    • nlme de 3.1-162 a 3.1-163
    • rpart de 4.1.19 a 4.1.21
  • Bibliotecas de Java actualizadas:
    • com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
    • org.apache.orc.orc-core de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.1 a 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0

Apache Spark

Databricks Runtime 14.3 incluye Apache Spark 3.5.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 14.2, junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Corrección de la referencia de columna ambigua en la combinación automática
  • [SPARK-45433] Reversión de "[SC-145163][SQL] Corrección de la inferencia de esquema CSV/JSON…"
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Habilitación de reintentos de addArtifact
  • [SPARK-46660] [SC-153391][CONNECT] Actualización de la actividad de SessionHolder mediante solicitudes ReattachExecute
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Habilitación de DataSourceManager como autoclonable separando orígenes de datos de Python estáticos y en tiempo de ejecución
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Refactorización del origen de datos de Python para alinearlo con otros orígenes de datos DSv2 integrados
  • [SPARK-46684] [SC-153275][PYTHON][CONNECT] Corrección de CoGroup.applyInPandas/Arrow para pasar argumentos correctamente
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: error en varios orígenes de datos XML
  • [SPARK-46382] [SC-151881][SQL] XML: configuración del valor predeterminado de ignoreSurroundingSpaces en true
  • [SPARK-46382] [SC-153178][SQL] XML: actualización del documento de ignoreSurroundingSpaces
  • [SPARK-45292] Reversión de "[SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Registro del estado final de los controladores durante Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Validación de returnType en la UDF de Arrow Python
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Corrección del lector de Avro para que controle bloques de longitud cero
  • [SPARK-46537] [SC-151286][SQL] Conversión de NPE y aserciones de comandos a errores internos
  • [SPARK-46179] [SC-151678][SQL] Adición de CrossDbmsQueryTestSuites, que ejecuta otros DBMS en archivos dorados con otros DBMS, empezando por Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Adición de una opción para permitir la desencapsulación de tipos de contenedor conocidos de protobuf
  • [SPARK-40876] [SC-151786][SQL] Ampliación de la promoción de tipos para decimales con mayor escala en lectores de Parquet
  • [SPARK-46605] [SC-151769][CONNECT] Actualización de la función lit/typedLit en el módulo Connect para que admita s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][SQL] La validación literal no debe explorar en profundidad los campos null
  • [SPARK-37039] [SC-153094][PS] Corrección de Series.astype para que funcione correctamente con el valor que falta
  • [SPARK-46312] [SC-150163][CORE] Uso de lower_camel_case en store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: validación del nombre del elemento XML durante la escritura
  • [SPARK-46627] [SC-152981][SS][UI] Corrección del contenido de la información sobre herramientas de la escala de tiempo en la interfaz de usuario de streaming
  • [SPARK-46248] [SC-151774][SQL] XML: compatibilidad con las opciones ignoreCorruptFiles e ignoreMissingFiles
  • [SPARK-46386] [SC-150766][PYTHON] Mejora de las aserciones de observación (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Actualización del comentario de isZero en AccumulatorV2
  • [SPARK-46601] [SC-151785][CORE] Corrección del error de registro en handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Conversión de las opciones de origen de datos de Python en un diccionario que no distingue mayúsculas de minúsculas
  • [SPARK-46611] [SC-151783][CORE] Eliminación de ThreadLocal reemplazando SimpleDateFormat por DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Compatibilidad de Literal.apply con s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Corrección del nombre de salida de pyspark.sql.functions.user y session_user
  • [SPARK-46621] [SC-151794][PYTHON] Solución de valores null de Exception.getMessage en una excepción Py4J capturada
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader debe respetar el modo de memoria al crear vectores de columna para la columna que falta
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Excepción de registro completo cuando no se encuentran orígenes de datos de Python
  • [SPARK-46559] [SC-151364][MLLIB] Encapsulación de export en el nombre del paquete con acentos graves
  • [SPARK-46522] [SC-151784][PYTHON] Bloqueo del registro de orígenes de datos de Python con conflictos de nombres
  • [SPARK-45580] [SC-149956][SQL] Solución del caso en el que una subconsulta anidada se convierte en una combinación existente
  • [SPARK-46609] [SC-151714][SQL] Evitación de la explosión exponencial en PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Corrección de NPE al describir una columna extendida sin estadísticas de columna
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: uso de TypeCoercion.findTightestCommonType para comprobar la compatibilidad
  • [SPARK-40876] [SC-151129][SQL] Ampliación de las promociones de tipos en lectores de Parquet
  • [SPARK-46179] [SC-151069][SQL] Extracción de código en funciones reutilizables en SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Compatibilidad de s.c.immutable.ArraySeq como customCollectionCls en MapObjects
  • [SPARK-46585] [SC-151622][CORE] Construcción de metricPeaks directamente como immutable.ArraySeq en lugar de usar mutable.ArraySeq.toSeq en Executor
  • [SPARK-46488] [SC-151173][SQL] Omisión de la llamada a trimAll durante el análisis de marca de tiempo
  • [SPARK-46231] [SC-149724][PYTHON] Migración de todos los elementos NotImplementedError y TypeError restantes al marco de errores de PySpark
  • [SPARK-46348] [SC-150281][CORE] Compatibilidad con spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Registro de la duración de la recuperación de Spark HA
  • [SPARK-46358] [SC-150307][CONNECT] Simplificación de la comprobación de la condición en ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL] Reemplazo de la hora y fecha actuales antes de evaluar las expresiones de tabla insertadas
  • [SPARK-46563] [SC-151441][SQL] La vista simpleString no sigue la configuración spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Reducción de la profundidad de la pila reemplazando (cadena|matriz).size por (cadena|matriz).length
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(todos los campos de un struct) produce un error de aserción
  • [SPARK-46565] [SC-151414][PYTHON] Mejora de las clases de error y los mensajes de error para orígenes de datos de Python
  • [SPARK-46576] [SC-151614][SQL] Mejora de los mensajes de error para modos de guardado de orígenes de datos no admitidos
  • [SPARK-46540] [SC-151355][PYTHON] Respeto de los nombres de columna cuando la función de lectura del origen de datos de Python genera objetos Row con nombre
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite filtra el SessionState de Hive
  • [SPARK-44556] [SC-151562][SQL] Reutilización de OrcTail al habilitar vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: corrección de la conversión de enteros grandes XSD
  • [SPARK-46382] [SC-151297][SQL] XML: captura de valores intercalados entre elementos
  • [SPARK-46567] [SC-151447][CORE] Eliminación de ThreadLocal para ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Registro automático del origen de datos de Python al inicio
  • [SPARK-28386] [SC-151014][SQL] No se pueden resolver las columnas ORDER BY con GROUP BY y HAVING
  • [SPARK-46524] [SC-151446][SQL] Mejora de los mensajes de error para modos de guardado no válidos
  • [SPARK-46294] [SC-150672][SQL] Limpieza de la semántica de init frente al valor cero
  • [SPARK-46301] [SC-150100][CORE] Compatibilidad con spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Eliminación de la comprobación de c>=0 en ExternalCatalogUtils#needsEscaping porque siempre es true
  • [SPARK-46553] [SC-151360][PS] FutureWarning para interpolate con el objeto dtype
  • [SPARK-45914] [SC-151312][PYTHON] Compatibilidad con la confirmación y anulación de la API para la escritura de orígenes de datos de Python
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] Hacer que json_tuple genere el error PySparkValueError para campos vacíos
  • [SPARK-46520] [SC-151227][PYTHON] Compatibilidad con el modo de sobrescritura para la escritura de orígenes de datos de Python
  • [SPARK-46502] [SC-151235][SQL] Compatibilidad con tipos de marca de tiempo en UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Pasar parámetros de mensaje en metadatos de ErrorInfo
  • [SPARK-46397] Reversión de "[SC-151311][PYTHON][CONNECT] La función sha2 debe generar el error PySparkValueError para numBits no válidos"
  • [SPARK-46170] [SC-149472][SQL] Compatibilidad con la inserción de queryPostPlannerStrategyRules adaptable en SparkSessionExtension
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable no debe cargar la tabla
  • [SPARK-46397] [SC-151311][PYTHON][CONNECT] La función sha2 debe generar el error PySparkValueError para numBits no válidos
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista
  • [SPARK-46272] [SC-151012][SQL] Compatibilidad con CTAS mediante orígenes DSv2
  • [SPARK-46480] [SC-151127][CORE][SQL] Corrección de NPE al intentar la tarea de copiar en caché tablas
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Reducción de la profundidad de la pila reemplazando (cadena|matriz).size por (cadena|matriz).length
  • [SPARK-45795] [SC-150764][SQL] DS V2 admite el modo de inserción
  • [SPARK-46485] [SC-151133][SQL] V1Write no debe agregar Sort cuando no es necesario
  • [SPARK-46468] [SC-151121][SQL] Solución del error COUNT para subconsultas EXISTS con Aggregate sin agrupar claves
  • [SPARK-46246] [SC-150927][SQL] Compatibilidad con EXECUTE IMMEDIATE en SQL
  • [SPARK-46498] [SC-151199][CORE] Eliminación de shuffleServiceEnabled en o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Establecimiento de configuraciones de fusión mediante cambio de base en el modo CORRECTED de forma predeterminada
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Compatibilidad con la escritura de orígenes de datos de Python mediante DSv2
  • [SPARK-46505] [SC-151187][CONNECT] Habilitar el umbral de bytes como configurable en ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Eliminación de las configuraciones de SQL de fecha y hora heredadas
  • [SPARK-46443] [SC-151123][SQL] La precisión decimal y la escala deben decidirse por el dialecto H2
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Corrección del gráfico de pila de duración de la operación en la página de streaming estructurado
  • [SPARK-46207] [SC-151068][SQL] Compatibilidad con MergeInto en DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Adición de una nueva API en DataWriter para escribir un iterador de registros
  • [SPARK-46273] [SC-150313][SQL] Compatibilidad con INSERT INTO/OVERWRITE mediante orígenes DSv2
  • [SPARK-46344] [SC-150267][CORE] Advertir correctamente cuando un controlador existe, pero el maestro está desconectado
  • [SPARK-46284] [SC-149944][PYTHON][CONNECT] Adición de la función session_user para Python
  • [SPARK-46043] [SC-149786][SQL] Compatibilidad con la creación de tablas mediante orígenes DSv2
  • [SPARK-46323] [SC-150191][PYTHON] Corrección del nombre de salida de pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][PYTHON][CONNECT] Adición de Column.isNaN en PySpark
  • [SPARK-46456] [SC-151050][CORE] Adición de spark.ui.jettyStopTimeout para establecer el tiempo de espera de detención del servidor Jetty para desbloquear el apagado de SparkContext
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: permitir la difusión de tipos enteros sin signo
  • [SPARK-46399] [SC-151013][14.x][Core] Adición del estado de salida al evento de finalización de la aplicación para el uso del agente de escucha de Spark
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Creación de la instancia del origen de datos de Python en DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Compatibilidad con métricas de Python en el origen de datos de Python
  • [SPARK-46330] [SC-151015] Carga de bloques de interfaz de usuario de Spark durante mucho tiempo cuando HybridStore está habilitado
  • [SPARK-46378] [SC-150397][SQL] Seguir quitando Sort después de convertir Aggregate en Project
  • [SPARK-45506] [SC-146959][CONNECT] Adición de compatibilidad con URI de ivy a SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][CONNECT][SQL] Hacer que la llamada a ArrowConverters.createEmptyArrowBatch se cierre() para evitar la pérdida de memoria
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Cambio de la descripción del origen de datos de Python para que esté bastante explicada
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Compatibilidad con la creación de tablas mediante un origen de datos de Python en SQL (ejecución de DSv2)
  • [SPARK-46402] [SC-150700][PYTHON] Adición de compatibilidad con getMessageParameters y getQueryContext
  • [SPARK-46453] [SC-150897][CONNECT] Inicio de la excepción de internalError() en SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Introducción de un asignador para los códecs de compresión de Hadoop
  • [SPARK-46213] [PYTHON] Introducción de PySparkImportError para el marco de errores
  • [SPARK-46230] [SC-149960][PYTHON] Migración de RetriesExceeded al error de PySpark
  • [SPARK-45035] [SC-145887][SQL] Corrección de la notificación de error al ejecutar ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON multilínea
  • [SPARK-46289] [SC-150846][SQL] Compatibilidad con la ordenación de UDT en modo interpretado
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Adición de applyInArrow a groupBy y cogroup en Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Eliminación del transporte sin usar en SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migración todos los elementos RuntimeError restantes al marco de errores de PySpark
  • [SPARK-45796] [SC-150613][SQL] Compatibilidad con MODE() WITHIN GROUP (columna ORDER BY)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Adición de applyInArrow a groupBy y cogroup
  • [SPARK-46069] [SC-149672][SQL] Compatibilidad con la desencapsulación del tipo de marca de tiempo al tipo de fecha
  • [SPARK-46406] [SC-150770][SQL] Asignación de un nombre a la clase de error _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Conversión de IllegalStateException en internalError en iteradores de sesión
  • [SPARK-45807] [SC-150751][SQL] Mejora de la API ViewCatalog
  • [SPARK-46009] [SC-149771][SQL][CONNECT] Combinación de la regla de análisis de PercentileCont y PercentileDisc en functionCall
  • [SPARK-46403] [SC-150756][SQL] Descodificación del archivo binario parquet con el método getBytesUnsafe
  • [SPARK-46389] [SC-150779][CORE] Cierre manual de la instancia de RocksDB/LevelDB cuando checkVersion inicia una excepción
  • [SPARK-46360] [SC-150376][PYTHON] Mejora de la depuración de mensajes de error con la nueva API getMessage
  • [SPARK-46233] [SC-149766][PYTHON] Migración de todos los elementos AttributeError restantes al marco de errores de PySpark
  • [SPARK-46394] [SC-150599][SQL] Corrección de problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true
  • [SPARK-45964] [SC-148484][SQL] Eliminación del descriptor de acceso de SQL privado en XML y el paquete JSON, en el paquete Catalyst
  • [SPARK-45856] [SC-148691] Mover ArtifactManager de Spark Connect a SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][CONNECT] Corrección del script de inicio spark-connect-scala-client
  • [SPARK-46416] [SC-150699][CORE] Adición de @tailrec a HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Restricción de los juegos de caracteres en encode()
  • [SPARK-46253] [SC-150416][PYTHON] Planeación de la lectura del origen de datos de Python mediante MapInArrow
  • [SPARK-46339] [SC-150266][SS] El directorio con el nombre del número de lote no debe tratarse como un registro de metadatos
  • [SPARK-46353] [SC-150396][CORE] Refactorización para mejorar la cobertura de pruebas unitarias de RegisterWorker
  • [SPARK-45826] [SC-149061][SQL] Adición de una configuración de SQL para seguimientos de la pila en el contexto de consulta de DataFrame
  • [SPARK-45649] [SC-150300][SQL] Unificación del marco de preparación para OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Corrección de Master para actualizar un trabajo de UNKNOWN a ALIVE en el mensaje RegisterWorker
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis pierde la protección de patrones de query.resolved
  • [SPARK-46401] [SC-150609][CORE] Uso de !isEmpty() en RoaringBitmap en lugar de getCardinality() > 0 en RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Clasificación de excepciones en el catálogo de tablas JDBC
  • [SPARK-45798] [SC-150513][CONNECT] Seguimiento: adición de serverSessionId a SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: adición de compatibilidad con TimestampNTZType
  • [SPARK-46075] [SC-150393][CONNECT] Mejoras en SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Reemplazo del uso incorrecto de la documentación de setConf con conf.set
  • [SPARK-46202] [SC-150420][CONNECT] Exposición de nuevas API de ArtifactManager para admitir directorios de destino personalizados
  • [SPARK-45824] [SC-147648][SQL] Exigir la clase de error en ParseException
  • [SPARK-45845] [SC-148163][SS][UI] Adición del número de filas de estado expulsadas en la interfaz de usuario de streaming
  • [SPARK-46316] [SC-150181][CORE] Habilitación de buf-lint-action en el módulo core
  • [SPARK-45816] [SC-147656][SQL] Devolución de NULL cuando hay un desbordamiento durante la conversión de la marca de tiempo a enteros
  • [SPARK-46333] [SC-150263][SQL] Reemplazo de IllegalStateException por SparkException.internalError en catalyst
  • [SPARK-45762] [SC-148486][CORE] Compatibilidad con administradores aleatorios definidos en archivos JAR de usuarios cambiando el orden de inicio
  • [SPARK-46239] [SC-149752][CORE] Ocultación de la información de Jetty
  • [SPARK-45886] [SC-148089][SQL] Generar el seguimiento de la pila completa en callSite del contexto de DataFrame
  • [SPARK-46290] [SC-150059][PYTHON] Cambio de saveMode a una marca booleana para DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Establecimiento de errorClass en errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Exposición del seguimiento de la pila por DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Compatibilidad con killall en la API de envío de REST
  • [SPARK-46234] [SC-149711][PYTHON] Introducción de PySparkKeyError para el marco de errores de PySpark
  • [SPARK-45606] [SC-147655][SQL] Eliminación de las restricciones del filtro en tiempo de ejecución de varias capas
  • [SPARK-45725] [SC-147006][SQL] Eliminación del filtro IN de subconsulta en tiempo de ejecución no predeterminado
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Limpieza del uso de las API en desuso View.force y ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Hacer que withOrigin sea más genérico
  • [SPARK-46292] [SC-150086][CORE][UI] Mostrar un resumen de los trabajos en MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Uso de LazyList en lugar de Stream
  • [SPARK-45888] [SC-149945][SS] Aplicación del marco de la clase de error al origen de datos de estado (metadatos)
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed debe mantener el orden dict/map
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Limpieza de las conversiones de SeqOps.view y ArrayOps.view
  • [SPARK-46029] [SC-149255][SQL] Escape de la comilla simple, _ y % para la delegación de DS V2
  • [SPARK-46275] [SC-150189] Protobuf: devolución de valores null en modo permisivo cuando se produce un error en la deserialización
  • [SPARK-46320] [SC-150187][CORE] Compatibilidad con spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] No insertar filtros de grupo de filas Parquet que se desbordan
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Buscar coincidencias de comportamientos menores en Columna con cobertura de prueba completa
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Coincidencia de la advertencia de desuso, caso de prueba y error de Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Limpieza del uso de API en desuso relacionado con StringContext/StringOps/RightProjection/LeftProjection/Either y el uso de tipos de BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Compatibilidad con SHOW TABLE EXTENDED en v2
  • [SPARK-45737] [SC-147011][SQL] Eliminación del elemento .toArray[InternalRow] innecesario en SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Requerir el bloqueo de la instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed deben respetar el orden dict
  • [SPARK-46274] [SC-150043][SQL] Corrección del operador Range computeStats() para comprobar la validez prolongada antes de la conversión
  • [SPARK-46040] [SC-149767][SQL][Python] Actualización de la API de UDTF para que el método "analyze" admita expresiones generales para la partición/ordenación de columnas
  • [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty deben funcionar con todos los tipos de datos
  • [SPARK-45678] [SC-146825][CORE] Encapsulación de BufferReleasingInputStream.available/reset en tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Limpieza del uso de API en desuso relacionado con IterableOnceExtensionMethods
  • [SPARK-43980] [SC-148992][SQL] Introducción de la sintaxis select * except
  • [SPARK-46269] [SC-149816][PS] Habilitación de más pruebas de función de compatibilidad de NumPy
  • [SPARK-45807] [SC-149851][SQL] Adición de createOrReplaceView(..) / replaceView(..) a ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introducción de una función implícita para que Scala Array se encapsule en immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][CORE] Mejora del rendimiento de PersistenceEnginecon KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Devolución de mensajes de error específicos si el método "analyze" o "eval" de UDTF acepta o devuelve valores incorrectos
  • [SPARK-46186] [SC-149707][CONNECT] Corrección de la transición de estado no válida cuando ExecuteThreadRunner se interrumpió antes de comenzar
  • [SPARK-46262] [SC-149803][PS] Habilitación de la prueba de np.left_shift para el objeto Pandas-on-Spark
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] Compatibilidad correcta con la solución de errores y la conversión para AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Corrección del CSS de las tablas generadas de la documentación de Spark
  • [SPARK-45940] [SC-149549][PYTHON] Adición de InputPartition a la interfaz de DataSourceReader
  • [SPARK-43393] [SC-148301][SQL] Solución del error de desbordamiento de expresiones de secuencia
  • [SPARK-46144] [SC-149466][SQL] Generación de un error en la instrucción INSERT INTO … REPLACE si la condición contiene subconsultas
  • [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Usar de SparkSession.sessionState.conf en lugar de SQLContext.conf y marcar SQLContext.conf como en desuso
  • [SPARK-45760] [SC-147550][SQL] Adición de la expresión With para evitar duplicar expresiones
  • [SPARK-43228] [SC-149670][SQL] Las claves de combinación también coinciden con PartitioningCollection en CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] Prueba de SparkPandasNotImplementedError con la limpieza del código sin usar
  • [SPARK-46119] [SC-149205][SQL] Invalidación del método toString para UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Uso de una excepción de ámbito más estrecho para el procesador SQL
  • [SPARK-46191] [SC-149565][CORE] Mejora del mensaje de error FileSystemPersistenceEngine.persist en caso de que exista un archivo
  • [SPARK-46036] [SC-149356][SQL] Eliminación de la clase de error en la función raise_error
  • [SPARK-46055] [SC-149254][SQL] Reescritura de la implementación de las API de bases de datos de catálogos
  • [SPARK-46152] [SC-149454][SQL] XML: adición de compatibilidad con DecimalType en la inferencia de esquemas XML
  • [SPARK-45943] [SC-149452][SQL] Mover DetermineTableStats a reglas de resolución
  • [SPARK-45887] [SC-148994][SQL] Alineación de la implementación de codegen y non-codegen de Encode
  • [SPARK-45022] [SC-147158][SQL] Proporcionar contexto para errores de API del conjunto de datos
  • [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Reemplazo de toIterator con iterator para IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Cambio del valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Reemplazo de IterableOnceOps#aggregate por IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Reutilización de objetos literales en la regla ComputeCurrentTime
  • [SPARK-45803] [SC-147489][CORE] Eliminación del RpcAbortException que ya no se usa
  • [SPARK-46148] [SC-149350][PS] Corrección de la prueba pyspark.pandas.mlflow.load_model (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Uso de clases de error en los módulos catalog, conf, connect, observation y pandas
  • [SPARK-45827] [SC-149203][SQL] Correcciones de variaciones con codegen y el lector vectorizado deshabilitados
  • [SPARK-46080] Reversión de "[SC-149012][PYTHON] Actualización de Cloudpickle a 3.0.0"
  • [SPARK-45460] [SC-144852][SQL] Reemplazo de scala.collection.convert.ImplicitConversions por scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Eliminación de la resolución especial de UnresolvedNamespace para determinados comandos
  • [SPARK-45600] [SC-148976][PYTHON] Hacer que el registro del origen de datos de Python sea a nivel de sesión
  • [SPARK-46074] [SC-149063][CONNECT][SCALA] Detalles insuficientes en el mensaje de error de UDF
  • [SPARK-46114] [SC-149076][PYTHON] Adición de PySparkIndexError para el marco de errores
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Eliminación de la función auxiliar DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Actualización del control de rutas de acceso para el origen de datos de Python
  • [SPARK-46062] [14.x][SC-148991][SQL] Sincronización de la marca isStreaming entre la definición de CTE y la referencia
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Limpieza del uso de API en desuso relacionado con Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Mover EliminateEventTimeWatermark al analizador y cambiarlo para que solo surta efecto en el elemento secundario resuelto
  • [SPARK-45922] [SC-149038][CONNECT][CLIENT] Refactorización de reintentos menores (seguimiento de varias directivas)
  • [SPARK-45851] [SC-148419][CONNECT][SCALA] Compatibilidad con varias directivas en el cliente de Scala
  • [SPARK-45974] [SC-149062][SQL] Adición de un criterio scan.filterAttributes no vacío para RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets en el cliente de Scala Spark Connect
  • [SPARK-45136] [SC-146607][CONNECT] Mejora de la compatibilidad de ClosureCleaner con Ammonite
  • [SPARK-46084] [SC-149020][PS] Refactorización de la operación de conversión de tipos de datos para el tipo de categoría
  • [SPARK-46083] [SC-149018][PYTHON] Hacer que SparkNoSuchElementException sea como una API de error canónico
  • [SPARK-46048] [SC-148982][PYTHON][CONNECT] Compatibilidad con DataFrame.groupingSets en Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Actualización de Cloudpickle a 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][CONNECT] Corrección de la representación de cadenas protobuf para la API de funciones de Pandas con Spark Connect
  • [SPARK-46065] [SC-148985][PS] Refactorización de (DataFrame|Series).factorize() para usar create_map
  • [SPARK-46070] [SC-148993][SQL] Compilación del patrón regex en SparkDateTimeUtils.getZoneId fuera del bucle frecuente
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Mejora de los mensajes de error relacionados con los tipos de argumento en cute, rollup, groupby y pivot
  • [SPARK-44442] [SC-144120][MESOS] Eliminación de la compatibilidad con Mesos
  • [SPARK-45555] [SC-147620][PYTHON] Incluye un objeto depurable para la aserción con errores
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Compatibilidad con DataFrame.groupingSets en PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Conversión de faulthandler en una configuración de entorno de ejecución para la ejecución de Python en SQL
  • [SPARK-45996] [SC-148586][PYTHON][CONNECT] Mostrar mensajes de requisitos de dependencia adecuados para Spark Connect
  • [SPARK-45681] [SC-146893][UI] Clonación de una versión js de UIUtils.errorMessageCell para la representación coherente de errores en la interfaz de usuario
  • [SPARK-45767] [SC-147225][CORE] Eliminación de TimeStampedHashMap y su UT
  • [SPARK-45696] [SC-148864][CORE] Corrección del método tryCompleteWith, está en desuso con el rasgo Promise
  • [SPARK-45503] [SC-146338][SS] Adición de una configuración para establecer la compresión de RocksDB
  • [SPARK-45338] [SC-143934][CORE][SQL] Reemplazo de scala.collection.JavaConverters por scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Corrección de ArrayIndexOutOfBoundsException en conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube
  • [SPARK-45819] [SC-147570][CORE] Compatibilidad con clear en la API de envío de REST
  • [SPARK-45552] [14.x][SC-146874][PS] Introducción de parámetros flexible en assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Proporcionar una interfaz para que otros orígenes de streaming agreguen columnas _metadata
  • [SPARK-45929] [SC-148692][SQL] Compatibilidad con la operación groupingSets en la API de DataFrame
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader no debe leer registros graduales si falta el archivo de estado de la aplicación
  • [SPARK-45965] [SC-148575][SQL] Mover expresiones de partición DSv2 a functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Corrección del nombre del paquete de SparkCollectionUtils a org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Limpieza del uso de la API en desuso relacionado con MapOps y corrección de method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] Eliminación de treatEmptyValuesAsNulls y uso de la opción nullValue en su lugar en XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Corrección de typehints para controlar list GenericAlias en Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Uso de PandasProduct dedicados en cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Corrección de pyspark.ml.torch.tests.test_distributor en Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Cambio de description-file a description_file
  • [SPARK-45575] [SC-146713][SQL] Compatibilidad con opciones de viaje en tiempo para la API df read
  • [SPARK-45747] [SC-148404][SS] Uso de información de clave de prefijo en metadatos de estado para controlar el estado de lectura para la agregación de ventanas de sesión
  • [SPARK-45898] [SC-148213][SQL] Reescritura de las API de tabla de catálogo para usar un plan lógico sin resolver
  • [SPARK-45828] [SC-147663][SQL] Eliminación de métodos en desuso en dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Actualización de protobuf a 4.25.1 para admitir Python 3.11
  • [SPARK-45911] [SC-148226][CORE] Hacer que TLS1.3 sea el ajuste predeterminado para RPC SSL
  • [SPARK-45955] [SC-148429][UI] Compatibilidad con la contracción de los detalles de los gráficos de flama y del volcado de subprocesos
  • [SPARK-45936] [SC-148392][PS] Optimización de Index.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Corrección de la regla de coincidencia MetaException para obtener metadatos de partición
  • [SPARK-45655] [SC-148085][SQL][SS] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Corrección del uso de escritura de FileUtils en desuso para pasar el conjunto de caracteres predeterminado en RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Origen de datos de estado - Lector
  • [SPARK-45918] [SC-148293][PS] Optimización de MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] Devolución de las métricas observadas de los comandos
  • [SPARK-45867] [SC-147916][CORE] Compatibilidad con spark.worker.idPattern
  • [SPARK-45945] [SC-148418][CONNECT] Adición de una función auxiliar para parser
  • [SPARK-45930] [SC-148399][SQL] Compatibilidad con UDF no deterministas en MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Creación de una API de UDTF de Python para dejar de consumir filas de la tabla de entrada
  • [SPARK-45731] [SC-147929][SQL] Actualización también de las estadísticas de partición con el comando ANALYZE TABLE
  • [SPARK-45868] [SC-148355][CONNECT] Garantizar que spark.table usa el mismo analizador con vanilla spark
  • [SPARK-45882] [SC-148161][SQL] La partición propagada de BroadcastHashJoinExec debe respetar CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][SQL] Tratar decimal(x, 0) igual que IntegralType en PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Corrección de resultados de división y multiplicación decimal inexactos
  • [SPARK-45871] [SC-148084][CONNECT] Conversión de colecciones de optimizaciones relacionadas con .toBuffer en los módulos connect
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager puede buscar un sparkcontext detenido
  • [SPARK-45913] [SC-148289][PYTHON] Hacer que los atributos internos sean privados para los errores de PySpark
  • [SPARK-45827] [SC-148201][SQL] Adición del tipo de datos Variant en Spark
  • [SPARK-44886] [SC-147876][SQL] Introducción de la cláusula CLUSTER BY para CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Compatibilidad con spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][CONNECT] Declaración del identificador de sesión del lado servidor
  • [SPARK-45896] [SC-148091][SQL] Construcción de ValidateExternalType con el tipo esperado correcto
  • [SPARK-45902] [SC-148123][SQL] Eliminación de la función resolvePartitionColumns sin usar de DataSource
  • [SPARK-45909] [SC-148137][SQL] Eliminación de la conversión de NumericType si se puede convertir de forma segura en IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Eliminación de los parámetros sin usar en métodos splitFiles
  • [SPARK-45875] [SC-148088][CORE] Eliminación de MissingStageTableRowData del módulo core
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Mejora de los mensajes de error cuando el modo Spark Connect está habilitado, pero la dirección URL remota no está establecida
  • [SPARK-45804] [SC-147529][UI] Adición de la configuración spark.ui.threadDump.flamegraphEnabled para activar o desactivar el gráfico de flama
  • [SPARK-45664] [SC-146878][SQL] Introducción de un asignador para los códecs de compresión de ocr
  • [SPARK-45481] [SC-146715][SQL] Introducción de un asignador para los códecs de compresión de parquet
  • [SPARK-45752] [SC-148005][SQL] Simplificación del código para comprobar las relaciones CTE sin referencia
  • [SPARK-44752] [SC-146262][SQL] XML: actualización de la documentación de Spark
  • [SPARK-45752] [SC-147869][SQL] Las CTE sin referencia deben comprobarse mediante CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] Refactorización de las API de función de catálogo para usar el analizador
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Compatibilidad con la carga de orígenes de datos de Python en DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Problema de corrección en AQE con InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Introducción del origen de metadatos de estado para consultar la información de metadatos de estado de streaming
  • [SPARK-45739] [SC-147059][PYTHON] Captura de IOException en lugar de solo EOFException para faulthandler
  • [SPARK-45677] [SC-146700] Mejora del registro de errores para la API de observación
  • [SPARK-45544] [SC-146873][CORE] Integración de la compatibilidad con SSL en TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Adición de una API de escritura de orígenes de datos de Python
  • [SPARK-45771] [SC-147270][CORE] Habilitación de spark.eventLog.rolling.enabled de forma predeterminada
  • [SPARK-45713] [SC-146986][PYTHON] Compatibilidad con el registro de orígenes de datos de Python
  • [SPARK-45656] [SC-146488][SQL] Corrección de la observación cuando hay observaciones con el mismo nombre en diferentes conjuntos de datos
  • [SPARK-45808] [SC-147571][CONNECT][PYTHON] Mejora del control de errores para excepciones de SQL
  • [SPARK-45774] [SC-147353][CORE][UI] Compatibilidad con spark.master.ui.historyServerUrl en ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Eliminación de la comprobación defensiva de valores null para MapOutputTrackerMaster#unregisterShuffle agregada en SPARK-39553
  • [SPARK-45780] [SC-147410][CONNECT] Propagación de todos los ThreadLocal de cliente de Spark Connect en InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Compatibilidad con spark.deploy.appNumberModulo para rotar el número de aplicación
  • [SPARK-45793] [SC-147456][CORE] Mejora de los códecs de compresión integrados
  • [SPARK-45757] [SC-147282][ML] Evitación del recálculo de NNZ en Binarizer
  • [SPARK-45209] [SC-146490][CORE][UI] Compatibilidad del gráfico de flama con la página de volcado de subprocesos del ejecutor
  • [SPARK-45777] [SC-147319][CORE] Compatibilidad con spark.test.appId en LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Refactorización de la comprobación de valores null para tener accesos directos
  • [SPARK-45711] [SC-146854][SQL] Introducción de un asignador para los códecs de compresión de avro
  • [SPARK-45523] [SC-146077][Python] Devolución de un mensaje de error útil si UDTF devuelve None para cualquier columna que no acepta valores NULL
  • [SPARK-45614] [SC-146729][SQL] Asignación de un nombre al error __LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Mejora de Dataset.isEmpty() aplicando el límite global 1
  • [SPARK-45569] [SC-145915][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Corrección de Spark History Server para ordenar la columna Duration correctamente
  • [SPARK-45754] [SC-147169][CORE] Compatibilidad con spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Simplificación de DataFrameStatFunctions.countMinSketch con CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Compatibilidad con spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] Mejora de MasterPage para que muestre la columna Resource solo cuando exista
  • [SPARK-45112] [SC-143259][SQL] Uso de la resolución basada en UnresolvedFunction en funciones de conjunto de datos de SQL

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 14.3. Esto se comenta en la versión inicial.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 criptografía 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetado 23,2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six (seis) 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 clase 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 en conflicto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de datos 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progreso 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1