Compartir a través de

Databricks Runtime 15.3

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 15.3, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en junio de 2024.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

Los DataSources de PySpark ahora admiten la lectura y escritura de flujos

PySpark DataSources, que permiten leer desde orígenes de datos personalizados y escribir en receptores de datos personalizados, ahora admiten la lectura y escritura de secuencias. Consulte Orígenes de datos personalizados de PySpark.

Deshabilitación de la asignación de columnas con la característica colocar

Ahora puede usar DROP FEATURE para deshabilitar la asignación de columnas en tablas Delta y cambiar el protocolo de tabla. Consulte Deshabilitar la asignación de columnas.

Sintaxis y funciones de tipo variante en versión preliminar pública

La compatibilidad nativa de Apache Spark para trabajar con datos semiestructurados como tipo VARIANT ya está disponible en DataFrames y SQL de Spark. Consulte Consulta de datos de variante.

Compatibilidad con tipos variante para Delta Lake en versión preliminar pública

Ahora puede usar VARIANT para almacenar datos semiestructurados en tablas respaldadas por Delta Lake. Consulte Compatibilidad con variante en Delta Lake.

Compatibilidad con diferentes modos de evolución del esquema en vistas

CREATE VIEW y ALTER VIEW ahora le permite establecer un modo de enlace de esquema, mejorando la forma en que las vistas controlan los cambios de esquema en los objetos subyacentes. Esta característica permite a las vistas tolerar o adaptarse a los cambios de esquema en los objetos subyacentes. Aborda los cambios en el esquema de consulta resultantes de modificaciones en las definiciones de objeto.

Compatibilidad con métodos observe() agregados al cliente Scala de Spark Connect

El cliente Scala de Spark Connect ahora admite los métodos Dataset.observe(). La compatibilidad con estos métodos permite definir métricas para observar en un objeto Dataset mediante los métodos ds.observe("name", metrics...) o ds.observe(observationObject, metrics...).

Latencia de reinicio de flujo mejorada para Auto Loader

Esta versión incluye un cambio que mejora la latencia de reinicio del flujo para Auto Loader. Esta mejora se implementa haciendo asincrónica la carga de estado por parte del almacén de estados de RocksDB. Con este cambio, debería ver una mejora en las horas de inicio de las secuencias con estados grandes, por ejemplo, secuencias con un gran número de archivos ya ingeridos.

Devolución de un DataFrame como un pyarrow.Table

Para admitir la escritura de un DataFrame directamente en un objeto pyarrow.Table de Apache Arrow, esta versión incluye la función DataFrame.toArrow(). Para obtener más información sobre el uso de Arrow en PySpark, consulte Apache Arrow en PySpark.

Mejora del rendimiento de algunas funciones de ventana

Esta versión incluye un cambio que mejora el rendimiento de algunas funciones de ventana de Spark, específicamente funciones que no incluyen una cláusula ORDER BY o un parámetro window_frame. En estos casos, el sistema puede volver a escribir la consulta para ejecutarla mediante una función de agregado. Este cambio permite que la consulta se ejecute más rápido mediante la agregación parcial y evitando la sobrecarga de las funciones de ventana en ejecución. El parámetro spark.databricks.optimizer.replaceWindowsWithAggregates.enabled de configuración de Spark controla esta optimización y se establece en true de forma predeterminada. Para desactivar esta optimización, establezca spark.databricks.optimizer.replaceWindowsWithAggregates.enabled en false.

Compatibilidad con la función agregada try_mod

En esta versión se agrega compatibilidad con la función try_mod()de PySpark. Esta función admite el cálculo compatible con ANSI SQL del resto entero al dividir dos valores numéricos. Si el argumento divisor es 0, la función try_mod() devuelve null en lugar de producir una excepción. Puede usar la función try_mod() en lugar de mod o %, que produce una excepción si el argumento divisor es 0 y ANSI SQL está habilitado.

Compatibilidad con un parámetro de ámbito opcional en el list_secrets()

Esta versión permite limitar los resultados de la función de tabla list_secrets() a un ámbito específico.

Corrección de errores

Las métricas WriteIntoDeltaCommand en la interfaz de usuario de Spark ahora se muestran correctamente

Esta versión incluye una corrección de las métricas que se muestran en la pestaña SQL de la interfaz de usuario de Spark para el nodo Execute WriteIntoDeltaCommand. Anteriormente, las métricas mostradas para este nodo eran cero.

La función groupby() en la API de Pandas omitió el argumento as_index=False

Esta versión incluye una corrección de un problema con la función groupby() en la API de Pandas en Spark. Antes de esta corrección, un groupby() con la etiqueta de columnas agregadas y el argumento as_index=False no incluía claves de grupo en el DataFrame resultante.

Error de análisis con varias funciones de ventana que hacen referencia a la salida de las otras funciones

Esta versión corrige un problema que puede producirse cuando una consulta de Spark tiene varias funciones de ventana consecutivas, donde las funciones de ventana hacen referencia a la salida de las otras funciones de ventana. En raras ocasiones, el sistema podría quitar una de las referencias, lo que provoca errores al evaluar la consulta. Esta corrección proyecta estas referencias para garantizar la evaluación de consultas. Este cambio se controla mediante el parámetro spark.databricks.optimizer.collapseWindows.projectReferences de configuración de Spark, que se establece en true de forma predeterminada. Para desactivar este cambio, establezca spark.databricks.optimizer.collapseWindows.projectReferences en false.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • bloqueo de archivos de 3.13.1 a 3.13.4
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • org.rocksdb.rocksdbjni de 8.3.2 a 8.11.4

Apache Spark

Databricks Runtime 15.3 incluye Apache Spark 3.5.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 15.2, junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Revertir “[SC-165552][SQL] DB2: Lectura de SMALLINT como Sho…
  • [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] Revertir SPARK-47904: conservar mayúsculas y minúsculas en el esquema avro al usar enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Adición del tipo de datos de origen para la expresión de conversión del conector
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Almacenamiento de información de intercalación en metadatos y no en tipo para SER/DE
  • [SPARK-48172] [SC-166078][SQL] Corrección de problemas de escape en JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Adición de compatibilidad con AbstractMapType
  • [SPARK-48031] [SC-166523] Vistas heredadas en SCHEMA BINDING
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Adición de la función timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Corrección del problema de tiempo de espera del origen de datos de streaming de Python para un intervalo de desencadenador grande
  • [SPARK-48369] Reversión de “[SC-166494][SQL][PYTHON][CONNECT] Adición de la función timestamp_add”
  • [SPARK-48336] [SC-166495][PS][CONNECT] Implementación de ps.sql en Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Adición de la función timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Adición de la compatibilidad de intercalación para expresiones variantes
  • [SPARK-48161] [SC-165325][SQL] Corrección de PR revertida: adición de compatibilidad de intercalación para expresiones JSON
  • [SPARK-48031] [SC-166391] Descomposición de la configuración viewSchemaMode, adición del soporte SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][CORE] Adición de una configuración para SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Mejora del rendimiento de Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Control de minúsculas en nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Asignación de nombres a las clases de error _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] Asignación de nombres a las clases de error _LEGACY_ERROR_TEMP_323[6-7] y _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] Las propiedades almacenadas en caché deben devolver copias
  • [SPARK-48308] [SC-166152][Core] Unificación de obtener esquema de datos sin columnas de partición en FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Cambio de nombre de CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE a CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] Aplicación del método incorporado timestamp_diff
  • [SPARK-47607] [SC-166129] Adición de documentación para el marco de registro estructurado
  • [SPARK-48297] [SC-166136][SQL] Corrección de una cláusula TRANSFORM de regresión con char/varchar
  • [SPARK-47045] [SC-156808][SQL] Reemplazo de IllegalArgumentException por SparkIllegalArgumentException en sql/api
  • [SPARK-46991] [SC-156399][SQL] Reemplazo de IllegalArgumentException por SparkIllegalArgumentException en catalyst
  • [SPARK-48031] [SC-165805][SQL] Compatibilidad con la evolución del esquema de la vista
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Adición del método __repr__ que falta para SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] Refinamiento de la representación de cadena de Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Adición de la función timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Enriquecimiento del mensaje de error para los errores de lectura de valores decimales
  • [SPARK-47158] [SC-158078][SQL] Asignación de un nombre y sqlState adecuados a _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient puede causar NPE FetchFailedException
  • [SPARK-48277] [SC-166066] Mejora del mensaje de error de ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][CONNECT] Compatibilidad de conjuntos de datos observe con el cliente de Scala
  • [SPARK-48954] [SC-171672][SQL] Adición de la función try_mod
  • [SPARK-43258] [SC-158151][SQL] Asignación de nombres al error _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] Prueba de regresión e2e con SPARK-47305
  • [SPARK-48263] [SC-165925] Compatibilidad de funciones de intercalación para cadenas no UTF8_BINARY
  • [SPARK-48260] [SC-165883][SQL] Deshabilitación de la coordinación del confirmador de salida en una prueba de ParquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][CONNECT] Marcado de funciones en desuso con @deprecated en SQLImplicits
  • [SPARK-48011] [SC-164061][Core] Almacenamiento del nombre de LogKey como un valor para evitar generar nuevas instancias de cadena
  • [SPARK-48074] [SC-164647][Core] Mejora de la legibilidad de los registros JSON
  • [SPARK-44953] [SC-165866][CORE] Registro de una advertencia cuando el seguimiento aleatorio esté habilitado junto a otro mecanismo compatible con DA
  • [SPARK-48266] [SC-165897][CONNECT] Traslado del objeto de paquete org.apache.spark.sql.connect.dsl para probar el directorio
  • [SPARK-47847] [SC-165651][CORE] En desuso spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Limpieza del uso de constructores en desuso de o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Paso directo de join en lugar de todos los argumentos a getBroadcastBuildSide y getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] No permitir que las claves de asignación sean de tipo variante
  • [SPARK-48248] [SC-165791][PYTHON] Corrección de la matriz anidada para respetar la configuración heredada de inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Adición de soporte para intercalación para funciones o expresiones de tipo StringTrim (para UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Uso de excepciones ligeras para el flujo de control entre UnivocityParser y FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Corrección de la función de agregado en Con aserción secundaria de expresión
  • [SPARK-48161] Reversión de “[SC-165325][SQL] Adición de compatibilidad de intercalación para expresiones JSON”
  • [SPARK-47963] [CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados
  • [SPARK-48180] [SC-165632][SQL] Mejora del error cuando la llamada UDTF con el argumento TABLE olvida paréntesis alrededor de varias expresiones PARTITION u ORDER BY
  • [SPARK-48002] [SC-164132][PYTHON][SS] Adición de pruebas para métricas observadas en PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Adición de compatibilidad de intercalación para expresiones URL
  • [SPARK-48161] [SC-165325][SQL] Adición de compatibilidad de intercalación para expresiones JSON
  • [SPARK-47359] [SC-164328][SQL] Compatibilidad con la función TRADUCIR para trabajar con cadenas intercaladas
  • [SPARK-47365] [SC-165643][PYTHON] Adición del método DataFrame toArrow() a PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implementación de la validación de funciones que falta en ApplyInXXX
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
  • [SPARK-47963] Reversión de “[CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados “
  • [SPARK-47963] [CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados
  • [SPARK-48208] [SC-165547][SS] Omisión de proporción de métricas de uso de memoria de RocksDB si está habilitado el uso de memoria limitada
  • [SPARK-47566] [SC-164314][SQL] Compatibilidad con la función SubstringIndex para trabajar con cadenas intercaladas
  • [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Migración de logError con variables al marco de registro estructurado
  • [SPARK-48205] [SC-165501][PYTHON] Eliminación del modificador private[sql] para orígenes de datos de Python
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis debería ver todo el plan de consulta
  • [SPARK-48197] [SC-165520][SQL] Evasión del error de aserción para una función lambda no válida
  • [SPARK-47318] [SC-162573][CORE] Adición de la ronda HKDF a la derivación de claves de AuthEngine para seguir las prácticas estándar de KEX
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] Establecer siempre la inicialización de Dataframe.sample en el lado cliente
  • [SPARK-48128] [SC-165004][SQL] Para la expresión BitwiseCount o bit_count, corrección del error de sintaxis codegen para entradas de tipo booleano
  • [SPARK-48147] [SC-165144][SS][CONNECT] Eliminación de agentes de escucha del lado cliente cuando se elimina la sesión local de Spark
  • [SPARK-48045] [SC-165299][PYTHON] Pandas API groupby with multi-agg-relabel ignores as_index=False
  • [SPARK-48191] [SC-165323][SQL] Compatibilidad con UTF-32 para codificar y descodificar cadenas
  • [SPARK-45352] [SC-137627][SQL] Eliminación de particiones de ventana plegables
  • [SPARK-47297] [SC-165179][SQL] Adición de compatibilidad de intercalación para expresiones de formato
  • [SPARK-47267] [SC-165170][SQL] Adición de compatibilidad de intercalación para expresiones hash
  • [SPARK-47965] [SC-163822][CORE] Evasión de orNull en TypedConfigBuilder y OptionalConfigEntry
  • [SPARK-48166] [SQL] Evasión del uso de BadRecordException como error orientado al usuario en VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Corrección de la condición de carrera entre la descarga e instantáneas del almacén de estado
  • [SPARK-47922] [SC-163997][SQL] Implementación de la expresión try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Cambio de spark.sql.legacy.timeParse…
  • [SPARK-48035] [SC-165136][SQL] Corrección de try_add/try_multiply siendo semánticamente igual a agregar o multiplicar
  • [SPARK-48107] [SC-164878][PYTHON] Exclusión de pruebas de la distribución de Python
  • [SPARK-46894] [SC-164447][PYTHON] Traslado de las condiciones de error de PySpark al archivo JSON independiente
  • [SPARK-47583] [SC-163825][CORE] SQL Core: Migración de logError con variables al marco de registro estructurado
  • [SPARK-48064] Revertir “[SC-164697][SQL] Actualización de mensajes de error para clases de error relacionadas con rutinas”
  • [SPARK-48048] [SC-164846][CONNECT][SS] Se ha agregado compatibilidad con el agente de escucha del lado cliente para Scala
  • [SPARK-48064] [SC-164697][SQL] Actualización de mensajes de error para clases de error relacionadas con rutinas
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] Repetición de la ejecución del plan si se produce un error SESSION_NOT_FOUND y no se recibió ninguna respuesta parcial
  • [SPARK-48124] [SC-165009][CORE] Deshabilitación del registro estructurado para Connect-Repl de forma predeterminada
  • [SPARK-47922] Reversión de “[SC-163997][SQL] Implementación de la expresión try_parse_json”
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys es demasiado estricto
  • [SPARK-48114] [SC-164956][CORE] Precompilación de la plantilla regex para evitar trabajos innecesarios
  • [SPARK-48067] [SC-164773][SQL] Corrección de columnas variante predeterminadas
  • [SPARK-47922] [SC-163997][SQL] Implementación de la expresión try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Adición de comprobación de tipos para las funciones de Avro de PySpark
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implementación de SimpleDataSourceStreamReader para el origen de datos de streaming de Python
  • [SPARK-48081] [SC-164719] Corrección de ClassCastException en NTile.checkInputDataTypes() cuando el argumento es no plegable o de tipo incorrecto
  • [SPARK-48102] [SC-164853][SS] Realización de un seguimiento de la duración de la adquisición de métricas de origen o receptor al informar del progreso de la consulta de streaming
  • [SPARK-47671] [SC-164854][Core] Habilitación del registro estructurado en log4j2.properties.template y actualización de documentos
  • [SPARK-47904] [SC-163409][SQL] Conservación de mayúsculas y minúsculas en el esquema Avro al usar enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType análisis de la cadena DDL
  • [SPARK-46922] [SC-156102][CORE][SQL] No encapsular errores orientados al usuario en tiempo de ejecución
  • [SPARK-48047] [SC-164576][SQL] Reducción de la presión de memoria de etiquetas TreeNode vacías
  • [SPARK-47934] [SC-164648] [CORE] Asegúrese de que las barras diagonales finales en las redirecciones de direcciones URL HistoryServer
  • [SPARK-47921] [SC-163826][CONNECT] Corrección de la creación de ExecuteJobTag en ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Cambio del error makeFromJava en EvaluatePython a un error orientado al usuario
  • [SPARK-47903] [SC-163424][PYTHON] Adición de compatibilidad con los tipos escalares restantes en la biblioteca de variantes de PySpark
  • [SPARK-48068] [SC-164579][PYTHON] mypy debe tener un parámetro --python-executable
  • [SPARK-47846] [SC-163074][SQL] Adición de soporte para el tipo variante en la expresión from_json
  • [SPARK-48050] [SC-164322][SS] Registro del plan lógico al inicio de la consulta
  • [SPARK-47810] [SC-163076][SQL] Reemplazo de la expresión equivalente a <=> en la condición de unión
  • [SPARK-47741] [SC-164290] Se agregó el control de desbordamiento de pila en el analizador
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame debe advertir de las opciones no admitidas
  • [SPARK-47939] [SC-164171][SQL] Implementación de una nueva regla del analizador para mover ParameterizedQuery dentro de ExplainCommand y DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Habilitación de spark.stage.ignoreDecommissionFetchFailure de forma predeterminada
  • [SPARK-48016] [SC-164280][SQL] Corrección de un error en la función try_divide con decimales
  • [SPARK-48033] [SC-164291][SQL] Corrección de expresiones RuntimeReplaceable que se usan en columnas predeterminadas
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Evasión de las llamadas repetidas a conf.resolver en resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Adición de soporte de intercalación para el agregado de croquis hll
  • [SPARK-47994] [SC-164175][SQL] Corrección de error con el filtro de columna CASE WHEN en SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Cambio de MetricsAggregate/V2Aggregator#serialize/deserialize para llamar a SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Uso de un formateador de marca de tiempo con zona horaria a nivel de clase en lugar de realizar copias a nivel de método
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migraciones de registros estructurados
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migraciones de registros estructurados
  • [SPARK-47567] [SC-164172][SQL] Compatibilidad con la función BUSCAR para trabajar con cadenas intercaladas
  • [SPARK-47764] [SC-163820][CORE][SQL] Limpieza de dependencias aleatorias basadas en ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Actualice la clase de error para group.apply
  • [SPARK-47414] [SC-163831][SQL] Compatibilidad con la intercalación en minúsculas para expresiones regexp
  • [SPARK-47418] [SC-163818][SQL] Adición de implementaciones manuales para contains, startsWith y endsWith en minúsculas y optimización de UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] Catalizador SQL: eliminación de variables sin nombre en los registros de errores
  • [SPARK-47351] [SC-164008][SQL] Adición de compatibilidad de intercalación para expresiones de cadena StringToMap y Mask
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue debe considerar valores con tipo NULL
  • [SPARK-47476] [SC-164014][SQL] Compatibilidad con la función REEMPLAZAR para trabajar con cadenas intercaladas
  • [SPARK-47408] [SC-164104][SQL] Corrección de mathExpressions que usan StringType
  • [SPARK-47350] [SC-164006][SQL] Adición de compatibilidad de intercalación para la expresión de cadena SplitPart
  • [SPARK-47692] [SC-163819][SQL] Corrección del significado de StringType predeterminado en la conversión implícita
  • [SPARK-47094] [SC-161957][SQL] SPJ : Reequilibrado dinámico del número de depósitos cuando no son iguales
  • [SPARK-48001] [SC-164000][CORE] Eliminación de private implicit def arrayToArrayWritable sin usar de SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
  • [SPARK-48019] [SC-164121] Corrección del comportamiento incorrecto en ColumnVector/ColumnarArray con diccionario y valores NULL
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migraciones de registros estructurados
  • [SPARK-47999] [SC-163998][SS] Mejoras del registro en torno a la creación de instantáneas y adición o eliminación de entradas del mapa de caché de estado en el proveedor de almacén de estado respaldado por HDFS
  • [SPARK-47417] [SC-162872][SQL] Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] Concesión de permisos para que los complementos de conexión creen y procesen conjuntos de datos
  • [SPARK-47411] [SC-163351][SQL] Admisión de las funciones StringInstr y FindInSet para trabajar con cadenas intercaladas
  • [SPARK-47360] [SC-163014][SQL] Compatibilidad con la intercalación: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] : Adición de soporte a substr/left/right para intercalaciones
  • [SPARK-47983] [SC-163835][SQL] Demover spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled a interno
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] Ocultación de SQLContext y HiveContext en pyspark-connect
  • [SPARK-47985] [SC-163841][PYTHON] Simplificación de funciones con lit
  • [SPARK-47633] [SC-163453][SQL] Inclusión de la salida del plan del lado derecho en LateralJoin#allAttributes para una canónica más coherente
  • [SPARK-47909] Revert “[PYTHON][CONNECT] Parent DataFrame class f…
  • [SPARK-47767] [SC-163096][SQL] Muestra del valor de desplazamiento en TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Prohíbe que las expresiones hash apliquen código hash al tipo de datos Variant
  • [SPARK-47490] [SC-160494][SS] Corrección del constructor RocksDB Logger para evitar la advertencia de desuso
  • [SPARK-47417] Reversión de “[SC-162872][SQL] Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences”
  • [SPARK-47352] [SC-163460][SQL] Corrección del reconocimiento de intercalación superior, inferior, InitCap
  • [SPARK-47909] [PYTHON][CONNECT] Clase DataFrame primaria para Spark Connect y Spark Classic
  • [SPARK-47417] [SC-162872][SQL] Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografía 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six (seis) 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
clase 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
r-reactr 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1