Compartir a través de

Databricks Runtime 16.2 (versión beta)

  • Artículo

Importante

Databricks Runtime 16.2 está en beta. El contenido de los entornos admitidos puede cambiar durante la versión Beta. Los cambios pueden incluir la lista de paquetes o versiones de paquetes instalados.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 16.2, con tecnología de Apache Spark 3.5.0.

Consejo (if the meaning of "Tip" is advice or suggestion)

Para ver las notas de la versión de Databricks Runtime que han alcanzado el fin de su soporte técnico (EoS), consulte Notas de versión de Databricks Runtime de fin de soporte técnico. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Cambios de comportamiento

En Delta Sharing, el historial de tablas está habilitado de forma predeterminada.

Los recursos compartidos creados con el comando SQL ALTER SHARE <share> ADD TABLE <table> ahora tienen habilitado el uso compartido del historial (WITH HISTORY) de forma predeterminada. Consulte ALTER SHARE.

Las instrucciones SQL de credenciales devuelven un error cuando hay un error de coincidencia de tipo de credencial

Con esta versión, si el tipo de credencial especificado en una instrucción DROP CREDENTIAL no coincide con el tipo de credencial que se va a quitar, se devuelve un error y no se ejecuta la instrucción . Por ejemplo, para la instrucción DROP STORAGE CREDENTIAL 'credential-name', si credential-name no es una credencial de almacenamiento, la instrucción produce un error.

Este cambio se realiza para ayudar a evitar errores de usuario. Anteriormente, la instrucción DROP CREDENTIAL se ejecutaría correctamente, incluso si se pasó una credencial que no coincidía con el tipo de credencial especificado. Por ejemplo, antes de este cambio, la siguiente instrucción eliminaría correctamente storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Consulte DROP CREDENTIAL en la referencia SQL.

Nuevas características y mejoras

El acceso regulado por Unity Catalog a servicios en la nube externos mediante las credenciales de servicio ahora está disponible con disponibilidad general

Las credenciales de servicio permiten la autenticación sencilla y segura con los servicios del inquilino en la nube de Azure Databricks. Con Databricks Runtime 16.2, las credenciales de servicio están disponibles con carácter general y ahora admiten SDK de Scala, además del SDK de Python que se admitía en la versión preliminar pública. Consulte Administración del acceso a servicios en la nube externos mediante credenciales de servicio.

Los cuadernos se admiten como archivos del área de trabajo.

En Databricks Runtime 16.2 y versiones posteriores, los cuadernos se admiten como archivos del área de trabajo. Ahora puede escribir, leer y eliminar cuadernos mediante programación como cualquier otro archivo. Esto permite la interacción mediante programación con cuadernos desde cualquier lugar en el que esté disponible el sistema de archivos del área de trabajo. Para obtener más información, consulte Cuadernos como archivos de área de trabajo.

Uso del timestampdiff & timestampadd en expresiones de columna generadas

En Databricks Runtime 16.2 y versiones posteriores, puede utilizar las funciones timestampdiff y timestampadd en las expresiones de columna generadas en Delta Lake. Consulte Columnas generadas por Delta Lake.

Compatibilidad con la sintaxis de canalización de SQL

En Databricks Runtime 16.2 y versiones posteriores, puede redactar canalizaciones de SQL. Una canalización de SQL estructura una consulta estándar, como SELECT c2 FROM T WHERE c1 = 5, en una secuencia paso a paso, como se muestra en el ejemplo siguiente:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para obtener información sobre la sintaxis compatible para las canalizaciones SQL, consulte Sintaxis para canalizaciones SQL.

Para obtener información general sobre esta extensión entre sectores, consulte SQL tiene problemas. Podemos corregirlos: sintaxis de canalización en SQL (por Google Research).

La actualización a DESCRIBE TABLE devuelve metadatos como JSON estructurado

En Databricks Runtime 16.2 y versiones posteriores, puede usar el comando DESCRIBE TABLE AS JSON para devolver metadatos de tabla como un documento JSON. La salida JSON es más estructurada que el informe legible predeterminado y se puede usar para interpretar mediante programación el esquema de una tabla. Para más información, consulte DESCRIBE TABLE AS JSON.

Intercalaciones que no distinguen espacios en blanco finales

Databricks Runtime 16.2 añade la compatibilidad con intercalaciones que no distinguen espacios en blanco finales, lo que agrega a la compatibilidad de intercalación agregada en Databricks Runtime 16.1. Por ejemplo, estas clasificaciones tratan 'Hello' y 'Hello ' como iguales. Para obtener más información, consulte intercalación RTRIM.

Conversión de tablas de Iceberg con particiones de cubos en tablas Delta sin particiones

Ahora, las declaraciones CONVERT TO DELTA y CREATE TABLE CLONE admiten la conversión de una tabla Iceberg con particiones de depósitos en una tabla Delta sin particiones.

Corrección de errores

Procesamiento de clon incremental mejorado

Esta versión incluye una corrección para un caso perimetral en el que un CLONE incremental podría volver a copiar archivos ya copiados de una tabla de origen a una tabla de destino. Consulte Clonación de una tabla en Azure Databricks.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
    • org.json4s.json4s-core_2.12 de 3.7.0-M11 a 4.0.7
    • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 a 4.0.7
    • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 a 4.0.7

Apache Spark

Databricks Runtime 16.2 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 16.1, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-50596] [DBRRM-1507] Se ha revertido "[SC-184060][PYTHON] Actualizar Py4J de 0.10.9.7 a 0.10.9.8"
  • [SPARK-50904] [SC-186976][SQL] Corrección en la ejecución de consultas del analizador de expresiones de intercalación
  • [SPARK-49666] [SQL] Habilitar pruebas de recorte para la expresión InSet
  • [SPARK-50669] [SC-184566][ES-1327450][SQL] Cambiar la firma de la expresión TimestampAdd
  • [SPARK-50795] [16.x][SC-186719][SQL] Almacenar marca de tiempo como tipo long en describe LinkedHashMap
  • [SPARK-50596] [SC-184060][PYTHON] Actualización de Py4J de 0.10.9.7 a 0.10.9.8
  • [SPARK-50818] Se ha revertido "[SC-186458][PYTHON] Reemplazar has_numpy por have_numpy"
  • [SPARK-50870] [SC-186950][SQL] Añadir la zona horaria al convertir a timestamp en V2ScanRelationPushDown
  • [SPARK-50735] [SC-186944][CONNECT] Error en ExecuteResponseObserver da como resultado solicitudes de reasociación infinitas.
  • [SPARK-50522] [SC-186500][SQL] Compatibilidad con la intercalación indeterminada
  • [SPARK-50525] [SC-186058][SQL] Definir regla del optimizador InsertMapSortInRepartitionExpressions
  • [SPARK-50679] [SC-184572][SQL] Las expresiones comunes duplicadas en diferentes cláusulas WITH solo deberían proyectarse una vez
  • [SPARK-50847] [SC-186916] [SQL] Evitar que ApplyCharTypePadding se aplique a expresiones In específicas
  • [SPARK-50714] [SC-186786][SQL][SS] Habilitación de la evolución del esquema para TransformWithState cuando se usa la codificación avro
  • [SPARK-50818] Se ha revertido "Revertir '[SC-186458][PYTHON] Reemplazar has_numpy por have_numpy"
  • [SPARK-50795] [SC-186390][SQL] Se muestran todas las fechas de DESCRIBE AS JSON en formato ISO-8601 y los tipos como dataType.simpleString
  • [SPARK-50561] [SC-185924][SQL] DBR 16.x cherrypick: Mejora de la coerción de tipos y la comprobación de límites para la función UNIFORM SQL
  • [SPARK-50700] [SC-184845][SQL] spark.sql.catalog.spark_catalog admite el valor mágico builtin
  • [SPARK-50831] [SC-186736][BEHAVE-222][SQL] Habilitación de la intercalación de recorte de manera predeterminada
  • [SPARK-50263] [SC-186793][CONNECT] Reemplace System.currentTimeMillis por System.nanoTime
  • [SPARK-50818] Se ha revertido "[SC-186458][PYTHON] Reemplazar has_numpy por have_numpy"
  • [SPARK-48730] [SC-184926][SQL] Implementar CreateSQLFunctionCommand para funciones escalares y de tabla de SQL
  • [SPARK-50830] [SC-186718] [SQL] Devolver el resultado de un solo paso como resultado de análisis de ejecución dual
  • [SPARK-50707] [SC-186098][SQL] Habilitar la conversión hacia/desde char/varchar
  • [SPARK-49490] [SC-182137][SQL] Agregar pruebas comparativas para initCap
  • [SPARK-50529] [SC-184535][SQL] Se ha cambiado el comportamiento char/varchar en la configuración spark.sql.preserveCharVarcharTypeInfo
  • [SPARK-49632] [SC-184179][SQL] Eliminación de la sugerencia de configuración ANSI en CANNOT_PARSE_TIMESTAMP
  • [SPARK-50815] [SC-186487][PYTHON][SQL] Se ha corregido el error en el que pasar variantes nulas en createDataFrame provocaba un error y agregar compatibilidad con Variant en createDataFrame en Spark Connect
  • [SPARK-50828] [SC-186493][PYTHON][ML][CONNECT] Marcar pyspark.ml.connect como en desuso
  • [SPARK-50600] [SC-186057][CONNECT][SQL] Configuración como analizado en caso de error de análisis
  • [SPARK-50824] [SC-186472][PYTHON] Evite importar paquetes opcionales de Python para comprobar
  • [SPARK-50818] [SC-186458][PYTHON] Reemplace has_numpy por have_numpy
  • [SPARK-50722] [SC-185523][SQL] Detección de nodos WITH independientes
  • [SPARK-50755] [SC-185521][SQL] Visualización de plan descriptivo para InsertIntoHiveTable
  • [SPARK-50756] [SC-185552]Se ha revertido "[SQL] Uso de clase de error para las excepciones en SparkConf.validateSettings"
  • [SPARK-50789] [SC-186312][CONNECT] Las entradas para agregaciones tipadas deben analizarse
  • [SPARK-50791] [SC-185867][SC-186338][SQL] Corrección de NPE en el control de errores del almacén de estado
  • [SPARK-50801] [SC-186365] [SQL] Mejorar PlanLogger.logPlanResolution para que muestre simplemente planes sin resolver y resueltos
  • [SPARK-50749] [SC-185925][SQL] Corrección del error de ordenación en el método CommutativeExpression.gatherCommutative
  • [SPARK-50783] [SC-186347] Estandarizar el nombre del archivo de resultados y el diseño del perfilador de JVM en DFS
  • [SPARK-50790] [SC-186354][PYTHON] Implementación de parse json en pyspark
  • [SPARK-50738] [SC-184856][PYTHON] Actualización de black a 23.12.1
  • [SPARK-50764] [SC-185930][PYTHON] Refinar la docstring de métodos relacionados con xpath
  • [SPARK-50798] [SC-186277][SQL] Mejorar NormalizePlan
  • [SPARK-49883] [SC-183787][SS] Integración de la estructura de puntos de control del almacén de estado V2 con RocksDB y RocksDBFileManager
  • [SPARK-50779] [SC-186062][SQL] Adición de la marca de características para intercalaciones a nivel de objeto
  • [SPARK-50778] [SC-186183][PYTHON] Adición de metadataColumn a PySpark DataFrame
  • [SPARK-49565] [SC-186056][SQL] DBR 16.x cherrypick: Mejora de los alias de expresión generados automáticamente con operadores de canalización de SQL
  • [SPARK-50541] [16.x][SC-184937] Describir la tabla como JSON
  • [SPARK-50772] [SC-185923][SQL] DBR 16.x cherrypick: Conservación de alias de tabla después de los operadores SET, EXTEND, DROP
  • [SPARK-50769] [SC-185919][SQL] Corregir ClassCastException en HistogramNumeric
  • [SPARK-49025] [SC-174667] Sincronización de diferencias de código delta con DBR
  • [SPARK-50752] [SC-185547][PYTHON][SQL] Introducir configuraciones para optimizar UDF de Python sin utilizar Apache Arrow
  • [SPARK-50705] [SC-185944][SQL] Hacer que QueryPlan sea sin bloqueo
  • [SPARK-50690] [16.x][SC-184640][BEHAVE-211][SQL] Corrección de discrepancias entre comillas de las columnas de salida de consulta de la vista de DESCRIBE TABLE
  • [SPARK-50746] [SC-184932][SQL] Reemplace cualquiera por VariantPathSegment.
  • [SPARK-50715] [SC-185546][PYTHON][CONNECT] SparkSession.Builder establece las configuraciones por lotes
  • [SPARK-50480] [SC-183359][SQL] Extensión de CharType y VarcharType desde StringType
  • [SPARK-50675] [SC-184539][SQL] Compatibilidad con intercalaciones a nivel de tabla y vista
  • [SPARK-50409] [BEHAVE-194][SC-184516][SQL] Corregir la instrucción set para omitir ; al final de SET;, SET -v; y SET key;
  • [SPARK-50743] [SC-185528][SQL] Se han normalizado los identificadores CTERelationDef y CTERelationRef
  • [SPARK-50756] [SC-185520][SQL] Uso de la clase de error para excepciones en SparkConf.validateSettings
  • [SPARK-50693] [SC-184684][CONNECT] Las entradas de TypedScalaUdf deben analizarse.
  • [SPARK-50744] [SC-184929][SQL] Adición de un caso de prueba para la prioridad de resolución de nombres de view/CTE
  • [SPARK-50710] [SC-184767][CONNECT] Agregar soporte para la reconexión opcional de clientes a sesiones después de la liberación
  • [SPARK-50703] [SC-184843][PYTHON] Refinar la docstring de regexp_replace, regexp_substr y regexp_instr
  • [SPARK-50716] [SC-184823][CORE] Corrección de la lógica de limpieza para vínculos simbólicos en el método JavaUtils.deleteRecursivelyUsingJavaIO.
  • [SPARK-50630] [SC-184443][SQL] Corrección de la compatibilidad ordinal de GROUP BY con operadores AGGREGATE de SQL de canalización
  • [SPARK-50614] [SC-184729][SQL] Adición de compatibilidad con la fragmentación de variantes para Parquet
  • [SPARK-50661] [SASP-4936] Se ha agregado compatibilidad con versiones anteriores para el antiguo cliente FEB.
  • [SPARK-50676] [SC-184641][SQL] Eliminación de private lazy val mapValueContainsNull sin usar de ElementAt
  • [SPARK-50515] [SC-183813][CORE] Agregar interfaz de solo lectura a SparkConf
  • [SPARK-50697] [SC-184702][SQL] Habilite la recursividad de cola siempre que sea posible.
  • [SPARK-50642] [SC-184726][SC-183517][CONNECT][SS][2/N][16.x]Corregir el esquema de estado para FlatMapGroupsWithState en Spark cuando no hay ningún estado inicial
  • [SPARK-50701] [SC-184704][PYTHON] Hacer que la creación de gráficos requiera la versión mínima de plotly
  • [SPARK-50702] [SC-184727][PYTHON] Refinar la docstring de regexp_count, regexp_extract y regexp_extract_all
  • [SPARK-50499] [SC-184177][PYTHON] Exposición de métricas de BasePythonRunner
  • [SPARK-50692] [SC-184705][16.x] Adición de soporte para la delegación de RPAD
  • [SPARK-50682] [SC-184579][SQL] El alias interno debe ser canónico
  • [SPARK-50699] [SC-184695][PYTHON] Analizar y generar la cadena DDL con una sesión especificada
  • [SPARK-50573] [SC-184568][SS] Adición del identificador de esquema de estado en las filas de estado para la evolución del esquema
  • [SPARK-50661] [SC-184639][CONNECT][SS][SASP-4936] Corregir la implementación 'foreachBatch' de Spark Connect Scala. para admitir Dataset[T].
  • [SPARK-50689] [SC-184591][SQL] Aplicar la ordenación determinista en listas de proyectos LCA
  • [SPARK-50696] [SC-184667][PYTHON] Optimizar llamada Py4J para el método de análisis DDL
  • [SPARK-49670] [SC-182902][SQL] Habilitación de la intercalación de recorte para todas las expresiones de paso
  • [SPARK-50673] [SC-184565][ML] Evitar atravesar los coeficientes del modelo dos veces en el constructor de Word2VecModel
  • [SPARK-50310] [SC-184663] Revertir "[CONNECT][PYTHON] Llamar a with_origin_to_class cuando el Column está inicializando"
  • [SPARK-50687] [SC-184588][PYTHON] Optimización de la lógica para obtener trazas de pila para DataFrameQueryContext
  • [SPARK-50681] [SC-184662][PYTHON][CONNECT] Almacenar en caché el esquema analizado para MapInXXX y ApplyInXXX
  • [SPARK-50674] [SC-184589][PYTHON] Corrección de la comprobación de la existencia del método "terminate" en la evaluación UDTF
  • [SPARK-50684] [SC-184582][PYTHON] Mejorar el rendimiento de Py4J en DataFrameQueryContext
  • [SPARK-50578] [DBR16.x][SC-184559][PYTHON][SS] Agregar compatibilidad con la nueva versión de metadatos de estado para TransformWithStateInPandas
  • [SPARK-50602] [SC-184439][SQL] Corregir la transposición para mostrar un mensaje de error adecuado cuando se especifican columnas de índice no válidas
  • [SPARK-50650] [SC-184532][SQL] Mejora del registro en el analizador de paso único
  • [SPARK-50665] [SC-184533][SQL] Sustituya LocalRelation por ComparableLocalRelation en NormalizePlan
  • [SPARK-50644] [SC-184486][SQL] Lectura de la estructura variante en el lector de Parquet.
  • [SPARK-49636] [SC-184089][SQL] Eliminación de la sugerencia de configuración ANSI en INVALID_ARRAY_INDEX y INVALID_ARRAY_INDEX_IN_ELEMENT_AT
  • [SPARK-50659] [SC-184514][SQL] Refactorización del cálculo de salida de la unión para reutilizarlo en el Analizador de un solo paso
  • [SPARK-50659] [SC-184512][SQL] Se han movido errores relacionados con Union a QueryCompilationErrors
  • [SPARK-50530] [SC-183419][SQL] Corrección del cálculo de contexto de tipo de cadena implícito incorrecto
  • [SPARK-50546] [SC-183807][SQL] Adición de compatibilidad con la conversión de subconsulta a la conversión de tipos de intercalación
  • [SPARK-50405] [SC-182889][SQL] Control de la conversión del tipo de intercalación de tipos de datos complejos correctamente
  • [SPARK-50637] [SC-184434][SQL] Corrección del estilo de código para el analizador de paso único
  • [SPARK-50638] [SC-184435][SQL] Refactorizar la resolución de vista en el archivo independiente para reutilizarla en el analizador de paso único
  • [SPARK-50615] [SC-184298][SQL] Inserción de variante en el examen.
  • [SPARK-50619] [SC-184210][SQL] Refactorización de VariantGet.cast para empaquetar los argumentos de conversión
  • [SPARK-50599] [SC-184058][SQL] Crear el rasgo DataEncoder que permite la codificación Avro y UnsafeRow
  • [SPARK-50076] [SC-183809] Corregir las claves de registro
  • [SPARK-50597] [SC-183972][SQL] Refactorización de la construcción por lotes en Optimizer.scala y SparkOptimizer.scala
  • [SPARK-50339] [SC-183063][SPARK-50360][SS] Habilitación del registro de cambios para almacenar información de linaje
  • [SPARK-50526] [SC-183811][SS] Adición del formato de codificación de almacén conf al registro de desplazamiento y bloqueo de operadores con estado no admitidos mediante avro
  • [SPARK-50540] [SC-183810][PYTHON][SS] Corrección del esquema de cadena para StatefulProcessorHandle
  • [SPARK-50157] [SC-183789][SQL] Usando primero SQLConf proporcionado por SparkSession.
  • [SPARK-48898] [SC-183793][SQL] Establecimiento correcto de la nulabilidad en el esquema Variant
  • [SPARK-50559] [SC-183814][SQL] Almacenamiento de las salidas de Except, Intersect y Union como valores diferidos.
  • [SPARK-48416] [SC-183643][SQL] Compatibilidad con la expresión WITH anidada correlacionada
  • [SPARK-50428] [SC-183566][SS][PYTHON] Compatibilidad con TransformWithStateInPandas en consultas por lotes
  • [SPARK-50063] [SC-183350][SQL][CONNECT] Agregar compatibilidad con Variant en el cliente Scala de Spark Connect
  • [SPARK-50544] [SC-183569][PYTHON][CONNECT] Implementación de StructType.toDDL
  • [SPARK-50443] [SC-182590][SS] Corrección de errores de compilación de Maven introducidos por la caché de Guava en RocksDBStateStoreProvider
  • [SPARK-50491] [SC-183434][SQL] Corrección del error en el que los bloques BEGIN END vacíos producen un error
  • [SPARK-50536] [SC-183443][CORE] Registro de tamaños de archivos descargados en SparkContext y Executor
  • [SPARK-45891] [SC-183439][SQL] Recompilar un binario variante partir de datos fragmentados.
  • [SPARK-49565] [SC-183465][SQL] Agregar sintaxis de canalización SQL para el operador FROM
  • [SPARK-50497] [SC-183338][SQL] Fallar consultas con un mensaje adecuado si MultiAlias contiene una función que no sea un generador
  • [SPARK-50460] [SC-183375][PYTHON][CONNECT] Generalizar y simplificar el control de excepciones de Connect
  • [SPARK-50537] [SC-183452][CONNECT][PYTHON] Corrección de la opción de compresión que se sobrescribía en df.write.parquet
  • [SPARK-50329] [SC-183358][SQL] Corrección de InSet$toString
  • [SPARK-50524] [SC-183364][SQL] Reducción del nivel del mensaje de advertencia RowBasedKeyValueBatch.spill al nivel de depuración
  • [SPARK-50528] [SC-183385][CONNECT] Mover InvalidCommandInput al módulo común
  • [SPARK-50017] [SC-182438][SS] Compatibilidad con la codificación avro para el operador TransformWithState
  • [SPARK-50310] [SC-182660][PYTHON] Agregar spark.python.sql.dataFrameDebugging.enabled a la lista de permitidos
  • [SPARK-50463] [SC-182833][SQL] Corregir ConstantColumnVector con la conversión de columnas a filas
  • [SPARK-50235] [SC-180786][SQL] Limpiar el recurso ColumnVector después de procesar todas las filas de ColumnarToRowExec
  • [SPARK-50310] [SC-182660][PYTHON] Agregar una marca para deshabilitar DataFrameQueryContext para PySpark
  • [SPARK-50516] [SC-183279][SS][MINOR] Corregir la prueba relacionada con el estado de inicialización para usar StreamManualClock
  • [SPARK-50478] [SC-183188][SQL] Corrección de la coincidencia de StringType
  • [SPARK-50492] [SC-183177][SS] Corrección de java.util.NoSuchElementException cuando se elimina la columna de marca temporal del evento después de usar dropDuplicatesWithinWatermark
  • [SPARK-49566] [SC-182589][SQL] Agregar sintaxis de canalización SQL para el operador SET
  • [SPARK-50449] [SC-183178][SQL] Corrección de la gramática de scripting de SQL para permitir cuerpos vacíos en bucles, IF y CASE.
  • [SPARK-50251] [SC-180970][PYTHON] Agregar getSystemProperty a PySpark SparkContext
  • [SPARK-50421] [SC-183091][CORE] Corregir la configuración de memoria relacionada con el ejecutor incorrecta cuando funcionaban varios perfiles de recursos
  • [SPARK-49461] [SC-179572][SS] Identificador de punto de control persistente para confirmar registros y leerlos de nuevo
  • [SPARK-50343] [SC-183119][SPARK-50344][SQL] Agregar sintaxis de canalización SQL para los operadores DROP y AS
  • [SPARK-50481] [SC-182880][CORE] Mejora de SortShuffleManager.unregisterShuffle para omitir la lógica del archivo de suma de comprobación si la suma de comprobación está desactivada
  • [SPARK-50498] [SC-183090][PYTHON] Evitar llamadas py4j innecesarias en listFunctions
  • [SPARK-50489] [SC-183053][SQL][PYTHON] Se ha corregido la autocombinación después de applyInArrow
  • [SPARK-49695] [SC-182967][SC-176968][BEHAVE-198][SQL] Corrección de delegación xor de Postgres

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargar ODBC, descargar JDBC).

Entorno del sistema

  • sistema operativo: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.3.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
tipos anotados 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocomando 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
criptografía 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 En desuso 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.1.1 bloqueo de archivos 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
empaquetado 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 Python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Solicitudes 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 seis 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 tipos-de-solicitudes 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del administrador de paquetes de Posit el 2024-08-04.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 Mancha 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
reloj 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
configuración 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 Conjuntos de datos 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 methods 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.52 tools 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 identificador único universal (UUID) 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket cliente de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 4.0.7
org.json4s json4s-core_2.12 4.0.7
org.json4s json4s-jackson-core_2.12 4.0.7
org.json4s json4s-jackson_2.12 4.0.7
org.json4s json4s-scalap_2.12 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1