Compartir vía

Databricks Runtime 16.0

  • Artículo

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 16.0, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en noviembre de 2024.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Cambios en el comportamiento

Cambio importante: JDK 17 es ahora el valor predeterminado

En Databricks Runtime 16.0 y versiones posteriores, la versión predeterminada de JDK se cambia de JDK 8 a JDK 17. Este cambio se realiza debido al desuso planeado y al final de la compatibilidad con JDK 8. Esto afecta a lo siguiente:

  • El código Java que se ejecuta en el proceso de Azure Databricks debe ser compatible con Java 17.
  • El código Scala que se ejecuta en cuadernos o proceso de Azure Databricks debe ser compatible con Java 17.
  • Las bibliotecas de Java y Scala instaladas en el proceso deben ser compatibles con Java 17.
  • Versiones del cliente de metastore de Apache Hive por debajo de la versión 2.x. Establecer la configuración spark.sql.hive.metastore.version de Spark en una versión inferior a la 2.x provocará problemas de compatibilidad con Java 17 y errores de conexión en el metastore de Hive. Databricks recomienda actualizar Hive a una versión anterior a la 2.0.0.

Si necesita revertir a Java 8, agregue lo siguiente a las variables de entorno de Spark al configurar el proceso de Azure Databricks:

JNAME=zulu8-ca-amd64

Si usa instancias de ARM, use lo siguiente:

JNAME=zulu8-ca-arm64

Para más información sobre cómo especificar versiones de JDK con el proceso de Azure Databricks, consulte Creación de un clúster que use JDK 17.

Para obtener ayuda para migrar el código de Java 8, consulte las siguientes guías:

Cambio importante: El RStudio hospedado está al final del ciclo de vida

Con esta versión, RStudio Server hospedado en Databricks es un fin de ciclo de vida y no está disponible en cualquier área de trabajo de Azure Databricks que ejecute Databricks Runtime 16.0 y versiones posteriores. Para obtener más información y ver una lista de alternativas a RStudio, consulte El desuso de Hosted RStudio Server.

Cambio importante: eliminación de la compatibilidad con el cambiobyte de tipos , shortint y long a tipos más amplios

En Databricks Runtime 15.4.3 y versiones posteriores, los siguientes cambios de tipo de datos ya no se pueden aplicar a las tablas con la característica de ampliación de tipos habilitada:

  • byteshort, inty long a decimal.
  • byte, shorty int a double.

Este cambio se realiza para garantizar un comportamiento coherente en las tablas Delta y Incremental. Para obtener más información sobre la ampliación de tipos, consulte Ampliación de tipos.

Corrección del análisis de patrones regex con negación en la agrupación de caracteres anidados

Esta versión incluye un cambio para admitir el análisis correcto de patrones regex con negación en la agrupación de caracteres anidados. Por ejemplo, [^[abc]] se analizará como "cualquier carácter que no sea de tipo 'abc'".

Además, el comportamiento de Photon era incoherente con Spark para las clases de caracteres anidadas. Los patrones regex que contienen clases de caracteres anidados ya no usarán Photon y, en su lugar, usarán Spark. Una clase de caracteres anidada es cualquier patrón que contenga corchetes entre corchetes, como [[a-c][1-3]].

Mejora de la detección de coincidencias duplicadas en Delta Lake MERGE

En Databricks Runtime 15.4 LTS y versiones posteriores, MERGE las operaciones producen un error si más de una fila de la tabla de origen coincide con la misma fila de la tabla de destino en función de la MERGE condición especificada en la ON cláusula . En Databricks Runtime 16.0 y versiones posteriores, MERGE también tiene en cuenta las condiciones especificadas en la WHEN MATCHED cláusula . Consulte Upsert en una tabla de Delta Lake mediante combinación.

El método de instalación de la biblioteca de clústeres ya no se puede invalidar

Las configuraciones de Spark , spark.databricks.libraries.enableSparkPyPIy spark.databricks.libraries.enableMavenResolution ahora están predeterminadas spark.databricks.libraries.enableCRANResolutionnowen true y no se pueden invalidar.

Tiempo de espera predeterminado de dos horas para las instalaciones de la biblioteca con ámbito de clúster

En Databricks Runtime 16.0 y versiones posteriores, la instalación de la biblioteca con ámbito de clúster tiene un tiempo de espera predeterminado de dos horas. Se producirá un error en las instalaciones de biblioteca que tardan más de este tiempo de espera y se finalizará la instalación. Al configurar un clúster, puede cambiar el período de tiempo de espera mediante la configuración spark.databricks.driver.clusterLibraryInstallationTimeoutSecde Spark.

La instalación de bibliotecas desde DBFS y la configuración del conf spark.databricks.driver.dbfsLibraryInstallationAllowed de Spark están deshabilitadas

En Databricks Runtime 16.0 y versiones posteriores, la instalación de bibliotecas desde DBFS está totalmente deshabilitada. Este cambio se realiza para mejorar la seguridad de las bibliotecas en un área de trabajo de Databricks. Además, en Databricks Runtime 16.0 y versiones posteriores, ya no puede usar la configuración spark.databricks.driver.dbfsLibraryInstallationAllowedde Spark.

La addArtifact() funcionalidad ahora es coherente en todos los tipos de proceso.

Con esta versión, el archivo se desempaqueta automáticamente cuando se usa addArtifact(archive = True) para agregar una dependencia al proceso compartido o sin servidor de Azure Databricks. Este cambio hace que el comportamiento de addArtifact(archive = True) en estos tipos de proceso sea coherente con el proceso de usuario único, que ya admite el desempaquetado automático de archivos.

Nuevas características y mejoras

Recarga más confiable de los módulos de Python modificados con mejoras en autoreload

En Databricks Runtime 16.0 y versiones posteriores, las actualizaciones de la autoreload extensión mejoran la seguridad y confiabilidad de la recarga de módulos modificados de Python importados desde los archivos del área de trabajo. Con estos cambios, , autoreloadsiempre que sea posible, vuelve a cargar solo la parte de un módulo que ha cambiado en lugar de todo el módulo. Además, Azure Databricks ahora sugiere automáticamente el uso de la autoreload extensión si el módulo ha cambiado desde su última importación. Consulte Carga automática de módulos de Python.

Compatibilidad de Avro con el esquema recursivo

Ahora puede usar la opción con la recursiveFieldMaxDepthfrom_avro función y el origen de avro datos. Esta opción establece la profundidad máxima para la recursividad del esquema en el origen de datos avro. Consulte Lectura y escritura de datos de Avro en streaming.

funciones de to_avro y from_avro

Las funciones to_avro y from_avro permiten la conversión de tipos SQL a datos binarios de Avro y de vuelta.

Compatibilidad ampliada con el Registro de esquemas de Confluent para Avro

Azure Databricks ahora admite la referencia de esquema de Avro con el Registro de esquemas de Confluent. Consulte Autenticación en un registro de esquema de Confluent externo.

Forzar la agrupación en tablas con agrupación en clústeres líquidos

En Databricks Runtime 16.0 y versiones posteriores, puede usar la OPTIMIZE FULL sintaxis para forzar la agrupación en clústeres líquidos de todos los registros de una tabla. Consulte Forzar reclusterización para todos los registros.

Las API delta para Python y Scala ahora admiten columnas de identidad

Ahora puede usar las API delta para Python y Scala para crear tablas con columnas de identidad. Consulte Uso de columnas de identidad en Delta Lake.

El control de acceso específico en el proceso de un solo usuario está disponible con carácter general.

En Databricks Runtime 16.0 y versiones posteriores, el control de acceso específico en el proceso de un solo usuario está disponible con carácter general. En las áreas de trabajo habilitadas para el proceso sin servidor, si se ejecuta una consulta en un proceso compatible, como el proceso de usuario único y la consulta accede a cualquiera de los siguientes objetos, el recurso de proceso pasa la consulta al proceso sin servidor para ejecutar el filtrado de datos:

  • Vistas creadas sobre tablas en las que el usuario no tiene el privilegio SELECT.
  • Vistas dinámicas.
  • Tablas con filtros de fila o máscaras de columna aplicadas.
  • Vistas materializadas y tablas de streaming.

Creación de tablas en clúster líquido durante las escrituras de streaming

Ahora puede usar clusterBy para habilitar la agrupación en clústeres líquidos al crear nuevas tablas con escrituras de Structured Streaming. Consulte Habilitación de clústeres líquidos.

Compatibilidad con la cláusula OPTIMIZE FULL

Databricks Runtime 16.0 admite la cláusula OPTIMIZE FULL. Esta cláusula optimiza todos los registros de una tabla que usa la agrupación en clústeres líquidos, incluidos los datos que podrían haberse agrupado previamente.

Compatibilidad con la especificación de opciones WITH en INSERT y en la referencia de tabla

Databricks Runtime 16.0 admite una especificación de opciones para las referencias de tabla y los nombres de tabla de una INSERT instrucción que se pueden usar para controlar el comportamiento de los orígenes de datos.

Nuevas funciones SQL

Las siguientes funciones SQL se agregan en Databricks Runtime 16.0:

  • try_url_decode

    Esta función es una versión tolerante a errores de url_decode. Esta función devuelve NULL si la entrada no es una cadena codificada con dirección URL válida.

  • zeroifnull

    Si la expresión de entrada de la zeroifnull() función es NULL, la función devuelve 0. De lo contrario, se devuelve el valor de la expresión de entrada.

  • nullifzero

    Devuelve NULL si la entrada es 0 o su entrada si no es 0. Si la expresión de entrada de la nullifzero() función es 0, la función devuelve NULL. Si la expresión de entrada no es 0, se devuelve el valor de la expresión de entrada.

Habilitación de la evolución automática del esquema al combinar datos en una tabla Delta

Esta versión agrega compatibilidad con el withSchemaEvolution() miembro de la DeltaMergeBuilder clase . Use withSchemaEvolution() para habilitar la evolución automática del esquema durante MERGE las operaciones. Por ejemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Otros cambios

SparkR ya está en desuso

En Databricks Runtime 16.0 y versiones posteriores, SparkR en Databricks está en desuso para su desuso en la próxima versión de Spark 4. Consulte el subproceso de Spark En desuso de Apache SparkR.

Databricks recomienda usar sparklyr en su lugar.

Databricks Runtime 16.0 no se admite con PVC

Databricks Runtime 16.0 no es compatible con La nube virtual privada (PVC) de Databricks. Debe usar Databricks Runtime 15.4 o inferior con todas las versiones de PVC.

Corrección de errores

Auto Loader ahora recupera los tipos de registros avro con esquemas vacíos

Al cargar un archivo Avro en una tabla Delta mediante Auto Loader, record los tipos del archivo que tienen un esquema vacío ahora se agregan a la columna de datos rescate. Dado que no puede ingerir tipos de datos complejos vacíos en una tabla Delta, esto resuelve un problema con la carga de algunos archivos avro. Para más información sobre los datos rescates, consulte ¿Qué es la columna de datos rescate?.

Corrección para la escritura de marcas de tiempo de error con zonas horarias que contienen un segundo desplazamiento.

Esta versión corrige un error que afecta a algunas marcas de tiempo con zonas horarias que contienen un segundo desplazamiento. Este error hace que se omitan los segundos al escribir en JSON, XML o CSV, lo que provoca valores de marca de tiempo incorrectos.

Para volver al comportamiento anterior, use la siguiente opción al escribir en uno de los formatos afectados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • azure-core de 1.30.2 a 1.31.0
    • azure-storage-blob de 12.19.1 a 12.23.0
    • azure-storage-file-datalake de 12.14.0 a 12.17.0
    • negro de 23.3.0 a 24.4.2
    • blinker de 1.4 a 1.7.0
    • boto3 de 1.34.39 a 1.34.69
    • botocore de 1.34.39 a 1.34.69
    • certifi de 2023.7.22 a 2024.6.2
    • cffi de 1.15.1 a 1.16.0
    • Haga clic entre 8.0.4 y 8.1.7.
    • comm de 0.1.2 a 0.2.1
    • contourpy de 1.0.5 a 1.2.0
    • criptografía de 41.0.3 a 42.0.5
    • Cython de 0.29.32 a 3.0.11
    • databricks-sdk de 0.20.0 a 0.30.0
    • dbus-python de 1.2.18 a 1.3.2
    • bloqueo de archivos de 3.13.4 a 3.15.4
    • fonttools de 4.25.0 a 4.51.0
    • GitPython de 3.1.43 a 3.1.37
    • google-api-core de 2.18.0 a 2.20.0
    • google-auth de 2.31.0 a 2.35.0
    • google-cloud-storage de 2.17.0 a 2.18.2
    • google-crc32c de 1.5.0 a 1.6.0
    • google-resumable-media de 2.7.1 a 2.7.2
    • googleapis-common-protos de 1.63.2 a 1.65.0
    • httplib2 de 0.20.2 a 0.20.4
    • idna de 3.4 a 3.7
    • ipykernel de 6.25.1 a 6.28.0
    • ipython de 8.15.0 a 8.25.0
    • jedi de 0.18.1 a 0.19.1
    • jmespath de 0.10.0 a 1.0.1
    • joblib de 1.2.0 a 1.4.2
    • jupyter_client de 7.4.9 a 8.6.0
    • jupyter_core de 5.3.0 a 5.7.2
    • launchpadlib de 1.10.16 a 1.11.0
    • lazr.restfulclient de 0.14.4 a 0.14.6
    • matplotlib de 3.7.2 a 3.8.4
    • mlflow-skinny de 2.11.4 a 2.15.1
    • more-itertools de 8.10.0 a 10.3.0
    • mypy-extensions de 0.4.3 a 1.0.0
    • nest-asyncio de 1.5.6 a 1.6.0
    • numpy de 1.23.5 a 1.26.4
    • oauthlib de 3.2.0 a 3.2.2
    • empaquetado de 23.2 a 24.1
    • patsy de 0.5.3 a 0.5.6
    • pip de 23.2.1 a 24.2
    • trazado de 5.9.0 a 5.22.0
    • prompt-toolkit de 3.0.36 a 3.0.43
    • pyarrow de 14.0.1 a 15.0.2
    • pydantic de 1.10.6 a 2.8.2
    • PyGObject de 3.42.1 a 3.48.2
    • PyJWT de 2.3.0 a 2.7.0
    • pyodbc de 4.0.38 a 5.0.1
    • python-dateutil de 2.8.2 a 2.9.0.post0
    • python-lsp-jsonrpc de 1.1.1 a 1.1.2
    • pytz de 2022.7 a 2024.1
    • PyYAML de 6.0 a 6.0.1
    • pyzmq de 23.2.0 a 25.1.2
    • solicitudes de 2.31.0 a 2.32.2
    • scikit-learn de 1.3.0 a 1.4.2
    • scipy de 1.11.1 a 1.13.1
    • seaborn de 0.12.2 a 0.13.2
    • setuptools de 68.0.0 a 74.0.0
    • smmap de 5.0.1 a 5.0.0
    • sqlparse de 0.5.0 a 0.5.1
    • statsmodels de 0.14.0 a 0.14.2
    • tornado de 6.3.2 a 6.4.1
    • traitlets de 5.7.1 a 5.14.3
    • typing_extensions de 4.10.0 a 4.11.0
    • ujson de 5.4.0 a 5.10.0
    • virtualenv de 20.24.2 a 20.26.2
    • rueda de 0.38.4 a 0.43.0
    • zipp de 3.11.0 a 3.17.0
  • Bibliotecas de R actualizadas:
    • flecha de 14.0.0.2 a 16.1.0
    • backports de 1.4.1 a 1.5.0
    • base de 4.3.2 a 4.4.0
    • bitops de 1.0-7 a 1.0-8
    • arranque de 1.3-28 a 1.3-30
    • brio de 1.1.4 a 1.1.5
    • escoba de 1.0.5 a 1.0.6
    • bslib de 0.6.1 a 0.8.0
    • cachem de 1.0.8 a 1.1.0
    • llamador de 3.7.3 a 3.7.6
    • cli de 3.6.2 a 3.6.3
    • reloj de 0.7.0 a 0.7.1
    • clúster de 2.1.4 a 2.1.6
    • codetools de 0.2-19 a 0.2-20
    • espacio de colores de 2.1-0 a 2.1-1
    • compilador de 4.3.2 a 4.4.0
    • crayon de 1.5.2 a 1.5.3
    • curl de 5.2.0 a 5.2.1
    • data.table de 1.15.0 a 1.15.4
    • conjuntos de datos de 4.3.2 a 4.4.0
    • DBI de 1.2.1 a 1.2.3
    • dbplyr de 2.4.0 a 2.5.0
    • digest de 0.6.34 a 0.6.36
    • downlit de 0.4.3 a 0.4.4
    • evaluar de 0.23 a 0.24.0
    • farver de 2.1.1 a 2.1.2
    • fastmap de 1.1.1 a 1.2.0
    • extranjero de 0,8-85 a 0,8-86
    • fs de 1.6.3 a 1.6.4
    • future de 1.33.1 a 1.34.0
    • future.apply de 1.11.1 a 1.11.2
    • gert de 2.0.1 a 2.1.0
    • ggplot2 de 3.4.4 a 3.5.1
    • gh de 1.4.0 a 1.4.1
    • globales de 0.16.2 a 0.16.3
    • gráficos de 4.3.2 a 4.4.0
    • grDevices de 4.3.2 a 4.4.0
    • cuadrícula de 4.3.2 a 4.4.0
    • gt de 0.10.1 a 0.11.0
    • gtable de 0.3.4 a 0.3.5
    • hardhat de 1.3.1 a 1.4.0
    • highr de 0,10 a 0,11
    • htmltools de 0.5.7 a 0.5.8.1
    • httpuv de 1.6.14 a 1.6.15
    • httr2 de 1.0.0 a 1.0.2
    • ipred de 0.9-14 a 0.9-15
    • KernSmooth de 2.23-21 a 2.23-22
    • punto de 1,45 a 1,48
    • lattice de 0,21 a 8 a 0,22-5
    • lava de 1.7.3 a 1.8.0
    • Markdown de 1.12 a 1.13
    • MASS de 7.3-60 a 7.3-60.0.1
    • Matriz de 1.5-4.1 a 1.6-5
    • métodos de 4.3.2 a 4.4.0
    • mgcv de 1,8-42 a 1,9-1
    • mlflow de 2.10.0 a 2.14.1
    • munsell de 0.5.0 a 0.5.1
    • nlme de 3.1-163 a 3.1-165
    • openssl de 2.1.1 a 2.2.0
    • paralelo de 4.3.2 a 4.4.0
    • en paralelo de 1.36.0 a 1.38.0
    • pkgbuild de 1.4.3 a 1.4.4
    • pkgdown de 2.0.7 a 2.1.0
    • pkgload de 1.3.4 a 1.4.0
    • processx de 3.8.3 a 3.8.4
    • prodlim de 2023.08.28 a 2024.06.25
    • promesas de 1.2.1 a 1.3.0
    • ps de 1.7.6 a 1.7.7
    • ragg de 1.2.7 a 1.3.2
    • Rcpp de 1.0.12 a 1.0.13
    • RcppEigen de 0.3.3.9.4 a 0.3.4.0.0
    • reactR de 0.5.0 a 0.6.0
    • recetas de 1.0.9 a 1.1.0
    • remotos de 2.4.2.1 a 2.5.0
    • reprex de 2.1.0 a 2.1.1
    • rlang de 1.1.3 a 1.1.4
    • rmarkdown de 2.25 a 2.27
    • roxygen2 de 7.3.1 a 7.3.2
    • rpart de 4.1.21 a 4.1.23
    • RSQLite de 2.3.5 a 2.3.7
    • rstudioapi de 0.15.0 a 0.16.0
    • rvest de 1.0.3 a 1.0.4
    • sass de 0.4.8 a 0.4.9
    • forma de 1.4.6 a 1.4.6.1
    • brillante de 1.8.0 a 1.9.1
    • sparklyr de 1.8.4 a 1.8.6
    • espacial de 7.3-15 a 7.3-17
    • splines de 4.3.2 a 4.4.0
    • estadísticas de 4.3.2 a 4.4.0
    • estadísticas4 de 4.3.2 a 4.4.0
    • stringi de 1.8.3 a 1.8.4
    • supervivencia de 3,5-5 a 3,6-4
    • swagger de 3.33.1 a 5.17.14.1
    • systemfonts de 1.0.5 a 1.1.0
    • tcltk de 4.3.2 a 4.4.0
    • testthat from 3.2.1 to 3.2.1.1
    • textshaping de 0.3.7 a 0.4.0
    • tidyselect de 1.2.0 a 1.2.1
    • tinytex de 0,49 a 0,52
    • herramientas de 4.3.2 a 4.4.0
    • usethis de 2.2.2 a 3.0.0
    • utils de 4.3.2 a 4.4.0
    • uuid de 1.2-0 a 1.2-1
    • V8 de 4.4.1 a 4.4.2
    • withr de 3.0.0 a 3.0.1
    • xfun de 0,41 a 0,46
    • xopen de 1.0.0 a 1.0.1
    • yaml de 2.3.8 a 2.3.10
  • Bibliotecas de Java actualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-config de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-core de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-directory de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-ecs de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-efs de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-emr de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-glacier de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-glue de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-iam de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-importexport de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-kms de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-lambda de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-logs de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-rds de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-redshift de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-route53 de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-s3 de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-ses de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-sns de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-sqs de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-ssm de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-sts de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-support de 1.12.610 a 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 a 1.12.638
    • com.amazonaws.jmespath-java de 1.12.610 a 1.12.638
    • com.google.protobuf.protobuf-java de 2.6.1 a 3.25.1
    • io.airlift.aircompressor de 0.25 a 0.27
    • io.delta.delta-sharing-client_2.12 de 1.1.3 a 1.2.0
    • io.netty.netty-all de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-buffer de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-codec de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-codec-http de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-codec-http2 de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-codec-socks de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-handler de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-handler-proxy de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-resolver de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-transport de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-transport-classes-epoll de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.96.Final a 4.1.108.Final
    • org.apache.ivy.ivy de 2.5.1 a 2.5.2
    • org.apache.zookeeper.zookeeper de 3.6.3 a 3.9.2
    • org.apache.zookeeper.zookeeper-jute de 3.6.3 a 3.9.2
    • org.rocksdb.rocksdbjni de 8.11.4 a 9.2.1
    • org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-compatible de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-core_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-freespec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-funspec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-propspec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-refspec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16

Apache Spark

Databricks Runtime 16.0 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 15.4 LTS, así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:

  • [SPARK-49093] [DBRRM-1371] Reversión de "[SC-172958][SQL] GROUP BY con MapType nes...
  • [SPARK-49898] [DBRRM-1282][SC-178410] Se ha corregido la documentación y el valor predeterminado de la marca de registro de métricas del acumulador de métricas del registro de eventos de SPARK-42204.
  • [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
  • [SPARK-49816] [SC-177896][SQL] Solo se debe actualizar out-out-ref-count para la relación CTE externa a la que se hace referencia.
  • [SPARK-48939] [SC-177022][SC-172766][AVRO] Compatibilidad con la lectura de Avro con referencia de esquema recursivo
  • [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
  • [SPARK-49771] [SC-177466][PYTHON] Mejora del error de UDF escalar de Pandas cuando las filas de salida superan las filas de entrada
  • [SPARK-48866] [SC-170772][SQL] Corrección de sugerencias de un conjunto de caracteres válido en el mensaje de error de INVALID_PARAMETER_VALUE. CHARSET
  • [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Guardar y reutilizar RDD/Broadcast creado por SparkPlan
  • [SPARK-49585] [CONNECT] Reemplazar la asignación de ejecuciones en SessionHolder por operationID set
  • [SPARK-49211] [SC-174257][SQL] El catálogo V2 también puede admitir orígenes de datos integrados
  • [SPARK-49684] Minimizar la duración del bloqueo de restauración de sesión
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Marco de registro estructurado en el lado java
  • [SPARK-48857] [SC-170661][SQL] Restricción de conjuntos de caracteres en CSVOptions
  • [SPARK-49152] [SC-173690][SQL] V2SessionCatalog debe usar V2Command
  • [SPARK-42846] [SC-176588][SQL] Quitar _LEGACY_ERROR_TEMP_2011 de condición de error
  • [SPARK-48195] [SC-177267][CORE] Guardar y reutilizar RDD/Broadcast creado por SparkPlan
  • [SPARK-49630] [SC-177379][SS] Adición de la opción de aplanar para procesar tipos de recopilación con lector de origen de datos de estado
  • [SPARK-49699] [SC-177154][SS] Deshabilitación de PruneFilters para cargas de trabajo de streaming
  • [SPARK-48781] [SC-175282][SQL] Adición de API de catálogo para cargar procedimientos almacenados
  • [SPARK-49667] [SC-177068][SQL] No permitir CS_AI intercaladores con expresiones que usan StringSearch
  • [SPARK-49737] [SC-177207][SQL] Deshabilitar la creación de cubos en columnas intercaladas en tipos complejos
  • [SPARK-48712] [SC-169794][SQL] Mejora de rendimiento para codificar con valores vacíos o conjunto de caracteres UTF-8
  • [SPARK-49038] [SC-173933][SQL] SQLMetric debe notificar el valor sin procesar en el evento de actualización del acumulador
  • [SPARK-48541] [SC-169066][CORE] Agregar un nuevo código de salida para ejecutores eliminados por TaskReaper
  • [SPARK-48774] [SC-170138][SQL] Uso de SparkSession en SQLImplicits
  • [SPARK-49719] [SC-177139][SQL] Make UUID and SHUFFLE accept integer seed
  • [SPARK-49713] [SC-177135][PYTHON][CONNECT] Hacer que la función count_min_sketch acepte argumentos numéricos
  • [SPARK-47601] [SC-162499][GRAPHX] Graphx: Migración de registros con variables al marco de registro estructurado
  • [SPARK-49738] [SC-177219][SQL] Corrección de errores endswith
  • [SPARK-48623] [SC-170822][CORE] Migraciones de registro estructurado [parte 3]
  • [SPARK-49677] [SC-177148][SS] Asegúrese de que los archivos de registro de cambios se escriben en la confirmación y la marca forceSnapshot también se restablece.
  • [SPARK-49684] [SC-177040][CONNECT] Eliminación de bloqueos globales de administradores de sesión y ejecución
  • [SPARK-48302] [SC-168814][PYTHON] Conservar valores NULL en columnas de asignación en tablas de PyArrow
  • [SPARK-48601] [SC-169025][SQL] Proporcione un mensaje de error más descriptivo al establecer un valor NULL para la opción JDBC.
  • [SPARK-48635] [SC-169263][SQL] Asignación de clases a errores de tipo de combinación y error de combinación
  • [SPARK-49673] [SC-177032][CONNECT] Aumente CONNECT_GRPC_ARROW_MAX_BATCH_SIZE a 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][PYTHON][CONNECT] Refinar la representación de cadena de timedelta
  • [SPARK-49687] [SC-176901][SQL] Retrasar la ordenación en validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][PS] Cambio de Scatter trazado a datos muestreados
  • [SPARK-48472] [SC-169044][SQL] Habilitar expresiones reflect con cadenas intercaladas
  • [SPARK-48484] [SC-167484][SQL] Corrección: V2Write usa el mismo TaskAttemptId para diferentes intentos de tarea
  • [SPARK-48341] [SC-166560][CONNECT] Permitir que los complementos usen QueryTest en sus pruebas
  • [SPARK-42252] [SC-168723][CORE] Agregar spark.shuffle.localDisk.file.output.buffer y dejar de usar spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][SS] No haga doble caché de archivos para FileStreamSource mediante Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][PYTHON] Uso classic en lugar de desde la base de vanilla código pySpark
  • [SPARK-48374] [SC-167596][PYTHON] Compatibilidad con tipos de columnas de tabla pyArrow adicionales
  • [SPARK-48300] [SC-166481][SQL] Compatibilidad con Codegen para from_xml
  • [SPARK-49412] [SC-177059][PS] Calcular todas las métricas de trazado de cuadros en un solo trabajo
  • [SPARK-49692] [SC-177031][PYTHON][CONNECT] Refinar la representación de cadena de la fecha literal y datetime
  • [SPARK-49392] [ES-1130351][SC-176705][SQL] Detectar errores al no escribir en el origen de datos externo
  • [SPARK-48306] [SC-166241][SQL] Mejora del UDT en el mensaje de error
  • [SPARK-44924] [SC-166379][SS] Adición de la configuración para archivos almacenados en caché de FileStreamSource
  • [SPARK-48176] [SC-165644][SQL] Ajustar el nombre de FIELD_ALREADY_EXISTS condición de error
  • [SPARK-49691] [SC-176988][PYTHON][CONNECT] La función substring debe aceptar nombres de columna
  • [SPARK-49502] [SC-176077][CORE] Evitar NPE en SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][SQL] Mejoras adicionales de excepciones para el analizador o el intérprete
  • [SPARK-48355] [SC-176684][SQL] Compatibilidad con la instrucción CASE
  • [SPARK-49355] [SC-175121][SQL] levenshtein debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
  • [SPARK-49640] [SC-176953][PS] Aplicar muestreo de depósitos en SampledPlotBase
  • [SPARK-49678] [SC-176857][CORE] Soporte técnico spark.test.master en SparkSubmitArguments
  • [SPARK-49680] [SC-176856][PYTHON] Limitar el Sphinx paralelismo de compilación a 4 de forma predeterminada
  • [SPARK-49396] Revertir "[SC-176030][SQL] Modificar comprobación de nulabilidad para la expresión CaseWhen"
  • [SPARK-48419] [SC-167443][SQL] Propagación plegable reemplaza la pala de columna plegable...
  • [SPARK-49556] [SC-176757][SQL] Agregar sintaxis de canalización SQL para el operador SELECT
  • [SPARK-49438] [SC-175237][SQL] Corregir el nombre bonito de la FromAvro & ToAvro expresión
  • [SPARK-49659] [SC-1229924][SQL] Incorporación de un mensaje de error claro para el usuario para subconsultas escalares dentro de la cláusula VALUES
  • [SPARK-49646] [SC-176778][SQL] corregir la descorrelación de subconsulta para las operaciones union/set cuando parentOuterReferences tiene referencias no cubiertas en collectedChildOuterReferences
  • [SPARK-49354] [SC-175034][SQL] split_part debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
  • [SPARK-49478] [SC-175914][CONNECT] Control de métricas nulas en ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][SQL] Compatibilidad con la instrucción REPEAT
  • [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable debe respetar PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][SQL] Introducir TVF collations() y quitar el SHOW COLLATIONS comando
  • [SPARK-49261] [SC-176589][SQL] No reemplace literales en expresiones de agregado por expresiones group-by
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace debe respetar el catálogo de sesiones personalizado
  • [SPARK-49594] [SC-176569][SS] Agregar comprobación sobre si columnFamilies se agregaron o quitaron para escribir el archivo StateSchemaV3
  • [SPARK-49578] [SC-176385][SQL] Quitar la sugerencia de configuración ANSI en CAST_INVALID_INPUT y CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][SS] Asignar nombres a clases de error relacionadas con el modo de salida de streaming
  • [SPARK-49155] [SC-176506][SQL][SS] Uso del tipo de parámetro más adecuado para construir GenericArrayData
  • [SPARK-49519] [SC-176388][SQL] Combinar opciones de tabla y relación al construir FileScanBuilder
  • [SPARK-49591] [SC-176587][SQL] Agregar columna de tipo lógico al archivo Léame variant
  • [SPARK-49596] [SC-176423][SQL] Mejora del rendimiento de FormatString
  • [SPARK-49525] [SC-176044][SS][CONNECT] Mejora de registros menores en el agente de escucha de consultas de streaming del lado servidorBus
  • [SPARK-49583] [SC-176272][SQL] Definición del patrón de fracción de subconsulta SECONDS_FRACTION de error para segundos no válidos
  • [SPARK-49536] [SC-176242] Control del error en la captura previa del registro del origen de datos de streaming de Python
  • [SPARK-49443] [SC-176273][SQL][PYTHON] Implementar to_variant_object expresión y hacer que las expresiones de schema_of_variant impriman OBJECT para objetos Variant
  • [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Reemplazar el bloqueo general en SparkConnectExecutionManager por ConcurrentMap
  • [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Reemplazar el bloqueo general en SparkConnectSessionManager por ConcurrentMap
  • [SPARK-49551] [SC-176218][SS] Mejora del registro de RocksDB para replayChangelog
  • [SPARK-49595] [SC-176396][CONNECT][SQL] Corrección DataFrame.unpivot/melt en el cliente Scala de Spark Connect
  • [SPARK-49006] [SC-176162] Implementación de purga para archivos OperatorStateMetadataV2 y StateSchemaV3
  • [SPARK-49600] [SC-176426][PYTHON] Eliminación Python 3.6 and olderde la lógica relacionada con try_simplify_traceback
  • [SPARK-49303] [SC-176013][SS] Implementación de TTL para ValueState en transformWithStateInPandas API
  • [SPARK-49191] [SC-176243][SS] Adición de compatibilidad con la lectura de variables de estado de mapa transformWithState con lector de origen de datos de estado
  • [SPARK-49593] [SC-176371][SS] Se produce una excepción de RocksDB al autor de la llamada al cerrar la base de datos si se ve un error.
  • [SPARK-49334] [SC-174803][SQL] str_to_map debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
  • [SPARK-42204] [SC-176126][CORE] Agregar opción para deshabilitar el registro redundante de acumuladores internos de TaskMetrics en los registros de eventos
  • [SPARK-49575] [SC-176256][SS] Agregar registro para la versión de bloqueo solo si acquiredThreadInfo no es null
  • [SPARK-49539] [SC-176250][SS] Actualizar el identificador de inicio de las familias de col internos a otro diferente
  • [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning debe heredar HashPartitioningLike
  • [SPARK-49396] [SC-176030][SQL] Modificación de la comprobación de nulabilidad para la expresión CaseWhen
  • [SPARK-49476] [SC-175700][SQL] Corrección de la nulabilidad de la función base64
  • [SPARK-47262] [SC-174829][SQL] Asignación de nombres a condiciones de error para conversiones de parquet
  • [SPARK-47247] [SC-158349][SQL] Usar un tamaño de destino menor al combinar particiones con combinaciones de explosión
  • [SPARK-49501] [SC-176166][SQL] Corrección del escape doble de la ubicación de la tabla
  • [SPARK-49083] [SC-173214][CONNECT] Permitir que from_xml y from_json funcionen de forma nativa con esquemas json
  • [SPARK-49043] [SC-174673][SQL] Corrección del grupo de rutas de código interpretados por en el mapa que contiene cadenas intercaladas
  • [SPARK-48986] [SC-172265][CONNECT][SQL] Agregar representación intermedia de ColumnNode
  • [SPARK-49326] [SC-176016][SS] Clasificación de la clase error para el error de función de usuario receptor foreach
  • [SPARK-48348] [SC-175950][SPARK-48376][SQL] Introducción e LEAVE instrucciones ITERATE
  • [SPARK-49523] [SC-175949][CONNECT] Aumento del tiempo máximo de espera para que el servidor de conexión aparezca para realizar pruebas
  • [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] Corrección de "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates - DBR versión 16.x
  • [SPARK-49311] [SC-175038][SQL] Permitir que los valores grandes de "intervalo segundo" se conviertan en decimales
  • [SPARK-49200] [SC-173699][SQL] Corrección de la excepción de ordenación de tipos null que no es codegen
  • [SPARK-49467] [SC-176051][SS] Adición de compatibilidad con el lector de orígenes de datos de estado y el estado de lista
  • [SPARK-47307] [SC-170891][SQL] Adición de una configuración a cadenas base64 de fragmentos opcionales
  • [SPARK-49391] [SC-176032][PS] Trazado de cuadros selecciona valores atípicos por distancia de las vallas
  • [SPARK-49445] [SC-175845][UI] Mostrar información sobre herramientas en la barra de progreso de la interfaz de usuario
  • [SPARK-49451] [SC-175702] Permitir claves duplicadas en parse_json.
  • [SPARK-49275] [SC-175701][SQL] Corrección del valor null de tipo devuelto de la expresión xpath
  • [SPARK-49021] [SC-175578][SS] Adición de compatibilidad para leer variables de estado de valor transformWithState con lector de origen de datos de estado
  • [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] Clasificación de la clase error de la función de usuario FlatMapGroupsWithState
  • [SPARK-49408] [SC-175932][SQL] Uso de IndexedSeq en ProjectingInternalRow
  • [SPARK-49509] [SC-175853][CORE] Usar Platform.allocateDirectBuffer en lugar de ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][PS] Hacer que el trazado de cuadros de marco represente correctamente los valores atípicos o valores atípicos
  • [SPARK-49002] [SC-172846][SQL] Controlar constantemente ubicaciones no válidas en WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49480] [SC-175699][CORE] Corrección de NullPointerException desde SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][PYTHON] Mejora del mensaje de error de tipo de valor devuelto udf de pandas udf no válido
  • [SPARK-48693] [SC-169492][SQL] Simplificación y unificación de toString of Invoke y StaticInvoke
  • [SPARK-49441] [SC-175716][ML] StringIndexer ordenar matrices en ejecutores
  • [SPARK-49347] [SC-175004][R] Desuso de Sparkr
  • [SPARK-49357] [SC-175227][CONNECT][PYTHON] Trunca verticalmente el mensaje protobuf profundamente anidado
  • [SPARK-41982] [SC-120604][SQL] Las particiones de tipo cadena no deben tratarse como tipos numéricos
  • [SPARK-48776] [SC-170452][BEHAVE-72] Corrección del formato de marca de tiempo para json, xml y csv
  • [SPARK-49223] [SC-174800][ML] Simplificación de StringIndexer.countByValue con funciones integradas
  • [SPARK-49016] Revertir "[SC-174663][SQL] Restaurar el comportamiento que las consultas de los archivos CSV sin procesar no se permiten cuando solo se incluyen columnas de registro dañadas y asignan el nombre a _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][PYTHON][CONNECT] Generar un error adecuado para dropDuplicates cuando se da un error incorrecto subset
  • [SPARK-49050] [SC-175235] Habilitación del operador deleteIfExists en TWS con familias de columnas virtuales
  • [SPARK-49216] [SC-173919][CORE]Corrección para no registrar el contexto del mensaje con LogEntry construido explícitamente cuando la conf de registro estructurado está desactivada
  • [SPARK-49252] [SC-175596][CORE] CreaciónTaskSetExcludeList e HeathTracker independiente
  • [SPARK-49352] [SC-174971][SQL] Evitar la transformación de matriz redundante para expresiones idénticas
  • [SPARK-42307] [SC-173863][SQL] Asignar nombre para la _LEGACY_ERROR_TEMP_2232 de error
  • [SPARK-49197] [SC-173732][CORE] Censurar Spark Command la salida en el launcher módulo
  • [SPARK-48913] [SC-173934][SQL] Implementación de IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][PYTHON][SQL] Creación de alias de función SQL para "zeroifnull" y "nullifzero"
  • [SPARK-48344] [SQL] Ejecución de scripting de SQL (incluido Spark Connect)
  • [SPARK-49402] [SC-175122][PYTHON] Corrección de la integración de Binder en la documentación de PySpark
  • [SPARK-49017] [SC-174664][SQL] Se produce un error en la instrucción Insert cuando se usan varios parámetros
  • [SPARK-49318] [SC-174733][SQL] Preempt low priority error on LCA until end of check analysis to improve error experience
  • [SPARK-49016] [SC-174663][SQL] No se permite restaurar el comportamiento que las consultas de archivos CSV sin procesar solo incluyen columna de registro dañada y asignan el nombre a _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][PYTHON] Corrección de la sugerencia de tipo para accuracy en percentile_approx y approx_percentile
  • [SPARK-49131] [SC-174666][SS] TransformWithState debe establecer correctamente claves de agrupación implícitas incluso con iteradores diferidos
  • [SPARK-49301] [SC-174795][SS] Datos de flecha de fragmento pasados al trabajo de Python
  • [SPARK-49039] [SC-174651][UI] Casilla Restablecer cuando las métricas del ejecutor se cargan en la pestaña Fases
  • [SPARK-48428] [SC-169806][SQL]: Corrección de IllegalStateException en NestedColumnAliasing
  • [SPARK-49353] [SC-174830][SQL] Actualización de documentos relacionados con UTF-32 la codificación y descodificación
  • [SPARK-48613] [SC-170966][SQL] SPJ: compatibilidad con el orden aleatorio automático de un lado + menos claves de combinación que las claves de partición
  • [SPARK-47473] [SC-160450][BEHAVE-127][SQL] Corrección del problema de corrección de la conversión de marcas de tiempo de postgres INFINITY
  • [SPARK-49142] [SC-173658][CONNECT][PYTHON] Seguimiento para revertir el costo de rendimiento de proto a cadena
  • [SPARK-49300] [SC-175008][CORE] Corrija la pérdida de tokens de delegación de Hadoop cuando no se ha establecido tokenRenewalInterval.
  • [SPARK-49367] [SC-175012][PS] Paralelización del cálculo de KDE para varias columnas (back-end de trazado)
  • [SPARK-49365] [SC-175011][PS] Simplificación de la agregación de cubos en el trazado de hist
  • [SPARK-49372] [SC-175003][SS] Asegúrese de que latestSnapshot esté establecido en ninguno cerca para evitar el uso posterior.
  • [SPARK-49341] [SC-174785] Quitar connector/docker en favor de Apache Spark Operator
  • [SPARK-49344] [SC-174894][PS] Compatibilidad con json_normalize la API de Pandas en Spark
  • [SPARK-49306] [SC-174794][SQL] Crear nuevas funciones SQL 'zeroifnull' y 'nullifzero'
  • [SPARK-48796] [SC-174668][SS] Cargar el identificador de familia de columnas desde RocksDBCheckpointMetadata para VCF al reiniciar
  • [SPARK-49342] [SC-174899][SQL] Haga que TO_AVRO argumento "jsonFormatSchema" de la función SQL opcional
  • [SPARK-48628] [SC-174695][CORE] Adición de métricas de memoria del montón de horas punta de tareas o desactivadas
  • [SPARK-47407] [SC-159379][BEHAVE-126][SQL] Compatibilidad con la asignación de java.sql.Types.NULL a NullType
  • [SPARK-48628] [SC-173407][CORE] Adición de métricas de memoria del montón de horas punta de tareas o desactivadas
  • [SPARK-49166] [SC-173987][SQL] Soporte para OFFSET en subconsulta correlacionada
  • [SPARK-49269] [SC-174676][SQL] Evaluación inmediata de la lista VALUES() en AstBuilder
  • [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes con getBytesUnsafe para evitar el costo de copia
  • [SPARK-49113] [SC-174734] No aserción en errores de traducción: tragar silenciosamente la excepción
  • [SPARK-49098] [SC-173253][SQL] Agregar opciones de escritura para INSERT
  • [SPARK-48638] [SC-174694][SEGUIR][CONNECT] Corrección de la documentación de ExecutionInfo
  • [SPARK-49250] [ES-1222826][SQL] Mejora del mensaje de error para unresolvedWindowExpression anidado en CheckAnalysis
  • [SPARK-48755] [SC-174258][SS][PYTHON] compatibilidad con la implementación base de Pyspark y ValueState
  • [SPARK-48966] [SC-174329][SQL] Mejora del mensaje de error con una referencia de columna no resuelta no válida en la llamada UDTF
  • [SPARK-46590] [SC-154115][SQL] Se ha corregido un error de fusión con indeces de partición inesperados
  • [SPARK-49235] [SC-174159][SQL] Refactorización de la regla ResolveInlineTables para que no recorra todo el árbol
  • [SPARK-49060] [SC-173107][CONNECT] Limpieza de reglas de Mima para comprobaciones de compatibilidad binaria de SQL-Connect
  • [SPARK-48762] [SC-172525][SQL] Introducción a clusterBy DataFrameWriter API para Python
  • [SPARK-49207] [SC-173852][SQL] Corrección de la asignación de mayúsculas y minúsculas de uno a varios en SplitPart y StringSplitSQL
  • [SPARK-49204] [SC-173850][SQL] Corrección del control de pares suplentes en StringInstr y StringLocate
  • [SPARK-36680] [SC-170640][SQL] Admite opciones de tabla dinámica para Spark SQL
  • [SPARK-49204] [SC-173849][SQL] Corrección del control de pares suplentes en SubstringIndex
  • [SPARK-49204] [SC-173848][SQL] Corrección del control de pares suplentes en StringTrim
  • [SPARK-48967] [SC-173993]Corrección de la prueba de SparkConfigOwnershipSuite para OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][SQL] Corrección del control de pares suplentes en StringReplace
  • [SPARK-48967] [SC-173993][SQL][16.x] Mejora del rendimiento y la superficie de memoria de "INSERT INTO... declaraciones VALUES"
  • [SPARK-49099] Revertir "[SC-173229][SQL] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][SQL] Compatibilidad con la instrucción WHILE
  • [SPARK-49128] [SC-173344][CORE] Compatibilidad con el título de la interfaz de usuario del servidor de historial personalizado
  • [SPARK-49146] [SC-173825][SS] Mover errores de aserción relacionados con la marca de agua que falta en las consultas de streaming en modo anexado al marco de errores
  • [SPARK-45787] [SC-172197][SQL] Compatibilidad con Catalog.listColumns para las columnas de agrupación en clústeres
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace debe respetar el catálogo de sesiones personalizado
  • [SPARK-49138] [SC-173483][SQL] Corrección de collationTypeCasts de varias expresiones
  • [SPARK-49163] [SC-173666][SQL] El intento de crear una tabla basada en los resultados de los datos de partición parquet rotos debe devolver un error orientado al usuario.
  • [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Gráfico de reimplementación hist con Spark SQL
  • [SPARK-49188] [SC-173682][SQL] Error interno en concat_ws llamado en la matriz de matrices de cadenas
  • [SPARK-49137] [SC-173677][SQL] Cuando la condición booleana de no if statement es válida, se debe producir una excepción.
  • [SPARK-49193] [SC-173672][SQL] Mejora del rendimiento de RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][SQL] Compatibilidad con la sintaxis de mostrar columnas en la tabla v2
  • [SPARK-49141] [SC-173388][SQL] Marcar variant como tipo de datos incompatible con Hive
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] Mover SessionHolder.forTesting(...) al paquete de prueba
  • [SPARK-49111] [SC-173661][SQL] Mover withProjectAndFilter al objeto complementario de DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Gráfico de reimplementación kde con Spark SQL
  • [SPARK-49178] [SC-173673][SQL] Optimizar el rendimiento de Row#getSeq para que coincida con el rendimiento al usar Spark 3.5 con Scala 2.12
  • [SPARK-49093] [SC-172958][SQL] GROUP BY con MapType anidado dentro de un tipo complejo
  • [SPARK-49142] [SC-173469][CONNECT][PYTHON] Menor nivel de registro de cliente de Spark Connect para depurar
  • [SPARK-48761] [SC-172048][SQL] Introducción a clusterBy DataFrameWriter API para Scala
  • [SPARK-48346] [SC-173083][SQL] Compatibilidad con instrucciones IF ELSE en scripts SQL
  • [SPARK-48338] [SC-173112][SQL] Mejora de las excepciones producidas desde el analizador o el intérprete
  • [SPARK-48658] [SC-169474][SQL] Las funciones de codificación o descodificación notifican errores de codificación en lugar de mojibake para caracteres que no se pueden aplicar
  • [SPARK-49071] [SC-172954][SQL] Quitar el rasgo ArraySortLike
  • [SPARK-49107] Revertir "Revertir "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS admite RoutineType""
  • [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState se vuelve a escribir incorrectamente para generar un plan de consulta no válido
  • [SPARK-49114] [SC-173217] La subconsulta no puede cargar errores de almacén de estado
  • [SPARK-49107] Revertir "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS admite RoutineType"
  • [SPARK-49048] [SC-173223][SS] Adición de compatibilidad para leer metadatos de operador relevantes en un identificador de lote determinado
  • [SPARK-49094] [SC-173049][SQL] Corrección de ignoreCorruptFiles que no funcionan para hive orc impl con mergeSchema off
  • [SPARK-49108] [SC-173102][EJEMPLO] Ejemplo de adición submit_pi.sh de la API REST
  • [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS admite RoutineType
  • [SPARK-48997] [SC-172484][SS] Implementación de descargas individuales para errores de subprocesos de grupo de subprocesos de mantenimiento
  • [SPARK-49063] [SC-173094][SQL] Corrección entre con ScalarSubqueries
  • [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Adición de compatibilidad con los tipos de intervalo en la especificación Variant
  • [SPARK-49074] [BEHAVE-110][SC-172815][SQL] Corrección de variantes con df.cache()
  • [SPARK-49003] [SC-172613][SQL] Corrección del hash de ruta de acceso de código interpretado para que sea compatible con la intercalación
  • [SPARK-48740] [SC-172430][SQL] Captura del error de especificación de ventana que faltan antes
  • [SPARK-48999] [SC-172245][SS] Dividir PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Implementación de la validación para el operador TransformWithStateExec mediante OperatorStateMetadataV2
  • [SPARK-49053] [SC-172494][PYTHON][ML] Hacer que las funciones auxiliares de guardado/carga del modelo acepten la sesión de Spark.
  • [SPARK-49032] [Backport][15.x][SS] Agregar ruta de acceso de esquema en la entrada de la tabla de metadatos, comprobar la versión esperada y agregar la prueba relacionada con los metadatos del operador para el formato de metadatos del operador v2
  • [SPARK-49034] [SC-172306][CORE] Compatibilidad con el reemplazo del lado sparkProperties servidor en la API de envío de REST
  • [SPARK-48931] [SC-171895][SS] Reducción del costo de la API de lista de almacenes en la nube para la tarea de mantenimiento del almacén de estado
  • [SPARK-48849] [SC-172068][SS]Creación de OperatorStateMetadataV2 para el operador TransformWithStateExec
  • [SPARK-49013] [SC-172322] Cambio de clave en intercalacionesMap para tipos de mapa y matriz en scala
  • [SPARK-48414] [SC-171884][PYTHON] Corrección del cambio importante en python fromJson
  • [SPARK-48910] [SC-171001][SQL] Usar HashSet/HashMap para evitar búsquedas lineales en PreprocessTableCreation
  • [SPARK-49007] [SC-172204][CORE] Mejora MasterPage para admitir el título personalizado
  • [SPARK-49009] [SC-172263][SQL][PYTHON] Hacer que las API de columna y las funciones acepten enumeraciones
  • [SPARK-49033] [SC-172303][CORE] Compatibilidad con el reemplazo del lado environmentVariables servidor en la API de envío de REST
  • [SPARK-48363] [SC-166470][SQL] Limpieza de algunos códigos redundantes en from_xml
  • [SPARK-46743] [SC-170867][SQL][BEHAVE-84] Error de recuento después de que ScalarSubqery se dobla si tiene una relación vacía
  • [SPARK-49040] [SC-172351][SQL] Corrección del documento sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ML] Meta algorithms save/load model with SparkSession
  • [SPARK-48959] [SC-171708][SQL] NoSuchNamespaceException Ampliar NoSuchDatabaseException para restaurar el control de excepciones
  • [SPARK-48996] [SC-172130][SQL][PYTHON] Permitir literales sin sistema para y ocolumna
  • [SPARK-48990] [SC-171936] Seguimiento de #101759: corrección de pruebas
  • [SPARK-48338] [SC-171912][SQL] Comprobación de declaraciones de variables
  • [SPARK-48990] [SC-171936][SQL] Palabras clave de sintaxis SQL relacionadas con variables unificadas
  • [SPARK-48988] [SC-171915][ML] Realizar DefaultParamsReader/Writer el control de metadatos con la sesión de Spark
  • [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Usar SparkSession.implicits en lugar de SQLContext.implicits
  • [SPARK-48760] [SC-170870][SQL] Corrección de CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] Advertencia de registro para llamar a .unpersist() en RDD de punto de control local
  • [SPARK-48760] [SC-170139][SQL] Introducción de ALTER TABLE... CLUSTER BY sintaxis SQL para cambiar columnas de agrupamiento
  • [SPARK-48844] Revertir "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION en lugar de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY cuando la ruta de acceso esté vacía"
  • [SPARK-48833] [SC-171914][SQL][VARIANT] Variante de compatibilidad en InMemoryTableScan
  • [SPARK-48975] [SC-171894][PROTOBUF] Quitar la definición innecesaria ScalaReflectionLock de protobuf
  • [SPARK-48970] [SC-171800][PYTHON][ML] Evite el uso de SparkSession.getActiveSession en el lector o escritor de Spark ML.
  • [SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION en lugar de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY cuando la ruta de acceso esté vacía
  • [SPARK-48714] [SC-170136] Corrección de pruebas df.mergeInto con errores en PySpark y UC
  • [SPARK-48957] [SC-171797][SS] Devuelve la clase de error subclasada en la carga del almacén de estado para el proveedor hdfs y rocksdb.
  • [SPARK-48891] [Backport][15x][SC-171677][SS] Refactorizar StateSchemaCompatibilityChecker para unificar todos los formatos de esquema de estado
  • [SPARK-48972] [SC-171795][PYTHON] Unificar el control de cadenas literales en funciones
  • [SPARK-48388] [SC-171337][SQL] Corregir el comportamiento de la instrucción SET para scripts SQL
  • [SPARK-48743] [SC-170552][SQL][SS] CombinarSessionIterator debe controlar mejor cuando getStruct devuelve null
  • [SPARK-48623] [15.x][SC-171322][CORE] Migración de registros de FileAppender al registro estructurado
  • [SPARK-36680] [DBRRM-1123] Revertir "[SC-170640][SQL] admite opciones de tabla dinámica para Spark SQL".
  • [SPARK-48841] [SC-170868][BEHAVE-83][SQL] Incluir collationName en sql()Collate
  • [SPARK-48941] [SC-171703][PYTHON][ML] Reemplace la invocación de LA API de lectura y escritura de RDD por dataframe read/write API
  • [SPARK-48938] [SC-171577][PYTHON] Mejora de los mensajes de error al registrar UDF de Python
  • [SPARK-48350] [SC-171040][SQL] Introducción a excepciones personalizadas para scripting sql
  • [SPARK-48907] [SC-171158][SQL] Corrección del valor explicitTypes en COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][PYTHON] Simplificación de las funciones regex con lit
  • [SPARK-48944] [SC-171576][CONNECT] Unificar el control de esquemas de formato JSON en Connect Server
  • [SPARK-48836] [SC-171569] Integración del esquema SQL con el esquema o metadatos de estado
  • [SPARK-48946] [SC-171504][SQL] NPE en el método de redacción cuando la sesión es null
  • [SPARK-48921] [SC-171412][SQL] Los codificadores ScalaUDF en la subconsulta deben resolverse para MergeInto
  • [SPARK-45155] [SC-171048][CONNECT] Incorporación de documentos de API para el cliente JVM/Scala de Spark Connect
  • [SPARK-48900] [SC-171319] Agregar reason campo para cancelJobGroup y cancelJobsWithTag
  • [SPARK-48865] [SC-171154][SQL] Agregar función try_url_decode
  • [SPARK-48851] [SC-170767][SQL] Cambiar el valor de SCHEMA_NOT_FOUND de a namespacecatalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Compatibilidad con la API de UDAF toColumn en Spark Connect
  • [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Compatibilidad from_xml con el esquema StructType
  • [SPARK-48930] [SC-171304][CORE] Redacte mediante la inclusión awsAccessKeyIdaccesskey del patrón
  • [SPARK-48909] [SC-171080][ML][MLLIB] Usa SparkSession sobre SparkContext al escribir metadatos
  • [SPARK-48883] [SC-171133][ML][R] Reemplace la invocación de LA API de lectura y escritura de RDD por dataframe read/write API
  • [SPARK-48924] [SC-171313][PS] Adición de una función auxiliar similar make_interval a Pandas
  • [SPARK-48884] [SC-171051][PYTHON] Eliminación de la función auxiliar sin usar PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][SQL] Ejecución diligente de comandos múltiples de unión juntos
  • [SPARK-48896] [SC-171079][ML][MLLIB] Evitar la repartición al escribir los metadatos
  • [SPARK-48892] [SC-171127][ML] Evite la lectura de parámetros por fila en Tokenizer
  • [SPARK-48927] [SC-171227][CORE] Mostrar el número de RDD almacenados en caché en StoragePage
  • [SPARK-48886] [15.x][Backport][SC-171039][SS] Agregar información de versión a changelog v2 para permitir una evolución más sencilla
  • [SPARK-48903] [SC-171136][SS] Establecimiento de la última versión de instantánea de RocksDB correctamente en la carga remota
  • [SPARK-48742] [SC-170538][SS] Familia de columnas virtuales para RocksDB
  • [SPARK-48726] [15.x][SC-170753][SS] Cree el formato de archivo StateSchemaV3 y escríbalo para el operador TransformWithStateExec.
  • [SPARK-48794] [SC-170882][CONNECT][15.x] compatibilidad con df.mergeInto para Spark Connect (Scala y Python)
  • [SPARK-48714] [SC-170136][PYTHON] Implementación DataFrame.mergeInto en PySpark
  • [SPARK-48772] [SC-170642][SS][SQL] Modo lector de fuente de cambios del origen de datos de estado
  • [SPARK-48666] [SC-170887][SQL] No inserte el filtro si contiene PythonUDFs
  • [SPARK-48845] [SC-170889][SQL] GenericUDF detecta excepciones de elementos secundarios
  • [SPARK-48880] [SC-170974][CORE] Evite iniciar NullPointerException si el complemento del controlador no se puede inicializar
  • [SPARK-48888] [Backport][15x][SC-170973][SS] Eliminación de la creación de instantáneas en función del tamaño de las operaciones del registro de cambios
  • [SPARK-48871] [SC-170876] Corrección INVALID_NON_DETERMINISTIC_EXPRESSIONS validación en...
  • [SPARK-48883] [SC-170894][ML][R] Reemplace la invocación de LA API de lectura y escritura de RDD por dataframe read/write API
  • [SPARK-36680] [SC-170640][SQL] Admite opciones de tabla dinámica para Spark SQL
  • [SPARK-48804] [SC-170558][SQL] Agregar classIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configrations
  • [SPARK-46738] [SC-170791][PYTHON] Volver a habilitar un grupo de doctests
  • [SPARK-48858] [SC-170756][PYTHON] Quitar la llamada de método en desuso setDaemon de Thread en log_communication.py
  • [SPARK-48639] [SC-169801][CONNECT][PYTHON] Agregar origen a RelationCommon
  • [SPARK-48863] [SC-170770][ES-1133940][SQL] Corrección de ClassCastException al analizar JSON con "spark.sql.json.enablePartialResults" habilitado
  • [SPARK-48343] [SC-170450][SQL] Introducción al intérprete de scripting de SQL
  • [SPARK-48529] [SC-170755][SQL] Introducción a las etiquetas en scripting de SQL
  • [SPARK-45292] Reversión de "[SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader"
  • [SPARK-48037] [SC-165330][CORE][3.5] Corrección de que SortShuffleWriter carece de métricas relacionadas con escritura aleatoria, lo que da lugar a datos potencialmente inexactos
  • [SPARK-48720] [SC-170551][SQL] Alinear el comando ALTER TABLE ... UNSET TBLPROPERTIES ... en v1 y v2
  • [SPARK-48485] [SC-167825][CONNECT][SS] Compatibilidad con interruptTag e interruptAll en consultas de streaming
  • [SPARK-45292] [SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader
  • [SPARK-48668] [SC-169815][SQL] Compatibilidad con ALTER NAMESPACE ... PROPIEDADES UNSET en v2
  • [SPARK-47914] [SC-165313][SQL] No mostrar el parámetro splits en Range
  • [SPARK-48807] [SC-170643][SQL] Compatibilidad binaria con el origen de datos CSV
  • [SPARK-48220] [SC-167592][PYTHON][15.X] Permitir pasar la tabla PyArrow para crearDataFrame()
  • [SPARK-48545] [SC-169543][SQL] Crear to_avro y from_avro funciones SQL para que coincidan con los equivalentes de DataFrame
  • [SPARK-47577] [SC-168875][SPARK-47579] Correcto uso engañoso de la clave de registro TASK_ID

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
tipos anotados 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocomando 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
criptografía 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 En desuso 1.2.14 distlib 0.3.8
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
declinar 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
empaquetado 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 Python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rope 1.12.0 rsa 4,9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six (seis) 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliotecas de R instaladas

Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1,0 - 8 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
clase 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 conjuntos de datos 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0,11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1,48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matriz 1.6-5 memoise 2.0.1 métodos 4.4.0
mgcv 1.9-1 mime 0,12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 r-reactable 0.4.4
r-reactr 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2,27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,52 tools 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0,46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
stax stax-api 1.0.1