Partager via

Databricks Runtime 14.0 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.0 optimisé par Apache Spark 3.5.0.

Databricks a publié cette version en septembre 2023.

Améliorations et nouvelles fonctionnalités

Le suivi des lignes est en GA

Le suivi des lignes pour Delta Lake est désormais en disponibilité générale. Consultez Utiliser le suivi des lignes pour les tables Delta.

Les E/S prédictives pour les mises à jour sont en disponibilité générale

Les E/S prédictives pour les mises à jour sont désormais en disponibilité générale. Consultez Qu’est-ce que les E/S prédictives ?.

Les vecteurs de suppression sont en disponibilité générale

Les vecteurs de suppression sont désormais en disponibilité générale. Consultez Que sont les vecteurs de suppression ?.

Spark 3.5.0 est en disponibilité générale

Apache Spark 3.5.0 est désormais en disponibilité générale. Consultez Spark Release 3.5.0.

Préversion publique pour les fonctions table définies par l’utilisateur pour Python

Les fonctions table définies par l’utilisateur (UDTF) vous permettent d’inscrire des fonctions qui retournent des tables plutôt que des valeurs scalaires. Consultez Fonctions de table définies par l’utilisateur (UDTF) Python.

Préversion publique pour l’accès concurrentiel au niveau des lignes

L’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes et en résolvant automatiquement les modifications concurrentes dans les écritures simultanées qui mettent à jour ou suppriment des lignes différentes dans le même fichier de données. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Le répertoire de travail courant par défaut a changé

Le répertoire de travail courant (CWD) par défaut pour le code exécuté localement est désormais le répertoire contenant le notebook ou le script en cours d’exécution. Cela inclut le code tel que %sh et le code Python ou R n’utilisant pas Spark. Consultez Quel est le répertoire de travail actuel par défaut ?.

Problème connu avec sparklyr

La version installée du package sparklyr (version 1.8.1) n’est pas compatible avec Databricks Runtime 14.0. Pour utiliser sparklyr, installer la version 1.8.3 ou ultérieure.

Présentation de Spark Connect dans l’architecture de cluster partagé

Avec Databricks Runtime 14.0 et versions ultérieures, les clusters partagés utilisent désormais Spark Connect avec le pilote Spark du REPL Python par défaut. Les API Spark internes ne sont plus accessibles à partir du code utilisateur.

Spark Connect interagit désormais avec le pilote Spark à partir de Read–eval–print loop (REPL), au lieu de l’intégration REPL héritée.

Mise à jour de l’API de liste des versions Spark disponibles

Activez Photon en définissant runtime_engine = PHOTON, et activez aarch64 en choisissant un type d’instance graviton. Azure Databricks définit la version correcte de Databricks Runtime. Auparavant, l’API de version Spark retournait les runtimes propres à l’implémentation pour chaque version. Consultez GET /api/2.0/clusters/spark-versions dans la référence de l’API REST.

Dernières modifications

Dans Databricks Runtime 14.0 et versions ultérieures, les clusters avec mode d'accès partagé utilisent Spark Connect pour la communication client-serveur. Cela inclut les modifications suivantes.

Pour plus d’informations sur les limitations du mode d’accès partagé, consultez limitations du mode d’accès de calcul pour Unity Catalog.

Python sur clusters avec mode d'accès partagé

  • sqlContext n’est pas disponible. Azure Databricks recommande d'utiliser la variable spark pour l'instance SparkSession.
  • Spark Context (sc) n'est plus disponible dans Notebooks ou lors de l'utilisation de Databricks Connect sur un cluster avec mode d'accès partagé. Les fonctions sc suivantes ne sont plus disponibles :
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • La fonctionnalité Informations sur l'ensemble de données n'est plus prise en charge.
  • Il n'y a plus de dépendance à la JVM lors de l'interrogation d'Apache Spark et, par conséquent, les API internes liées à la JVM, telles que _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap, et _jcols ne sont plus prises en charge.
  • Lors de l'accès aux valeurs de configuration à l'aide de spark.conf seulement les valeurs de configuration d'exécution dynamique sont accessibles.
  • Les commandes d'analyse Delta Live Tables ne sont pas encore prises en charge sur les clusters partagés.

Delta sur les clusters avec mode d'accès partagé

  • En Python, il n'y a plus de dépendance à la JVM lors de l'interrogation d'Apache Spark. Les API internes liées à JVM, telles que DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder, et DeltaOptimizeBuilder._jbuilder ne sont plus prises en charge.

SQL sur clusters avec mode d'accès partagé

  • Les commandes DBCACHE et DBUNCACHE ne sont plus prises en charge.
  • Les cas d’usage rares tels que cache table db as show databases ne sont plus pris en charge.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • asttokens de 2.2.1 à 2.0.5
    • attrs de 21.4.0 à 22.1.0
    • botocore de 1.27.28 à 1.27.96
    • certifi de 2022.9.14 à 2022.12.7
    • chiffrement de 37.0.1 à 39.0.1
    • debugpy de la version 1.6.0 vers la version 1.6.7
    • docstring-to-markdown de 0.12 à 0.11
    • exécution de 1.2.0 à 0.8.3
    • facets-overview de 1.0.3 à 1.1.1
    • googleapis-common-protos de 1.56.4 à 1.60.0
    • grpcio de 1.48.1 à 1.48.2
    • idna de 3.3 à 3.4
    • ipykernel de 6.17.1 à 6.25.0
    • ipython de 8.10.0 à 8.14.0
    • Jinja2 de 2.11.3 à 3.1.2
    • jsonschema de 4.16.0 à 4.17.3
    • jupyter-core de 4.11.2 à 5.2.0
    • kiwisolver de 1.4.2 à 1.4.4
    • MarkupSafe de 2.0.1 à 2.1.1
    • matplotlib de 3.5.2 à 3.7.0
    • nbconvert de 6.4.4 à 6.5.4
    • nbformat de 5.5.0 à 5.7.0
    • nest-asyncio de 1.5.5 à 1.5.6
    • notebook de 6.4.12 à 6.5.2
    • numpy de 1.21.5 à 1.23.5
    • packaging de 21.3 à 22.0
    • pandas de 1.4.4 à 1.5.3
    • pathspec de 0.9.0 à 0.10.3
    • patsy de 0.5.2 à 0.5.3
    • Pillow de 9.2.0 à 9.4.0
    • pip de 22.2.2 à 22.3.1
    • protobuf de 3.19.4 à 4.24.0
    • pytoolconfig de 1.2.2 à 1.2.5
    • pytz de 2022.1 à 2022.7
    • s3transfer de 0.6.0 à 0.6.1
    • seaborn 0.11.2 à 0.12.2
    • setuptools de 63.4.1 à 65.6.3
    • soupsieve de 2.3.1 à 2.3.2.post1
    • stack-data de 0.6.2 à 0.2.0
    • statsmodels de 0.13.2 à 0.13.5
    • terminado de 0.13.1 à 0.17.1
    • traitlets de 5.1.1 à 5.7.1
    • typing_extensions de la version 4.3.0 à la version 4.4.0
    • urllib3 de 1.26.11 à 1.26.14
    • virtualenv de 20.16.3 à 20.16.7
    • wheel de 0.37.1 à 0.38.4
  • Bibliothèques R mises à niveau :
    • flèche de 10.0.1 à 12.0.1
    • base de 4.2.2 à 4.3.1
    • blob de 1.2.3 à 1.2.4
    • broom de 1.0.3 à 1.0.5
    • bslib de 0.4.2 à 0.5.0
    • cachem la version 1.0.6 à la version 1.0.8
    • caret de la version 6.0-93 à la version 6.0-94
    • chron de 2.3-59 à 2.3-61
    • class de 7.3-21 à 7.3-22
    • cli de 3.6.0 à 3.6.1
    • horloge de 0.6.1 à 0.7.0
    • commonmark de 1.8.1 à 1.9.0
    • compiler de 4.2.2 à 4.3.1
    • cpp11 de 0.4.3 à 0.4.4
    • curl de 5.0.0 à 5.0.1
    • data.table de 1.14.6 à 1.14.8
    • datasets de 4.2.2 à 4.3.1
    • dbplyr de 2.3.0 à 2.3.3
    • digest de 0.6.31 à 0.6.33
    • downlit de 0.4.2 à 0.4.3
    • dplyr de 1.1.0 à 1.1.2
    • dtplyr de la version 1.2.2 à la version 1.3.1
    • evaluate 0.20 à 0.21
    • fastmap de 1.1.0 à 1.1.1
    • fontawesome de 0.5.0 à 0.5.1
    • fs de 1.6.1 à 1.6.2
    • future de 1.31.0 à 1.33.0
    • future.apply de 1.10.0 à 1.11.0
    • gargle de 1.3.0 à 1.5.1
    • ggplot2 de 3.4.0 à 3.4.2
    • gh de 1.3.1 à 1.4.0
    • glmnet de 4.1-6 à 4.1-7
    • googledrive de 2.0.0 à 2.1.1
    • googlesheets4 de la version 1.0.1 à la version 1.1.1
    • graphics de 4.2.2 à 4.3.1
    • grDevices de 4.2.2 à 4.3.1
    • grid de 4.2.2 à 4.3.1
    • gtable de la version 0.3.1 à la version 0.3.3
    • hardhat de la version 1.2.0 à la version 1.3.0
    • haven de la version 2.5.1 à la version 2.5.3
    • hms de 1.1.2 à 1.1.3
    • htmltools de 0.5.4 à 0.5.5
    • htmlwidgets de 1.6.1 à 1.6.2
    • httpuv de 1.6.8 à 1.6.11
    • httr de la version 1.4.4 à la version 1.4.6
    • ipred de la version 0.9-13 à la version 0.9-14
    • jsonlite de 1.8.4 à 1.8.7
    • KernSmooth de 2.23-20 à 2.23-21
    • knitr de 1.42 à 1.43
    • later de 1.3.0 à 1.3.1
    • lattice de 0.20-45 à 0.21-8
    • lava de 1.7.1 à 1.7.2.1
    • lubridate de 1.9.1 à 1.9.2
    • markdown de 1.5 à 1.7
    • MASS de 7.3-58.2 à 7.3-60
    • Matrix de 1.5-1 à 1.5-4.1
    • methods de 4.2.2 à 4.3.1
    • mgcv de 1.8-41 à 1.8-42
    • modeleur de 0.1.10 à 0.1.11
    • nnet de 7.3-18 à 7.3-19
    • openssl de 2.0.5 à 2.0.6
    • parallel de 4.2.2 à 4.3.1
    • parallèlement de 1.34.0 à 1.36.0
    • pillar de la version 1.8.1 à la version 1.9.0
    • pkgbuild de 1.4.0 à 1.4.2
    • pkgload de 1.3.2 à 1.3.2.1
    • pROC de 1.18.0 à 1.18.4
    • processx de 3.8.0 à 3.8.2
    • prodlim de 2019.11.13 à 2023.03.31
    • profvis de 0.3.7 à 0.3.8
    • ps de 1.7.2 1 à 1.7.5
    • Rcpp de 1.0.10 à 1.0.11
    • readr de 2.1.3 à 2.1.4
    • readxl de 1.4.2 à 1.4.3
    • recettes de 1.0.4 à 1.0.6
    • rlang de 1.0.6 à 1.1.1
    • rmarkdown de 2.20 à 2.23
    • Rserve de 1.8-12 à 1.8-11
    • RSQLite de 2.2.20 à 2.3.1
    • rstudioapi de 0.14 à 0.15.0
    • sass de 0.4.5 à 0.4.6
    • shiny de 1.7.4 à 1.7.4.1
    • sparklyr de 1.7.9 à 1.8.1
    • SparkR de 3.4.1 vers 3.5.0
    • splines de 4.2.2 à 4.3.1
    • stas de 4.2.2 à 4.3.1
    • stats4 de 4.2.2 à 4.3.1
    • survie de 3.5-3 à 3.5-5
    • sys de 3.4.1 à 3.4.2
    • tcltk de 4.2.2 à 4.3.1
    • testthat de 3.1.6 à 3.1.10
    • tibble de la version 3.1.8 vers la version 3.2.1
    • tidyverse de 1.3.2 à 2.0.0
    • tinytex de 0.44 à 0.45
    • tools de 4.2.2 à 4.3.1
    • tzdb de 0.3.0 vers 0.4.0
    • usethis de 2.1.6 à 2.2.2
    • utils de 4.2.2 à 4.3.1
    • vctrs de 0.5.2 à 0.6.3
    • viridisLite de 0.4.1 à 0.4.2
    • vroom de 1.6.1 à 1.6.3
    • waldo de 0.4.0 à 0.5.1
    • xfun de 0.37 à 0.39
    • xml2 de 1.3.3 à 1.3.5
    • zip de 2.2.2 à 2.3.0
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 à 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 à 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 à 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 à 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 à 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 à 1.9.0
    • commons-codec.commons-codec de 1.15 à 1.16.0
    • commons-io.commons-io de 2.11.0 vers 2.13.0
    • io.airlift.aircompressor de 0.21 à 0.24
    • io.dropwizard.metrics.metrics-core de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-graphite de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 à 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 à 4.2.19
    • io.netty.netty-all de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-codec-http from 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-codec-http2 from 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-codec-socks from 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-handler-proxy from 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-transport de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final à 4.1.93.Final
    • io.netty.netty-transport-native-epoll from 4.1.87.Final-linux-x86_64 à 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue from 4.1.87.Final-osx-x86_64 à 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final à 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 à 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 à 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 à 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 à 12.0.1
    • org.apache.avro.avro de 1.11.1 à 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 à 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 à 1.11.2
    • org.apache.commons.commons-compress de 1.21 à 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 à 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 à 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 à 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 à 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 à 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf vers 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf vers 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 vers 1.9.0
    • org.apache.xbean.xbean-asm9-shaded de 4.22 à 4.23
    • org.checkerframework.checker-qual de 3.19.0 à 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de la version 2.36 vers la version 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de la version 2.36 vers la version 2.40
    • org.glassfish.jersey.core.jersey-client de la version 2.36 vers la version 2.40
    • org.glassfish.jersey.core.jersey-common de la version 2.36 vers la version 2.40
    • org.glassfish.jersey.core.jersey-server de la version 2.36 vers la version 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de la version 2.36 vers la version 2.40
    • org.javassist.javassist de 3.25.0-GA à 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 à 2.7.9
    • org.postgresql.postgresql de 42.3.8 à 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 vers 0.9.45
    • org.roaringbitmap.shims de 0.9.39 à 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 vers 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 à 2.9.0
    • org.slf4j.jcl-over-slf4j de2.0.6 à 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 à 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 vers 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 vers 1.1.10.3
    • org.yaml.snakeyaml de 1.33 à 2.0

Apache Spark

Databricks Runtime 14.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 13.3 LTS ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-45109] [DBRRM-462] [SC-142247] [SQL] [CONNECT] Corriger les fonctions aes_decrypt et ln dans Connect
  • [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Corriger les tuples nommés pour fonctionner dans createDataFrame
  • [SPARK-44795] [DBRRM-462] [SC-139720] [CONNECT] CodeGenerator Cache doit être propre au classloader
  • [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462] [SC-139767] [CONNECT] Faire fonctionner les requêtes de streaming avec la gestion des artefacts de Connect
  • [SPARK-44791] [DBRRM-462] [SC-139623] [CONNECT] Faire fonctionner ArrowDeserializer avec les classes générées par REPL
  • [SPARK-44876] [DBRRM-480][SC-140431][PYTHON] Correctif de la fonction UDF Python optimisée pour les flèches sur Spark Connect
  • [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Prise en charge des fonctions protobuf Python pour Spark Connect
  • [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Supprimer la fonction uuid/random/chr de PySpark
  • [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Correctif des valeurs de métadonnées pour les artefacts
  • [SPARK-44822] [DBRRM-464][PYTHON][SQL] Rendre les fonctions définies par l’utilisateur Python par défaut non déterministes
  • [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Refactorisation de la flèche Python UDTF
  • [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Ajouter des métadonnées client manquantes aux appels
  • [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter : AttributeError : l’objet ’NoneType’ n’a pas d’attribut ’message’
  • [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager pour suivre toutes les exécutions
  • [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Désactiver l’optimisation des flèches par défaut pour les fonctions définies par l’utilisateur Python
  • [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Exécuter ExecuteGrpcResponseSender dans l’exécution réattachable dans un nouveau thread pour corriger le contrôle de flux
  • [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Rendre tous les itérateurs CloseableIterators
  • [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] Nouvelle tentative ExecutePlan au cas où la requête initiale n’atteignait pas le serveur dans le client Python
  • [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] Nouvelle tentative ExecutePlan au cas où la requête initiale n’atteignait pas le serveur
  • [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Les erreurs déplacées dans sq/api doivent également utiliser AnalysisException
  • [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Ajouter un objet Encodeurs
  • [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Suivi de l’arrêt de requête de diffuser en continu lorsque la session cliente a expiré pour Spark Connect
  • [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator après l’erreur du serveur
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Supprimer la dépendance de Connect Client Catalyst
  • [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Mise en production de l’exécution lors de la fermeture de l’itérateur dans le client Python
  • [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] Supprimer le répertoire basé sur la session lorsque le cache de session isolé est supprimé
  • [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Ne laissez aucun itérateur non actif
  • [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Client Python pour le rattachement à une exécution existante dans Spark Connect
  • [SPARK-44637] [SC-138571] Synchroniser les accès à ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][CONNECT][SQL] Rétablir Row.jsonValue et amis
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Exécution rattachable dans Spark Connect
  • [SPARK-44418] [SC-136807][PYTHON][CONNECT] Mettre à niveau protobuf de 3.19.5 vers 3.20.3
  • [SPARK-44587] [SC-138315][SQL][CONNECT] Augmenter la limite de récursivité du marshaleur protobuf
  • [SPARK-44591] [SC-138292][CONNECT][SQL] Ajouter des jobTags à SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][SQL] DeduplicateRelations doit conserver les métadonnées d’alias lors de la création d’un nouveau instance
  • [SPARK-44542] [SC-138323][CORE] Chargement rapide de la classe SparkExitCode dans le gestionnaire d’exceptions
  • [SPARK-44264] [SC-138143][PYTHON]E2E Test pour Deepspeed
  • [SPARK-43997] [SC-138347][CONNECT] Ajout de la prise en charge des fonctions définies par l’utilisateur Java
  • [SPARK-44507] [SQL][CONNECT][14.x][14.0] Déplacer AnalysisException vers sql/api
  • [SPARK-44453] [SC-137013][PYTHON] Utiliser difflib pour afficher les erreurs dans assertDataFrameEqual
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Ajouter une page d’interface utilisateur Spark pour Spark Connect
  • [SPARK-44611] [SC-138415][CONNECT] Ne pas exclure scala-xml
  • [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Déplacer l’inférence de l’encodeur vers sql/api
  • [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Correctif du problème de chargement de classe…
  • [SPARK-44590] [SC-138296][SQL][CONNECT] Supprimer la limite d’enregistrements de lots de flèches pour SqlCommandResult
  • [SPARK-43968] [SC-138115][PYTHON] Améliorer les messages d’erreur pour les fonctions définies par l’utilisateur Python avec un nombre de sorties incorrect
  • [SPARK-44432] [SC-138293][SS][CONNECT] Arrêter les requêtes de diffusion en continu lorsqu’une session expire dans Spark Connect
  • [SPARK-44584] [SC-138295][CONNECT] Définir client_type informations pour AddArtifactsRequest et ArtifactStatusesRequest dans le client Scala
  • [SPARK-44552] [14.0][SC-138176][SQL] Supprimer la private object ParseState définition de IntervalUtils
  • [SPARK-43660] [SC-136183][CONNECT][PS] Activer resample avec Spark Connect
  • [SPARK-44287] [SC-136223][SQL] Utiliser l’API PartitionEvaluator dans les opérateurs SQL RowToColumnarExec et ColumnarToRowExec.
  • [SPARK-39634] [SC-137566][SQL] Autoriser le fractionnement de fichiers en combinaison avec la génération d’index de ligne
  • [SPARK-44533] [SC-138058][PYTHON] Ajout de la prise en charge de l’accumulateur, de la diffusion et des fichiers Spark dans l’analyse de Python UDTF
  • [SPARK-44479] [SC-138146][PYTHON] Correctif d’ArrowStreamPandasUDFSerializer pour accepter le DataFrame pandas sans colonne
  • [SPARK-44425] [SC-138177][CONNECT] Vérifier que sessionId fourni par l’utilisateur est un UUID
  • [SPARK-44535] [SC-138038][CONNECT][SQL] Déplacer l’API de diffuser en continu requise vers sql/api
  • [SPARK-44264] [SC-136523][ML][PYTHON] Écrire une classe Deepspeed Distributed Learning DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][SQL] Correctif resolveInlineTables ne peut pas gérer avec l’expression RuntimeReplaceable
  • [SPARK-44060] [SC-135693][SQL] Code-gen pour la jointure hachée aléatoire externe côté build
  • [SPARK-44496] [SC-137682][SQL][CONNECT] Déplacer les interfaces requises par SCSC vers sql/api
  • [SPARK-44532] [SC-137893][CONNECT][SQL] Déplacer ArrowUtils vers sql/api
  • [SPARK-44413] [SC-137019][PYTHON] Clarification de l’erreur pour le type de données arg non pris en charge dans assertDataFrameEqual
  • [SPARK-44530] [SC-138036][CORE][CONNECT] Déplacer SparkBuildInfo vers common/util
  • [SPARK-36612] [SC-133071][SQL] Prise en charge de la build de jointure externe gauche ou droite de la build de jointure externe gauche ou droite dans la jointure hachée aléatoire
  • [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils a généré des paramètres incorrects pour les fichiers jar
  • [SPARK-44449] [SC-137818][CONNECT] Upcasting pour Arrow direct Désérialisation
  • [SPARK-44131] [SC-136346][SQL] Ajouter call_function et déprécier call_udf pour l’API Scala
  • [SPARK-44541] [SQL] Supprimer la fonction hasRangeExprAgainstEventTimeCol inutile de UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][SQL] MaxRows/maxRowsPerPartition du filtre est 0 si la condition est FalseLiteral
  • [SPARK-44540] [SC-137873][UI] Supprimer les fichiers javascript et de feuille de style inutilisés de jsonFormatter
  • [SPARK-44466] [SC-137856][SQL] Exclure les configurations commençant par SPARK_DRIVER_PREFIX et SPARK_EXECUTOR_PREFIX à partir de modifiedConfigs
  • [SPARK-44477] [SC-137508][SQL] Traiter TYPE_CHECK_FAILURE_WITH_HINT comme une sous-classe d’erreur
  • [SPARK-44509] [SC-137855][PYTHON][CONNECT] Ajouter un ensemble d’API d’annulation de travail dans le client Python Spark Connect
  • [SPARK-44059] [SC-137023] Ajout de la prise en charge de l’analyseur d’arguments nommés pour les fonctions intégrées
  • [SPARK-38476] [SC-136448][CORE] Utiliser la classe d’erreur dans org.apache.spark.storage
  • [SPARK-44486] [SC-137817][PYTHON][CONNECT] Implémenter la fonctionnalité PyArrow self_destruct pour toPandas
  • [SPARK-44361] [SC-137200][SQL] Utiliser l’API PartitionEvaluator dans MapInBatchExec
  • [SPARK-44510] [SC-137652][UI] Mettre à jour dataTables vers la version 1.13.5 et supprimer certains fichiers png non atteints
  • [SPARK-44503] [SC-137808][SQL] Ajout de la grammaire SQL pour les clauses PARTITION BY et ORDER BY après les arguments TABLE pour les appels TVF
  • [SPARK-38477] [SC-136319][CORE] Utiliser la classe d’erreur dans org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][CONNECT] Interruption fine de Spark Connect
  • [SPARK-44380] [SC-137415][SQL][PYTHON] Prise en charge de l’UDTF Python à analyser dans Python
  • [SPARK-43923] [SC-137020][CONNECT] Postuler les événements de l’auditeur pendant…
  • [SPARK-44303] [SC-136108][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][UI] Correctif de l’affichage inattendu de la colonne HeapHistogram avec select-all-box
  • [SPARK-44409] [SC-136975][SQL] Gérer char/varchar dans Dataset.to pour rester cohérent avec les autres
  • [SPARK-44334] [SC-136576][SQL][UI] L’état dans la réponse de l’API REST pour un DDL/DML ayant échoué sans travaux doit être FAILED plutôt que COMPLETED
  • [SPARK-42309] [SC-136703][SQL] Introduction de INCOMPATIBLE_DATA_TO_TABLE et des sous-classes.
  • [SPARK-44367] [SC-137418][SQL][UI] Afficher un message d’erreur sur l’interface utilisateur pour chaque requête ayant échoué
  • [SPARK-44474] [SC-137195][CONNECT] Réactivation de la « réponse d’observation de test » sur SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][CONNECT] Le journal de start-up du serveur Connect doit afficher le nom d’hôte et le port
  • [SPARK-44309] [SC-136193][UI] Afficher l’heure d’ajout/suppression des exécuteurs sous l’onglet Exécuteurs
  • [SPARK-42898] [SC-137556][SQL] Marquer que les cast de chaînes/de dates n’ont pas besoin de l’ID de fuseau horaire
  • [SPARK-44475] [SC-137422][SQL][CONNECT] Déplacement de DataType et de l’analyseur vers sql/api
  • [SPARK-44484] [SC-137562][SS]Ajouter batchDuration à la méthode json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][SQL][PYTHON] Prise en charge des Fonctions table non déterministes
  • [SPARK-44439] [SC-136973][CONNECT][SS]Correctif de la listeListeners pour envoyer uniquement des ID au client
  • [SPARK-44341] [SC-137054][SQL][PYTHON] Définir la logique de calcul via l’API PartitionEvaluator et l’utiliser dans WindowExec et WindowInPandasExec
  • [SPARK-43839] [SC-132680][SQL] Convertir _LEGACY_ERROR_TEMP_1337 en UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][CONNECT][SS]Ajout de la prise en charge de l’écouteur de diffusion en continu dans Scala pour Spark Connect
  • [SPARK-44260] [SC-135618][SQL] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[1215-1245-2329] et utiliser checkError() pour vérifier Exception dans _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][SQL] SPJ : encapsuler tous les paramètres liés à SPJ dans BatchScanExec
  • [SPARK-44292] [SC-135844][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][Connect] Désérialisation directe des flèches
  • [SPARK-44324] [SC-137172][SQL][CONNECT] Déplacer CaseInsensitiveMap vers sql/api
  • [SPARK-44395] [SC-136744][SQL] Ajout de test à StreamingTableSuite
  • [SPARK-44481] [SC-137401][CONNECT][PYTHON] Créer pyspark.sql.is_remote une API
  • [SPARK-44278] [SC-137400][CONNECT] Implémenter un intercepteur de serveur GRPC qui nettoie les propriétés locales du thread
  • [SPARK-44264] [SC-137211][ML][PYTHON] Prise en charge de la formation distribuée de fonctions à l’aide de Deepspeed
  • [SPARK-44430] [SC-136970][SQL] Ajouter une cause à AnalysisException quand l’option n’est pas valide
  • [SPARK-44264] [SC-137167][ML][PYTHON] Incorporation de FunctionPickler dans TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Rendre l’API assertSchemaEqual publique
  • [SPARK-44398] [SC-136720][CONNECT] API scala foreachBatch
  • [SPARK-43203] [SC-134528][SQL] Déplacer tout le cas drop table vers DataSource V2
  • [SPARK-43755] [SC-137171][CONNECT][MINOR] Ouvrir AdaptiveSparkPlanHelper.allChildren au lieu d’utiliser la copie dans MetricGenerator
  • [SPARK-44264] [SC-137187][ML][PYTHON] Refactorisation de TorchDistributor pour autoriser le pointeur de fonction « run_training_on_file » personnalisé
  • [SPARK-43755] [SC-136838][CONNECT] Déplacer l’exécution hors de SparkExecutePlanStreamHandler et vers un autre thread
  • [SPARK-44411] [SC-137198][SQL] Utiliser l’API PartitionEvaluator dans ArrowEvalPythonExec et BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][SQL] Utiliser l’API PartitionEvaluator dans DebugExec
  • [SPARK-43967] [SC-137057][PYTHON] Prise en charge des fonctions définies par l’utilisateur Python standard avec des valeurs renvoyées vides
  • [SPARK-43915] [SC-134766][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][PYTHON][CONNECT] Prise en charge de Python UDTF dans Spark Connect
  • [SPARK-44154] [SC-137050][SQL] Ajout de tests unitaires à BitmapExpressionUtilsSuite et améliorations mineures apportées aux expressions d’agrégation bitmap
  • [SPARK-44169] [SC-135497][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][CONNECT][SQL] Supprimer StructType.toAttributes
  • [SPARK-43964] [SC-136676][SQL][PYTHON] Prise en charge des fonctions définies par l’utilisateur Python optimisées pour les flèches
  • [SPARK-44321] [SC-136308][CONNECT] Dissocier ParseException d’AnalysisException
  • [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Réactiver test_artifact avec les modifications pertinentes
  • [SPARK-44145] [SC-136698][SQL] Rappel quand il est prêt pour l’exécution
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Activer le test de l’estimateur de validateur croisé
  • [SPARK-44399] [SC-136669][PYHTON][CONNECT] Importer SparkSession dans la fonction UDF Python uniquement lorsque useArrow a la valeur None
  • [SPARK-43631] [SC-135300][CONNECT][PS] Activer Series.interpolate avec Spark Connect
  • [SPARK-44374] [SC-136544][PYTHON][ML] Ajouter un exemple de code pour le ML distribué pour Spark Connect
  • [SPARK-44282] [SC-135948][CONNECT] Préparer l’analyse DataType pour une utilisation dans le client Scala Spark Connect
  • [SPARK-44052] [SC-134469][CONNECT][PS] Ajouter un utilitaire pour obtenir la classe Column ou DataFrame appropriée pour Spark Connect.
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Implémenter l’estimateur de validateur croisé
  • [SPARK-44290] [SC-136300][CONNECT] Fichiers et archives basés sur une session dans Spark Connect
  • [SPARK-43710] [SC-134860][PS][CONNECT] Prise en charge functions.date_part de Spark Connect
  • [SPARK-44036] [SC-134036][CONNECT][PS] Nettoyer et consolider les tickets pour simplifier les tâches.
  • [SPARK-44150] [SC-135790][PYTHON][CONNECT] Cast explicite d’Arrow pour un type de retour non concordant dans l’UDF Arrow Python
  • [SPARK-43903] [SC-134754][PYTHON][CONNECT] Améliorer la prise en charge des entrées ArrayType dans la fonction UDF Python de flèche
  • [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Implémenter l’évaluateur de classification
  • [SPARK-44255] [SC-135704][SQL] Déplacement de StorageLevel vers common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implémenter la génération de code pour to_csv fonction (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refactoriser PythonUDTFRunner pour envoyer son type de retour séparément
  • [SPARK-43353] [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur
  • [SPARK-44133] [SC-134795][PYTHON] Mettre à niveau MyPy de 0,920 à 0,982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Événement Serde au format JSON
  • [SPARK-43353] Rétablir sur « [SC-132734][ES-729763][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur »
  • [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Déplacer l’espace de noms de pyspark.mlv2 vers pyspark.ml.connect
  • [SPARK-44220] [SC-135484][SQL] Déplacer StringConcat vers sql/api
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Implémenter l’estimateur de pipeline pour ML sur Spark Connect
  • [SPARK-43888] [SC-132893][CORE] Déplacer la journalisation vers common/utils
  • [SPARK-42941] Rétablir « [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Event Serde in JSON format »
  • [SPARK-43624] [SC-134557][PS][CONNECT] Ajouter EWM à SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][PYTHON][ML] Implémentation d’enregistrement/chargement de base pour ML sur spark connect
  • [SPARK-43205] [SC-133371][SQL] correctif de SQLQueryTestSuite
  • [SPARK-43376] Rétablir « [SC-130433][SQL] Améliorer la sous-requête de réutilisation avec le cache de table »
  • [SPARK-44040] [SC-134366][SQL] Correctif les statistiques de calcul lorsque le nœud AggregateExec se place au-dessus de QueryStageExec
  • [SPARK-43919] [SC-133374][SQL] Extraire les fonctionnalités JSON de ligne
  • [SPARK-42618] [SC-134433][PYTHON][PS] Avertissement pour les changements de comportement liés à pandas dans la prochaine version majeure
  • [SPARK-43893] [SC-133381][PYTHON][CONNECT] Prise en charge des types de données non atomiques dans la fonction UDF Python optimisée pour les flèches
  • [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Activer pyspark.pandas.spark.functions.{kurt, skew} dans Spark Connect.
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Prise en charge des fonctions de table définies par l’utilisateur Python
  • [SPARK-43616] [SC-133849][PS][CONNECT] Activer pyspark.pandas.spark.functions.mode dans Spark Connect
  • [SPARK-43133] [SC-133728] Prise en charge de Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correctif (NullOps|NumOps).(eq|ne) pour Spark Connect.
  • [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Activer pyspark.pandas.spark.functions.{var, stddev} dans Spark Connect
  • [SPARK-43617] [SC-133893][PS][CONNECT] Activer pyspark.pandas.spark.functions.product dans Spark Connect
  • [SPARK-43610] [SC-133832][CONNECT][PS] Activer InternalFrame.attach_distributed_column dans Spark Connect.
  • [SPARK-43621] [SC-133852][PS][CONNECT] Activer pyspark.pandas.spark.functions.repeat dans Spark Connect
  • [SPARK-43921] [SC-133461][PROTOBUF] Générer des fichiers de descripteur Protobuf au moment de la génération
  • [SPARK-43613] [SC-133727][PS][CONNECT] Activer pyspark.pandas.spark.functions.covar dans Spark Connect
  • [SPARK-43376] [SC-130433][SQL] Améliorer la sous-requête de réutilisation avec le cache de table
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implémenter SparkSession.addArtifact(s) dans le client Python
  • [SPARK-43920] [SC-133611][SQL][CONNECT] Créer un module sql/api
  • [SPARK-43097] [SC-133372][ML] Nouvel estimateur de régression logistique pyspark ML implémenté sur le serveur de distribution
  • [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Make MLv2 (ML on spark connect) supports pandas >= 2.0
  • [SPARK-43024] [SC-132716][PYTHON] Mettre à niveau pandas vers la version 2.0.0
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listDatabases
  • [SPARK-39281] [SC-131422][SQL] Accélérer l’inférence de type Horodatage avec le format hérité dans la source de données JSON/CSV
  • [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python Client DataStreamWriter foreach()
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Prise en charge du type de timestamp imbriqué
  • [SPARK-43353] [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur
  • [SPARK-43304] [SC-129969][CONNECT][PYTHON] Migrer vers NotImplementedErrorPySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] Interfaces de base de sparkML pour spark3.5 : estimateur/transformateur/modèle/évaluateur
  • [SPARK-43128] Rétablir « [SC-131628][CONNECT][SS] Rendre recentProgress et lastProgress retourner StreamingQueryProgress cohérents avec l’API Scala native »
  • [SPARK-43543] [SC-131839][PYTHON] Correctif du comportement mapType imbriqué dans la fonction UDF Pandas
  • [SPARK-38469] [SC-131425][CORE] Utiliser la classe d’erreur dans org.apache.spark.shuffle
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] Étendre INTERNAL_ERROR avec des catégories et ajouter la classe d’erreur INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Déplacer l’infrastructure d’erreur vers un module utils commun
  • [SPARK-43440] [SC-131229][PYTHON][CONNECT] Prise en charge de l’inscription d’une fonction UDF Python optimisée pour les flèches
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Prise en charge des noms de champs dupliqués dans createDataFrame avec pandas DataFrame
  • [SPARK-43412] [SC-130990][PYTHON][CONNECT] Introduction SQL_ARROW_BATCHED_UDF d’EvalType pour les fonctions définies par l’utilisateur Python optimisées pour les flèches
  • [SPARK-40912] [SC-130986][CORE]Surcharge des exceptions dans KryoDeserializationStream
  • [SPARK-39280] [SC-131206][SQL] Accélérer l’inférence de type timestamp avec le format fourni par l’utilisateur dans la source de données JSON/CSV
  • [SPARK-43473] [SC-131372][PYTHON] Prise en charge du type struct dans createDataFrame à partir du DataFrame pandas
  • [SPARK-43443] [SC-131024][SQL] Ajouter un point de référence pour l’inférence de type Timestamp en cas d’utilisation d’une valeur non valide
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] Ajouter des vérifications pour les opérations impliquant plusieurs trames de données
  • [SPARK-43296] [SC-130627][CONNECT][PYTHON] Migrer les erreurs de session Spark Connect dans la classe d’erreur
  • [SPARK-43324] [SC-130455][SQL] Gérer les commandes UPDATE pour les sources delta
  • [SPARK-43347] [SC-130148][PYTHON] Suppression de la prise en charge de Python 3.7
  • [SPARK-43292] [SC-130525][CORE][CONNECT] Passer ExecutorClassLoader au core module et simplifier Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Ajout d’un chargeur de données de distribution de torche qui charge des données de partition Spark
  • [SPARK-43331] [SC-130061][CONNECT] Ajouter Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][PYTHON] Migrer des ValueError types Spark SQL vers la classe d’erreur
  • [SPARK-43261] [SC-129674][SQL] Migrer des TypeError types Spark SQL vers la classe d’erreur.
  • [SPARK-42992] [SC-129465][PYTHON] Présentation de PySparkRuntimeError
  • [SPARK-16484] [SC-129975][SQL] Ajout de la prise en charge de Datasketches HllSketch
  • [SPARK-43165] [SC-128823][SQL] Déplacer canWrite à DataTypeUtils
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] Fonctions définies par l’utilisateur Python optimisées pour les flèches dans Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Ajout de la prise en charge de applyInPandasWithState pour spark connect
  • [SPARK-42657] [SC-128621][CONNECT] Prise en charge de la recherche et du transfert des fichiers de classes read–eval–print loop (REPL) côté client vers le serveur en tant qu’artefacts
  • [SPARK-43098] [SC-77059][SQL] Correctif du bogue COUNT lorsque la sous-requête scalaire a une clause group by
  • [SPARK-42884] [SC-126662][CONNECT] Ajout de l’intégration REPL Ammonite
  • [SPARK-42994] [SC-128333][ML][CONNECT] Le serveur de distribution PyTorch prend en charge le mode local
  • [SPARK-41498] [SC-125343]Rétablir « Propager des métadonnées par le biais d’Union »
  • [SPARK-42993] [SC-127829][ML][CONNECT] Rendre le serveur de distribution PyTorch compatible avec Spark Connect
  • [SPARK-42683] [LC-75] Renommer automatiquement les colonnes de métadonnées en conflit
  • [SPARK-42874] [SC-126442][SQL] Activer la nouvelle infrastructure de test de fichier doré pour l’analyse de tous les fichiers d’entrée
  • [SPARK-42779] [SC-126042][SQL] Autoriser les écritures V2 à indiquer la taille de partition aléatoire
  • [SPARK-42891] [SC-126458][CONNECT][PYTHON] Implémenter l’API de carte cogroupée
  • [SPARK-42791] [SC-126134][SQL] Créer une infrastructure de test de fichier doré pour l’analyse
  • [SPARK-42615] [SC-124237][CONNECT][PYTHON] Refactoriser le RPC AnalyzePlan et ajouter session.version
  • [SPARK-41302] Rétablir « [ALL TESTS][SC-122423][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1185 »
  • [SPARK-40770] [SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma
  • [SPARK-40770] Rétablir « [ALL TESTS][SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma »
  • [SPARK-42398] [SC-123500][SQL] Affiner la valeur de colonne par défaut de l’interface DS v2
  • [SPARK-40770] [ALL TESTS][SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma
  • [SPARK-40770] Rétablir « [SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma »
  • [SPARK-40770] [SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma
  • [SPARK-42038] [ALL TESTS] Rétablir « Rétablir « [SC-122533][SQL] SPJ : Prise en charge de la distribution partiellement en cluster » »
  • [SPARK-42038] Rétablir « [SC-122533][SQL] SPJ : Prise en charge de la distribution partiellement en cluster »
  • [SPARK-42038] [SC-122533][SQL] SPJ : Prise en charge de la distribution partiellement en cluster
  • [SPARK-40550] [SC-120989][SQL] DataSource V2 : gérer les commandes DELETE pour les sources basées sur delta
  • [SPARK-40770] Rétablir « [SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma »
  • [SPARK-40770] [SC-122652][PYTHON] Messages d’erreur améliorés pour applyInPandas en cas d’incompatibilité de schéma
  • [SPARK-41302] Rétablir « [SC-122423][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1185 »
  • [SPARK-40550] Rétablir « [SC-120989][SQL] DataSource V2 : gérer les commandes DELETE pour les sources basées sur delta »
  • [SPARK-42123] Rétablir « [SC-121453][SQL] Inclure les valeurs par défaut de colonne dans la sortie DESCRIBE et SHOW CREATE TABLE »
  • [SPARK-42146] [SC-121172][CORE] Refactoriser Utils#setStringField pour faire passer maven build quand le module sql utilise cette méthode
  • [SPARK-42119] Rétablir « [SC-121342][SQL] Ajouter des fonctions table intégrées inline et inline_outer »

Points essentiels

  • Correction des fonctions aes_decrypt et ln dans Connect SPARK-45109
  • Correction des tuples nommés hérités pour qu’ils puissent être utilisés dans createDataFrame SPARK-44980
  • CodeGenerator Cache est désormais spécifique au chargeur de classe [SPARK-44795]
  • Ajout de SparkListenerConnectOperationStarted.planRequest [SPARK-44861]
  • Faire fonctionner les requêtes de streaming avec la gestion des artefacts de Connect [SPARK-44794]
  • ArrowDeserializer fonctionne avec les classes générées REPL [SPARK-44791]
  • Correction de la fonction UDF Python optimisée pour Arrow sur Spark Connect [SPARK-44876]
  • Prise en charge du client Scala et Go dans Spark Connect SPARK-42554 SPARK-43351
  • Prise en charge du ML distribué basé sur PyTorch pour Spark Connect SPARK-42471
  • Prise en charge de Structured Streaming pour Spark Connect en Python et Scala SPARK-42938
  • Prise en charge de l’API Pandas pour le client Python Spark Connect SPARK-42497
  • Introduction des fonctions UDF Python Arrow SPARK-40307
  • Prise en charge des fonctions table définies par l’utilisateur Python SPARK-43798
  • Migrer les erreurs PySpark vers les classes d’erreur SPARK-42986
  • Framework de test PySpark SPARK-44042
  • Ajout de la prise en charge de Datasketches HllSketch SPARK-16484
  • Amélioration de fonction SQL intégrée SPARK-41231
  • Clause IDENTFIER SPARK-43205
  • Ajout de fonctions SQL dans l’API R, Scala et Python SPARK-43907
  • Ajout de la prise en charge des arguments nommés pour les fonctions SQL SPARK-43922
  • Éviter la réexécution inutile de la tâche sur l’exécuteur mis hors service en cas de migration de données aléatoires SPARK-41469
  • ML distribué <> spark connect SPARK-42471
  • Serveur de distribution DeepSpeed SPARK-44264
  • Implémentation des points de contrôle du journal des modifications pour le magasin d’état RocksDB SPARK-43421
  • Introduction de la propagation des filigranes parmi les opérateurs SPARK-42376
  • Introduction de dropDuplicatesWithinWatermark SPARK-42931
  • Améliorations de la gestion de la mémoire du fournisseur de magasin d’état RocksDB SPARK-43311

Spark Connect

  • Refactorisation du module sql dans sql et sql-api pour produire un ensemble minimal de dépendances qui peuvent être partagées entre le client Scala Spark Connect et Spark, et évite d’extraire toutes les dépendances transitives Spark. SPARK-44273
  • Introduction du client Scala pour Spark Connect SPARK-42554
  • Prise en charge de l’API Pandas pour le client Python Spark Connect SPARK-42497
  • Prise en charge du ML distribué basé sur PyTorch pour Spark Connect SPARK-42471
  • Prise en charge de Structured Streaming pour Spark Connect en Python et Scala SPARK-42938
  • Version initiale du client Go SPARK-43351
  • Nombreuses améliorations de compatibilité entre les clients Spark Connect et Spark natifs en Python et Scala
  • Amélioration de la capacité de débogage et de la gestion des requêtes pour les applications clientes (traitement asynchrone, nouvelles tentatives, requêtes de longue durée)

Spark SQL

Fonctionnalités

  • Ajout du début et de la longueur du bloc de fichiers de colonne de métadonnées SPARK-42423
  • Prise en charge des paramètres positionnels en Scala/Java SPARK-44066
  • Ajout de la prise en charge des paramètres nommés dans l’analyseur pour les appels de fonction SPARK-43922
  • Prise en charge de SELECT DEFAULT avec ORDER BY, LIMIT, OFFSET pour la relation source INSERT SPARK-43071
  • Ajout de la grammaire SQL pour les clauses PARTITION BY et ORDER BY après les arguments TABLE pour les appels TVF SPARK-44503
  • Inclusion des valeurs par défaut des colonnes dans la sortie DESCRIBE et SHOW CREATE TABLE SPARK-42123
  • Ajout d’un modèle facultatif pour Catalog.listCatalogs SPARK-43792
  • Ajout d’un modèle facultatif pour Catalog.listDatabases SPARK-43881
  • Rappel quand prêt pour l’exécution SPARK-44145
  • Prise en charge de l’instruction Insert By Name SPARK-42750
  • Ajout de call_function pour l’API Scala SPARK-44131
  • Alias de colonne dérivée stables SPARK-40822
  • Prise en charge des expressions constantes générales en tant que valeurs CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Prise en charge des sous-requêtes avec corrélation via INTERSECT/EXCEPT SPARK-36124
  • Clause IDENTFIER SPARK-43205
  • MODE ANSI : Conv doit retourner une erreur si la conversion interne déborde SPARK-42427

Functions

  • Ajout de la prise en charge de Datasketches HllSketch SPARK-16484
  • Prise en charge du mode CBC par aes_encrypt()/aes_decrypt() SPARK-43038
  • Prise en charge de la règle d’analyseur d’argument TABLE pour TableValuedFunction SPARK-44200
  • Implémentation de fonctions bitmap SPARK-44154
  • Ajout de la fonction try_aes_decrypt() SPARK-42701
  • array_insert doit échouer avec index 0 SPARK-43011
  • Ajout de l’alias to_varchar pour to_char SPARK-43815
  • Fonction d’ordre élevé : implémentation d’array_compact SPARK-41235
  • Ajout de la prise en charge des arguments nommés par l’analyseur pour les fonctions intégrées SPARK-44059
  • Ajout des valeurs NULL pour INSERT avec des listes spécifiées par l’utilisateur de moins de colonnes que la table cible SPARK-42521
  • Ajout de la prise en charge des aes_encrypt IV et AAD SPARK-43290
  • La fonction DECODE retourne des résultats incorrects lors de la transmission de la valeur NULL SPARK-41668
  • Prise en charge d’udf « luhn_check » SPARK-42191
  • Prise en charge de la résolution d’alias de colonne latérale implicite sur l’agrégation SPARK-41631
  • Prise en charge de la résolution d’alias de colonne latérale dans les requêtes avec Window SPARK-42217
  • Ajout d’alias de fonction à trois arguments DATE_ADD et DATE_DIFF SPARK-43492

Data Sources (Sources de données)

  • Prise en charge Char/Varchar pour le catalogue JDBC SPARK-42904
  • Prise en charge de l’obtention dynamique de mots clés SQL via l’API JDBC et TVF SPARK-43119
  • DataSource V2 : gestion des commandes MERGE pour les sources delta SPARK-43885
  • DataSource V2 : gestion des commandes MERGE pour les sources basées sur des groupes SPARK-43963
  • DataSource V2 : gestion des commandes UPDATE pour les sources basées sur des groupes SPARK-43975
  • DataSource V2 : autorisation de la représentation des mises à jour sous forme de suppressions et d’insertions SPARK-43775
  • Autoriser les dialectes JDBC à remplacer la requête utilisée pour créer une table SPARK-41516
  • SPJ : prise en charge de la distribution partiellement en cluster SPARK-42038
  • DSv2 permet à CTAS/RTAS de réserver la possibilité de valeur nulle du schéma SPARK-43390
  • Ajout de spark.sql.files.maxPartitionNum SPARK-44021
  • Gestion des commandes UPDATE pour les sources delta SPARK-43324
  • Autoriser les écritures V2 à indiquer la taille de partition aléatoire SPARK-42779
  • Prise en charge du codec de compression lz4raw pour Parquet SPARK-43273
  • Avro : écriture d’unions complexes SPARK-25050
  • Accélération de l’inférence de type timestamp avec le format fourni par l’utilisateur dans la source de données JSON/CSV SPARK-39280
  • Avro pour prendre en charge le type décimal personnalisé soutenu par Long SPARK-43901
  • Éviter la lecture aléatoire dans Storage-Partitioned Join lorsque les clés de partition ne correspondent pas, mais que les expressions de jointure sont compatibles SPARK-41413
  • Modification du fichier binaire en dataType non pris en charge au format CSV SPARK-42237
  • Autoriser Avro à convertir le type d’union en SQL avec un nom de champ stable avec type SPARK-43333
  • Accélération de l’inférence de type Horodatage avec le format hérité dans la source de données JSON/CSV SPARK-39281

Optimisation des requêtes

  • L’élimination des sous-expressions prend en charge l’expression de raccourci SPARK-42815
  • Amélioration de l’estimation des statistiques de jointure si un côté peut conserver l’unicité SPARK-39851
  • Introduction de la limite de groupe de Window pour le filtre basé sur le classement afin d’optimiser le calcul top-k SPARK-37099
  • Correction du comportement de IN Null (liste vide) dans les règles d’optimisation SPARK-44431
  • Inférence et envoi (push) de la limite de fenêtre par le biais de la fenêtre si partitionSpec est vide SPARK-41171
  • Suppression de la jointure externe si toutes les fonctions d’agrégation sont distinctes SPARK-42583
  • Réduction de deux fenêtres adjacentes avec la même partition/ordre dans la sous-requête SPARK-42525
  • Poussée de la limite via les UDF Python SPARK-42115
  • Optimisation de l’ordre des prédicats de filtrage SPARK-40045

Génération de code et exécution des requêtes

  • Le filtre d’exécution doit prendre en charge le côté de jointure aléatoire à plusieurs niveaux en tant que côté création de filtre SPARK-41674
  • Prise en charge de Codegen pour HiveSimpleUDF SPARK-42052
  • Prise en charge de Codegen pour HiveGenericUDF SPARK-42051
  • Prise en charge de Codegen pour la jointure hachée aléatoire externe côté build SPARK-44060
  • Implémentation de la génération de code pour la fonction to_csv (StructsToCsv) SPARK-42169
  • Prise en charge d’InMemoryTableScanExec par AQE SPARK-42101
  • Prise en charge de la build gauche de jointure externe gauche ou de la build droite de jointure externe droite dans la jointure hachée aléatoire SPARK-36612
  • Respect de RequiresDistributionAndOrdering dans CTAS/RTAS SPARK-43088
  • Compartiments coalesce dans la jointure appliqués côté flux de jointure de diffusion SPARK-43107
  • Définition correcte de la possibilité d’accepter la valeur Null sur une clé de jointure fusionnée dans une jointure externe complète USING SPARK-44251
  • Correction de la possibilité d’accepter la valeur Null ListQuery de sous-requête IN SPARK-43413

Autres changements notables

  • Définition correcte de la possibilité d’accepter la valeur Null pour les clés dans les jointures USING SPARK-43718
  • Correction de COUNT(*) est un bogue Null dans la sous-requête scalaire corrélée SPARK-43156
  • La jointure externe Dataframe.joinWith doit retourner une valeur Null pour une ligne sans correspondance SPARK-37829
  • Modification automatique des noms des colonnes de métadonnées en conflit SPARK-42683
  • Documentation des classes d’erreur Spark SQL dans la documentation orientée utilisateur SPARK-42706

PySpark

Fonctionnalités

  • Prise en charge des paramètres positionnels en Python sql() SPARK-44140
  • Prise en charge de SQL paramétrisé par sql() SPARK-41666
  • Prise en charge des fonctions table définies par l’utilisateur Python SPARK-43797
  • Prise en charge de la définition de l’exécutable Python pour les API de fonction UDF et Pandas dans les Workers pendant l’exécution SPARK-43574
  • Ajout de DataFrame.offset à PySpark SPARK-43213
  • Implémentation de dir() dans pyspark.sql.dataframe.DataFrame pour inclure des colonnes SPARK-43270
  • Ajout d’une option pour utiliser des vecteurs de grande largeur variable pour les opérations UDF d’Arrow SPARK-39979
  • Prise en charge par mapInPandas / mapInArrow de l’exécution en mode barrière SPARK-42896
  • Ajout des API JobTag à PySpark SparkContext SPARK-44194
  • Prise en charge de l’UDTF Python pour l’analyse en Python SPARK-44380
  • Exposition de TimestampNTZType dans pyspark.sql.types SPARK-43759
  • Prise en charge du type d’horodatage imbriqué SPARK-43545
  • Prise en charge de UserDefinedType dans createDataFrame à partir de DataFrame Pandas et toPandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Ajout d’une option binaire de descripteur à l’API Pyspark Protobuf SPARK-43799
  • Acceptation des tuples génériques comme indicateurs de saisie des fonctions UDF Pandas SPARK-43886
  • Ajout de la fonction array_prepend SPARK-41233
  • Ajout de la fonction util assertDataFrameEqual SPARK-44061
  • Prise en charge des fonctions UDTF Python optimisées pour Arrow SPARK-43964
  • Autorisation de la précision personnalisée pour l’égalité approximative fp SPARK-44217
  • Rendre l’API assertSchemaEqual publique SPARK-44216
  • Prise en charge de fill_value pour ps.Series SPARK-42094
  • Prise en charge du type struct dans createDataFrame à partir de DataFrame Pandas SPARK-43473

Autres changements notables

  • Ajout de la prise en charge de l’autocomplétion pour df[|] dans pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Déprécier et supprimer les API qui seront supprimées dans Pandas 2.0 [SPARK-42593]
  • Python est désormais le premier onglet pour les exemples de code - Guide de jeux de données, Spark SQL et DataFrames SPARK-42493
  • Mise à jour des exemples de code de documentation Spark restants pour afficher Python par défaut SPARK-42642
  • Utilisation de noms de champs dédupliqués lors de la création d’Arrow RecordBatch [SPARK-41971]
  • Prise en charge des noms de champs dupliqués dans createDataFrame avec DataFrame Pandas [SPARK-43528]
  • Autorisation du paramètre de colonnes lors de la création d’un DataFrame avec Series [SPARK-42194]

Core

  • Planification de mergeFinalize pendant une nouvelle tentative de fusion par poussée shuffleMapStage sans exécution de tâche SPARK-40082
  • Introduction de PartitionEvaluator pour l’exécution de l’opérateur SQL SPARK-43061
  • Autoriser ShuffleDriverComponent à déclarer si les données aléatoires sont stockées de manière fiable SPARK-42689
  • Ajout d’une limitation maximale du nombre de tentatives pour les étapes afin d’éviter le risque de nouvelles tentatives infinies SPARK-42577
  • Prise en charge de la configuration au niveau du journal avec une configuration Spark statique SPARK-43782
  • Optimisation de percentileHeap SPARK-42528
  • Ajout d’un argument de motif à TaskScheduler.cancelTasks SPARK-42602
  • Éviter la réexécution inutile de la tâche sur l’exécuteur mis hors service en cas de migration de données aléatoires SPARK-41469
  • Correction du sous-dénombrement d’accumulateurs dans le cas de la tâche de nouvelle tentative avec cache rdd SPARK-41497
  • Utilisation de RocksDB pour spark.history.store.hybridStore.diskBackend par défaut SPARK-42277
  • Wrapper NonFateSharingCache pour Guava Cache SPARK-43300
  • Amélioration des performances de MapOutputTracker.updateMapOutput SPARK-43043
  • Autoriser les applications à contrôler si leurs métadonnées sont enregistrées dans la base de données par le service aléatoire externe SPARK-43179
  • Ajout de la variable d’environnement SPARK_DRIVER_POD_IP aux pods d’exécuteur SPARK-42769
  • Montage du ConfigMap hadoop sur le pod d’exécuteur SPARK-43504

Structured Streaming

  • Ajout de la prise en charge du suivi de l’utilisation de la mémoire des blocs épinglés pour le magasin d’état RocksDB SPARK-43120
  • Ajout d’améliorations de la gestion de la mémoire du fournisseur de magasin d’état RocksDB SPARK-43311
  • Introduction de dropDuplicatesWithinWatermark SPARK-42931
  • Introduction d’un nouveau rappel onQueryIdle dans StreamingQueryListener SPARK-43183
  • Ajout de l’option pour ignorer le coordinateur de validation dans le cadre de l’API StreamingWrite pour les sources/récepteurs DSv2 SPARK-42968
  • Introduction d’un nouveau rappel « onQueryIdle » dans StreamingQueryListener SPARK-43183
  • Implémentation de points de contrôle basés sur le journal des modifications pour le fournisseur de magasin d’état RocksDB SPARK-43421
  • Ajout de la prise en charge de WRITE_FLUSH_BYTES pour RocksDB utilisé dans les opérateurs avec état de streaming SPARK-42792
  • Ajout de la prise en charge de la définition de max_write_buffer_number et de write_buffer_size pour RocksDB utilisé dans le streaming SPARK-42819
  • L’acquisition de verrou StateStore RocksDB doit se produire après l’obtention d’un itérateur d’entrée à partir d’inputRDD SPARK-42566
  • Introduction de la propagation des filigranes parmi les opérateurs SPARK-42376
  • Nettoyage des fichiers journaux et fichiers sst orphelins dans le répertoire de points de contrôle RocksDB SPARK-42353
  • Développement de QueryTerminatedEvent de façon à contenir la classe d’erreur si elle existe dans l’exception SPARK-43482

ML

  • Prise en charge de l’entraînement distribué des fonctions à l’aide de Deepspeed SPARK-44264
  • Interfaces de base de sparkML pour spark3.5 : estimateur/transformateur/modèle/évaluateur SPARK-43516
  • Prise en charge par MLv2 (ML sur Spark Connect) de Pandas >= 2.0 SPARK-43783
  • Mise à jour des interfaces MLv2 Transformer SPARK-43516
  • Nouvel estimateur de régression logistique pyspark ML implémenté sur le serveur de distribution SPARK-43097
  • Rajout de Classifier.getNumClasses SPARK-42526
  • Écriture d’une classe Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
  • Implémentation d’enregistrement/chargement de base pour ML sur Spark Connect SPARK-43981
  • Amélioration de l’enregistrement du modèle de régression logistique SPARK-43097
  • Implémentation de l’estimateur de pipeline pour ML sur Spark Connect SPARK-43982
  • Implémentation de l’estimateur de validateur croisé SPARK-43983
  • Implémentation de l’évaluateur de classification SPARK-44250
  • Compatibilité du serveur de distribution PyTorch avec Spark Connect SPARK-42993

UI

  • Ajout d’une page d’interface utilisateur Spark pour Spark Connect SPARK-44394
  • Prise en charge de la colonne d’histogramme du tas sous l’onglet Exécuteurs SPARK-44153
  • Affichage d’un message d’erreur sur l’interface utilisateur pour chaque requête ayant échoué SPARK-44367
  • Affichage de l’heure d’ajout/suppression des exécuteurs sous l’onglet Exécuteurs SPARK-44309

Build et autres

Suppressions, modifications de comportement et dépréciations

Suppression à venir

Les fonctionnalités suivantes seront supprimées dans la prochaine version majeure de Spark

  • Prise en charge de Java 8 et Java 11, et la version Java minimale prise en charge sera Java 17
  • Prise en charge de Scala 2.12, et la version Scala minimale prise en charge sera 2.13

Guides de migration

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.3 LTS
  • Java : Zulu 8.70.0.23-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.3.1
  • Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 chiffrement 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0,4
en cours d’exécution 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 Bibliothèque d'exécution Cloud de la communauté du secteur public 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 empaquetage 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requêtes 2.28.1 rope 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 13-07-2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.4
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 horloge 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 jeux de données 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramme 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrice 1.5-4.1 memoise 2.0.1
méthodes 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0,45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1