Partager via

Databricks Runtime 16.2 (bêta)

  • Article

Essentiel

Databricks Runtime 16.2 est en version Bêta. Le contenu des environnements pris en charge peut changer pendant la version bêta. Les modifications peuvent inclure la liste des packages ou des versions de packages installés.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.2, alimentées par Apache Spark 3.5.0.

Conseil / Astuce

Pour voir les notes de publication des versions de Databricks Runtime dont la prise en charge a été arrêtée, consultez Notes de publication de Databricks Runtime en fin de prise en charge. Les versions Databricks Runtime dont la prise en charge a été arrêtée ont été mises hors service et risquent de ne pas pouvoir être mises à jour.

Changements de comportement

Dans le partage Delta, l’historique des tables est activé par défaut

Les partages créés à l’aide de la commande SQL ALTER SHARE <share> ADD TABLE <table> ont désormais le partage d’historique (WITH HISTORY) activé par défaut. Consultez ALTER SHARE.

Les instructions SQL d’informations d’identification retournent une erreur lorsqu’il existe une incompatibilité de type d’informations d’identification

Avec cette version, si le type d’informations d’identification spécifié dans une instruction DROP CREDENTIAL ne correspond pas au type des informations d’identification à supprimer, une erreur est retournée et l’instruction n’est pas exécutée. Par exemple, pour l’instruction DROP STORAGE CREDENTIAL 'credential-name', si credential-name n’est pas une information d’identification de stockage, l’instruction échoue avec une erreur.

Cette modification est apportée pour empêcher les erreurs utilisateur. Auparavant, l’instruction DROP CREDENTIAL s’exécuterait correctement, même si des informations d’identification ont été passées qui ne correspondent pas au type d’informations d’identification spécifié. Par exemple, avant cette modification, l’instruction suivante supprime correctement storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Consultez DROP CREDENTIAL dans la référence SQL.

Améliorations et nouvelles fonctionnalités

L'accès géré par Unity Catalog aux services cloud externes à l'aide des accréditations de service est désormais en disponibilité générale.

Les informations d’identification du service permettent une authentification simple et sécurisée avec les services de votre locataire cloud à partir d’Azure Databricks. Avec Databricks Runtime 16.2, les informations d’identification du service sont généralement disponibles et prennent désormais en charge les kits SDK Scala, en plus du SDK Python pris en charge dans la préversion publique. Consultez Gérer l’accès aux services cloud externes à l’aide des informations d’identification de service.

Les notebooks sont pris en charge en tant que fichiers d’espace de travail

Dans Databricks Runtime 16.2 et plus, les carnets de notes sont pris en charge en tant que fichiers d'espace de travail. Vous pouvez désormais écrire, lire et supprimer des blocs-notes comme n’importe quel autre fichier. Cela permet une interaction programmatique avec les blocs-notes partout où le système de fichiers de l'espace de travail est accessible. Pour plus d’informations, consultez Notebooks en tant que fichiers d’espace de travail.

Utiliser le timestampdiff & timestampadd dans les expressions de colonne générées

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser les fonctions timestampdiff et timestampadd dans les expressions de colonne générées par Delta Lake. Consultez les colonnes générées par Delta Lake.

Prise en charge de la syntaxe des pipelines SQL

Dans Databricks Runtime 16.2 et ultérieur, vous pouvez composer des pipelines SQL. Un pipeline SQL structure une requête standard, telle que SELECT c2 FROM T WHERE c1 = 5, dans une séquence pas à pas, comme illustré dans l’exemple suivant :

FROM T
|> SELECT c2
|> WHERE c1 = 5

Pour en savoir plus sur la syntaxe prise en charge pour les pipelines SQL, consultez Syntaxe des pipelines SQL.

Pour plus d'informations sur cette extension inter-industries, consultez SQL a des problèmes. Nous pouvons les corriger : syntaxe en pipe dans SQL (par Google Research).

La mise à jour vers DESCRIBE TABLE retourne des métadonnées en tant que JSON structuré

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser la commande DESCRIBE TABLE AS JSON pour retourner les métadonnées de table en tant que document JSON. La sortie JSON est plus structurée que le rapport lisible par l’homme par défaut et peut être utilisée pour interpréter par programmation le schéma d’une table. Pour plus d’informations, consultez DESCRIBE TABLEAS JSON.

Classements non sensibles à la présence d’espaces de fin

Databricks Runtime 16.2 ajoute la prise en charge des classements non sensibles à la présence d’espaces de fin, en plus de la prise en charge du classement ajoutée dans Databricks Runtime 16.1. Par exemple, ces collations traitent 'Hello' et 'Hello ' comme identiques. Pour plus d’informations, consultez Classement RTRIM.

Convertir des tables Iceberg avec partitionnement de compartiments en tables Delta nonpartitionées

Les instructions CONVERT TO DELTA et CREATE TABLE CLONE prennent désormais en charge la conversion d'une table Iceberg avec partitionnement en compartiments en une table Delta non partitionnée.

Corrections de bogues

Amélioration du traitement du clone incrémentiel

Cette version inclut un correctif pour un cas limite où un CLONE incrémentiel pourrait recopier des fichiers déjà transférés d'une table source vers une table cible. Consultez Cloner une table sur Azure Databricks.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • org.json4s.json4s-ast_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-core_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 à 4.0.7

Apache Spark

Databricks Runtime 16.2 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 16.1 ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-50596] [DBRRM-1507] Annuler « [SC-184060][PYTHON] Mettre à niveau Py4J de 0.10.9.7 à 0.10.9.8 »
  • [SPARK-50904] [SC-186976][SQL] Correction de l’exécution de la requête walker d’expression de classement
  • [SPARK-49666] [SQL] Activer les tests de découpage pour l’expression InSet
  • [SPARK-50669] [SC-184566][ES-1327450][SQL] Modifier la signature de l’expression TimestampAdd
  • [SPARK-50795] [16.x][SC-186719][SQL] Enregistrer l'horodatage comme type long dans le LinkedHashMap describe
  • [SPARK-50596] [SC-184060][PYTHON] Mettre à niveau Py4J de 0.10.9.7 à 0.10.9.8
  • [SPARK-50818] Rétablir « Rétablir « Rétablir « [SC-186458][PYTHON] Remplacer has_numpy par have_numpy» » »
  • [SPARK-50870] [SC-186950][SQL] Ajouter le fuseau horaire lors de la conversion en horodatage dans V2ScanRelationPushDown
  • [SPARK-50735] [SC-186944][CONNECT] Échec dans ExecuteResponseObserver entraîne une rattachement infini des requêtes
  • [SPARK-50522] [SC-186500][SQL] Prise en charge du classement indéterminé
  • [SPARK-50525] [SC-186058][SQL] Define InsertMapSortInRepartitionExpressions Optimizer Rule
  • [SPARK-50679] [SC-184572][SQL] Les expressions courantes dupliquées dans différentes With ne doivent être projetées qu’une seule fois
  • [SPARK-50847] [SC-186916] [SQL] Empêcher ApplyCharTypePadding de s’appliquer sur des expressions In spécifiques
  • [SPARK-50714] [SC-186786][SQL][SS] Activer l’évolution du schéma pour TransformWithState lorsque l’encodage Avro est utilisé
  • [SPARK-50818] Annulation de « Annulation de « [SC-186458][PYTHON] Remplacement de has_numpy par have_numpy » »
  • [SPARK-50795] [SC-186390][SQL] Afficher toutes les dates DESCRIBE AS JSON au format ISO-8601 et les types en tant que dataType.simpleString
  • [SPARK-50561] [SC-185924][SQL] DBR 16.x cherrypick : Amélioration la vérification des contraintes de type et des limites pour la fonction UNIFORM SQL
  • [SPARK-50700] [SC-184845][SQL] spark.sql.catalog.spark_catalog prend en charge builtin valeur magique
  • [SPARK-50831] [SC-186736][BEHAVE-222][SQL] Activation du classement par défaut avec troncature
  • [SPARK-50263] [SC-186793][PS][CONNECT] Remplacer System.currentTimeMillis par System.nanoTime
  • [SPARK-50818] Annulation de « [SC-186458][PYTHON] Remplacement de has_numpy par have_numpy » »
  • [SPARK-48730] [SC-184926][SQL] Implémenter CreateSQLFunctionCommand pour les fonctions scalaires et de table SQL
  • [SPARK-50830] [SC-186718] [SQL] Renvoyer un résultat d'analyse en une seule passe comme résultat d'analyse à double passe
  • [SPARK-50707] [SC-186098][SQL] Activer la conversion vers/à partir de char/varchar
  • [SPARK-49490] [SC-182137][SQL] Ajouter des benchmarks pour initCap
  • [SPARK-50529] [SC-184535][SQL] Modifier le comportement char/varchar sous la configuration spark.sql.preserveCharVarcharTypeInfo
  • [SPARK-49632] [SC-184179][SQL] Supprimer la suggestion de configuration ANSI dans CANNOT_PARSE_TIMESTAMP
  • [SPARK-50815] [SC-186487][PYTHON][SQL] Correction d'un bogue où le passage de Null Variants dans createDataFrame provoque un échec, et ajout de la prise en charge des Variants dans createDataFrame dans Spark Connect.
  • [SPARK-50828] [SC-186493][PYTHON][ML][CONNECT] pyspark.ml.connect déconseillé
  • [SPARK-50600] [SC-186057][CONNECT][SQL] Définir l'analyse en cas d'échec de l'analyse
  • [SPARK-50824] [SC-186472][PYTHON] Éviter d’importer des packages Python facultatifs pour la vérification
  • [SPARK-50818] [SC-186458][PYTHON] Remplacement de has_numpy par have_numpy
  • [SPARK-50722] [SC-185523][SQL] Détecter les nœuds WITH autonomes
  • [SPARK-50755] [SC-185521][SQL] Affichage esthétique du plan pour InsertIntoHiveTable
  • [SPARK-50756] [SC-185552] Revenir à « [SQL] Use error class for exceptions in SparkConf.validateSettings »
  • [SPARK-50789] [SC-186312][CONNECT] Les entrées pour les agrégations typées doivent être analysées
  • [SPARK-50791] [SC-185867][SC-186338][SQL] Correction de NPE dans la gestion des erreurs du magasin d’états
  • [SPARK-50801] [SC-186365] [SQL] Améliorer PlanLogger.logPlanResolution afin qu’il affiche uniquement les plans non résolus et résolus
  • [SPARK-50749] [SC-185925][SQL] Correction du bogue de classement dans la méthode CommutativeExpression.gatherCommutative
  • [SPARK-50783] [SC-186347] Canonicaliser le nom de fichier et la disposition des résultats du profiler JVM sur DFS
  • [SPARK-50790] [SC-186354][PYTHON] Implémenter l’analyse json dans pyspark
  • [SPARK-50738] [SC-184856][PYTHON] Mise à niveau de black vers 23.12.1
  • [SPARK-50764] [SC-185930][PYTHON] Affiner le docstring des méthodes associées à XPath
  • [SPARK-50798] [SC-186277][SQL] Amélioration de NormalizePlan
  • [SPARK-49883] [SC-183787][SS] Structure du point de contrôle du magasin d'État V2 Intégration avec RocksDB et RocksDBFileManager
  • [SPARK-50779] [SC-186062][SQL] Ajout d’un indicateur de fonctionnalité pour les classements au niveau de l’objet
  • [SPARK-50778] [SC-186183][PYTHON] Ajouter metadataColumn à PySpark DataFrame
  • [SPARK-49565] [SC-186056][SQL] DBR 16.x cherrypick : Améliorer les alias d’expression générés automatiquement avec des opérateurs SQL pipe
  • [SPARK-50541] [16.x][SC-184937] Décrire la table en tant que JSON
  • [SPARK-50772] [SC-185923][SQL] DBR 16.x cherrypick : Conserver les alias de table après les opérateurs EXTEND, DROP et SET
  • [SPARK-50769] [SC-185919][SQL] Fix ClassCastException in HistogramNumeric
  • [SPARK-49025] [SC-174667] Synchroniser la différence de code Delta avec DBR
  • [SPARK-50752] [SC-185547][PYTHON][SQL] Introduire des configurations pour l’optimisation de la fonction UDF Python sans flèche
  • [SPARK-50705] [SC-185944][SQL] Rendre le système QueryPlan sans verrou
  • [SPARK-50690] [16.x][SC-184640][BEHAVE-211][SQL] Corriger l’écart dans DESCRIBE TABLE afficher les colonnes de sortie de requête entre guillemets
  • [SPARK-50746] [SC-184932][SQL] Remplacez l’un ou l’autre par VariantPathSegment.
  • [SPARK-50715] [SC-185546][PYTHON][CONNECT] SparkSession.Builder définit les configurations par lots
  • [SPARK-50480] [SC-183359][SQL] Étendre CharType et VarcharType à partir de StringType
  • [SPARK-50675] [SC-184539][SQL] Prise en charge des classements au niveau des tables et des vues
  • [SPARK-50409] [BEHAVE-194][SC-184516][SQL] Corriger l'instruction set pour ignorer ; à la fin de SET;, SET -v; et SET key;
  • [SPARK-50743] [SC-185528][SQL] Normalize CTERelationDef et CTERelationRef IDs
  • [SPARK-50756] [SC-185520] [SQL] Use error class for exceptions in SparkConf.validateSettings
  • [SPARK-50693] [SC-184684][CONNECT] Les entrées pour TypedScalaUdf devraient être analysées
  • [SPARK-50744] [SC-184929][SQL] Ajouter un cas de test pour la priorité de résolution de noms de vue/CTE
  • [SPARK-50710] [SC-184767][CONNECT] Ajouter la prise en charge de la reconnexion facultative du client aux sessions après la publication
  • [SPARK-50703] [SC-184843][PYTHON] Affiner la chaîne de documentation de regexp_replace, de regexp_substr et de regexp_instr
  • [SPARK-50716] [SC-184823][CORE] Corriger la logique de nettoyage des liens symboliques dans JavaUtils.deleteRecursivelyUsingJavaIO méthode
  • [SPARK-50630] [SC-184443][SQL] Correction GROUP BY prise en charge ordinale pour les opérateurs d’agrégation SQL de pipeline
  • [SPARK-50614] [SC-184729][SQL] Ajouter la prise en charge du déchiquetage variant pour Parquet
  • [SPARK-50661] [SASP-4936] Ajouter une compatibilité descendante pour l’ancien client FEB.
  • [SPARK-50676] [SC-184641][SQL] Suppression de private lazy val mapValueContainsNull inutilisée de ElementAt
  • [SPARK-50515] [SC-183813][CORE] Ajouter une interface en lecture seule à SparkConf
  • [SPARK-50697] [SC-184702][SQL] Activer la récursivité de la fin dans la mesure du possible
  • [SPARK-50642] [SC-184726][SC-183517][CONNECT][SS][2/N][16.x]Corriger le schéma d’état pour FlatMapGroupsWithState dans Spark Connect lorsqu’il n’y a pas d’état initial
  • [SPARK-50701] [SC-184704][PYTHON] Faire en sorte que la création de graphiques nécessite la version minimale de Plotly
  • [SPARK-50702] [SC-184727][PYTHON] Affiner le docstring de regexp_count, regexp_extract et regexp_extract_all
  • [SPARK-50499] [SC-184177][PYTHON] Exposer les métriques de BasePythonRunner
  • [SPARK-50692] [SC-184705][16.x] Ajout de la prise en charge du pushdown RPAD
  • [SPARK-50682] [SC-184579][SQL] L’alias interne doit être canonique
  • [SPARK-50699] [SC-184695][PYTHON] Analyser et générer une chaîne DDL avec une session spécifiée
  • [SPARK-50573] [SC-184568][SS] Ajout de l’ID de schéma d’état aux lignes d’état à l’évolution du schéma
  • [SPARK-50661] [SC-184639][CONNECT][SS][SASP-4936] Fix Spark Connect Scala foreachBatch impl. pour prendre en charge le jeu de données[T].
  • [SPARK-50689] [SC-184591][SQL] Appliquer l’ordre déterministe dans les listes de projets LCA
  • [SPARK-50696] [SC-184667][PYTHON] Optimiser l’appel Py4J pour la méthode d’analyse DDL
  • [SPARK-49670] [SC-182902][SQL] Activer le classement de découpage pour toutes les expressions pas à pas
  • [SPARK-50673] [SC-184565][ML] Éviter de parcourir les coefficients de modèle deux fois dans Word2VecModel constructeur
  • [SPARK-50310] [SC-184663]Rétablir « [CONNECT][PYTHON] Appeler with_origin_to_class lors de l’initialisation du Column »
  • [SPARK-50687] [SC-184588][PYTHON] Optimiser la logique pour obtenir des traces de pile pour DataFrameQueryContext
  • [SPARK-50681] [SC-184662][PYTHON][CONNECT] Cachez le schéma analysé pour MapInXXX et ApplyInXXX
  • [SPARK-50674] [SC-184589][PYTHON] Corriger la vérification de l'existence de la méthode « terminate » dans l’évaluation UDTF
  • [SPARK-50684] [SC-184582][PYTHON] Améliorer les performances Py4J dans DataFrameQueryContext
  • [SPARK-50578] [DBR16.x][SC-184559][PYTHON][SS] Ajouter la prise en charge de la nouvelle version des métadonnées d’état pour TransformWithStateInPandas
  • [SPARK-50602] [SC-184439][SQL] Corriger la transpose pour afficher un message d’erreur approprié lorsque des colonnes d’index non valides sont spécifiées
  • [SPARK-50650] [SC-184532][SQL] Améliorer la journalisation dans l’analyseur à passe unique
  • [SPARK-50665] [SC-184533][SQL] Remplacer LocalRelation par ComparableLocalRelation dans NormalizePlan
  • [SPARK-50644] [SC-184486][SQL] Lire le struct variant dans le lecteur Parquet.
  • [SPARK-49636] [SC-184089][SQL] Supprimer la suggestion de configuration ANSI dans INVALID_ARRAY_INDEX et INVALID_ARRAY_INDEX_IN_ELEMENT_AT
  • [SPARK-50659] [SC-184514][SQL] Refactoriser le calcul de sortie Union pour le réutiliser dans l’analyseur à passe unique
  • [SPARK-50659] [SC-184512][SQL] Déplacer des erreurs liées à l’union vers QueryCompilationErrors
  • [SPARK-50530] [SC-183419][SQL] Corriger le calcul incorrect de contexte de type chaîne implicite
  • [SPARK-50546] [SC-183807][SQL] Ajouter la prise en charge de la conversion de sous-requête à la coercion de type de collation
  • [SPARK-50405] [SC-182889][SQL] Gérer correctement la coercition du type de collation des types de données complexes
  • [SPARK-50637] [SC-184434][SQL] Corriger le style de code pour l’analyseur à passe unique
  • [SPARK-50638] [SC-184435][SQL] Refactoriser la résolution de vue dans le fichier distinct pour le réutiliser dans l’analyseur à passe unique
  • [SPARK-50615] [SC-184298][SQL] Pousser la variante dans le scan.
  • [SPARK-50619] [SC-184210][SQL] Refactoriser VariantGet.cast pour empaqueter les arguments de cast
  • [SPARK-50599] [SC-184058][SQL] Créer la caractéristique DataEncoder qui permet l’encodage Avro et UnsafeRow
  • [SPARK-50076] [SC-183809] Correction des touches de journalisation
  • [SPARK-50597] [SC-183972][SQL] Refactoriser la construction de lots dans Optimizer.scala et SparkOptimizer.scala
  • [SPARK-50339] [SC-183063][SPARK-50360][SS] Activer le journal des modifications pour stocker les informations de traçabilité
  • [SPARK-50526] [SC-183811][SS] Ajouter une configuration de format d'encodage de stockage dans le journal de décalage et bloquer les opérateurs avec état non pris en charge d'utiliser Avro
  • [SPARK-50540] [SC-183810][PYTHON][SS] Correction du schéma de chaîne pour StatefulProcessorHandle
  • [SPARK-50157] [SC-183789][SQL] À l’aide de SQLConf fourni par SparkSession en premier.
  • [SPARK-48898] [SC-183793][SQL] Définir la nullabilité correctement dans le schéma Variant
  • [SPARK-50559] [SC-183814][SQL] Stocker les résultats de Except, Intersect et Union en tant que valeurs paresseuses
  • [SPARK-48416] [SC-183643][SQL] Prise en charge des expressions CTE imbriquées et corrélées
  • [SPARK-50428] [SC-183566][SS][PYTHON] Prise en charge de TransformWithStateInPandas dans les requêtes par lots
  • [SPARK-50063] [SC-183350][SQL][CONNECT] Ajouter la prise en charge de Variant dans le client Scala Spark Connect
  • [SPARK-50544] [SC-183569][PYTHON][CONNECT] Implémentation de StructType.toDDL
  • [SPARK-50443] [SC-182590][SS] Correction des erreurs de build Maven introduites par le cache Guava dans RocksDBStateStoreProvider
  • [SPARK-50491] [SC-183434][SQL] Corriger le bogue qui fait que les blocs BEGIN END vides provoquent une erreur
  • [SPARK-50536] [SC-183443][CORE] Consigner la taille des fichiers archive téléchargés dans SparkContext et Executor
  • [SPARK-45891] [SC-183439][SQL] Reconstruire le binaire de variante à partir des données fragmentées.
  • [SPARK-49565] [SC-183465][SQL] Ajouter une syntaxe de canal SQL pour le FROM opérateur
  • [SPARK-50497] [SC-183338][SQL] Échec des requêtes avec un message approprié si MultiAlias contient une fonction non-génératrice
  • [SPARK-50460] [SC-183375][PYTHON][CONNECT] Généraliser et simplifier la gestion des exceptions Connect
  • [SPARK-50537] [SC-183452][CONNECT][PYTHON] Correction de l’option de compression remplacée dans df.write.parquet
  • [SPARK-50329] [SC-183358][SQL] Correction de InSet$toString
  • [SPARK-50524] [SC-183364][SQL] Réduire le message d’avertissement RowBasedKeyValueBatch.spill au niveau de débogage
  • [SPARK-50528] [SC-183385][CONNECT] Déplacer InvalidCommandInput vers un module commun
  • [SPARK-50017] [SC-182438][SS] Prise en charge de l’encodage Avro pour l’opérateur TransformWithState
  • [SPARK-50310] [SC-182660][PYTHON] Ajouter spark.python.sql.dataFrameDebugging.enabled à la liste verte
  • [SPARK-50463] [SC-182833][SQL] Correction ConstantColumnVector avec la conversion de format en colonnes vers lignes
  • [SPARK-50235] [SC-180786][SQL] Nettoyer la ressource ColumnVector après avoir traité toutes les lignes dans ColumnarToRowExec
  • [SPARK-50310] [SC-182660][PYTHON] Ajouter un indicateur pour désactiver DataFrameQueryContext pour PySpark
  • [SPARK-50516] [SC-183279][SS][MINOR] Corriger le test lié à l’état init pour utiliser StreamManualClock
  • [SPARK-50478] [SC-183188][SQL] Correction de la correspondance StringType
  • [SPARK-50492] [SC-183177][SS] Correction de java.util.NoSuchElementException lorsque la colonne de temps d'événement est supprimée lors de l'utilisation de dropDuplicatesWithinWatermark
  • [SPARK-49566] [SC-182589][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur SET
  • [SPARK-50449] [SC-183178][SQL] Corriger la grammaire de script SQL autorisant des corps vides pour les boucles, IF et CASE
  • [SPARK-50251] [SC-180970][PYTHON] Ajouter getSystemProperty à PySparkSparkContext
  • [SPARK-50421] [SC-183091][CORE] Correction de la configuration de mémoire associée à l’exécuteur incorrecte lorsque plusieurs profils de ressources ont fonctionné
  • [SPARK-49461] [SC-179572][SS] ID de point de contrôle persistant pour valider les journaux et les lire
  • [SPARK-50343] [SC-183119][SPARK-50344][SQL] Ajouter une syntaxe de canal SQL pour les opérateurs DROP et AS
  • [SPARK-50481] [SC-182880][CORE] Améliorer SortShuffleManager.unregisterShuffle pour ignorer la logique du fichier de somme de contrôle si la somme de contrôle est désactivée
  • [SPARK-50498] [SC-183090][PYTHON] Éviter les appels inutiles à py4j dans listFunctions
  • [SPARK-50489] [SC-183053][SQL][PYTHON] Correction de l’auto-jointure après applyInArrow
  • [SPARK-49695] [SC-182967][SC-176968][BEHAVE-198][SQL] Postgres fix xor push-down

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes récemment publiés et mettez-les à niveau (Télécharger ODBC, Télécharger JDBC).

Environnement système

  • Système d’exploitation: Ubuntu 24.04.1 LTS
  • Java : Zulu17.54+21-CA
  • Scala : 2.12.18
  • Python : 3.12.3
  • R : 4.4.0
  • Delta Lake: 3.3.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
chiffrement 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 Déconseillé 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 en cours d’exécution 0.8.3
aperçu des facettes 1.1.1 verrouillage de fichier 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
empaquetage 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requêtes 2.32.2 rope 1.12.0 rsa 4,9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types de requêtes 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 04-08-2024.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1,0-8 objet BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
horloge 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 jeux de données 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 carte rapide 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0,7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1,48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 methods 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 louange 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest (algorithme d'apprentissage machine) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 réactif 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2,27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
écailles 1.3.0 selectr 0.4-2 informations de session 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 fichier Swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
mise en forme du texte 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 changement d'heure 0.3.0
timeDate 4032.109 tinytex 0.52 outils 4.4.0
tzdb 0.4.0 vérificateur d'URL 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 identifiant unique universel (UUID) 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_natif-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics annotation des métriques 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métriques-vérifications de santé 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 4.0.7
org.json4s json4s-core_2.12 4.0.7
org.json4s json4s-jackson-core_2.12 4.0.7
org.json4s json4s-jackson_2.12 4.0.7
org.json4s json4s-scalap_2.12 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible avec scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1