Partager via

Databricks Runtime 15.3

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.3 avec Apache Spark 3.5.0.

Databricks a publié cette version en juin 2024.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

PySpark DataSources prend désormais en charge la lecture et l’écriture de flux

PySpark DataSources, qui permet la lecture à partir de sources de données personnalisées et l’écriture dans des récepteurs de données personnalisés, prend désormais en charge la lecture et l’écriture de flux. Consultez Sources de données personnalisées de PySpark.

Désactiver le mappage de colonnes avec la commande Drop Feature

Vous pouvez désormais utiliser DROP FEATURE pour désactiver le mappage de colonnes sur les tables Delta et passer à une version antérieure du protocole de table. Consultez Désactiver le mappage de colonnes.

Syntaxe et fonctions de types de variantes dans la préversion publique

Prise en charge native d’Apache Spark pour l’utilisation de données semi-structurées comme type VARIANT est désormais disponible dans DataFrames Spark et SQL. Consultez les données de variante de requête.

Prise en charge des types de variantes pour Delta Lake en préversion publique

Vous pouvez désormais utiliser VARIANT pour stocker des données semi-structurées dans des tables soutenues par Delta Lake. Consultez Prise en charge des variantes dans Delta Lake.

Prise en charge des différents modes d’évolution du schéma dans les vues

CREATE VIEW et ALTER VIEW vous permettent désormais de définir un mode de liaison de schéma, ce qui améliore la façon dont les vues gèrent les modifications de schéma dans les objets sous-jacents. Cette fonctionnalité permet aux vues de tolérer ou d’adapter les modifications de schéma dans les objets sous-jacents. Elle traite les modifications apportées au schéma de requête résultant des modifications apportées aux définitions d’objets.

Prise en charge des méthodes observe() ajoutées au client Scala Spark Connect

Le client Scala Spark Connect prend désormais en charge les méthodes Dataset.observe(). La prise en charge de ces méthodes vous permet de définir des métriques à observer sur un objet Dataset à l’aide des méthodes ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Latence de redémarrage de flux améliorée pour le chargeur automatique

Cette version inclut une modification qui améliore la latence de redémarrage de flux pour le chargeur automatique. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le magasin d’états RocksDB. Avec cette modification, vous devez voir une amélioration des heures de début pour les flux avec des états volumineux, par exemple, des flux avec un grand nombre de fichiers déjà ingérés.

Retourner un DataFrame en tant que pyarrow.Table

Pour prendre en charge l’écriture d’un DataFrame directement dans un objet Apache Arrow pyarrow.Table, cette version inclut la fonction DataFrame.toArrow(). Pour en savoir plus sur l’utilisation de Arrow dans PySpark, consultez Apache Arrow dans PySpark.

Amélioration des performances de certaines fonctions de la fenêtre

Cette version inclut une modification qui améliore les performances de certaines fonctions de fenêtre Spark, en particulier les fonctions qui n’incluent pas de clause ORDER BY ou un paramètre window_frame. Dans ces cas, le système peut réécrire la requête pour l’exécuter à l’aide d’une fonction d’agrégation. Cette modification permet d’accélérer l’exécution de la requête en utilisant l’agrégation partielle et en évitant les surcharges liées à l’exécution des fonctions de fenêtre. Le paramètre de configuration Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled contrôle cette optimisation et est défini sur true par défaut. Pour désactiver cette optimisation, définissez spark.databricks.optimizer.replaceWindowsWithAggregates.enabled sur false.

Prise en charge de la fonction try_mod ajoutée

Cette version ajoute la prise en charge de la fonction PySpark try_mod(). Cette fonction prend en charge le calcul compatible ANSI SQL du reste entier résultant de la division de deux valeurs numériques. Si l’argument diviseur est 0, la fonction try_mod() retourne null au lieu de lever une exception. Vous pouvez utiliser la fonction try_mod() au lieu de mod ou de %, qui lève une exception si l’argument de division est 0 et si ANSI SQL est activé.

Prise en charge d’un paramètre facultatif d’étendue dans le list_secrets()

Cette version vous permet de limiter les résultats de la fonction de table list_secrets() à une étendue spécifique.

Résolution des bogues

Les métriques WriteIntoDeltaCommand dans l’interface utilisateur Spark s’affichent désormais correctement

Cette version inclut un correctif des métriques affichées sous l’onglet SQL de l’interface utilisateur Spark pour le nœud Execute WriteIntoDeltaCommand. Auparavant, les métriques indiquées pour ce nœud étaient toutes nulles.

La fonction groupby() de l’API Pandas a ignoré l’argument as_index=False

Cette version inclut un correctif pour un problème lié à la fonction groupby() dans l’API Pandas sur Spark. Avant ce correctif, une groupby() avec ré-étiquetage des colonnes d’agrégation et l’argument as_index=False n’incluait pas de clés de groupe dans le DataFrame obtenu.

Erreur d’analyse avec des fonctions à fenêtres multiples qui font référence à la sortie des autres fonctions

Cette version corrige un problème qui peut survenir lorsqu’une requête Spark a plusieurs fonctions de fenêtre consécutives, où les fonctions de fenêtre font référence à la sortie des autres fonctions de fenêtre. Dans de rares cas, le système peut exclure l’une des références, ce qui entraîne des erreurs lors de l’évaluation de la requête. Ce correctif projette ces références pour garantir l’évaluation de la requête. Cette modification est contrôlée par le paramètre de configuration Spark spark.databricks.optimizer.collapseWindows.projectReferences, qui est défini sur true par défaut. Pour désactiver cette modification, définissez spark.databricks.optimizer.collapseWindows.projectReferences sur false.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • filelock de 3.13.1 vers 3.13.4
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • org.rocksdb.rocksdbjni de 8.3.2 vers 8.11.4

Apache Spark

Databricks Runtime 15.3 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 15.2 ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Rétablissement de « [SC-165552][SQL] DB2 : Lecture de SMALLINT en tant que Sho...
  • [SPARK-47904] [DBRRM-1040][SE COMPORTER-33][SC-163409] Rétablir SPARK-47904 : Conserver le cas dans le schéma Avro lors de l’utilisation d’enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Ajouter un type de données source pour une expression connector cast
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Stocker les informations de classement dans les métadonnées et non dans le type pour SER/DE
  • [SPARK-48172] [SC-166078][SQL] Résoudre les problèmes d’échappement dans JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Ajouter la prise en charge d’AbstractMapType
  • [SPARK-48031] [SC-166523] Exclure les vues héritées de SCHEMA BINDING
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Ajouter une fonction timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Résoudre le problème de délai d’expiration de la source de données de diffusion en continu Python pour un intervalle de déclencheur important
  • [SPARK-48369] Rétablir « [SC-166494][SQL][PYTHON][CONNECT] Ajouter une fonction timestamp_add »
  • [SPARK-48336] [SC-166495][PS][CONNECT] Implémenter ps.sql dans Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Ajouter une fonction timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Ajouter la prise en charge des classements pour les expressions de variantes
  • [SPARK-48161] [SC-165325][SQL] Corriger la demande de tirage rétablie – Ajouter prise en charge du classement pour les expressions JSON
  • [SPARK-48031] [SC-166391] Décomposer la configuration viewSchemaMode, ajouter la prise en charge de SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][CORE] Ajouter une configuration pour SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Améliorer les performances alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Gérer les minuscules dans nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Attribuer des noms aux classes d’erreur _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] Attribuer des noms aux classes d’erreur _LEGACY_ERROR_TEMP_323[6-7] et _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] Les propriétés mises en cache doivent retourner des copies
  • [SPARK-48308] [SC-166152][Core] Unifier l’obtention du schéma de données sans colonnes de partition dans FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Renommer CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] Appliquer la méthode timestamp_diff intégrée
  • [SPARK-47607] [SC-166129] Ajouter de la documentation pour le framework de journalisation structurée
  • [SPARK-48297] [SC-166136][SQL] Corriger une clause TRANSFORM de régression avec char/varchar
  • [SPARK-47045] [SC-156808][SQL] Remplacer IllegalArgumentException par SparkIllegalArgumentException dans sql/api
  • [SPARK-46991] [SC-156399][SQL] Remplacer IllegalArgumentException par SparkIllegalArgumentException dans catalyst
  • [SPARK-48031] [SC-165805][SQL] Prendre en charge de l’affichage de l’évolution du schéma
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Ajouter la méthode __repr__ manquante pour SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] Affiner la représentation sous forme de chaîne de Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Ajouter une fonction timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Enrichir le message d’erreur pour les échecs de lecture des valeurs décimales
  • [SPARK-47158] [SC-158078][SQL] Attribuer un nom approprié et sqlState à _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient peut entraîner une exception de pointeur null et provoquer FetchFailedException
  • [SPARK-48277] [SC-166066] Améliorer le message d’erreur pour ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][CONNECT] Prise en charge du jeu de données observe pour le client Scala
  • [SPARK-48954] [SC-171672][SQL] Ajouter la fonction try_mod
  • [SPARK-43258] [SC-158151][SQL] Attribuer des noms à l’erreur _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] Test de régression e2e avec SPARK-47305
  • [SPARK-48263] [SC-165925] Prise en charge de la fonction collate pour les chaînes non UTF8_BINARY
  • [SPARK-48260] [SC-165883][SQL] Désactiver la coordination du validateur de sortie dans un test de ParquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][CONNECT] Marquer les fonctions déconseillées avec @deprecated dans SQLImplicits
  • [SPARK-48011] [SC-164061][Core] Stocker le nom LogKey comme valeur pour éviter de générer des instances de chaîne
  • [SPARK-48074] [SC-164647][Core] Améliorer la lisibilité des journaux JSON
  • [SPARK-44953] [SC-165866][CORE] Consigner un avertissement lorsque le suivi aléatoire est activé le long d’un autre mécanisme pris en charge par DA
  • [SPARK-48266] [SC-165897][CONNECT] Déplacer l’objet de package org.apache.spark.sql.connect.dsl vers le répertoire de test
  • [SPARK-47847] [SC-165651][CORE] Déconseiller spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Nettoyer l’utilisation des constructeurs déconseillés de o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Transmettre directement la jointure au lieu de tous les arguments pour getBroadcastBuildSide et getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] Interdire aux clés de carte d’être de type Variant
  • [SPARK-48248] [SC-165791][PYTHON] Corriger un tableau imbriqué pour respecter la configuration héritée d’inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Ajouter la prise en charge du classement pour le type StringTrim de fonctions/d’expressions (pour UTF8_BINARY et LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Utiliser des exceptions légères pour le flux de contrôle entre UnivocityParser et FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Corriger la fonction d’agrégation dans l’assertion enfant d’expression With
  • [SPARK-48161] Rétablir « [SC-165325][SQL] Ajouter la prise en charge du classement pour les expressions JSON »
  • [SPARK-47963] [CORE] Rendre l’écosystème Spark externe peut utiliser des mécanismes de journalisation structurés
  • [SPARK-48180] [SC-165632][SQL] Améliorer l’erreur lorsque l’appel UDTF avec l’argument TABLE oublie les parenthèses autour de plusieurs expressions PARTITION/ORDER BY
  • [SPARK-48002] [SC-164132][PYTHON][SS] Ajouter un test pour les métriques observées dans PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Ajouter la prise en charge du classement pour les expressions d’URL
  • [SPARK-48161] [SC-165325][SQL] Ajouter la prise en charge du classement pour les expressions JSON
  • [SPARK-47359] [SC-164328][SQL] Prendre en charge la fonction TRANSLATE pour utiliser des chaînes classées
  • [SPARK-47365] [SC-165643][PYTHON] Ajouter la méthode DataFrame toArrow() à PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implémenter la validation de fonction manquante dans ApplyInXXX
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
  • [SPARK-47963] Rétablir « [CORE] Rendre l’écosystème Spark externe capable d’utiliser des mécanismes de journalisation structurés »
  • [SPARK-47963] [CORE] Rendre l’écosystème Spark externe peut utiliser des mécanismes de journalisation structurés
  • [SPARK-48208] [SC-165547][SS] Ignorer la fourniture de métriques d’utilisation de la mémoire à partir de RocksDB si l’utilisation de la mémoire limitée est activée
  • [SPARK-47566] [SC-164314][SQL] Prise en charge de la fonction SubstringIndex pour utiliser des chaînes classées
  • [SPARK-47589] [SC-162127][SQL] Hive-Thriftserver : Migrer logError avec des variables vers un framework de journalisation structurée
  • [SPARK-48205] [SC-165501][PYTHON] Supprimer le modificateur private[sql] pour les sources de données Python
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis doit voir l’intégralité du plan de requête
  • [SPARK-48197] [SC-165520][SQL] Éviter l’erreur d’assertion pour une fonction lambda non valide
  • [SPARK-47318] [SC-162573][CORE] Ajouter l’arrondi HKDF à la dérivation de clé AuthEngine pour suivre les pratiques KEX standard
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] Toujours définir la valeur initiale de Dataframe.sample côté client
  • [SPARK-48128] [SC-165004][SQL] Pour l’expression BitwiseCount / bit_count, corriger l’erreur de syntaxe codegen pour les entrées de type booléen
  • [SPARK-48147] [SC-165144][SS][CONNECT] Supprimer les écouteurs côté client lorsque la session Spark locale est supprimée
  • [SPARK-48045] [SC-165299][PYTHON] groupBy d’API Pandas avec multi-agg-relabel ignore as_index=False
  • [SPARK-48191] [SC-165323][SQL] Prise en charge d’UTF-32 pour le codage et le décodage de chaînes
  • [SPARK-45352] [SC-137627][SQL] Éliminer les partitions de fenêtre pliables
  • [SPARK-47297] [SC-165179][SQL] Ajouter la prise en charge du classement pour les expressions de format
  • [SPARK-47267] [SC-165170][SQL] Ajouter la prise en charge du classement pour les expressions de hachage
  • [SPARK-47965] [SC-163822][CORE] Éviter orNull dans TypedConfigBuilder et OptionalConfigEntry
  • [SPARK-48166] [SQL] Éviter d’utiliser BadRecordException comme erreur orientée utilisateur dans VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
  • [SPARK-47922] [SC-163997][SQL] Implémenter l’expression try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Modifier spark.sql.legacy.timeParse…
  • [SPARK-48035] [SC-165136][SQL] Corriger try_add/try_multiply étant sémantiquement égal à ajouter/multiplier
  • [SPARK-48107] [SC-164878][PYTHON] Exclure les tests de la distribution Python
  • [SPARK-46894] [SC-164447][PYTHON] Déplacer des conditions d’erreur PySpark dans un fichier JSON autonome
  • [SPARK-47583] [SC-163825][CORE] SQL Core : Migrer logError avec des variables vers un framework de journalisation structurée
  • [SPARK-48064] Rétablir « [SC-164697][SQL] Mettre à jour les messages d’erreur pour les classes d’erreur liées à la routine »
  • [SPARK-48048] [SC-164846][CONNECT][SS] Ajout de la prise en charge de l’écouteur côté client pour Scala
  • [SPARK-48064] [SC-164697][SQL] Mettre à jour les messages d’erreur pour les classes d’erreur liées à la routine
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] Réexécuter le plan si une erreur SESSION_NOT_FOUND est déclenchée et qu’aucune réponse partielle n’a été reçue
  • [SPARK-48124] [SC-165009][CORE] Désactiver la journalisation structurée pour Connect-Repl par défaut
  • [SPARK-47922] Rétablir « [SC-163997][SQL] Implémenter l’expression try_parse_json »
  • [SPARK-48065] [SC-164817][SQL] SPJ : allowJoinKeysSubsetOfPartitionKeys est trop strict
  • [SPARK-48114] [SC-164956][CORE] Précompiler l’expression régulière de modèle pour éviter tout travail inutile
  • [SPARK-48067] [SC-164773][SQL] Corriger les colonnes par défaut de variante
  • [SPARK-47922] [SC-163997][SQL] Implémenter l’expression try_parse_json
  • [SPARK-48075] [SC-164709][SS] Ajouter la vérification de type pour les fonctions PySpark avro
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implémenter SimpleDataSourceStreamReader pour la source de données de diffusion en continu Python
  • [SPARK-48081] [SC-164719] Corriger ClassCastException dans NTile.checkInputDataTypes() lorsque l’argument n’est pas pliable ou de type incorrect
  • [SPARK-48102] [SC-164853][SS] Suivre la durée de l’acquisition des métriques source/récepteur lors de la création de rapports sur la progression des requêtes de diffusion en continu
  • [SPARK-47671] [SC-164854][Core] Activer la journalisation structurée dans log4j2.properties.template et mettre à jour les documents
  • [SPARK-47904] [SC-163409][SQL] Conserver la casse dans le schéma Avro lors de l’utilisation d’enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType analyse la chaîne DDL
  • [SPARK-46922] [SC-156102][CORE][SQL] Ne pas encapsuler les erreurs liées au runtime
  • [SPARK-48047] [SC-164576][SQL] Réduire la sollicitation de la mémoire des balises TreeNode vides
  • [SPARK-47934] [SC-164648][CORE] Vérifier les barres obliques de fin dans les redirections d’URL HistoryServer
  • [SPARK-47921] [SC-163826][CONNECT] Corriger la création d’ExecuteJobTag dans ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Modifier l’erreur makeFromJava dans EvaluatePython en une erreur indiquée à l’utilisateur
  • [SPARK-47903] [SC-163424][PYTHON] Ajouter la prise en charge des types scalaires restants dans la bibliothèque Variant PySpark
  • [SPARK-48068] [SC-164579][PYTHON] mypy doit avoir un paramètre --python-executable
  • [SPARK-47846] [SC-163074][SQL] Ajouter la prise en charge du type Variant dans l’expression from_json
  • [SPARK-48050] [SC-164322][SS] Journaliser le plan logique au début de la requête
  • [SPARK-47810] [SC-163076][SQL] Remplacer l’expression équivalente par <=> dans la condition de jointure
  • [SPARK-47741] [SC-164290] Ajout de la gestion du dépassement de capacité de pile dans l’analyseur
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame doit avertir en indiquant les options non prises en charge
  • [SPARK-47939] [SC-164171][SQL] Implémenter une nouvelle règle Analyzer pour déplacer ParameterizedQuery dans ExplainCommand et DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Activer spark.stage.ignoreDecommissionFetchFailure par défaut
  • [SPARK-48016] [SC-164280][SQL] Corriger un bogue dans la fonction try_divide lorsque la valeur est décimale
  • [SPARK-48033] [SC-164291][SQL] Corriger les expressions RuntimeReplaceable utilisées dans les colonnes par défaut
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Éviter les appels répétés à conf.resolver dans resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Ajouter la prise en charge du classement pour l’agrégation hll sketch
  • [SPARK-47994] [SC-164175][SQL] Corriger un bogue de casse avec le filtre de colonne dans SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Remplacer MetricsAggregate/V2Aggregator#serialize/deserialize pour appeler SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Utiliser un formateur d’horodatage avec un fuseau horaire au niveau de la classe au lieu d’effectuer des copies au niveau de la méthode
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migrations de journaux structurés
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migrations de journaux structurés
  • [SPARK-47567] [SC-164172][SQL] Prendre en charge de la fonction LOCATE pour utiliser des chaînes classées
  • [SPARK-47764] [SC-163820][CORE][SQL] Nettoyer les dépendances aléatoires basées sur ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Mettre à jour la classe d’erreur pour group.apply
  • [SPARK-47414] [SC-163831][SQL] Prise en charge du classement en minuscules pour les expressions regexp
  • [SPARK-47418] [SC-163818][SQL] Ajouter des implémentations manuelles pour les contenus unicode en minuscules, startsWith et endsWith et optimiser UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] Catalyseur SQL : éliminer les variables non nommées dans les journaux d’erreurs
  • [SPARK-47351] [SC-164008][SQL] Ajouter la prise en charge du classement pour les expressions de chaîne StringToMap et Mask
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue doit prendre en compte les valeurs de type Null
  • [SPARK-47476] [SC-164014][SQL] Prendre en charge la fonction REPLACE pour utiliser des chaînes classées
  • [SPARK-47408] [SC-164104][SQL] Corriger les mathExpressions qui utilisent StringType
  • [SPARK-47350] [SC-164006][SQL] Ajouter la prise en charge du classement pour l’expression de chaîne SplitPart
  • [SPARK-47692] [SC-163819][SQL] Corriger la signification StringType par défaut dans le cast implicite
  • [SPARK-47094] [SC-161957][SQL] SPJ : rééquilibrer dynamiquement le nombre de compartiments lorsqu’ils ne sont pas égaux
  • [SPARK-48001] [SC-164000][CORE] Supprimer private implicit def arrayToArrayWritable non utilisé dans SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
  • [SPARK-48019] [SC-164121] Corriger un comportement incorrect dans ColumnVector/ColumnarArray avec dictionnaire et null
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migrations de journaux structurés
  • [SPARK-47999] [SC-163998][SS] Améliorer la journalisation autour de la création d’instantanés et l’ajout/la suppression d’entrées dans le mappage du cache d’état dans le fournisseur de magasin d’états sauvegardé HDFS
  • [SPARK-47417] [SC-162872][SQL] Prise en charge du classement : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] Autoriser les plug-ins de connexion à créer et traiter des jeux de données
  • [SPARK-47411] [SC-163351][SQL] Prendre en charge des fonctions StringInstr et FindInSet pour utiliser des chaînes classées
  • [SPARK-47360] [SC-163014][SQL] Prise en charge du classement : Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] Ajouter la prise en charge à substr/left/right pour les classements
  • [SPARK-47983] [SC-163835][SQL] Abaisser spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled en interne
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] Masquer SQLContext et HiveContext dans pyspark-connect
  • [SPARK-47985] [SC-163841][PYTHON] Simplifier les fonctions avec lit
  • [SPARK-47633] [SC-163453][SQL] Inclure la sortie du plan de droite dans LateralJoin#allAttributes pour une canonicalisation plus cohérente
  • [SPARK-47909] Rétablir « [PYTHON][CONNECT] Classe DataFrame parent f...
  • [SPARK-47767] [SC-163096][SQL] Afficher la valeur de décalage dans TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Empêcher les expressions de hachage de hacher le type de données Variant
  • [SPARK-47490] [SC-160494][SS] Corriger l’utilisation du constructeur d’enregistreur d’événements RocksDB pour éviter l’avertissement de dépréciation
  • [SPARK-47417] Rétablir la prise en charge du classement « [SC-162872][SQL] : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences »
  • [SPARK-47352] [SC-163460][SQL] Corriger la prise en charge du classement Upper, Lower, InitCap
  • [SPARK-47909] [PYTHON][CONNECT] Classe DataFrame parent pour Spark Connect et Spark Classic
  • [SPARK-47417] [SC-162872][SQL] Prise en charge du classement : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 15.3.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.78.0.19-CA-linux64
  • Scala : 2.12.18
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 en cours d’exécution 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetage 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
horloge 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 jeux de données 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 méthodes 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 fichier Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1