Partager via


Databricks Runtime 13.3 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.3 LTS avec Apache Spark 3.4.1.

Databricks a publié cette version en août 2023.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

Prise en charge de Scala pour des clusters partagés

Les clusters partagés avec Unity Catalog prennent désormais en charge Scala en cas d’utilisation de Databricks Runtime 13.3 et versions ultérieures.

La liste d’autorisation pour les scripts init, les fichiers JAR et les coordonnées Maven sur les clusters partagés Unity Catalog est en préversion publique

Vous pouvez maintenant utiliser allowlist d’Unity Catalog pour contrôler l’installation des scripts init, des fichiers JAR et des coordonnées Maven sur le calcul avec un mode d’accès partagé en exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez Bibliothèques de listes d’autorisation et scripts d’initialisation sur le calcul partagé.

La prise en charge des volumes pour les scripts init et les fichiers JAR est en préversion publique

Vous pouvez maintenant utiliser les volumes Unity Catalog pour stocker les scripts init et les fichiers JAR sur le calcul avec des modes d’accès attribués ou partagés en exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez Où peuvent être installés les scripts d’initialisation ? et Bibliothèques à l’échelle du cluster.

Casts sécurisés activés par défaut pour les opérations Delta Lake

Les opérations Delta UPDATE et MERGE entraînent désormais une erreur lorsque les valeurs ne peuvent pas être castées en toute sécurité vers le type dans le schéma de la table cible. Toutes les casts implicites dans Delta suivent désormais spark.sql.storeAssignmentPolicy au lieu de spark.sql.ansi.enabled. Consultez Conformité ANSI dans Databricks Runtime.

Présentation des étiquettes avec Unity Catalog

Avec Databricks Runtime 13.3 LTS et versions ultérieures, vous pouvez appliquer des étiquettes à vos objets sécurisables. Les étiquettes vous aident à organiser les objets sécurisables, et simplifient la recherche et la découverte de vos ressources de données. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

Databricks Runtime renvoie une erreur si un fichier est modifié entre la planification et l’appel de la requête

Les requêtes Databricks Runtime renvoient désormais une erreur si un fichier est mis à jour entre la planification et l’appel de la requête. Avant ce changement, Databricks Runtime lisait un fichier entre ces phases, ce qui aboutissait parfois à des résultats imprévisibles.

Remplacement de schéma de bloc en cas d’utilisation de remplacements de partition dynamique

Vous ne pouvez pas définir overwriteSchema sur true en association avec les remplacements de partition dynamique dans Delta Lake. Cela empêche toute altération éventuelle de la table liée à une incompatibilité de schéma. Consultez Remplacements de partition dynamique.

Intégrer l’API copyFile dans dbutils.fs.cp

La commande de copie dbutils, dbutils.fs.cp, est désormais optimisée pour accélérer la copie. Grâce à cette amélioration, les opérations de copie peuvent être jusqu’à 100 fois plus rapides, selon la taille du fichier. La fonctionnalité est disponible sur tous les systèmes de fichiers accessibles dans Azure Databricks, y compris pour les volumes Unity Catalog et les montages de système de fichiers Databricks.

Prise en charge du pilote ODBC/JDBC Databricks

Azure Databricks prend en charge les pilotes ODBC et JDBC publiés au cours des 2 dernières années. Téléchargez le dernier pilote sur Télécharger le pilote ODBC et Télécharger le pilote JDBC.

Prise en charge des marqueurs de paramètre (positionnel) sans nom

L’API SparkSession.sql() prend désormais en charge les requêtes paramétrisées utilisant la syntaxe ? en plus des requêtes paramétrisées utilisant la syntaxe :parm. Consultez les marqueurs de paramètre.

Activer l’étiquetage des colonnes de série chronologique

Vous pouvez désormais étiqueter des colonnes de série chronologique quand vous créez des contraintes de clé primaire.

Nouvelles fonctions SQL bitmap

Azure Databricks fournit désormais un ensemble de fonctions pouvant être utilisées pour mapper des valeurs numériques intégrales à un bitmap et les agréger. Cela peut servir à précalculer le nombre de valeurs distinctes.

Fonctions de chiffrement améliorées

Les fonctions aes_encrypt, aes_decrypt et try_aes_decrypt ont été améliorées avec la prise en charge des vecteurs d’initialisation (IV) et des données supplémentaires authentifiées (AAD).

Prise en charge d’Unity Catalog pour REFRESH FOREIGN

Vous pouvez maintenant mettre à jour des catalogues, des schémas et des tables étrangers dans Unity Catalog en utilisant REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA et REFRESH FOREIGN TABLE. Consultez REFRESH FOREIGN (CATALOG, SCHEMA, et TABLE).

INSERT BY NAME

Quand vous insérez des lignes dans une table, vous pouvez désormais laisser Azure Databricks mapper automatiquement les colonnes et les champs de la requête source aux colonnes de la table par leur nom. Voir INSERT INTO.

Partager des vues matérialisées avec Delta Sharing

L’instruction ALTER SHARE prend désormais en charge les vues matérialisées.

Dernières modifications

Modifications apportées au transtypage implicite lors du stockage de lignes dans une table avec les commandes MERGE INTO et UPDATE

Azure Databricks suit désormais la configuration spark.sql.storeAssignmentPolicy pour le transtypage implicite lors du stockage des lignes dans une table. La valeur par défaut ANSI génère une erreur lors du stockage de valeurs qui dépassent. Précédemment, les valeurs auraient été stockées comme NULL par défaut.

Comme dans l’exemple suivant, vous pouvez traiter les dépassements en réécrivant la table pour utiliser un type plus large pour la colonne à l’origine de l’erreur.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Modifications de l’inférence de schéma Parquet

Lors de l’inférence de schémas à partir de fichiers Parquet non écrits par Spark, les colonnes d’horodatage int64 annotées avec isAdjustedToUTC=false sont désormais par défaut du type TIMESTAMP_NTZ. Auparavant, celles-ci étaient inférées avec le type TIMESTAMP. Cette mise à jour améliore la précision du mappage des types Parquet aux types SQL Spark.

Par conséquent, la lecture de données à partir de fichiers Parquet externes dans une table Delta peut entraîner une erreur si la fonctionnalité de timestampNtz n’est pas activée. L’erreur se présente comme suit :

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Pour maintenir le comportement précédent et empêcher cette erreur, vous pouvez définir le paramètre de configuration Spark spark.sql.parquet.inferTimestampNTZ.enabled sur false.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • debugpy, versions 1.5.1 à 1.6.0
    • distlib, versions 0.3.6 à 0.3.7
    • fastjsonschema, versions 2.16.3 à 2.18.0
    • filelock de la version 3.12.0 à la version 3.12.2
  • Bibliothèques R mises à niveau :
    • SparkR, versions 3.4.0 à 3.4.1
  • Bibliothèques Java mises à niveau :
    • org.apache.orc.orc-core, versions 1.8.3-shaded-protobuf à 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce, versions 1.8.3-shaded-protobuf à 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims, versions 1.8.3 à 1.8.4
    • org.eclipse.jetty.jetty-client, versions 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 à 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet, versions 9.4.50.v20221201 à 9.4.51.v20230217
    • org.xerial.snappy.snappy-java, versions 1.1.8.4 à 1.1.10.1

Apache Spark

Databricks Runtime 13.3 comprend Apache Spark 3.4.1. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 13.2 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • Vous pouvez maintenant définir la variable d’environnement de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 pour utiliser le connecteur Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Rétablir « [SC-133100][SQL] Correction des problèmes de conversion du type de données Avro…
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Déchargement du fournisseur, pour forcer la fermeture de l’instance de base de données et libérer les ressources en cas d’erreur de la tâche de maintenance
  • [SPARK-44059] [SC-137023] Ajout de la prise en charge des arguments nommés par l’analyseur pour les fonctions intégrées
  • [SPARK-44485] [SC-137653][SQL] Optimisation de TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Diffusion en streaming de ForeachBatch en Python
  • [SPARK-44446] [SC-136994][PYTHON] Ajout de vérifications pour les cas spéciaux de types de liste attendus
  • [SPARK-44439] [SC-136973][CONNECT][SS]Correction de listListeners pour renvoyer uniquement des ID au client
  • [SPARK-44216] [SC-136941] [PYTHON] Rendre l’API assertSchemaEqual publique
  • [SPARK-44201] [SC-136778][CONNECT][SS]Ajout de la prise en charge de l’écouteur de diffusion en streaming en Scala pour Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Attribution de noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Rétablissement de « [SC-133990][SQL][PYTHON] Prise en charge des fonctions de table définies par l’utilisateur Python »
  • [SPARK-44398] [SC-136720][CONNECT] API Scala foreachBatch
  • [SPARK-44476] [SC-137169][CORE][CONNECT] Correction de la population d’artefacts pour un JobArtifactState sans artefact associé
  • [SPARK-44269] [SC-135817][SQL] Attribution de noms à la classe d’erreur LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] Mise à jour des arguments TVF pour exiger des parenthèses autour de l’identificateur après le mot clé TABLE
  • [SPARK-43915] [SC-134766][SQL] Attribution de noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Ajout de la prise en charge d’UDFRegistration au client Scala Connect
  • [SPARK-44109] [SC-134755][CORE] Supprimer les emplacements préférés en double de chaque partition RDD
  • [SPARK-44169] [SC-135497][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Attribution de nom à _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT] API Scala foreachBatch
  • [SPARK-44153] [SC-134977][CORE][UI] Prise en charge de la colonne Heap Histogram sous l’onglet Executors
  • [SPARK-44044] [SC-135695][SS] Amélioration du message d’erreur pour les fonctions de fenêtre avec diffusion en streaming
  • [SPARK-43914] [SC-135414][SQL] Attribution de noms à la classe d’erreur LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Autoriser la précision personnalisée pour l’égalité approximative des fps
  • [SPARK-44370] [SC-136575][CONNECT] Migration de la version alpha de génération à distance Buf vers des plug-ins distants
  • [SPARK-44410] [SC-136930][PYTHON][CONNECT] Définition de la session active dans create, pas seulement getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Réactivation de test_artifact avec les changements correspondants
  • [SPARK-44145] [SC-136698][SQL] Rappel quand prêt pour l’exécution
  • [SPARK-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
  • [SPARK-43986] [SC-135623][SQL] Création de classes d’erreur pour les échecs d’appel de fonction HyperLogLog
  • [SPARK-44139] [SC-134967][SQL] Abandon des filtres complètement en bas dans les opérations MERGE basées sur un groupe
  • [SPARK-44338] [SC-136718][SQL] Correction du message d’erreur d’incompatibilité de schéma de vue
  • [SPARK-44208] [SC-135505][CORE][SQL] Attribuer des noms de classe d’erreur clairs pour une logique qui utilise directement des exceptions
  • [SPARK-44364] [SC-136773] [PYTHON] Ajout de la prise en charge du type de données List[Row] pour les données attendues
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils doit appliquer ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL] Ajout d’une vérification de valeur null pour l’option lineSep
  • [SPARK-44388] [SC-136695][CONNECT] Correction du problème de cast protobuf quand l’instance UDF est mise à jour
  • [SPARK-44352] [SC-136373][CONNECT] Remettre sameType et les amis dans DataType.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2 : gérer les commandes UPDATE pour les sources basées sur des groupes
  • [SPARK-44360] [SC-136461][SQL] Prise en charge de l’élagage de schéma dans les opérations MERGE basées sur delta
  • [SPARK-44138] [SC-134907][SQL] Interdire les expressions non déterministes, les sous-requêtes et les agrégats dans les conditions MERGE
  • [SPARK-43321] [SC-136678][Connect][Suivi] Meilleurs noms pour les API utilisées dans la jointure du client ScalaWith
  • [SPARK-44263] [SC-136447][CONNECT] Prise en charge des intercepteurs personnalisés
  • [SPARK-39851] [SC-123383][SQL] Améliorer l’estimation des statistiques de jointure si un côté peut conserver l’unicité
  • [SPARK-44390] [SC-136677][CORE][SQL] Renommer SparkSerDerseUtils en SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Attribuer un nom et améliorer le message d’erreur pour les erreurs LEGACY fréquentes.
  • [SPARK-44322] [SC-136204][CONNECT] Faire en sorte que l’analyseur utilise SqlApiConf au lieu de SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Déplacer les fonctions de valeurs par défaut de StructType vers ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI] Correction de l’erreur de tri de la colonne d’ID de l’exécuteur dans la page d’interface utilisateur des exécuteurs
  • [SPARK-44282] [SC-135948][CONNECT] Préparation de l’analyse de DataType pour l’utiliser dans le client Scala Spark Connect
  • [SPARK-44349] [SC-136581][R] Ajout de fonctions mathématiques à SparkR
  • [SPARK-44397] [SC-136647][PYTHON] Exposer assertDataFrameEqual dans pyspark.testing.utils
  • [SPARK-42981] [SC-136620][CONNECT] Ajout d’une sérialisation de flèche directe
  • [SPARK-44373] [SC-136577][SQL] Wrappage de withActive pour l’API Dataset avec la logique d’analyse pour que la configuration associée à l’analyseur fonctionne
  • [SPARK-44340] [SC-136574][SQL] Définir la logique de calcul par le biais de l’API PartitionEvaluator et l’utiliser dans WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][CONNECT][PS] Permettre à PandasSQLStringFormatter.vformat de fonctionner avec Spark Connect
  • [SPARK-44325] [SC-136572][SQL] Utiliser l’API PartitionEvaluator dans DebugExec
  • [SPARK-44315] [SC-136171][SQL][CONNECT] Déplacer DefinedByConstructorParams vers sql/api
  • [SPARK-44275] [SC-136184][CONNECT] Ajouter un mécanisme de nouvelle tentative configurable à Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Déplacer les utilitaires utilisés à partir du client Scala vers les modules courants
  • [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] Préparation de ScalaReflection pour le déplacement vers SQL/API
  • [SPARK-44313] [SC-136081][SQL] Correctif de la validation de l’expression de colonne générée en cas de colonne char/varchar dans le schéma
  • [SPARK-43963] [SC-134145][SQL] DataSource V2 : gérer les commandes MERGE pour les sources basées sur des groupes
  • [SPARK-44363] [SC-136433] [PYTHON] Affichage du pourcentage de lignes différentes dans la comparaison de DataFrames
  • [SPARK-44251] [SC-136432][SQL] Définition de la valeur pouvant accepter Null correctement sur une clé de jointure fusionnée dans une jointure externe complète USING
  • [SPARK-43948] [SC-133366][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Ajouter hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt à Scala et Python
  • [SPARK-44351] [SC-136353][SQL] Simplification syntaxique
  • [SPARK-44281] [SC-135963][SQL] Déplacement de l’erreur QueryCompilation utilisée par DataType vers sql/api sous la forme DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT] Déplacer l’origine vers SQL/API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Ajouter array_agg, array_size, cardinalité, count_min_sketch,mask,named_struct,json_* à Scala et Python
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Ajouter des fonctions any et len à Scala
  • [SPARK-44290] [SC-136300][CONNECT] Fichiers et archives basés sur une session dans Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] Ajouter une fonction assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Ajouter des fonctions bitmap à Scala et Python
  • [SPARK-44342] [SC-136334][SQL] Remplacement de SQLContext par SparkSession pour GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Suppression de la jointure externe si toutes les fonctions d’agrégation sont distinctes
  • [SPARK-44333] [SC-136206][CONNECT][SQL] Déplacer EnhancedLogicalPlan hors de ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Ajouter des fonctions bitmap à Scala et Python
  • [SPARK-44193] [SC-135886][CONNECT] Implémenter l’interception des exceptions GRPC pour la conversion
  • [SPARK-44284] [SC-136107][CONNECT] Création d’un système de configuration simple pour sql/api
  • [SPARK-43913] [SC-133368][SQL] Attribution de noms à la classe d’erreur LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Rétablissement de « [SC-135924][SPARK-43416][CONNECT] Correction d’un schéma incorrect pour la requête de plage de données »
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] Autorisation pour définir un agent utilisateur avec une variable d’environnement
  • [SPARK-44154] [SC-136060] Implémenter des fonctions bitmap
  • [SPARK-43885] [SC-133996][SQL] DataSource V2 : gestion des commandes MERGE pour les sources basées sur le delta
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Ajout de fonctions diverses à Scala et Python
  • [SPARK-43969] [SC-134556][SQL] Refactoriser et assigner des noms à la classe d’erreur _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Correctif d’un chemin d’accès incohérent entre les opérations de catalogue et de données
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Ajouter des fonctions date heure à Scala, Python et Connect – partie 2
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Ajouter des fonctions de chaîne à Scala et Python – partie 1
  • [SPARK-44266] [SC-135813][SQL] Déplacer Util.truncatedString vers sql/api
  • [SPARK-44195] [SC-135722][R] Ajout des API JobTag à SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Prise en charge de la règle d’analyseur d’argument TABLE pour TableValuedFunction
  • [SPARK-44254] [SC-135709][SQL] Erreur de déplacement de requêteCompilation utilisée par DataType vers sql/api en tant que DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Correctif d’un schéma incorrect pour la requête de plage de données
  • [SPARK-43922] [SC-135612][SQL] Ajout de la prise en charge des paramètres nommés dans l’analyseur pour les appels de fonction
  • [SPARK-44300] [SC-135882][CONNECT] Correction du nettoyage des artefacts pour limiter l’étendue de suppression aux artefacts spécifiques d’une session
  • [SPARK-44293] [SC-135849][CONNECT] Correctif de l’URI non valide pour les jar personnalisés dans Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Si les blocs num sont 0, le serveur doit lever une runtimeException
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests doivent être illustratifs uniquement
  • [SPARK-44274] [SC-135814][CONNECT] Déplacer les fonctions d’utilisation utilisées par ArtifactManager vers common/utils
  • [SPARK-44194] [SC-135815][PYTHON][CORE] Ajouter des API JobTag à PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Annotations de type Python plus explicites pour GroupedData
  • [SPARK-44079] [SC-135486][SQL] Correction de ArrayIndexOutOfBoundsException pendant l’analyse d’un tableau comme struct en utilisant le mode PERMISSIVE avec un enregistrement endommagé
  • [SPARK-44255] [SC-135809][SQL] Déplacement de StorageLevel vers common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implémentation de la génération de code pour la fonction to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refactorisation de PythonUDTFRunner pour envoyer son type de retour séparément
  • [SPARK-43353] [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implémentation de SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] doit toujours créer un subDir quand le nombre de subDir dans le répertoire de fusion est inférieur à celui configuré
  • [SPARK-41599] [SC-135616] Fuite de mémoire dans FileSystem.CACHE pendant l’envoi d’applications à un cluster sécurisé en utilisant InProcessLauncher
  • [SPARK-44241] [SC-135613][Core] La définition par erreur d’io.connectionTimeout/connectionCreationTimeout sur zéro ou une valeur négative entraîne des constructions/destructions incessantes de l’exécuteur
  • [SPARK-44133] [SC-134795][13.X][PYTHON] Mise à niveau de MyPy de la version 0.920 à 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Événement Serde au format JSON
  • [SPARK-44188] [SC-135173][CORE] Suppression de la méthode inutile resetAllPartitions dans ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] Passage de la compatibilité du client de la liste d’autorisation à la liste d’exclusion
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Ajout d’un accès spark connect aux Dataframes d’exécution par ID.
  • [SPARK-44183] [SC-135209][PYTHON] Création de la PyArrow version minimale vers 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Ajouter l’emplacement préféré dans la source kafka v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Ajouter des fonctions date heure à Scala, Python et API Connect – partie 1
  • [SPARK-44161] [SC-135326][Connect] Gestion de l’entrée de ligne pour les UDF
  • [SPARK-44227] [SC-135520][SQL] Extraire SchemaUtils de StructField
  • [SPARK-44064] [SC-135116][CORE][SQL] Ajouter une nouvelle apply fonction à NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[2279-2282] et supprimer certaines classes d’erreur inutilisées
  • [SPARK-44056] [SC-134758][SQL] Ajout du nom UDF dans le message d’erreur d’échec de l’exécution UDF quand il est disponible
  • [SPARK-44205] [SC-135422][SQL] Extraction du code Catalyst de DecimalType
  • [SPARK-44220] [SC-135484][SQL] Déplacer StringConcat vers sql/api
  • [SPARK-44146] [SC-135230][CONNECT] Isoler les fichiers jars et les classfiles de session Spark Connect
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][SQL] Corriger les requêtes de cas de test interprétées peuvent exécuter Codegen
  • [SPARK-44204] [SC-135253][SQL][HIVE] Ajouter un enregistrement manquantHiveCall pour getPartitionNames
  • [SPARK-44237] [SC-135485][CORE] Simplifier la logique de recherche du constructeur DirectByteBuffer
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] Prise en charge des paramètres positionnels par sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Prise en charge des paramètres positionnels par sql()
  • [SPARK-44164] [SC-135158][SQL] Extraire la méthode versAttribute de StructField vers la classe Util
  • [SPARK-44178] [SC-135113][CONNECT] Prise en charge des paramètres positionnels par sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader doit fermer la classe barrière InputStream après la lecture
  • [SPARK-43063] [SC-128382][SQL] Le handle df.show null doit imprimer NULL au lieu de null
  • [SPARK-42539] [SC-124464][SQL][HIVE] Élimination du chargeur de classes distinct en cas d’utilisation de la version Hive « builtin » pour le client de métadonnées
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listFunctions
  • [SPARK-44066] [SC-134878][SQL] Prise en charge des paramètres positionnels par sql()
  • [SPARK-44078] [SC-134869][CONNECT][CORE] Ajout de la prise en charge de l’isolation du chargeur de classes/des ressources
  • [SPARK-43470] [SC-135187][CORE] Ajouter des informations de version du système d’exploitation, Java et Python au journal des applications
  • [SPARK-43136] [SC-135238][CONNECT][Suivi] Ajout de tests pour keyAs
  • [SPARK-39740] [SC-135093][UI] : mettre à niveau le chronologie vers la version 7.7.2 pour corriger CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listTables
  • [SPARK-44026] [SC-135181] Autoriser la fourniture de la valeur initiale pour SQLMetrics
  • [SPARK-44202] [SC-135244][CORE] Ajouter des API JobTag à JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] Implémenter DataTypeExpression pour offrir Unapply for expression
  • [SPARK-43876] Rétablir « [SC-134603][SQL] Activer le hachage rapide pour les requêtes distinctes »
  • [SPARK-40082] [SC-126437] Planification de mergeFinalize pendant une nouvelle tentative de fusion par poussée shuffleMapStage sans exécution de tâche
  • [SPARK-43888] [SC-132893][CORE] Déplacement de la journalisation vers common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Ajout de SessionHolder à SparkConnectPlanner
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Ajout de fonctions de chaîne à Scala et Python – partie 2
  • [SPARK-44134] [SC-134954][CORE] Correction des ressources de paramètre (GPU/FPGA) sur 0 lorsqu’elles sont définies dans spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Remplacer le type par tpe dans l’utilitaire pour convertir les types Python en types Spark
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Ajouter des API SparkContext pour l’annulation de requête par étiquette
  • [SPARK-44000] [SC-133634][SQL] Ajout d’un conseil pour désactiver la diffusion et la réplication d’un côté de la jointure
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Ajout de : ifnull,isnotnull,equal_null,nullif,nvl,nvl2 à Scala et Python
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Ajout de EWM à SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][SQL] Correction des statistiques de calcul quand le nœud AggregateExec est au-dessus de QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Correction du message d’erreur pour l’argument unit des fonctions add/diff de date et heure
  • [SPARK-43794] [SC-132561][SQL] Attribution d’un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][CONNECT][SS] Implémentation des API MapGroupsWithState et FlatMapGroupsWithState pour Spark Connect
  • [SPARK-43529] [SQL] Prise en charge des expressions CREATE/REPLACE TABLE OPTIONS + nettoyage de code
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] Ajout de __repr__ pour GroupedData
  • [SPARK-42299] [SC-133190] Attribution d’un nom à _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Ajout de la prise en charge des aes_encrypt IV et AAD
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Ajout de fonctions de type current à Scala et Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Ajouter les fonctions regexp_* à Scala et Python
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] Masquer les méthodes Colonnes non prises en charge de la saisie semi-automatique
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Événement Serde au format JSON
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implémenter les fonctions ‘levenshtein(str1, str2[, threshold])’ dans le client Python
  • [SPARK-44125] [SC-134745][R] Prise en charge de Java 21 dans SparkR
  • [SPARK-43919] [SC-133374][SQL] Extraire les fonctionnalités JSON de ligne
  • [SPARK-43769] [SC-132520][CONNECT] Implémenter les fonctions ‘levenshtein(str1, str2[, threshold])’
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer pour imprimer des statuts en lecture
  • [SPARK-43876] [SC-134603][SQL] Activer le hachage rapide pour les requêtes distinctes
  • [SPARK-44024] [SC-134497][SQL] Modification à utiliser map lorsqu’elle unzip est utilisée uniquement pour extraire un seul élément
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Ajout d’opérations sur les bits aux API Scala, Python et Connect
  • [SPARK-44092] [SC-134506][CORE] Ajout de Utils.isJavaVersionAtLeast21 et autorisation du module core avec Java 21
  • [SPARK-44018] [SC-134512][SQL] Amélioration du code de hachage et de la toString pour certaines expressions DS V2
  • [SPARK-44105] [SC-134582][SQL] LastNonNull doit être résolu de manière tardive
  • [SPARK-44081] [SC-134434] Simplifier un peu l’API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Définir et utiliser non résolu[Feuille|Unary]Node traits.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Résolution de valeurs de colonne par défaut de refactorisation
  • [SPARK-43493] [SC-132063][SQL] Ajout d’un argument de distance maximale à la fonction levenshtein()
  • [SPARK-44075] [SC-134382][CONNECT] DifférertransformStatCorr
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Ajouter des bool_or,bool_and,chaque à Scala, Python et Connect
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Ajouter make_* functions à Scala et Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Amélioration de la classe d’erreur : CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Ajouter à_* functions à Scala et Python
  • [SPARK-44055] [SC-134321][CORE] Supprimer les fonctions redondantes override de CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Correction de codegen pour unhex et unbase64 avec failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Prise en charge des fonctions de table définies par l’utilisateur Python
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Ajout de : any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduce aux API Scala, Python et Connect
  • [SPARK-43380] [SC-133100][SQL] Correction des problèmes de conversion de type de données Avro pour éviter de produire des résultats incorrects
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Amélioration d’awaitTermination() pour gérer les déconnexions du client
  • [SPARK-43179] [SC-129070][SHUFFLE] Autoriser les applications à contrôler si leurs métadonnées sont enregistrées dans la base de données par le service aléatoire externe

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 13.3.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.2 LTS
  • Java : Zulu 8.70.0.23-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R: 4.2.2
  • Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 chiffrement 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
entrypoints 0,4 en cours d’exécution 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 empaquetage 21,3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requêtes 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.3
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 horloge 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1