Partager via

Databricks Runtime 16.1

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.1, basé sur Apache Spark 3.5.0.

Databricks a publié cette version en décembre 2024.

Conseil

Pour afficher les notes de publication pour les versions de Databricks Runtime qui ont atteint la fin de la prise en charge (EoS), consultez notes de publication de Databricks Runtime de fin de support. Les versions d’EoS Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Changements comportementaux

Changement cassant : la gestion des expressions régulières Photon est désormais cohérente avec Apache Spark

Dans Databricks Runtime 15.4 et versions ultérieures, la gestion des expressions régulières dans Photon est mise à jour pour correspondre au comportement de gestion des expressions régulières Apache Spark. Auparavant, les fonctions d’expression régulière exécutées par Photon, telles que split() et regexp_extract(), acceptaient certaines expressions régulières rejetées par l’analyseur Spark. Pour maintenir la cohérence avec Apache Spark, les requêtes Photon échouent désormais pour les expressions régulières que Spark considère non valides.

En raison de cette modification, vous pouvez voir des erreurs si votre code Spark inclut des expressions régulières non valides. Par exemple, l’expression split(str_col, '{'), qui contient une accolade sans correspondance et qui a été précédemment acceptée par Photon, échoue désormais. Pour corriger cette expression, vous pouvez échapper au caractère d’accolades : split(str_col, '\\{').

Le comportement de Photon et de Spark diffère également pour certaines correspondances d’expressions régulières avec des caractères non ASCII. Ceci est également mis à jour afin que Photon corresponde au comportement d’Apache Spark.

Le type de données VARIANT ne peut plus être utilisé avec des opérations nécessitant des comparaisons

Dans Databricks Runtime 16.1 et versions ultérieures, vous ne pouvez pas utiliser les clauses ou opérateurs suivants dans les requêtes qui incluent un type de données VARIANT :

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

En outre, vous ne pouvez pas utiliser ces fonctions DataFrame :

  • df.dropDuplicates()
  • df.repartition()

Ces opérations effectuent des comparaisons et des comparaisons qui utilisent le type de données VARIANT produisent des résultats non définis et ne sont pas prises en charge dans Databricks. Si vous utilisez le type VARIANT dans vos charges de travail ou tables Azure Databricks, Databricks recommande les modifications suivantes :

  • Mettez à jour les requêtes ou expressions pour convertir explicitement des valeurs VARIANT en types de données nonVARIANT.
  • Si vous avez des champs qui doivent être utilisés avec l’une des opérations ci-dessus, extrayez ces champs du type de données VARIANT et stockez-les à l’aide de types de données nonVARIANT.

Pour plus d'informations, consultez les données de variantes de requêtes .

Nouvelles fonctionnalités et améliorations

Prise en charge des classements dans Apache Spark est disponible en préversion publique

Vous pouvez désormais affecter des interclassements sensibles à la langue, insensibles à la casse et insensibles à l'accès pour les colonnes et expressions STRING. Ces classements sont utilisés dans les comparaisons de chaînes, le tri, les opérations de regroupement et de nombreuses fonctions de chaîne. Voir Classement.

Prise en charge des classements dans Delta Lake est disponible en préversion publique

Vous pouvez maintenant définir des classements pour les colonnes lors de la création ou de la modification d’une table Delta. ConsultezSupport de classement pour Delta Lake.

Le mode LITE pour le vide est en aperçu public

Vous pouvez désormais utiliser VACUUM table_name LITE pour effectuer une opération de nettoyage plus légère qui utilise les métadonnées dans le journal des transactions Delta. Voir mode complet vs mode léger et VACUUM.

Prise en charge du paramétrage de la clause USE CATALOG with IDENTIFIER

Dans Databricks Runtime 16.1 et versions ultérieures, la clause IDENTIFIER est prise en charge pour l’instruction USE CATALOG. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.

COMMENT ON COLUMN support des tables et des vues

Dans Databricks Runtime 16.1 et versions ultérieures, l’instruction COMMENT ON prend en charge la modification des commentaires pour les colonnes d’affichage et de table.

Nouvelles fonctions SQL

Dans Databricks Runtime 16.1 et versions ultérieures, les nouvelles fonctions SQL intégrées suivantes sont disponibles :

  • dayname(expr) retourne l’acronyme anglais de trois lettres pour le jour de la semaine pour la date donnée.
  • uniform(expr1, expr2 [,seed]) retourne une valeur aléatoire avec des valeurs indépendantes et distribuées de façon identique dans la plage de nombres spécifiée.
  • randstr(length) retourne une chaîne aléatoire de caractères alphanumériques length.

Appel de paramètre nommé pour d’autres fonctions

Dans Databricks Runtime 16.1 et versions ultérieures, les fonctions suivantes prennent en charge appel de paramètre nommé :

Le paramètre SYNC METADATA de la commande REPAIR TABLE est pris en charge avec le metastore Hive

Dans Databricks Runtime 16.1 et versions ultérieures, vous pouvez utiliser le paramètre SYNC METADATA avec la commande REPAIR TABLE pour mettre à jour les métadonnées d’une table gérée par metastore Hive. Voir REPAIR TABLE.

Intégrité améliorée des données pour les lots Apache Arrow compressés

Dans Databricks Runtime 16.1 et versions ultérieures, pour protéger davantage contre l'altération des données, chaque LZ4batch Arrow compressé inclut désormais le contenu LZ4 et les sommes de contrôle de bloc. Consultez la description du format de cadre LZ4 .

Prise en charge ajoutée pour les méthodes Scala sur le mode de calcul du catalogue Unity en mode d’accès partagé

Dans Databricks Runtime 16.1 et versions ultérieures, le support est ajouté pour le calcul en mode d'accès partagé du catalogue Unity, avec la prise en charge des méthodes Scala suivantes : Dataset.flatMapGroups(), Dataset.mapGroups()et DataStreamWriter.foreach().

Pilote JDBC Teradata intégré

Dans Databricks Runtime 16.1 et versions ultérieures, le pilote JDBC Teradata est intégré à Azure Databricks. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote.

Support de StreamingQueryListener pour Scala

Vous pouvez désormais utiliser StreamingQueryListener en Scala sur le calcul configuré avec le mode d’accès partagé.

Pilote JDBC Oracle intégré

Dans Databricks Runtime 16.1 et versions ultérieures, le pilote ORACLE JDBC est intégré à Azure Databricks. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote.

Erreurs plus détaillées pour les tables Delta accessibles avec des chemins d’accès

Une nouvelle expérience de message d’erreur pour les tables Delta accessibles à l’aide de chemins est désormais disponible. Toutes les exceptions sont désormais transférées à l’utilisateur. L’exception DELTA_MISSING_DELTA_TABLE est désormais réservée lorsque les fichiers sous-jacents ne peuvent pas être lus en tant que table Delta.

Autres modifications

Codes d’erreur renommés pour la source cloudFiles Structured Streaming

Cette version inclut une modification pour renommer les codes d’erreur suivants :

  • _LEGACY_ERROR_TEMP_DBR_0143 est renommé en CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 est renommé en CF_INCORRECT_BATCH_USAGE .

Résolution des bogues

Les types imbriqués acceptent désormais correctement les contraintes NULL

Cette version corrige un bogue affectant certaines colonnes Delta générées de types imbriqués, par exemple, STRUCT. Ces colonnes rejettent parfois incorrectement les expressions basées sur des contraintes de NULL ou de NOT NULL des champs imbriqués. Cela a été corrigé.

Mises à niveau de bibliothèque

  • Bibliothèques Python mises à niveau :
    • ipyflow-core de 0.0.198 à 0.0.201
    • pyccolo de 0.0.52 à 0.0.65
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • io.delta.delta-sharing-client_2.12 de 1.2.1 à 1.2.2
    • org.lz4.lz4-java de 1.8.0 à 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 à 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 16.0, ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-50482] [SC-182879][CORE] Configuration Déconseillé no-op spark.shuffle.spill
  • [SPARK-50032] [SC-182706][SQL][16.x] Autoriser l’utilisation du nom de classement complet
  • [SPARK-50467] [SC-182823][PYTHON] Ajouter __all__ pour les fonctions intégrées
  • [SPARK-48898] [SC-182828][SQL] Corriger le bogue de fragmentation de variant
  • [SPARK-50441] [SC-182668][SQL] Corriger les identificateurs paramétrables qui ne fonctionnent pas lors du référencement des CTEs
  • [SPARK-50446] [SC-182639][PYTHON] Niveau de concurrence dans la fonction UDF Python optimisée par Arrow
  • [SPARK-50430] [SC-182536][CORE] Utiliser le fichier Properties.clone standard au lieu du clone manuel
  • [SPARK-50471] [SC-182790][PYTHON] Prise en charge de l’enregistreur de source de données Python basé sur les flèches
  • [SPARK-50466] [SC-182791][PYTHON] Affiner les docstrings pour les fonctions de chaîne - partie 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Intégration de la nouvelle API de minuteur et de l'API d'état initial avec minuteur
  • [SPARK-50437] [SC-182586][SS] Réduire la surcharge de création de désérialiseurs dans TransformWithStateExec
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Ajouter la prise en charge du chaînage...
  • [SPARK-49294] [SC-182730][UI] Ajouter un attribut width pour la case à cocher shuffle-write-time.
  • [SPARK-50426] [SC-182540][PYTHON] Éviter la recherche statique de source de données Python lors de l’utilisation de sources de données intégrées ou Java
  • [SPARK-48356] [SC-182603][SQL] Prise en charge de l’instruction FOR
  • [SPARK-50333] [SC-182136][SQL] Prise en charge de Codegen pour CsvToStructs (par l'Invocation de & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Métriques pour les validations sur les instances de StagedTable
  • [SPARK-50081] [SC-182344][SQL] Prise en charge de Codegen pour XPath*(par Invoke & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refactoriser AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][SQL] Prise en charge de Codegen pour SchemaOfCsv(par Invoke & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][SQL] corriger l’échec après fusion lors du test d’erreurs
  • [SPARK-50118] [SC-181259][CONNET] Réinitialiser le cache d’état isolé lorsque les tâches sont en cours d’exécution
  • [SPARK-49873] [SC-178577][SQL] Affecter une classe d’erreur appropriée pour _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][CORE] Support spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] Ajouter une fonction DAYNAME
  • [SPARK-50270] [SC-181179][SS][PYTHON] Ajout de métriques d’état personnalisées pour TransformWithStateInPandas
  • [SPARK-50118] Rétablir “[SC-181259][CONNET] Réinitialiser le cache d’état isolé lors de l’exécution des tâches”
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Ajouter des API de DataFrame pour les fonctions à valeur de table
  • [SPARK-49470] [SC-175736][UI] Mettre à jour les feuilles de style et javascript dataTables de 1.13.5 à 1.13.11
  • [SPARK-50235] Rétablir “[SC-180786][SQL] Nettoyer la ressource ColumnVector après le traitement de toutes les lignes dans ColumnarToRowExec”
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] Assurer que le déclencheur createDataFrame sollicite Config RPC au plus une fois
  • [SPARK-50387] [SC-182441][SS] Condition de mise à jour pour l’expiration du minuteur et le test approprié
  • [SPARK-50287] [SC-182400][SQL] Options de fusion de table et de relation lors de la création d’WriteBuilder dans FileTable
  • [SPARK-50066] [SC-181484][SQL] Support de Codegen pour SchemaOfXml (par Invoke & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][SQL] Corriger le comportement du connecteur PostgreSQL pour les tableaux multidimensionnels
  • [SPARK-50318] [SC-181641][SQL] Add IntervalUtils.makeYearMonthInterval pour dédupliquer le code entre interprété et codegen
  • [SPARK-50312] [SC-181646][SQL] Erreur de transmission des paramètres à SparkThriftServer createServer lorsque Kerberos est vrai
  • [SPARK-50246] [SC-181468][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] From json/xml ne doit pas modifier les collations dans le schéma donné
  • [SPARK-50250] [SC-181466][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] Réinitialiser le cache d’état isolé lorsque les tâches sont en cours d’exécution
  • [SPARK-50235] [SC-180786][SQL] Nettoyer la ressource ColumnVector après avoir traité toutes les lignes dans ColumnarToRowExec
  • [SPARK-50156] [SC-180781][SQL] Intégrer _LEGACY_ERROR_TEMP_2113 dans UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][SQL] Intégrer _LEGACY_ERROR_TEMP_0028 dans UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] Support du codegen pour StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][SQL] Ajouter une alternative TryMakeInterval
  • [SPARK-50397] [SC-182367][CORE] Supprimer les arguments --ip et -i déconseillés de Master/Worker
  • [SPARK-50238] [SC-181434][PYTHON] Ajouter le support des variantes dans PySpark UDFs/UDTFs/UDAFs et UC UDFs Python
  • [SPARK-50079] [SC-179830][SQL] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][EXAMPLE] Ajouter submit-sql.sh exemple d’API REST
  • [SPARK-49966] [SC-179501][SQL] Utiliser Invoke pour implémenter JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][SS] Garantir que les tailles d’index secondaires sont égales aux tailles d’index primaires pour les variables avec état TransformWithState avec TTL
  • [SPARK-50301] [SC-182241][SS][16.x] Faire en sorte que les métriques TransformWithState reflètent leurs significations intuitives
  • [SPARK-50175] [SC-182140][SQL] Modifier la priorité du classement
  • [SPARK-50148] [SC-180292][SQL] Rendre StaticInvoke compatible avec la méthode qui déclare l’exception de levée
  • [SPARK-50280] [SC-181214][PYTHON] Refactoriser le tri des résultats et remplir les compartiments vides dans compute_hist
  • [SPARK-50190] [SC-182458][PYTHON] Supprimer la dépendance directe de Numpy de l’histogramme
  • [SPARK-50382] [SC-182368][CONNECT] Ajouter une documentation pour obtenir des informations générales sur le développement d’applications avec/extension de Spark Connect
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Éviter d’utiliser une propriété de classe dans threadpool pour le client Python Connect
  • [SPARK-49566] [SC-182239][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur EXTEND
  • [SPARK-50036] [SC-179533][CORE][PYTHON] Inclure SPARK_LOG_SCHEMA dans le contexte du shell REPL
  • [SPARK-49859] [SC-178259][CONNECT] Remplacez multiprocessing.ThreadPool par ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] Faire en sorte que lpad et rpad acceptent les arguments de type colonne
  • [SPARK-50379] [SC-182142][SQL] Correction de la gestion DayTimeIntevalType dans WindowExecBase
  • [SPARK-49954] [SC-179110][SQL] Support de Codegen pour SchemaOfJson (par Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][CORE] Utiliser ExitCode 0 pour l’utilisation --help dans les scripts Spark
  • [SPARK-50377] [SC-182238][SQL] Permettre l'évaluation de RuntimeReplaceable pliable
  • [SPARK-50241] [SC-181444][SQL] Remplacer le mixin NullIntolerant par la méthode Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] Intégrer _LEGACY_ERROR_TEMP_0039 dans UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][SS] Ajouter une métrique personnalisée pour le suivi des ressources utilisées pour l'état initial du processus dans transformWithState
  • [SPARK-50029] [SC-179531][SQL] Rendre StaticInvoke compatible avec la méthode qui retourne Any
  • [SPARK-49990] [SC-179497][SQL] Améliorer les performances de randStr
  • [SPARK-50048] [SC-179528][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] Transformer _LEGACY_ERROR_TEMP_2104 en INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] Découper la prise en charge du classement pour les fonctions de chaîne
  • [SPARK-48549] [SC-176472][SQL][PYTHON] Améliorer la fonction SQL sentences
  • [SPARK-50022] [SC-179503][CORE][UI] Correction MasterPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
  • [SPARK-50087] [SC-182152] Gestion robuste des expressions booléennes dans CASE WHEN pour MsSqlServer et les connecteurs futurs
  • [SPARK-49991] [SC-179481][SQL] Make HadoopMapReduceCommitProtocol respect 'mapreduce.output.basename' pour générer des noms de fichiers
  • [SPARK-50038] [SC-179521][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] Correction ApplicationPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
  • [SPARK-49911] [SC-179111][SQL] Correction de la sémantique de prise en charge de l’égalité binaire
  • [SPARK-50025] [SC-179496][SQL] Intégrer _LEGACY_ERROR_TEMP_1253 dans EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][SS] Correction du bogue sur l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux
  • [SPARK-50004] [SC-179499][SQL] Intégrer _LEGACY_ERROR_TEMP_3327 dans FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator doit respecter le contrat dans ConstantFolding
  • [SPARK-50340] [SC-181859][SQL] Désenvelopper UDT dans INSERT requête d’entrée
  • [SPARK-50237] [SC-181660][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] Corriger le problème de modification de l’ordre des colonnes de sortie après l’optimisation AQE
  • [SPARK-49773] [SC-178369][SQL] Exception Java non interceptée de make_timestamp() avec un fuseau horaire incorrect
  • [SPARK-49977] [SC-179265][SQL] Utiliser le calcul itératif basé sur la pile pour éviter de créer de nombreux objets Scala List pour les arborescences d’expressions profondes
  • [SPARK-50153] [SC-181591][SQL] Ajouter name à RuleExecutor pour rendre l’impression plus claire des journaux d’activité de QueryExecutionMetrics
  • [SPARK-50320] [SC-181668][CORE] Rendre --remote une option officielle en supprimant experimental avertissement
  • [SPARK-49909] [SC-179492]Revenir “[SQL] Corriger le joli nom de certaines expressions”
  • [SPARK-50330] [SC-180720][SC-181764][SQL] Ajouter des indicateurs aux nœuds de tri et de fenêtre
  • [SPARK-50364] [SC-182003][SQL] Implémenter la sérialisation pour le type LocalDateTime dans Row.jsonValue
  • [SPARK-50016] [SC-182139][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] Support deleteIfExists pour TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][SQL] Prise en charge IDENTIFIER expression dans SETl’instruction CATALOG
  • [SPARK-50315] [SC-181886][SQL] Support des métriques personnalisées pour les écritures V1Fallback
  • [SPARK-42838] [SC-181509][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] Refactoriser ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][SQL] Préparer le script SQL pour l’ajout de l’infrastructure d’exécution
  • [SPARK-49345] [SC-174786][CONNECT] Veillez à utiliser la session Spark en cours d’exécution
  • [SPARK-49925] [SC-178882][SQL] Ajouter des tests pour l'ordre par avec des chaînes triées
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] Améliorer les messages d’erreur et les importations de tracé PySpark
  • [SPARK-49368] [SC-174999][CONNECT] Éviter d’accéder directement aux classes protobuf lite
  • [SPARK-50056] [SC-181378][SQL] Support de la génération de code pour ParseUrl (par Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][SS][PYTHON] Prise en charge de la gestion initiale de l’état pour TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][SQL] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][SS] Résoudre la limitation du calcul des métriques avec des sources de streaming DSv1
  • [SPARK-49874] [SC-178303][SQL] Supprimer les spécificateurs de classement trim et ltrim.
  • [SPARK-49513] [SC-180339][SS] Ajouter le support du minuteur dans l'API transformWithStateInPandas
  • [SPARK-49119] [SC-175607][SQL] Corriger l’incohérence de la syntaxe show columns entre v1 et v2
  • [SPARK-49206] [SC-173704][CORE][UI] Ajouter Environment Variables table à Master EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] Ajouter un cast implicite pour accéder à la carte compilée avec littéral
  • [SPARK-50049] [SC-181659][SQL] Prendre en charge les métriques de pilote personnalisées pour l'écriture dans la table v2
  • [SPARK-50171] [SC-180295][PYTHON] Rendre numpy facultatif pour le tracé KDE
  • [SPARK-49962] [SC-179320][SQL] Simplifier la hiérarchie de classes AbstractStringTypes
  • [SPARK-50226] [SC-181483][SQL] Correct MakeDTInterval et MakeYMInterval pour intercepter les exceptions Java
  • [SPARK-48775] [SC-170801][SQL][STS] Remplacer SQLContext par SparkSession dans STS
  • [SPARK-49015] [SC-175688][CORE] Connect Server doit respecter spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][SQL][16.x] Résolution de fonction Factor out à réutiliser dans l’analyseur à passe unique
  • [SPARK-49995] [SC-180762][SQL] Ajouter la prise en charge des arguments nommés à d’autres fichiers TVF
  • [SPARK-49268] [SC-174903][CORE] Journaliser les exceptions d’E/S dans le fournisseur d’historique SHS
  • [SPARK-48123] [SC-164989][Core] Fournir un schéma de table constante pour interroger des journaux structurés
  • [SPARK-49217] [SC-174904][CORE] Support de la configuration de taille distincte de mémoire tampon dans UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][SQL][16.x] Factoriser la résolution des alias pour réutiliser dans l’analyseur à passe unique
  • [SPARK-50322] [SC-181665][SQL] Corriger l’identificateur paramétrable dans une sous-requête
  • [SPARK-48400] [SC-175283][CORE] Promouvoir PrometheusServlet à DeveloperApi
  • [SPARK-50118] Rétablir “[SC-181259][CONNET] Réinitialiser le cache d’état isolé lors de l’exécution des tâches”
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Prise en charge de Python 3.13 dans Spark Connect
  • [SPARK-50152] [SC-181264][SS] Support handleInitialState avec lecteur de source de données d’état
  • [SPARK-50260] [SC-181271][CONNECT] Refactoriser et optimiser Spark C...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver : Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
  • [SPARK-49312] [SC-174672][PYTHON] Améliorer le message d’erreur pour assertSchemaEqual
  • [SPARK-49439] [SC-175236][SQL] Corriger le joli nom de l’expression FromProtobuf & ToProtobuf
  • [SPARK-50092] [ES-1258521] Corriger le comportement du connecteur PostgreSQL pour les tableaux multidimensionnels
  • [SPARK-49913] [SC-181565][SQL] Ajouter la vérification des noms d’étiquettes uniques dans les étendues étiquetées imbriquées
  • [SPARK-49563] [SC-181465][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur WINDOW
  • [SPARK-49661] [SC-179021][SQL] Implémenter le hachage et la comparaison de classement de découpage.
  • [SPARK-38912] [SC-181543][PYTHON] Supprimer le commentaire lié à classmethod et propriété
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Améliorer la gestion des mappages de fichiers SST de RocksDB et résoudre le problème de rechargement de la même version avec l’instantané existant
  • [SPARK-49002] Rétablir “[SC-172846][SQL] Gérer de manière cohérente les emplacements non valides dans WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49668] [SC-178268][SQL] Implémenter la prise en charge des clés de classement pour le classement de découpage
  • [SPARK-50262] [SC-181193][SQL] Interdire les types complexes de spécifications lors de la modification du classement
  • [SPARK-48898] [SC-181435][SQL] Ajouter des fonctions de découpage de variantes
  • [SPARK-48273] [SC-181381]Revenir à "[SQL] Corriger la réécriture tardive de PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][CORE] Support spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] Support spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] Remplacements de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 doit être NullIntolerant
  • [SPARK-50247] [SC-180962][CORE] Définir BLOCK_MANAGER_REREGISTRATION_FAILED en tant que ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] Simplifiez TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] Permettant à l’opérateur TransformWithState d’utiliser l’encodage Avro
  • [SPARK-50267] [SC-181180][ML] Améliorer TargetEncoder.fit avec les API DataFrame
  • [SPARK-37178] [SC-180939][ML] Ajouter l’encodage cible à ml.feature
  • [SPARK-50118] [SC-181259][CONNET] Réinitialiser le cache d’état isolé lorsque les tâches sont en cours d’exécution
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Rendre lit(ndarray) avec np.int8 respecte le type de données numpy
  • [SPARK-50256] [SC-181048][SQL] Ajouter une validation légère pour vérifier si un plan logique devient non résolu après chaque règle d’optimiseur
  • [SPARK-50196] [SC-180932][CONNECT] Corriger le contexte d’erreur Python pour utiliser un contexte approprié
  • [SPARK-50274] [SC-181181][CORE] Protégez contre l'utilisation après sa fermeture dans DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] Prise en charge du paramètre facultatif "column" dans les graphiques boîte, kde et histogrammes.
  • [SPARK-50273] [SC-181178][SS] Améliorer la journalisation des cas d’acquisition/libération des verrous RocksDB
  • [SPARK-50033] [SC-180720][SC-180659][SQL] Ajoutez un indicateur au nœud logical.Aggregate()
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Correction de la libération supplémentaire de acquireLock dans RocksDB due au listener de complétion
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join ne doit pas récupérer l’ID de point de contrôle s’il n’est pas pris en charge.
  • [SPARK-50255] [SC-180964][PYTHON] Éviter la conversion inutile dans compute_hist
  • [SPARK-50228] [SC-180780][SQL] Déplacer la règle de RewriteCollationJoin vers FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Modifier la « précision » pour faire partie des kwargs pour les tracés de boîtes
  • [SPARK-49637] [SC-180160][SQL] Message d’erreur modifié pour INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][PYTHON] Obtenir une session active à partir de dataframes
  • [SPARK-50195] [SC-180654][CORE] Corriger StandaloneRestServer pour propager spark.app.name à SparkSubmit avec succès
  • [SPARK-50229] [SC-180773] Réduire l’utilisation de la mémoire sur le pilote pour les schémas larges en réduisant la durée de vie des objets AttributeReference créés lors de la planification logique
  • [SPARK-50231] [SC-180815][PYTHON] Adapter la fonction instr pour qu'elle accepte la colonne substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Cloner le gestionnaire d’artefacts pendant le clone de session
  • [SPARK-50219] [SC-180694][SQL] Refactorer ApplyCharTypePadding afin que les méthodes d’assistance puissent être utilisées dans le résolveur à passage unique
  • [SPARK-50077] [SC-179827][SQL] Introduction d'un nouvel objet motif pour LogicalRelation pour éviter le modèle de paramètres complets par défaut
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Ajouter des API pour gérer des processeurs avec état en utilisant des encodeurs implicites dans Scala
  • [SPARK-50061] [SC-179961][SQL] Activer la table d’analyse pour les colonnes compilées
  • [SPARK-49993] [SC-180084][SQL] Améliorer les messages d’erreur pour somme et moyenne
  • [SPARK-49638] [SC-179665][SQL] Supprimer la suggestion de configuration ANSI dans INVALID_URL
  • [SPARK-50204] [SC-180660][SQL] Factoriser HiveTableRelation la résolution de chemin d’accès
  • [SPARK-50193] [SC-180651][SS] Corriger la gestion des exceptions pour la validation des modes de temps
  • [SPARK-50179] [SC-180342][CORE] Rendre spark.app.name propriété facultative dans l’API REST
  • [SPARK-50068] [SC-180300][SQL] Refactoriser TypeCoercion et AnsiTypeCoercion pour séparer les transformations à nœud unique
  • [SPARK-49411] [SC-179483][SS] Communiquer l’ID de point de contrôle du magasin d’état entre le pilote et les opérateurs avec état
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET doivent conserver l’ordre des données
  • [SPARK-49506] [SC-180165][SQL] Optimiser ArrayBinarySearch pour un tableau pliable
  • [SPARK-50097] [SC-179908][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] Ajouter try_make_timestamp(_ltz et _ntz) et les tests associés
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] Support des tracés d’histogramme
  • [SPARK-50015] [SC-179964][SQL] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Déplacer des fichiers scala et java vers leurs dossiers par défaut
  • [SPARK-49980] [SC-180353][CORE][SQL] Corriger les fuites de flux de fichiers potentielles causées par une interruption dans les tâches annulées
  • [SPARK-49010] [SC-172304][SQL][XML] Ajouter des tests unitaires pour la sensibilité des cas d’inférence de schéma XML
  • [SPARK-49562] [SC-180211][SQL] Ajouter une syntaxe de pipeline SQL pour l’agrégation
  • [SPARK-49663] [SC-180239][SQL] Activer les suggestions RTRIM dans les expressions de classement
  • [SPARK-48965] [SC-175926][SQL] Utiliser le schéma approprié dans Dataset#toJSON
  • [SPARK-48493] [SC-175893][PYTHON] Améliorer le lecteur de source de données Python avec la prise en charge directe de Arrow Batch pour améliorer les performances
  • [SPARK-49734] [SC-180226][PYTHON] Ajouter seed argument pour la fonction shuffle
  • [SPARK-50174] [16.x][SC-180253][SQL] Factoriser la résolution UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] Support des tracés kde/density
  • [SPARK-49805] [SC-180218][SQL][ML] Supprimer les fonctions privées[xxx] de function.scala
  • [SPARK-49808] [SC-179490][SQL] Correction d’un blocage dans l’exécution de la sous-requête en raison de vals différés
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] Support des diagrammes en boîte
  • [SPARK-50008] [SC-179290][PS][CONNECT] Éviter les opérations inutiles dans attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][PS][CONNECT] Refactoriser l’appel de fonction interne
  • [SPARK-49683] [SC-178341][SQL] Classement de découpe de bloc
  • [SPARK-49939] [SC-178941][SQL] Support de Codegen pour json_object_keys (par Invoke & RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][SQL] Ajouter l’expression TryParseUrl
  • [SPARK-49766] [SC-178933][SQL] Support Codegen pour json_array_length (par Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][SS] Utiliser l’ordre stable du nœud EventTimeWatermark pour calculer le filigrane
  • [SPARK-49540] [SC-180145][PS] Unifier l’utilisation de distributed_sequence_id
  • [SPARK-50060] [SC-179965][SQL] Conversion désactivée entre différents types compilés dans TypeCoercion et AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][CONNECT] Utiliser un registre distinct pour les fonctions internes de l’API column
  • [SPARK-49811] [SC-177888][SQL]Renommer StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] Appliquer ArrayBinarySearch pour l’histogramme
  • [SPARK-49203] [SC-175734][SQL] Ajouter une expression pour java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][CORE] Correction du mauvais signalement des erreurs fatales en tant qu'exceptions interceptées dans SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][SQL] Les classements qui utilisent l'ICU doivent avoir la version de la bibliothèque ICU utilisée
  • [SPARK-49985] [SC-179644][SQL] Supprimer la prise en charge des types d’intervalles dans Variant
  • [SPARK-49103] [SC-173066][CORE] Support spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Refactoriser ResolveBinaryArithmetic pour séparer la transformation à nœud unique
  • [SPARK-49902] [SC-179650][SQL] Intercepter les erreurs d’exécution sous-jacentes dans RegExpReplace
  • [SPARK-49126] [SC-173342][CORE] Déplacer spark.history.ui.maxApplications définition de configuration vers History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] Meilleur message d’erreur lors de l’utilisation du profileur de mémoire sur les éditeurs sans numéros de ligne
  • [SPARK-50062] [SC-179835][SQL] Classements de support par InSet
  • [SPARK-50035] [Backport][16x][SC-179530][SS] Ajouter le support de la fonction explicitement nommée handleExpiredTimer faisant partie du processeur avec états
  • [SPARK-49982] [SC-179814][SQL] Correction de la mise en cache négative dans InMemoryRelation
  • [SPARK-49082] [SC-173350][SQL] Promotion de types élargis dans AvroDeserializer
  • [SPARK-50088] [SC-179680][SQL] Refactorisation UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] Ajouter le support du flux de lecture de modifications pour les types map et liste utilisés dans les processeurs avec état
  • [SPARK-49846] [SC-179506][SS] Ajouter des métriques numUpdatedStateRows et numRemovedStateRows à utiliser avec l’opérateur transformWithState
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Permettre à lit d'accepter des ndarrays de type str et bool de numpy
  • [SPARK-49821] [SC-179527][SS][PYTHON] Implémenter la prise en charge de MapState et TTL pour TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][SQL] Ajouter une syntaxe de canal SQL pour LIMIT/OFFSET et ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][LC-4080][SQL] Correction canPlanAsBroadcastHashJoin pour respecter les hints de jointure shuffle
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] Rendre lit fonctionne avec numpy ndarray vide
  • [SPARK-50018] [SC-179488][SQL] Rendre AbstractStringType sérialisable
  • [SPARK-50016] [SC-179491][SQL] Améliorer l’erreur d’incompatibilité de classement explicite
  • [SPARK-50010] [SC-179487][SQL] Élargir l’erreur de conflit de classement implicite
  • [SPARK-48749] [SC-170116][SQL] Simplifier unaryPositive et éliminer ses règles Catalyst avec RuntimeReplaceable
  • [SPARK-49857] [SC-178576][SQL] Ajouter storageLevel à l'API localCheckpoint du Dataset
  • [SPARK-50058] [SC-179538][SQL] Factoriser les fonctions de normalisation de plan pour les utiliser ultérieurement dans les tests de l'analyseur en passe unique
  • [SPARK-50052] [SC-179535][PYTHON][16.X] Permettre à NumpyArrayConverter de prendre en charge les ndarray de chaînes vides
  • [SPARK-47261] [SC-173665][SQL] Attribuer un meilleur nom pour les erreurs _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 et _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][CORE] Mark KryoRegistrator avec l’interface DeveloperApi
  • [SPARK-48949] [SC-173070][SQL] SPJ : Filtrage de partition runtime
  • [SPARK-50044] [SC-179523][PYTHON] Affiner la docstring de plusieurs fonctions mathématiques
  • [SPARK-48757] [SC-170113][CORE] Doter IndexShuffleBlockResolver de constructeurs explicites
  • [SPARK-50037] [SQL] Refactoriser AttributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][SQL] Ajouter la prise en charge de l’exécution de procédures dans les catalogues
  • [SPARK-49057] [SC-173081][SQL] Ne bloquez pas la boucle AQE lors de l’envoi d’étapes de requête
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Ajouter une syntaxe SQL de colonne d’identité
  • [SPARK-48773] [SC-170773] Configuration de document “spark.default.parallelism” par framework config builder
  • [SPARK-48735] [SC-169810][SQL] Amélioration des performances pour la fonction BIN
  • [SPARK-48900] [SC-172433] Ajouter reason champ pour tous les appels internes pour l’annulation de travail ou d’étape
  • [SPARK-48488] [SC-167605][CORE] Corriger les méthodes log[info|warning|error] dans SparkSubmit
  • [SPARK-48708] [SC-169809][CORE] Supprimer trois inscriptions de type inutiles de KryoSerializer
  • [SPARK-49958] [SC-179312][PYTHON] API Python pour les fonctions de validation de chaîne
  • [SPARK-49979] [SC-179264][SQL] Corriger le problème de suspension d'AQE lors de la collecte à deux reprises sur un plan échoué
  • [SPARK-48729] [SC-169795][SQL] Ajouter une interface UserDefinedFunction pour représenter une fonction SQL
  • [SPARK-49997] [SC-179279][SQL] Intégrer _LEGACY_ERROR_TEMP_2165 dans MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][SS]Créer une partition basée sur la taille pendant la lecture Kafka
  • [SPARK-48129] [SC-165006][PYTHON] Fournir un schéma de table constante dans PySpark pour interroger des journaux structurés
  • [SPARK-49951] [SC-179259][SQL] Affecter une condition d’erreur appropriée pour LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][SQL] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][SQL] Intégrer _LEGACY_ERROR_TEMP_1252 dans EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][CONNECT] Se débarrasser des verrous globaux à partir du service Spark Connect
  • [SPARK-49957] [SC-179202][SQL] API Scala pour les fonctions de validation de chaîne
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener ne doit pas être affecté par spark.interrupt()
  • [SPARK-49643] [SC-179239][SQL] Fusionner _LEGACY_ERROR_TEMP_2042 dans ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][SQL] Corriger le ColumnarArray.copy() pour lire les valeurs Null à partir du décalage correct
  • [SPARK-49956] Rétablir “[SC-179070] Classements désactivés avec l'expression collect_set ”
  • [SPARK-49987] [SC-179180][SQL] Corriger le message d’erreur lorsque seedExpression n’est pas pliable dans randstr
  • [SPARK-49948] [SC-179158][PS][CONNECT] Ajouter un paramètre « précision » à Pandas sur le tracé de boîtes Spark
  • [SPARK-49970] [SC-179167][SQL] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][SQL] Lever l’exception appropriée pour l’incompatibilité de type entre ColumnType et le type de données dans certaines lignes
  • [SPARK-49956] [SC-179070] Collations désactivées avec l'expression collect_set
  • [SPARK-49974] [16.x][SC-179071][SQL] Déplacer resolveRelations(...) hors de Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] Attribuer des noms à des conditions d’erreur pour les erreurs d’intervalle
  • [SPARK-47430] [SC-173679][SQL] Restructurer le regroupement par type de carte pour corriger l'exception de référence liée
  • [SPARK-49067] [SC-172616][SQL] Déplacer le littéral utf-8 dans les méthodes internes de la classe UrlCodec
  • [SPARK-49955] [SC-178989][SQL] la valeur null ne signifie pas le fichier endommagé lors de l’analyse de la chaîne JSON RDD
  • [SPARK-49393] [SC-175212][SQL] Échec par défaut des API de plug-in de catalogue déconseillées
  • [SPARK-49952] [SC-178985][SQL] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][SQL] Restreindre les charsets dans JsonOptions
  • [SPARK-49892] [SC-178975][SQL] Affecter une classe d’erreur appropriée pour _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][SQL] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_105[3-4] et _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] Gérer les zéros et les uns dans ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][SQL] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][CORE] Utiliser l’accès en lecture seule à conf dans SparkContext le cas échéant
  • [SPARK-49666] [SC-177891][SQL] Ajouter un indicateur de fonctionnalité pour la fonctionnalité de classement de découpage
  • [SPARK-48885] [SC-171050][SQL] Faire en sorte que certaines sous-classes de RuntimeReplaceable remplacent le remplacement par un val différé
  • [SPARK-49932] [SC-178931][CORE] Libérer tryWithResource les ressources JsonUtils#toJsonString pour éviter les fuites de mémoire
  • [SPARK-49949] [SC-178978][PS] Éviter une tâche d’analyse inutile dans attach_sequence_column
  • [SPARK-49924] [SC-178935][SQL] Conserver containsNull après le remplacement de ArrayCompact
  • [SPARK-49121] [SC-174787][SQL] Support de from_protobuf et to_protobuf pour les fonctions SQL
  • [SPARK-47496] [SC-160529][SQL] Support de Java SPI pour l’inscription dynamique de dialectes JDBC
  • [SPARK-49359] [SC-174895][SQL] Autoriser les implémentations StagedTableCatalog à revenir à l’écriture non atomique
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] Améliorer l’erreur lors de la détection d’une virgule de fin dans la clause SELECT
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer : Documenter le mappage des types de données Spark SQL à partir de Microsoft SQL Server et ajouter des tests
  • [SPARK-46037] [SC-175495][SQL] Correctif d’exactitude pour le côté build du Shuffled Hash Join sans génération de code
  • [SPARK-47813] [SC-162615][SQL] : Remplacer getArrayDimension par updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] Erreur d’évaluation de l’exception de transformation de partition
  • [SPARK-47172] [SC-169537][CORE] Ajouter la prise en charge de AES-GCM pour le chiffrement RPC
  • [SPARK-47666] [SC-161476][SQL] Corriger NPE lors de la lecture du tableau de bits MySQL en tant que LongType
  • [SPARK-48947] [SC-174239][SQL] Utiliser le nom de charset en minuscules pour réduire le cache manquant dans Charset.forName
  • [SPARK-49909] [SC-178552][SQL] Corriger le joli nom de certaines expressions
  • [SPARK-47647] [SC-161377][SQL] Rendre la source de données MySQL capable de lire le bit (n>1) en tant que BinaryType comme Postgres
  • [SPARK-46622] [SC-153004][CORE] Remplacer méthode toString de o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][PYTHON] Rendre le nommage des paramètres de PySparkException cohérent avec JVM
  • [SPARK-49889] [SC-178474][PYTHON] Ajouter un trim d’argument pour les fonctionstrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] Corriger le mappage des types de données erronés sur le connecteur MySQL/J
  • [SPARK-47628] [SC-161257][SQL] Corriger le problème de tableau de bits Postgres « Impossible de convertir en booléen »
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] Corriger le commentaire de modification sur les colonnes char/varchar
  • [SPARK-49549] [SC-178764][SQL] Attribuer un nom aux conditions d’erreur _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] Rendre la DelegatingCatalogExtension plus extensible
  • [SPARK-49559] [SC-178551][SQL] Ajouter une syntaxe de canal SQL pour les opérations définies
  • [SPARK-49906] [SC-178536][SQL] Implémenter et utiliser l'erreur CONFLICTING_DIRECTORY_STRUCTURES pour PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] Changer la signature de la fonction classifyException : ajouter l'argument isRuntime
  • [SPARK-47501] [SC-160532][SQL] Ajouter convertDateToDate comme le convertTimestampToTimestamp existant pour JdbcDialect
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType doit retourner l’élément enfant en erreur
  • [SPARK-47462] [SC-160460][SQL] Aligner les mappages d’autres types numériques non signés avec TINYINT dans MySQLDialect
  • [SPARK-47435] [SC-160129][SQL] Résoudre le problème de dépassement de capacité de MySQL UNSIGNED TINYINT provoqué par SPARK-45561
  • [SPARK-49398] [SC-176377][SQL] Améliorer l’erreur pour les paramètres dans la requête de CACHE TABLE et de CREATE VIEW
  • [SPARK-47263] [SC-177012][SQL] Attribuer des noms aux conditions héritées _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] Correction du message lorsque ascendingOrder est DataTypeMismatch dans SortArray
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Supprimer les blank space redondantes après show dans les clients Scala et Connect
  • [SPARK-47258] [SC-175032][SQL] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur JOIN
  • [SPARK-49836] [SC-178339][SQL][SS] Corriger la requête potentiellement défectueuse lorsque la fenêtre est fournie à la fonction window/session_window
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Gérer le mappage des horodatages SQL pour Postgres et MySQL
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] Support des diagrammes circulaires
  • [SPARK-49824] [SC-178251][SS][CONNECT] Améliorer la journalisation dans SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] Affiner la représentation sous forme de chaîne des opérations de champ de colonne
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] Support des zones de diagrammes
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] Support des diagrammes de dispersion
  • [SPARK-49744] [SC-178363][SS][PYTHON] Implémenter le support TTL pour ListState dans TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][CORE] Déplacer TransportCipherUtil vers un fichier distinct pour éliminer les avertissements de compilation Java
  • [SPARK-49866] [SC-178353][SQL] Améliorer le message d’erreur pour décrire la table avec des colonnes de partition
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][PYTHON] Mettre à jour l’approche d’échantillonnage pour les diagrammes échantillonnés
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Supports des diagrammes en barres horizontaux et verticaux
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] Support des diagrammes en ligne avec plotly en backend
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] Modification du UnivocityParser pour générer des exceptions au moment de l'exécution causées par ArrayIndexOutOfBounds, avec des messages plus adaptés aux utilisateurs
  • [SPARK-49870] [SC-178262][PYTHON] Ajouter la prise en charge de Python 3.13 dans Spark Classic
  • [SPARK-49560] [SC-178121][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur TABLESAMPLE
  • [SPARK-49864] [SC-178305][SQL] Améliorer le message de BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][SQL] Effectuer des erreurs dans le générique NamedParametersSupport pour gérer les fonctions et les procédures
  • [SPARK-49358] [SC-178158][SQL] Expression de mode pour les types de mappage avec des chaînes triées
  • [SPARK-47341] [SC-178157][SQL] Corriger la documentation inexacte de RuntimeConfig#get
  • [SPARK-48357] [SC-178153][SQL] Support de l’instruction LOOP
  • [SPARK-49845] [SC-178059][CORE] Rendre appArgs et environmentVariables facultatifs dans l’API REST
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable doit indiquer s’il est destiné à l’écriture
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Ajout de la prise en charge de l’écouteur côté client pour Scala
  • [SPARK-48700] [SC-177978][SQL] Expression de mode pour les types complexes (tous les classements)
  • [SPARK-48196] [SC-177899][SQL] Transformer les plans lazy val de QueryExecution en LazyTry
  • [SPARK-49749] [16.x][SC-177877][CORE] Modifier le niveau du journal pour déboguer dans BlockManagerInfo
  • [SPARK-49561] [SC-177897][SQL] Ajouter une syntaxe de canal SQL pour les opérateurs PIVOT et UNPIVOT
  • [SPARK-49823] [SC-177885][SS] Éviter de vider lors de l’arrêt dans rocksdb close path
  • [SPARK-49820] [SC-177855] [PYTHON] Changer raise IOError à raise OSError
  • [SPARK-49653] [SC-177266][SQL] Jointure unique pour les sous-requêtes scalaires corrélées
  • [SPARK-49552] [SC-177477][PYTHON] Ajouter la prise en charge de l’API DataFrame pour les nouvelles fonctions SQL « randstr » et « uniform »
  • [SPARK-48303] [16.x][SC-166251][CORE] Réorganiser LogKeys
  • [SPARK-49656] [16x][Backport][SS] Ajouter la prise en charge des variables d'état avec des types de collections d'état par valeur et des options pour lire les flux de modifications
  • [SPARK-48112] [SC-165129][CONNECT] Exposer la session dans SparkConnectPlanner aux plug-ins
  • [SPARK-48126] [16.x][SC-165309][Core] Rendre spark.log.structuredLogging.enabled opérationnel
  • [SPARK-49505] [SC-176873][SQL] Créer de nouvelles fonctions SQL « randstr » et « uniformes » pour générer des chaînes ou des nombres aléatoires dans des plages
  • [SPARK-49463] [SC-177474] Prise en charge de ListState pour TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][Core] Unifier MDC key mdc.taskName et task_name
  • [SPARK-49557] [SC-177227][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur WHERE
  • [SPARK-49323] [16.x][SC-174689][CONNECT] Déplacer MockObserver du dossier de test du serveur Spark Connect vers le dossier principal du serveur
  • [SPARK-49745] [SC-177501][SS] Ajouter une modification pour lire les minuteurs inscrits via le lecteur de source de données d’état
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Supprimer ColumnFamilyOptions et ajouter des configurations directement à dbOptions dans RocksDB

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance de Databricks Runtime 16.1 .

Environnement système

  • système d’exploitation: Ubuntu 24.04.1 LTS
  • Java : Zulu17.54+21-CA
  • Scala : 2.12.18
  • Python : 3.12.3
  • R : 4.4.0
  • Delta Lake: 3.2.1

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
cryptographie 42.0.5 cycliste 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
décorateur 5.1.1 Déconseillé 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 points d’entrée 0.4 en cours d’exécution 0.8.3
aperçu des facettes 1.1.1 verrouillage de fichier 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
emballage 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Requêtes 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 ténacité 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornade 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types de requêtes 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 roue 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 04-08-2024.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 objet BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
classe 7.3-22 cli 3.6.3 clipr 0.8.0
horloge 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compilateur 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 jeux de données 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digérer 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 évaluer 0.24.0
fansi 1.0.6 farver 2.1.2 carte rapide 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
futur 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphisme 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0,7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 étiquetage 0.4.3
plus tard 1.3.2 lattice 0.22-5 lave 1.8.0
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 méthode 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modeleur 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pilier 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 louange 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progrès 1.2.3
progressr 0.14.0 Promesses 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest (algorithme d'apprentissage machine) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 réactif 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2,27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
écailles 1.3.0 selectr 0.4-2 informations de session 1.2.2
shape 1.4.6.1 brillant 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 fichier Swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
mise en forme du texte 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 changement d'heure 0.3.0
timeDate 4032.109 tinytex 0.52 outils 4.4.0
tzdb 0.4.0 vérificateur d'URL 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 identifiant unique universel (UUID) 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics ruisseau 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caféine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics annotation des métriques 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métriques-vérifications de santé 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collectionneur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible avec scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1