Partager via


Databricks Runtime 11.1 (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.1 optimisé par Apache Spark 3.3.0. Databricks a publié cette version en juillet 2022.

Améliorations et nouvelles fonctionnalités

Photon est en disponibilité générale

Photon est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Photon est le moteur de requête vectorisé natif sur Azure Databricks, écrit pour être compatible avec les API Apache Spark, de sorte qu’il fonctionne avec votre code existant. Photon est développé en C++ pour tirer parti du matériel moderne, et il utilise les dernières techniques du traitement des requêtes vectorisées pour tirer parti du parallélisme au niveau des données et des instructions dans les processeurs, améliorant ainsi les performances sur les données et les applications réelles, tout ceci en mode natif sur votre Data Lake.

Photon fait partie d’un runtime hautes performances qui exécute vos appels d’API SQL et tableau existants plus rapidement et réduit le coût total par charge de travail. Photon est utilisé par défaut dans les entrepôts Databricks SQL.

Voici les améliorations et nouvelles fonctionnalités :

  • Nouvel opérateur de tri vectorisé
  • Nouvelles fonctions de fenêtre vectorisées
  • Nouveaux types et tailles d’instance dans tous les clouds

Limites :

  • Les UDF Scala/Python ne sont pas pris en charge par Photon
  • RDD n’est pas pris en charge par Photon
  • Structured Streaming n’est pas pris en charge par Photon

Pour plus d’informations, consultez les annonces Photon suivantes.

Photon : Nouvel opérateur de tri vectorisé

Photon prend désormais en charge un tri vectorisé lorsqu’une requête contient SORT_BY, CLUSTER_BY ou une fonction de fenêtre avec un ORDER BY.

Limitations : Photon ne prend pas en charge une clause ORDER BY globale. Les tris pour l’évaluation des fenêtres se photonisent, mais le tri global continue à s’exécuter dans Spark.

Photon : Nouvelles fonctions de fenêtre vectorisées

Photon prend désormais en charge l’évaluation des fonctions de fenêtre vectorisées pour de nombreux types et fonctions de trames. Les nouvelles fonctions de fenêtre incluent row_number, rank, dense_rank, lag, lead, percent_rank, ntile et nth_value. Types de trames de fenêtre pris en charge : exécution (UNBOUNDED PRECEDING AND CURRENT ROW), sans limite (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), à croissance (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) et à réduction (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limites :

  • Photon prend uniquement en charge les versions ROWS de tous les types de trames.
  • Photon ne prend pas encore en charge le type de trame glissant (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon : Types d’instances pris en charge

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Le flux des changements de données peut désormais gérer automatiquement les horodatages hors plage

Le flux des changements de données dispose désormais d’un nouveau mode qui vous permet de fournir des horodatages ou des versions au-delà de la dernière version d’un commit sans lever d’erreurs. Ce mode est désactivé par défaut. Vous pouvez l’activer en définissant la configuration spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled sur true.

Les fonctions SQL de description et d’affichage affichent désormais les noms Unity Catalog dans leur sortie (préversion publique)

Les commandes DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN et SHOW CREATE TABLE affichent maintenant toujours le nom du catalogue dans leur sortie.

Inférence et évolution du schéma pour les fichiers Parquet dans Auto Loader (préversion publique)

Auto Loader prend désormais en charge l’inférence de schéma et l’évolution pour les fichiers Parquet. Tout comme les formats JSON, CSV et Avro, vous pouvez désormais utiliser la colonne de données sauvée pour sauver des données inattendues qui peuvent apparaître dans vos fichiers Parquet. Cela comprend les données qui ne peuvent pas être analysées dans le type de données attendu, les colonnes qui ont une casse différente les colonnes supplémentaires qui ne font pas partie du schéma attendu. Vous pouvez configurer Auto Loader de façon à faire évoluer automatiquement le schéma lors de l’ajout de nouvelles colonnes dans les données entrantes. Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Auto Loader prend désormais en charge l’évolution du schéma pour Avro (disponibilité générale)

Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Prise en charge de Delta Lake pour les remplacements de partition dynamique

Delta Lake active désormais le mode de remplacement de partition dynamique afin de remplacer toutes les données existantes dans chaque partition logique pour laquelle l’écriture validera de nouvelles données. Consultez Remplacer de manière sélective les données avec Delta Lake.

Prise en charge du schéma d’informations pour les objets créés dans Unity Catalog

Le schéma d’informations fournit une API autodescriptive basée sur SQL pour les métadonnées de différents objets de base de données, y compris les tables et les vues, les contraintes et les routines. Dans le schéma d’informations se trouve un ensemble de vues décrivant les objets connus du catalogue du schéma pour lesquels vous disposez des privilèges d’affichage. Le schéma d’informations du catalogue SYSTEM retourne des informations sur les objets dans tous les catalogues du metastore. Consultez Schéma d’informations.

Contraintes d’information sur les tables Delta Lake avec Unity Catalog (préversion publique)

Vous pouvez maintenant définir des contraintes de clé primaire d’information et de clé étrangère sur les tables Delta Lake avec Unity Catalog. Les contraintes d’information ne sont pas imposées. Consultez Clause CONSTRAINT.

Unity Catalog est en GA

Unity Catalog est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Consultez Qu’est-ce que Unity Catalog ?.

Delta Sharing est en disponibilité générale

Delta Sharing est désormais en disponibilité générale, à compter de Databricks Runtime 11.1.

Databricks vers Databricks Delta Sharing est entièrement managé sans avoir besoin d’échanger des jetons. Vous pouvez créer et gérer des fournisseurs, des destinataires et des partages dans l’interface utilisateur ou avec des API SQL et REST.

Certaines fonctionnalités incluent la restriction de l’accès des destinataires, l’interrogation de données avec des listes d’accès IP et des restrictions de région, ainsi que la délégation de la gestion de Delta Sharing aux non-administrateurs. Vous pouvez également interroger les modifications apportées aux données ou partager des versions incrémentielles avec des flux de données modifiées. Consultez Qu’est-ce que le Delta Sharing ?.

Changements de comportement

Édition des propriétés sensibles pour DESCRIPTION TABLE et SHOW TABLE PROPERTIES

Les propriétés sensibles sont régérées dans les DataFrames et la sortie des commandes et SHOW TABLE PROPERTIES des DESCRIBE TABLE commandes.

Les clusters de travail sont par défaut en mode d’accès mono-utilisateur avec Databricks Runtime 11.1 et versions ultérieures

Pour être compatibles avec Unity Catalog, les clusters de travail utilisant Databricks Runtime 11.1 et versions ultérieures créés via l’interface utilisateur des travaux ou l’API de travaux sont par défaut en mode d’accès mono-utilisateur. Le mode d'accès utilisateur unique prend en charge la plupart des langages de programmation, des fonctionnalités de cluster et des fonctionnalités de gouvernance des données. Vous pouvez toujours configurer un mode d’accès partagé via l’interface utilisateur ou l’API, mais les langues ou les fonctionnalités peuvent être limitées.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • filelock de la version 3.6.0 vers la version 3.7.1
    • plotly de la version 5.6.0 vers la version 5.8.2
    • protobuf de la version 3.20.1 vers la version 4.21.2
  • Bibliothèques R mises à niveau :
    • chron de la version 2.3-56 vers la version 2.3-57
    • DBI de la version 1.1.2 vers la version 1.1.3
    • dbplyr de la version 2.1.1 vers la version 2.2.0
    • e1071 de la version 1.7-9 vers la version 1.7-11
    • future de la version 1.25.0 vers la version 1.26.1
    • globals de la version 0.14.0 vers la version 0.15.1
    • hardhat de la version 0.2.0 vers la version 1.1.0
    • ipred de la version 0.9-12 vers la version 0.9-13
    • OpenSSL de la version 2.0.0 vers la version 2.0.2
    • parrallelly de la version 1.31.1 vers la version 1.32.0
    • processx de la version 3.5.3 vers la version 3.6.1
    • progressr de la version 0.10.0 vers la version 0.10.1
    • proxy de la version 0.4-26 vers la version 0.4-27
    • ps de la version 1.7.0 vers la version 1.7.1
    • randomForest de la version 4.7-1 vers la version 4.7-1.1
    • roxygen2 de la version 7.1.2 vers la version 7.2.0
    • Rserve de la version 1.8-10 vers la version 1.8-11
    • RSQLite de la version 2.2.13 vers la version 2.2.14
    • sparklyr de la version 1.7.5 vers la version 1.7.7
    • tinytex de la version 0.38 vers la version 0.40
    • usethis de la version 2.1.5 vers la version 2.1.6
    • xfun de la version 0.30 vers la version 0.31
  • Bibliothèques Java mises à niveau :
    • io.delta.delta-sharing-spark_2.12 de la version 0.4.0 vers la version 0.5.0

Apache Spark

Databricks Runtime 11.2 comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 11.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-40054] [SQL] Restaurer la syntaxe de gestion des erreurs de try_cast()
  • [SPARK-39489] [CORE] Amélioration des performances jsonProtocol de journalisation des événements à l’aide de Jackson au lieu de Json4s
  • [SPARK-39319] [CORE][SQL] Création de contextes de requête dans le cadre de SparkThrowable
  • [SPARK-40085] [SQL] Utilisation de la classe d’erreur INTERNAL_ERROR au lieu d’IllegalStateException pour indiquer les bogues
  • [SPARK-40001] [SQL] Effectuer des écritures NULL dans les colonnes JSON DEFAULT « Null » dans le stockage
  • [SPARK-39635] [SQL] Prise en charge des métriques de pilote dans l’API de métrique personnalisée DS v2
  • [SPARK-39184] [SQL] Gestion des tableaux de résultats sous-dimensionnés dans les séquences de date et d’horodatage
  • [SPARK-40019] [SQL] Refactorisation du commentaire containsNull ArrayType et refactorisation des logiques d’incompréhension dans l’expression de collectionOperator concernant containsNull
  • [SPARK-39989] [SQL] Prise en charge des statistiques de colonne d’estimation s’il s’agit d’une expression pliable
  • [SPARK-39926] [SQL] Correction d’un bogue de prise en charge DEFAULT de colonne pour les analyses Parquet non vectorisées
  • [SPARK-40052] [SQL] Gestion des tampons d’octets directs dans VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Correction du type d’intervalle cible dans les erreurs de dépassement de cast
  • [SPARK-39835] [SQL] Correction du tri global EliminateSorts en dessous du tri local
  • [SPARK-40002] [SQL] Ne pas pousser la limite jusqu’à la fenêtre à l’aide de ntile
  • [SPARK-39976] [SQL] ArrayIntersect doit correctement gérer la valeur null dans l’expression gauche
  • [SPARK-39985] [SQL] Activation des valeurs de colonne DEFAULT implicites dans les insertions à partir de DataFrames
  • [SPARK-39776] [SQL] La chaîne détaillée JOIN doit ajouter un type de jointure
  • [SPARK-38901] [SQL] DS V2 prend en charge les fonctions diverses de pushdown
  • [SPARK-40028] [SQL][FollowUp] Amélioration des exemples de fonctions de chaîne
  • [SPARK-39983] [CORE][SQL] Non mises en cache des relations de diffusion non sérialisées sur le pilote
  • [SPARK-39812] [SQL] Simplification du code pour construire AggregateExpression avec toAggregateExpression
  • [SPARK-40028] [SQL] Ajout d’exemples binaires pour les expressions de chaîne
  • [SPARK-39981] [SQL] Levée de l’exception QueryExecutionErrors.castCauseOverflowErrorInsert dans Cast
  • [SPARK-40007] [PYTHON][SQL] Ajout d’un mode aux fonctions
  • [SPARK-40008] [SQL] Prise en charge de la conversion d’intégrales en intervalles ANSI
  • [SPARK-40003] [PYTHON][SQL] Ajout d’une médiane aux fonctions
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand doit recacher la relation de résultat
  • [SPARK-39951] [SQL] Mise à jour de la vérification des colonnes Parquet V2 pour les champs imbriqués
  • [SPARK-39775] [CORE][AVRO] Désactiver les valeurs par défaut lors de l’analyse des schémas Avro
  • [SPARK-33236] [shuffle] Rétroportage vers DBR 11.x : activer le service de lecture aléatoire basé sur push pour stocker l’état dans la base de données de niveau NM pour le redémarrage de la conservation du travail
  • [SPARK-39836] [SQL] Simplification de V2ExpressionBuilder par extraction de la méthode courante.
  • [SPARK-39867] [SQL] La limite globale ne doit pas hériter de orderPreservingUnaryNode
  • [SPARK-39873] [SQL] Suppression de OptimizeLimitZero et fusion dans EliminateLimits
  • [SPARK-39961] [SQL] Cast de translation du pushdown DS V2 si le cast est sécurisé
  • [SPARK-39872] [SQL] Utilisation de BytePackerForLong#unpack8Values avec l’API d’entrée de tableau dans VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Suppression inutile de AliasHelper ou PredicateHelper pour certaines règles
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Application de la projection lorsque les attributs de groupe sont vides
  • [SPARK-39900] [SQL] Adresse partielle ou condition exclue dans le pushdown de prédicat du format binaire
  • [SPARK-39904] [SQL] Renommage de inferDate par prefersDate et clarification de la sémantique de l’option dans la source de données CSV
  • [SPARK-39958] [SQL] Ajout d’un journal d’avertissement en cas d’impossibilité de charger un objet de métrique personnalisé
  • [SPARK-39936] [SQL] Stockage du schéma dans les propriétés pour les vues Spark
  • [SPARK-39932] [SQL] WindowExec doit effacer la mémoire tampon de la partition finale
  • [SPARK-37194] [SQL] Éviter le tri inutile en écriture v1 s’il ne s’agit pas d’une partition dynamique
  • [SPARK-39902] [SQL] Ajout de détails d’analyse au nœud d’analyse de plan Spark dans SparkUI
  • [SPARK-39865] [SQL] Affichage des messages d’erreur appropriés pour les erreurs de dépassement de capacité d’insertion de table
  • [SPARK-39940] [SS] Actualisation de la table de catalogue sur la requête de streaming avec le récepteur DSv1
  • [SPARK-39827] [SQL] Utilisation de la classe d’erreur ARITHMETIC_OVERFLOW en cas de dépassement int dans add_months()
  • [SPARK-39914] [SQL] Ajout d’un filtre DS V2 à la conversion de filtre V1
  • [SPARK-39857] [SQL] Rétroportage DBR 11.x manuel ; V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In #43454
  • [SPARK-39840] [SQL][PYTHON] Factorisation de PythonArrowInput comme symétrie de PythonArrowOutput
  • [SPARK-39651] [SQL] Nettoyage du filtre de condition si la comparaison avec rand est déterministe
  • [SPARK-39877] [PYTHON] Ajouter unpivot à l’API DataFrame PySpark
  • [SPARK-39847] [WARMFIX][SS] Correction de la condition de concurrence dans RocksDBLoader.loadLibrary() si le thread de l’appelant est interrompu
  • [SPARK-39909] [SQL] Organisation de la vérification des informations push pour JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Inclusion des statistiques d’origine et des contraintes pour LogicalRDD s’il provient de DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) remplit les nouvelles colonnes manquantes avec la valeur Null
  • [SPARK-39860] [SQL] D’autres expressions doivent étendre Predicate
  • [SPARK-39823] [SQL][PYTHON] Renommage de Dataset.as en Dataset.to et ajout de DataFrame.to dans PySpark
  • [SPARK-39918] [SQL][MINOR] Remplacement du libellé « non comparable » par « incomparable » dans le message d’erreur
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In
  • [SPARK-39862] [SQL] Rétroportage manuel pour PR 43654 ciblant DBR 11.x : mise à jour de SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pour autoriser/refuser ALTER TABLE ... Commandes ADD COLUMN séparément.
  • [SPARK-39844] [SQL] Rétroportage manuel pour PR 43652 ciblant DBR 11.x
  • [SPARK-39899] [SQL] Correction du passage des paramètres de message à InvalidUDFClassException
  • [SPARK-39890] [SQL] Faire en sorte que Make TakeOrderedAndProjectExec hérite de AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Prise en charge de CharType dans PySpark
  • [SPARK-38864] [SQL] Ajout de unpivot / melt au jeu de données
  • [SPARK-39864] [SQL] Inscription en différé de ExecutionListenerBus
  • [SPARK-39808] [SQL] Prise en charge de la fonction d’agrégation MODE
  • [SPARK-39839] [SQL] Gestion du cas spécial de la décimale de longueur de variable null avec offsetAndSize autre que zéro dans la vérification d’intégrité structurelle UnsafeRow
  • [SPARK-39875] [SQL] Modification de la méthode protected dans la classe finale par private ou package-visible
  • [SPARK-39731] [SQL] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format « aaaaMMjj » avec une stratégie d’analyseur de temps CORRIGÉE
  • [SPARK-39805] [SS] Dépréciation de Trigger.Once et promotion de Trigger.AvailableNow
  • [SPARK-39784] [SQL] Placer des valeurs littérales sur le côté droit du filtre de source de données après avoir traduit l’expression Catalyst en filtre de source de données
  • [SPARK-39672] [SQL][3.1] Correction de la suppression de projet avant le filtre avec sous-requête corrélée
  • [SPARK-39552] [SQL] Unify v1 et v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] L’accès à _metadata dans la table partitionnée peut bloquer une requête
  • [SPARK-39810] [SQL] Catalog.tableExists doit gérer l’espace de noms imbriqué
  • [SPARK-37287] [SQL] Extraction de la partition dynamique et tri du compartiment à partir de FileFormatWriter
  • [SPARK-39469] [SQL] Déduction du type de date pour l’inférence de schéma CSV
  • [SPARK-39148] [SQL] Le pushdown d’agrégation DS V2 peut utiliser OFFSET ou LIMIT
  • [SPARK-39818] [SQL] Correction d’un bogue dans les types ARRAY, STRUCT, MAP avec les valeurs DEFAULT avec champ(s) NULL
  • [SPARK-39792] [SQL] Ajout de DecimalDivideWithOverflowCheck pour la moyenne décimale
  • [SPARK-39798] [SQL] Remplacement de toSeq.toArray par .toArray[Any] dans le constructeur de GenericArrayData
  • [SPARK-39759] [SQL] Implémentation de listIndexes dans JDBC (dialecte H2)
  • [SPARK-39385] [SQL] Prise en charge du pushdown REGR_AVGX et REGR_AVGY
  • [SPARK-39787] [SQL] Utilisation de la classe d’erreur dans l’erreur d’analyse de la fonction to_timestamp
  • [SPARK-39760] [PYTHON] Prise en charge de Varchar dans PySpark
  • [SPARK-39557] [SQL] Rétroportage manuel vers DBR 11.x : prise en charge des types ARRAY, STRUCT, MAP en tant que valeurs DEFAULT
  • [SPARK-39758] [SQL][3.3] Correction de NPE à partir de fonctions regexp sur les modèles non valides
  • [SPARK-39749] [SQL] Mode SQL ANSI : utilisation d’une représentation sous forme de chaîne brute lors du cast de Decimal sur String
  • [SPARK-39704] [SQL] Implémentation de createIndex, dropIndex et indexExists dans JDBC (dialecte H2)
  • [SPARK-39803] [SQL] Utilisation de LevenshteinDistance à la place de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Prise en charge de type TimestampNTZ dans la source de données JDBC
  • [SPARK-39781] [SS] Ajout d’une prise en charge de fourniture de max_open_files au fournisseur de magasin d’état rocksdb
  • [SPARK-39719] [R] Implémentation de databaseExists/getDatabase dans la prise en charge SparkR de l’espace de noms 3L
  • [SPARK-39751] [SQL] Renommage de la métrique des sondes de clé d’agrégation de hachage
  • [SPARK-39772] [SQL] L’espace de noms doit être null lorsque la base de données est null dans les anciens constructeurs
  • [SPARK-39625] [SPARK-38904][SQL] Ajout de Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilation des fonctions d’agrégation de régression linéaire intégrées pour le dialecte JDBC
  • [SPARK-39720] [R] Implémentation de tableExists/getTable dans SparkR pour l’espace de noms 3L
  • [SPARK-39744] [SQL] Ajout de la fonction REGEXP_INSTR
  • [SPARK-39716] [R] Créer currentDatabase/setCurrentDatabase/listCatalogs dans la prise en charge SparkR de l’espace de noms 3L
  • [SPARK-39788] [SQL] Renommage de catalogName par dialectName pour JdbcUtils
  • [SPARK-39647] [CORE] Inscrire l’exécuteur auprès d’ESS avant d’inscrire le BlockManager
  • [SPARK-39754] [CORE][SQL] Suppression des éléments import non utilisés ou {} non nécessaires
  • [SPARK-39706] [SQL] Définition de la colonne manquante avec defaultValue comme constante dans ParquetColumnVector
  • [SPARK-39699] [SQL] Rendre CollapseProject plus intelligent sur les expressions de création de collection
  • [SPARK-39737] [SQL] PERCENTILE_CONT et PERCENTILE_DISC doivent prendre en charge le filtre d’agrégation
  • [SPARK-39579] [SQL][PYTHON][R] Rendre ListFunctions/getFunctions/functionExists compatible avec l’espace de noms de couche 3
  • [SPARK-39627] [SQL] Le pushdown JDBC V2 doit unifier l’API de compilation
  • [SPARK-39748] [SQL][SS] Inclusion du plan logique d’origine pour LogicalRDD s’il provient de DataFrame
  • [SPARK-39385] [SQL] Translation des fonctions d’agrégation de régression linéaire pour pushdown
  • [SPARK-39695] [SQL] Ajout de la fonction REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Ajout d’une autre solution de contournement lorsqu’il n’y a pas suffisamment de mémoire pour générer et diffuser la table
  • [SPARK-39666] [ES-337834][SQL] Utiliser UnsafeProjection.create pour respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
  • [SPARK-39643] [SQL] Interdire les expressions de sous-requête dans les valeurs DEFAULT
  • [SPARK-38647] [SQL] Ajout de Add SupportsReportOrdering à l’interface pour l’analyse (DataSourceV2)
  • [SPARK-39497] [SQL] Améliorer l’exception d’analyse de la colonne clé de carte manquante
  • [SPARK-39661] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
  • [SPARK-39713] [SQL] Mode ANSI : ajout d’une suggestion d’utilisation de try_element_at pour l’erreur INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 prend en charge les fonctions DateHeure du pushdown
  • [SPARK-39638] [SQL] Modification de l’utilisation de ConstantColumnVector pour stocker les colonnes de partition dans OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Nettoyage de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) à partir de ColumnVectorUtils
  • [SPARK-39231] [SQL] Utilisation de ConstantColumnVector à la place de On/OffHeapColumnVector pour stocker les colonnes de partition dans VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog ne doit pas lever d’exception NoSuchDatabaseException dans loadNamspaceMetadata
  • [SPARK-39447] [SQL] Éviter AssertionError dans AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Retravail de MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec doit respecter l’ordre de sortie enfant
  • [SPARK-39606] [SQL] Utilisation des statistiques enfants pour estimer l’opérateur order
  • [SPARK-39611] [PYTHON][PS] Correction des alias incorrects dans array_ufunc
  • [SPARK-39656] [SQL][3.3] Correction de l’espace de noms incorrect dans DescribeNamespaceExec
  • [SPARK-39675] [SQL] Basculement de la configuration « spark.sql.codegen.factoryMode » d’un objectif de test à un objectif interne
  • [SPARK-39139] [SQL] DS V2 prend en charge le pushdown DS V2 UDF
  • [SPARK-39434] [SQL] Fournir le contexte de requête d’erreur du runtime lorsque l’index de tableau est hors limite
  • [SPARK-39479] [SQL] DS V2 prend en charge les fonctions mathématiques de pushdown (non ANSI)
  • [SPARK-39618] [SQL] Ajout de la fonction REGEXP_COUNT
  • [SPARK-39553] [CORE] L’inscription à plusieurs threads ne doit pas générer de bogue NPE lors de l’utilisation de Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Ajout d’un fichier pour résoudre les fonctions générales pandas manquantes
  • [SPARK-39444] [SQL] Ajout de OptimizeSubqueries à la liste nonExcludableRules
  • [SPARK-39316] [SQL] Fusion de PromotePrecision et CheckOverflow en arithmétique binaire décimale
  • [SPARK-39505] [UI] Contenu du journal d’échappement affiché dans l’interface utilisateur
  • [SPARK-39448] [SQL] Ajout de ReplaceCTERefWithRepartition à la liste nonExcludableRules
  • [SPARK-37961] [SQL] Substitution de maxRows/maxRowsPerPartition pour certains opérateurs logiques
  • [SPARK-35223] Rétablir l’ajout de IssueNavigationLink
  • [SPARK-39633] [SQL] Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame
  • [SPARK-38796] [SQL] Mise à jour de la documentation pour les chaînes de format numérique avec les fonctions {try_}to_number
  • [SPARK-39650] [SS] Correction d’un schéma de valeur incorrect dans la déduplication de streaming avec compatibilité descendante
  • [SPARK-39636] [CORE][UI] Correction de plusieurs bogues dans JsonProtocol, impactant les tas StorageLevels et Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Retour de ELEMENT_AT_BY_INDEX_ZERO à partir de element_at(*, 0)
  • [SPARK-39349] Ajout d’une méthode CheckError centralisée pour l’AQ du chemin d’erreur
  • [SPARK-39453] [SQL] DS V2 prend en charge les fonctions non agrégées diverses de pushdown (non ANSI)
  • [SPARK-38978] [SQL] DS V2 prend en charge l’opérateur OFFSET de pushdown
  • [SPARK-39567] [SQL] Prise en charge des intervalles ANSI dans les fonctions de centile
  • [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ALTER COLUMNS dans les sources de données V2
  • [SPARK-39396] [SQL] Correction de l’exception de connexion LDAP « Code d’erreur 49 - Informations d’identification non valides »
  • [SPARK-39548] [SQL] La commande CreateView avec une requête de clause de fenêtre a rencontré un problème introuvable de définition de fenêtre incorrecte
  • [SPARK-39575] [AVRO] ajouter ByteBuffer#rewind après ByteBuffer#get dans Avr…
  • [SPARK-39543] L’option de DataFrameWriterV2 doit être transmise aux propriétés de stockage en cas de secours sur v1
  • [SPARK-39564] [SS] Exposition des informations de la table de catalogue dans le plan logique de la requête de streaming
  • [SPARK-39582] [SQL] Correction du marqueur « Depuis » pour array_agg
  • [SPARK-39388] [SQL] Réutilisation de orcSchema lors du pushdown de prédicats Orc
  • [SPARK-39511] [SQL] Amélioration de la limite locale 1 du pushdown pour le côté droit de la jointure semi/anti si la condition de jonction est vide
  • [SPARK-38614] [SQL] Ne pas pousser la limite via une fenêtre utilisant percent_rank
  • [SPARK-39551] [SQL] Ajout d’une vérification de plan non valide AQE
  • [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ADD COLUMNS dans les sources de données V2
  • [SPARK-39538] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
  • [SPARK-39383] [SQL] Rétroportage manuel vers DBR 11.x : refactorisation de la prise de la colonne DEFAULT pour ignorer le contournement de l’analyseur principal
  • [SPARK-39397] [SQL] Assouplissement de AliasAwareOutputExpression pour prendre en charge l’alias avec l’expression
  • [SPARK-39496] [SQL] Gestion de structure Null dans Inline.eval
  • [SPARK-39545] [SQL] Substitution de la méthode concat pour ExpressionSet dans Scala 2.13 afin d’améliorer les performances
  • [SPARK-39340] [SQL] Le pushdown d’agrégation DS v2 doit autoriser les points dans le nom des colonnes de niveau supérieur
  • [SPARK-39488] [SQL] Simplification de la gestion de l’erreur TempResolvedColumn
  • [SPARK-38846] [SQL] Ajout d’un mappage de données explicite entre le type numérique Teradata et le type décimal Spark
  • [SPARK-39520] [SQL] Substitution de la méthode -- pour ExpressionSet dans Scala 2.13
  • [SPARK-39470] [SQL] Prise en charge du cast des intervalles ANSI en décimales
  • [SPARK-39477] [SQL] Suppression de l’information « Nombre de requêtes » des fichiers d’or de SQLQueryTestSuite
  • [SPARK-39419] [SQL] Correction de ArraySort pour lever une exception lorsque le comparateur retourne null
  • [SPARK-39061] [SQL] Définition correcte de la propriété pouvant accepter la valeur Null pour les attributs de sortie Inline
  • [SPARK-39320] [SQL] Prise en charge de la fonction d’agrégation MEDIAN
  • [SPARK-39261] [CORE] Amélioration de la mise en forme de nouvelle ligne pour les messages d’erreur
  • [SPARK-39355] [SQL] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE doit éditer les propriétés
  • [SPARK-37623] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_intercept
  • [SPARK-39374] [SQL] Amélioration du message d’erreur pour la liste de colonnes spécifiée par l’utilisateur
  • [SPARK-39255] [SQL][3.3] Amélioration des messages d’erreur
  • [SPARK-39321] [SQL] Refactorisation de TryCast pour utiliser RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Acceptation du tableau NumPy dans createDataFrame
  • [SPARK-39267] [SQL] Nettoyage du symbole dsl inutile
  • [SPARK-39171] [SQL] Unification de l’expression Cast
  • [SPARK-28330] [SQL] Prise en charge de la clause de décalage de résultat ANSI SQL dans l’expression de requête
  • [SPARK-39203] [SQL] Réécriture de l’emplacement de la table en URI absolu basé sur l’URI de la base de données
  • [SPARK-39313] [SQL] toCatalystOrdering doit échouer si la translation de V2Expression est impossible
  • [SPARK-39301] [SQL][PYTHON] Utilisation de LocalRelation et respect de la taille des lots de flèches dans createDataFrame avec optimisation des flèches
  • [SPARK-39400] [SQL] spark-sql doit supprimer ce paramètre hive resource dir dans tous les cas

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 11.1.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.1.3
  • Delta Lake : 1.2.1

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 click 8.0.3
chiffrement 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 empaquetage 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2.20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requêtes 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 15/08/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4-1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 cycle de vie 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrice 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progress 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1