Partager via

Databricks Runtime 11.0 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.0, avec Apache Spark 3.3.0. Databricks a publié cette version en juin 2022.

Améliorations et nouvelles fonctionnalités

Nouvelle version d’Apache Spark

Databricks Runtime 11.0 et Databricks Runtime 11.0 Photon incluent Apache Spark 3.3.0. Pour plus d’informations, consultez Apache Spark.

Les notebooks Python utilisent désormais le noyau IPython

Dans Databricks Runtime 11.0 et versions ultérieures, les notebooks Python utilisent le noyau IPython pour exécuter le code Python. Consultez Noyau IPython.

Prise en charge des ipywidgets

Vous pouvez désormais utiliser des ipywidgets pour rendre vos notebooks Python Databricks interactifs. Consultez ipywidgets.

Le connecteur Synapse écrit désormais les données Parquet en mode non hérité

Le connecteur Azure Synapse écrit désormais les données Parquet en mode non hérité. Il conserve le format d’horodatage INT96 quand PolyBase et les commandes COPY sont utilisées pour les charges de travail de traitement par lots et de streaming.

Le schéma HTTPS est désormais appliqué lorsque le client ABFS utilise un jeton SAS

Lorsque le client ABFS (Azure Blob File System) utilise un jeton SAP (Shared Access Signature), le schéma HTTPS est désormais appliqué.

SQL : DESC est maintenant un alias pour DESCRIBE

Vous pouvez désormais utiliser DESC comme alias pour DESCRIBE lorsque vous décrivez des emplacements externes ou des informations d’identification de stockage. Par exemple :

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL : La nouvelle fonction current_version génère les détails de la version

La nouvelle fonction current_version génère la version actuelle de Databricks Runtime si elle est disponible, la version actuelle de Databricks SQL si elle est disponible ainsi que d’autres détails de version connexes. Utilisez cette nouvelle fonction pour demander des informations relatives à la version. Consultez Fonction current_version.

La suppression d’une contrainte de table Delta manquante déclenche désormais une erreur

Si vous essayez à présent de supprimer une contrainte de table Delta par nom et que cette contrainte n’existe pas, vous obtenez une erreur. Pour revenir à l’ancien comportement, qui ne génère pas d’erreur si la contrainte n’existe pas, vous devez maintenant utiliser l’instruction IF EXISTS. Consultez ALTER TABLE.

SQL : La nouvelle clause EXCEPT dans l’instruction SELECT exclut les colonnes de la sélection

Les instructions SELECT prennent désormais en charge la clause EXCEPT pour exclure les colonnes de la sélection. Par exemple, SELECT * EXCEPT (x) FROM table retourne toutes les colonnes de table à l’exception de x. Les colonnes imbriquées sont également autorisées. Par exemple, SELECT * EXCEPT (x.a) FROM table retourne toutes les colonnes de table, mais omet le champ a du struct x.

Prise en charge de la suppression de colonnes dans les tables Delta (préversion publique)

Vous pouvez utiliser ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> ou ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) pour supprimer une colonne ou une liste de colonnes, respectivement, d’une table Delta sous la forme d’une opération de métadonnées uniquement. Les colonnes sont en fait « supprimées de manière réversible », car elles se trouvent toujours dans les fichiers Parquet sous-jacents, mais ne sont plus visibles dans la table Delta.

Vous pouvez utiliser REORG TABLE <table-name> APPLY (PURGE) pour déclencher une réécriture de fichier sur les fichiers qui contiennent des données supprimées de manière réversible, telles que des colonnes supprimées.

Vous pouvez utiliser VACUUM pour supprimer les fichiers supprimés du stockage physique, y compris les anciens fichiers qui contiennent des colonnes supprimées et qui ont été réécrits par REORG TABLE.

Améliorations COPY INTO

Vous pouvez créer des tables Delta d’espace réservé vides afin que le schéma soit déduit ultérieurement lors d’une commande COPY INTO :

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

L’instruction SQL précédente est idempotente et peut être planifiée pour s’exécuter de manière à ingérer des données exactement une fois dans une table Delta.

Notes

La table Delta vide n’est pas utilisable en dehors de COPY INTO. Vous ne pouvez pas utiliser INSERT INTO et MERGE INTO pour écrire des données dans des tables Delta sans schéma. Une fois les données insérées dans la table avec COPY INTO, la table est interrogeable.

Si les données que vous ingérez ne peuvent pas être lues en raison d’un problème d’altération, vous pouvez ignorer les fichiers endommagés en définissant ignoreCorruptFiles sur true dans la commande FORMAT_OPTIONS :

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

La commande COPY INTO retourne le nombre de fichiers ignorés en raison d’une altération dans la colonne num_skipped_corrupt_files. Cette métrique s’affiche également dans la colonne operationMetrics sous numSkippedCorruptFiles après l’exécution de DESCRIBE HISTORY sur la table Delta.

Les fichiers corrompus ne sont pas suivis par COPY INTO. Ils peuvent donc être rechargés dans une exécution ultérieure si la corruption est corrigée. Vous pouvez voir quels fichiers sont endommagés en exécutant COPY INTO en mode VALIDATE.

CONVERT TO DELTAest désormais pris en charge dans les environnements compatibles avec le catalogue Unity (préversion publique)

Dans les environnements Unity-Catalog, avec CONVERT TO DELTA, vous pouvez désormais :

  • Convertir des fichiers Parquet dans des emplacements externes en Delta Lake.
  • Convertir des tables externes Parquet en tables Delta.

Changements de comportement

SQL : Les fonctions lpad et rpad prennent désormais en charge les séquences d’octets

Les fonctions lpad et rpad ont été mises à jour pour ajouter la prise en charge des séquences d’octets en plus des chaînes.

Le format de chaîne dans format_string et printf n’autorise plus %0$

La spécification du format %0$ dans les fonctions format_string et printf génère désormais une erreur par défaut. Cette modification vise à conserver le comportement attendu avec les versions précédentes de Databricks Runtime et les bases de données tierces courantes. Le premier argument doit toujours référencer %1$ lorsque vous utilisez un index d’arguments pour indiquer la position de l’argument dans la liste d’arguments.

Les valeurs Null dans les fichiers CSV sont désormais écrites sous forme de chaînes vides sans guillemets par défaut

Les valeurs Null dans les fichiers CSV étaient auparavant écrites sous forme de chaînes vides entre guillemets. Avec cette version, les valeurs Null dans les fichiers CSV sont désormais écrites sous forme de chaînes vides sans guillemets par défaut. Pour revenir au comportement précédent, définissez l’option nullValue sur "" pour les opérations d’écriture.

La propriété de table external est désormais réservée

La propriété external est désormais une propriété de table réservée par défaut. Des exceptions sont désormais générées quand vous utilisez la propriété external avec les clauses CREATE TABLE ... TBLPROPERTIES et ALTER TABLE ... SET TBLPROPERTIES.

Log4j est mis à niveau de Log4j 1 vers Log4j 2

Log4j 1 est mis à niveau vers Log4j 2. Les dépendances Log4j 1 héritées sont supprimées.

Si vous dépendez des classes Log4j 1 qui ont été incluses précédemment dans Databricks Runtime, ces classes n’existent plus. Vous devez mettre à niveau vos dépendances vers Log4j 2.

Si vous avez des plug-ins personnalisés ou des fichiers de configuration qui dépendent de Log4j 2, ils se peut qu’ils ne fonctionnent plus avec la version de Log4j 2 dans cette version. Pour obtenir de l’assistance, contactez l’équipe de votre compte Azure Databricks.

Les bibliothèques installées depuis Maven sont désormais résolues dans votre plan de calcul par défaut

Les bibliothèques Maven sont désormais résolues dans votre plan de calcul par défaut lorsque vous installez des bibliothèques sur un cluster. Votre cluster doit avoir accès à Maven Central. Vous pouvez également revenir au comportement précédent en définissant la propriété de configuration Spark :

spark.databricks.libraries.enableMavenResolution false

Résolution des bogues

  • La compatibilité binaire pour LeafNode, UnaryNodeet BinaryNode entre Apache Spark et Databricks Runtime a été corrigée et les classes sont désormais compatibles avec Apache Spark 3.3.0 et versions ultérieures. Si vous rencontrez le message suivant ou similaire lors de l’utilisation d’un package tiers avec le runtime Databricks, régénérez le package avec Apache Spark 3.3.0 ou version supérieure : Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • platformdirs de 2.5.1 vers 2.5.2
    • protobuf de 3.20.0 vers 3.20.1
  • Bibliothèques R mises à niveau :
    • blob de 1.2.2 vers 1.2.3
    • broom de 0.7.12 vers 0.8.0
    • caret de 6.0-91 vers 6.0-92
    • cli de 3.2.0 vers 3.3.0
    • dplyr de 1.0.8 vers 1.0.9
    • future de 1.24.0 vers 1.25.0
    • future.apply de 1.8.1 vers 1.9.0
    • gert de 1.5.0 vers 1.6.0
    • ggplot2 de 3.3.5 vers 3.3.6
    • glmnet de 4.1-3 vers 4.1-4
    • haven de 2.4.3 vers 2.5.0
    • httr de 1.4.2 vers 1.4.3
    • knitr de 1.38 vers 1.39
    • magrittr de 2.0.2 vers 2.0.3
    • parrallelly de 1.30.0 vers 1.31.1
    • ps de 1.6.0 vers 1.7.0
    • RColorBrewer de 1.1-2 vers 1.1-3
    • RcppEigen de 0.3.3.9.1 vers 0.3.3.9.2
    • readxl de 1.3.1 vers 1.4.0
    • rmarkdown de 2.13 vers 2.14
    • rprojroot de 2.0.2 vers 2.0.3
    • RSQLite de 2.2.11 vers 2.2.13
    • scales de 1.1.1 vers 1.2.0
    • testthat de 3.1.2 vers 3.1.4
    • tibble de 3.1.6 vers 3.1.7
    • tinytex de 0.37 vers 0.38
    • tzdb de 0.2.0 vers 0.3.0
    • uuid de 1.0-4 vers 1.1-0
    • vctrs de 0.3.8 vers 0.4.1
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.core.jackson-annotations de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.core.jackson-core de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.core.jackson-databind de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.0 à 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.0 à 2.13.3
    • com.google.crypto.tink.tink de 1.6.0 vers 1.6.1
    • com.ning.compress-lzf de 1.0.3 vers 1.1
    • dev.ludovic.netlib.arpack de 2.2.0 à 2.2.1
    • dev.ludovic.netlib.blas de 2.2.0 à 2.2.1
    • dev.ludovic.netlib.lapack de 2.2.0 à 2.2.1
    • io.netty.netty-all de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-buffer de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-codec de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-common de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-handler de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-resolver de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-tcnative-classes de 2.0.46.Final vers 2.0.48.Final
    • io.netty.netty-transport de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-classes-epoll de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 de 4.1.73.Final vers 4.1.74.Final
    • io.netty.netty-transport-native-unix-common de 4.1.73.Final vers 4.1.74.Final
    • joda-time.joda-time de 2.10.12 à 2.10.13
    • org.apache.commons.commons-math3 de 3.4.1 à 3.6.1
    • org.apache.httpcomponents.httpcore de 4.4.12 à 4.4.14
    • org.apache.orc.orc-core de 1.7.3 vers 1.7.4
    • org.apache.orc.orc-mapreduce de 1.7.3 vers 1.7.4
    • org.apache.orc.orc-shims de 1.7.3 vers 1.7.4
    • org.eclipse.jetty.jetty-client de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.43.v20210629 à 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client de 2.2.5 à 2.7.4
    • org.postgresql.postgresql de 42.2.19 à 42.3.3
    • org.roaringbitmap.RoaringBitmap de 0.9.23 vers 0.9.25
    • org.roaringbitmap.shims de 0.9.23 vers 0.9.25
    • org.rocksdb.rocksdbjni de 6.20.3 vers 6.24.2
    • org.slf4j.jcl-over-slf4j de1.7.32 à 1.7.36
    • org.slf4j.jul-to-slf4j de 1.7.32 à 1.7.36
    • org.slf4j.slf4j-api de 1.7.30 vers 1.7.36

Apache Spark

Databricks Runtime 11.0 comprend Apache Spark 3.3.0.

Dans cette section :

Spark SQL et Core

Mode ANSI

  • Nouvelles règles de syntaxe de cast explicite (SPARK-33354)
  • Elt () doit retourner la valeur null si l’index est null en mode ANSI (SPARK-38304)
  • Retourne éventuellement un résultat null si l’élément n’existe pas dans le tableau/le mappage (SPARK-37750)
  • Autorisation du cast entre le type numérique et le type timestamp (SPARK-37714)
  • Désactivation de mots clés réservés ANSI par défaut (SPARK-37724)
  • Utilisation de règles d’affectation de magasin pour résoudre l’appel de fonction (SPARK-37438)
  • Ajout d’une configuration pour autoriser le cast entre les types DateHeure et Numérique (SPARK-37179)
  • Ajout d’une configuration pour appliquer éventuellement des mots clés réservés ANSI (SPARK-37133)
  • Interdiction des opérations binaires entre le littéral d’intervalle et le littéral de chaîne (SPARK-36508)

Améliorations de la fonctionnalité

  • Prise en charge des types ANSI SQL INTERVAL (SPARK-27790)
  • Améliorations apportées aux messages d’erreur (SPARK-38781)
  • Prise en charge des métadonnées de fichiers masquées pour Spark SQL (SPARK-37273)
  • Prise en charge du littéral de chaîne brute (SPARK-36371)
  • Classe d’assistance pour Dataset.observe() avec traitement par lots (SPARK-34806)
  • Prise en charge de la spécification du numéro de partition initial pour le rééquilibrage (SPARK-38410)
  • Prise en charge du mode cascade pour l’API dropNamespace (SPARK-37929)
  • Autorisation de l’attribution de magasin et du cast implicite entre les types DateHeure (SPARK-37707)
  • Collect, first et last doivent être des fonctions d’agrégation déterministes (SPARK-32940)
  • Ajout de ExpressionBuilder pour les fonctions avec surcharges complexes (SPARK-37164)
  • Ajout de la prise en charge des tableaux à unionByName (SPARK-36546)
  • Ajout de df.withMetadata : sucre syntaxique pour mettre à jour les métadonnées d’un dataframe (SPARK-36642)
  • Prise en charge du littéral de chaîne brute (SPARK-36371)
  • Utilisation de CAST dans l’analyse des dates/horodatages avec le modèle par défaut (SPARK-36418)
  • Prise en charge de la classe value dans le schéma imbriqué pour le jeu de données (SPARK-20384)
  • Ajout de la prise en charge de la syntaxe AS OF (SPARK-37219)
  • Ajout de REPEATABLE dans TABLESAMPLE pour spécifier le seed (SPARK-37165)
  • Ajout de la syntaxe ansi set catalog xxx pour changer le catalogue actuel (SPARK-36841)
  • Prise en charge de ILIKE (ALL | ANY | SOME) – LIKE sans respect de la casse (SPARK-36674, SPARK-36736, SPARK-36778)
  • Prise en charge de l’étape de requête avec affichage des statistiques d’exécution en mode explication mise en forme (SPARK-38322)
  • Ajout des métriques de taille de déversement pour la jointure par tri-fusion (SPARK-37726)
  • Mise à jour de la syntaxe SQL de SHOW FUNCTIONS (SPARK-37777)
  • Prise en charge de la syntaxe DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Nouvelles fonctions intégrées et leurs extensions (SPARK-38783)
    • Datetime
    • Fonctions AES (SPARK-12567)
      • Ajout des fonctions intégrées aes_encrypt et aes_decrypt (SPARK-12567)
      • Prise en charge du mode GCM par aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Définition de GCM comme mode par défaut dans aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Ajout des arguments mode et padding à aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • Fonction d’agrégation ANSI (SPARK-37671)
      • Prise en charge de la fonction d’agrégation ANSI : regr_count (SPARK-37613)
      • Prise en charge de la fonction d’agrégation ANSI : regr_avgx ®r_avgy (SPARK-37614)
      • Prise en charge de la fonction d’agrégation ANSI : percentile_cont (SPARK-37676, SPARK-38219)
      • Prise en charge de la fonction d’agrégation ANSI : percentile_disc (SPARK-37691)
      • Prise en charge de la fonction d’agrégation ANSI : regr_count (SPARK-37613)
      • Prise en charge de la fonction d’agrégation ANSI : array_count (SPARK-27974)
      • Prise en charge de la fonction d’agrégation ANSI : regr_r2 (SPARK-37641)
      • Nouvelle fonction SQL : try_avg (SPARK-38589)
    • Collections
    • Format
    • String/binaire
      • Ajout de la fonction de chaîne CONTAINS() (SPARK-37508)
      • Ajout des fonctions de chaîne startswith() et endswith() (SPARK-37520)
      • Ajout des fonctions lpad et rpad pour les chaînes binaires (SPARK-37047)
      • Prise en charge de la fonction split_part (SPARK-38063)
    • Ajout d’un paramètre d’échelle aux fonctions floor et ceil (SPARK-37475)
    • Nouvelles fonctions SQL : try_subtract et try_multiply (SPARK-38164)
    • Implémente la fonction d’agrégation histogram_numeric qui prend en charge l’agrégation partielle (SPARK-16280)
    • Ajout de max_by/min_by à sql.functions (SPARK-36963)
    • Ajout de nouvelles fonctions SQL intégrées : SEC et CSC (SPARK-36683)
    • array_intersect gère les Double.NaN et Float.NaN en double (SPARK-36754)
    • Ajout de cot en tant que fonctions Scala et Python (SPARK-36660)

Une amélioration du niveau de performance

  • Génération de code à l’échelle globale
    • Ajout de code-gen pour sort aggregate sans regroupement de clés (SPARK-37564)
    • Ajout de code-gen pour la jointure externe entière par tri-fusion (SPARK-35352)
    • Ajout de code-gen pour une jointure externe entière avec hachage aléatoire (SPARK-32567)
    • Ajout de code-gen pour la jointure d’existence par tri-fusion (SPARK-37316)
  • Pushdown (filtres)
    • Pushdown de filtres via RebalancePartitions (SPARK-37828)
    • Pushdown de filtre des colonnes booléennes (SPARK-36644)
    • Abaissement de la limite 1 pour le côté droit de la semi/anti-jointure gauche si la condition de jointure est vide (SPARK-37917)
    • Traduction de fonctions d’agrégation standard supplémentaires pour le pushdown (SPARK-37527)
    • Prise en charge de PropagateEmptyRelation par agrégation/union (SPARK-35442)
    • Filtrage du runtime au niveau de la ligne (SPARK-32268)
    • Prise en charge de la semi-jointure gauche dans les filtres du runtime au niveau de la ligne (SPARK-38565)
    • Prise en charge du pushdown de prédicats et du nettoyage de colonnes pour les CTE dédupliqués (SPARK-37670)
  • Vectorisation
    • Implémentation d’un ConstantColumnVector et amélioration des performances des métadonnées de fichiers masquées (SPARK-37896)
    • Activation de la lecture vectorisée pour VectorizedPlainValuesReader. readBooleans (SPARK-35867)
  • Combinaison/suppression/remplacement de nœuds
    • Combinaison des unions s’il existe un projet entre elles (SPARK-37915)
    • Combinaison en un seul cast si nous pouvons en toute sécurité faire de deux casts un upcast (SPARK-37922)
    • Suppression de Sort s’il s’agit de l’enfant de RepartitionByExpression (SPARK-36703)
    • Suppression de la jointure externe si elle n’a que DISTINCT du côté diffusé en continu avec alias (SPARK-37292)
    • Remplacement du hachage par sort aggregate si l’enfant est déjà trié (SPARK-37455)
    • Réduction de projets uniquement si nous ne dupliquons pas des expressions coûteuses (SPARK-36718)
    • Suppression des alias redondants après RewritePredicateSubquery (SPARK-36280)
    • Fusion de sous-requêtes scalaires non corrélées (SPARK-34079)
  • Partitionnement
    • Nettoyage de partition dynamique non ajouté s’il existe un nettoyage de partition statique (SPARK-38148)
    • Amélioration de RebalancePartitions dans les règles de l’optimiseur (SPARK-37904)
    • Ajout d’un facteur de petite partition pour RebalancePartitions (SPARK-37357)
  • Join
    • Ajustement de la logique pour rétrograder la jointure de hachage de diffusion dans DynamicJoinSelection (SPARK-37753)
    • Clés de jointure en double ignorées lors de la création d’une relation pour une SEMI/ANTI-jointure de hachage aléatoire (SPARK-36794)
    • Prise en charge de l’optimisation de la jointure asymétrique même si elle induit une redistribution supplémentaire (SPARK-33832)
  • AQE
    • La prise en charge élimine les limites dans l’optimiseur AQE (SPARK-36424)
    • Optimisation d’un plan de lignes dans l’optimiseur normal et AQE (SPARK-38162)
  • Aggregate.groupOnly prend en charge les expressions pliables (SPARK-38489)
  • ByteArrayMethods arrayEquals doit passer rapidement la vérification de l’alignement avec une plateforme non alignée (SPARK-37796)
  • Ajout du nettoyage de modèle d’arborescence à la règle CTESubstitution (SPARK-37379)
  • Ajout de simplifications supplémentaires à l’opérateur Not (SPARK-36665)
  • Prise en charge de BooleanType dans UnwrapCastInBinaryComparison (SPARK-36607)
  • Coalesce supprime toutes les expressions après la première expression non nullable (SPARK-36359)
  • Ajout d’un visiteur de plan logique pour propager les attributs distincts (SPARK-36194)

Améliorations des connecteurs intégrées

  • Général
    • Sérialisation indulgente de la date et heure à partir de la source de données (SPARK-38437)
    • Emplacement de la table considéré comme étant absolu quand la première lettre de son chemin est une barre oblique dans la création/modification de table(SPARK-38236)
    • Suppression des zéros de début dans la partition vide de type nombre statique (SPARK-35561)
    • Prise en charge de ignoreCorruptFiles et ignoreMissingFiles dans les options de source de données (SPARK-38767)
    • Ajout de la commande SHOW CATALOGS (SPARK-35973)
  • Parquet
    • Activation de la mise en correspondance des noms de colonnes de schéma par ID de champ (SPARK-38094)
    • Suppression de la vérification du nom de champ lors de la lecture/écriture de données au format Parquet (SPARK-27442)
    • Prise en charge des valeurs booléennes en lecture vectorisée avec utilisation de l'encodage RLE avec Parquet DataPage V2 (SPARK-37864)
    • Prise en charge l’encodage de page de données Parquet v2 (DELTA_BINARY_PACKED) pour le chemin vectorisé (SPARK-36879)
    • Rebasage des horodatages dans le fuseau horaire de session enregistré dans les métadonnées Parquet/Avro (SPARK-37705)
    • Pushdown du regroupement par colonne de partition pour l’agrégation (SPARK-36646)
    • Agrégation du pushdown (Min/Max/Count) pour Parquet (SPARK-36645)
    • Parquet : activation de la mise en correspondance des colonnes de schéma par ID de champ (SPARK-38094)
    • Réduction de la taille de page par défaut selon LONG_ARRAY_OFFSET si G1GC et ON_HEAP sont utilisés (SPARK-37593)
    • Implémentation d’encodages DELTA_BYTE_ARRAY et de DELTA_LENGTH_BYTE_ARRAY vectorisés pour la prise en charge de Parquet V2 (SPARK-37974)
    • Prise en charge des types complexes pour le lecteur vectorisé Parquet (SPARK-34863)
  • ORC
    • Suppression de la vérification du nom de champ lors de la lecture/écriture de données existantes dans Orc (SPARK-37965)
    • Agrégation du pushdown pour ORC (SPARK-34960)
    • Prise en charge de la lecture et de l’écriture d’intervalles ANSI depuis/vers les sources de données ORC (SPARK-36931)
    • Prise en charge les noms de colonnes composés uniquement de chiffres dans les sources de données ORC (SPARK-36663)
  • JSON
    • Respect de allowNonNumericNumbers lors de l’analyse de valeurs NaN et d’infini entre guillemets dans le lecteur JSON (SPARK-38060)
    • Utilisation de CAST pour la date et l’heure dans CSV/JSON par défaut (SPARK-36536)
    • Alignement du message d’erreur pour les types de clés non pris en charge dans MapType dans le lecteur Json (SPARK-35320)
  • CSV
    • Correctif faisant référence à la colonne d’enregistrements endommagée du CSV (SPARK-38534)
    • Les valeurs null doivent être enregistrées comme n’étant rien et non des chaînes vides entre guillemets “” par défaut (SPARK-37575)
  • JDBC
    • Ajouter de l’instruction IMMEDIATE à l’implémentation de la troncature du dialecte DB2 (SPARK-30062)
  • Hive
    • Prise en charge de l’écriture de la table compartimentée Hive (formats de fichiers Hive avec hachage Hive) (SPARK-32712)
    • Utilisation d’expressions pour filtrer les partitions Hive côté client (SPARK-35437)
    • Prise en charge du nettoyage de partition dynamique pour HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir doit utiliser la source de données si elle est convertible (SPARK-38215)
    • Prise en charge de l’écriture de la table compartimentée Hive (format Parquet/ORC avec hachage Hive) (SPARK-32709)

Désactivation de nœud

  • FallbackStorage ne doit pas tenter de résoudre un nom d’hôte « distant » arbitraire (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved doit traiter ExecutorDecommission comme étant terminé (SPARK-38023)

Autres changements notables

  • Ajout d’un verrouillage affiné à BlockInfoManager (SPARK-37356)
  • Prise en charge du mappage des types de ressources Spark gpu/fpga pour un type de ressource YARN p(SPARK-37208)
  • Rapport d’une taille de bloc de lecture aléatoire précise si elle est asymétrique (SPARK-36967)
  • Prise en charge de la journalisation Netty au niveau de la couche réseau (SPARK-36719)

Structured Streaming

Fonctionnalités majeures

  • Introduction de Trigger.AvailableNow pour l’exécution de requêtes de streaming comme Trigger.Once en plusieurs traitements (SPARK-36533)

Autres changements notables

  • Utilisation de StatefulOpClusteredDistribution pour les opérateurs avec état avec respect de la compatibilité descendante (SPARK-38204)
  • Correction du délai d’expiration de flatMapGroupsWithState dans le traitement avec des données pour la clé (SPARK-38320)
  • Correction du problème d’exactitude sur la jointure externe flux-flux avec le fournisseur de magasin d’état RocksDB (SPARK-38684)
  • Prise en charge de Trigger.AvailableNow au niveau de la source de données Kafka (SPARK-36649)
  • Optimisation du chemin d’écriture dans le fournisseur de magasin d’état RocksDB (SPARK-37224)
  • Introduction d’une nouvelle source de données pour fournir un ensemble cohérent de lignes par microtraitement (SPARK-37062)
  • Utilisation de HashClusteredDistribution pour les opérateurs avec état avec respect de la compatibilité descendante (SPARK-38204)

PySpark

API Pandas sur Spark

Principales améliorations
  • Optimisation de l’index de « séquence distribuée » par défaut (SPARK-36559, SPARK-36338)
    • Prise en charge de la spécification du type d’index et du nom dans l’API Pandas sur Spark (SPARK-36709)
    • Affichage du type d’index par défaut dans les plans SQL pour l’API Pandas sur park (SPARK-38654)
Fonctionnalités majeures
  • Implémentation de ps.merge_asof natif SparkSQL (SPARK-36813)
  • Prise en charge de TimedeltaIndex dans l’API Pandas sur Spark (SPARK-37525)
  • Prise en charge de timedelta de Python (SPARK-37275, SPARK-37510)
  • Implémentation de fonctions dans CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Utilisation du formateur de chaîne standard de Python pour l’API SQL dans l’API Pandas sur Spark (SPARK-37436)
  • Prise en charge des opérations de base de timedelta Series/Index (SPARK-37510)
  • Prise en charge de ps.MultiIndex.dtypes (SPARK-36930)
  • Implémentation de Index.map (SPARK-36469)
  • Implémentation de Series.xor et Series.rxor (SPARK-36653)
  • Implémentation de l’opérateur unaire invert de ps.Series/Index (SPARK-36003)
  • Implémentation de DataFrame.cov (SPARK-36396)
  • Prise en charge de str et timestamp pour (Series|DataFrame).describe() (SPARK-37657)
  • Prise en charge du paramètre lambda column de DataFrame.rename(SPARK-38763)

Autres changements notables

Changements cassants
  • Suppression des références à la prise en charge de Python 3.6 dans la documentation et python/docs (SPARK-36977)
  • Suppression de l’astuce namedtuple en remplaçant le pickle intégré par cloudpickle (SPARK-32079)
  • Basculement de la version minimale de Pandas vers la version 1.0.5 (SPARK-37465)
  • Principales améliorations
    • Mise à disposition d’un profileur pour les fonctions définies par l’utilisateur Python/Pandas (SPARK-37443)
    • Utilisation du formateur de chaîne standard de Python pour l’API SQL dans PySpark (SPARK-37516)
    • Exposition de l’état et de la classe d’erreur SQL dans les exceptions PySpark (SPARK-36953)
    • Tentative de capture de faulthanlder quand un worker Python se bloque (SPARK-36062)
Fonctionnalités majeures
  • Implémentation de DataFrame.mapInArrow en Python (SPARK-37228)
  • Utilisation du formateur de chaîne standard de Python pour l’API SQL dans PySpark (SPARK-37516)
  • Ajout de l’API pyspark df.withMetadata (SPARK-36642)
  • Prise en charge de timedelta de Python (SPARK-37275)
  • Exposition de tableExists dans pyspark.sql.catalog (SPARK-36176)
  • Exposition de databaseExists dans pyspark.sql.catalog (SPARK-36207)
  • Exposition de functionExists dans pyspark.sql.catalog (SPARK-36258)
  • Ajout de Dataframe.observation à PySpark (SPARK-36263)
  • Ajout de max_by/min_by API à PySpark (SPARK-36972)
  • Prise en charge de l’inférence du dict imbriqué en tant que struct lors de la création d’un DataFrame (SPARK-35929)
  • Ajouter des API bit/octet_length à Scala, Python et R (SPARK-36751)
  • Prise en charge de l’API ILIKE sur Python (SPARK-36882)
  • Ajout de la méthode isEmpty pour l’API DataFrame Python (SPARK-37207)
  • Ajout de la prise en charge de l’ajout de plusieurs colonnes (SPARK-35173)
  • Ajout de SparkContext.addArchive dans PySpark (SPARK-38278)
  • Ajout de la capacité d’évaluation du type sql par reprs (SPARK-18621)
  • Indicateurs de type inline pour fpm.py en python/pyspark/mllib (SPARK-37396)
  • Implémentation du paramètre dropna de SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Fonctionnalités majeures

  • Ajout du paramètre distanceMeasure à trainKMeansModel (SPARK-37118)
  • Exposition de LogisticRegression.setInitialModel, comme KMeans et al do (SPARK-36481)
  • Prise en charge de CrossValidatorModel pour obtenir l’écart type des métriques pour chaque paramMap (SPARK-36425)

Principales améliorations

  • Optimisation de certains treeAggregates dans MLlib en retardant les allocations (SPARK-35848)
  • Réécriture de _shared_params_code_gen.py en indicateurs de type inline pour ml/param/shared.py (SPARK-37419)

Autres changements notables

SparkR

  • Migration des documents SparkR vers pkgdown (SPARK-37474)
  • Exposition de l’expression make_date en R (SPARK-37108)
  • Ajout de l’API max_by/min_by à SparkR (SPARK-36976)
  • Prise en charge de l’API ILIKE sur R (SPARK-36899)
  • Ajout de sec et csc en tant que fonctions R (SPARK-36824)
  • Ajouter des API bit/octet_length à Scala, Python et R (SPARK-36751)
  • Ajout de cot en tant que fonctions R (SPARK-36688)

UI

  • Résumé des métriques de spéculation au niveau de la phase (SPARK-36038)
  • Temps de bloc de lecture aléatoire unifié pour mélanger le temps d’attente de récupération de lecture dans StagePage (SPARK-37469)
  • Ajout de configurations modifiées pour l’exécution SQL dans l’interface utilisateur (SPARK-34735)
  • Ajout à ThriftServer la capacité de reconnaître spark.sql.redaction.string.regex (SPARK-36400)
  • Attachement et démarrage du gestionnaire après le démarrage de l’application dans l’interface utilisateur (SPARK-36237)
  • Ajout de durée de commit au nœud de graphe de l’onglet SQL (SPARK-34399)
  • Prise en charge du back-end RocksDB dans le serveur d’historique Spark (SPARK-37680)
  • Affichage des options de l’API Pandas sur Spark dans l’interface utilisateur (SPARK-38656)
  • « SQL » renommé « SQL / DataFrame » dans la page de l’interface utilisateur SQL (SPARK-38657)

Build

Mises à jour de maintenance

Consultez Databricks Runtime 11.0 (EoS).

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.1.3
  • Delta Lake : 1.2.1

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notebook 6.4.5
numpy 1.20.3 empaquetage 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requêtes 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 six 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 06/05/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.8.0
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 gargle 1.2.0 generics 0.1.2
gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4-1-4 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.6.10 cycle de vie 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 Matrice 1.4-1 memoise 2.0.1
methods 4.1.3 mgcv 1.8-40 mime 0,12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallelly 1.31.1
pillar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 progress 1.2.2
progressr 0.10.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
sass 0.4.1 scales 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1