Partager via

Databricks Runtime 4.2 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks a publié cette version en juillet 2018.

Important

Cette version a été dépréciée le 5 mars 2019. Pour plus d’informations sur la politique de dépréciation de Databricks Runtime et sur la planification, consultez Cycles de vie du support Databricks.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 4.2, avec Apache Spark.

Delta Lake

Databricks Runtime 4.2 ajoute des fonctionnalités et des améliorations de qualité majeures à Delta Lake. Databricks recommande fortement que tous les clients Delta Lake soient mis à niveau vers le nouveau runtime. Cette version est conservée en préversion privée, mais elle représente une version candidate en prévision de la prochaine version de disponibilité générale (GA).

Nouvelles fonctionnalités

  • Les flux peuvent maintenant être directement écrits dans une table Delta enregistrée dans le metastore Hive à l’aide de df.writeStream.table(...).

Améliorations

  • Toutes les commandes et requêtes Delta Lake prennent désormais en charge la référence à une table à l’aide de son chemin d’accès en tant qu’identificateur :

    delta.`<path-to-table>`

    Auparavant OPTIMIZE et VACUUM nécessitaient une utilisation non standard de littéraux de chaîne (autrement dit, '<path-to-table>').

  • DESCRIBE HISTORY comprend désormais l’ID de validation et est classé du plus récent au plus ancien par défaut.

Résolution des bogues

  • Le filtrage basé sur les prédicats de partition fonctionne désormais correctement même lorsque la casse des prédicats diffère de celle de la table.
  • Correction d’une colonne AnalysisException manquante lors de vérifications d’égalité sur des colonnes booléennes dans des tables Delta (autrement dit booleanValue = true).
  • CREATE TABLE ne modifie plus le journal des transactions lors de la création d’un pointeur vers une table existante. Cela évite les conflits inutiles avec les flux simultanés et autorise la création d’un pointeur de la table de métadonnées vers des tables où l’utilisateur dispose uniquement d’un accès en lecture aux données.
  • L’appel display() sur un flux avec de grandes quantités de données n’entraîne plus l’insuffisance dans le pilote.
  • AnalysisException est désormais levée lorsqu’un chemin d’accès Delta Lake sous-jacent est supprimé, plutôt que de retourner des résultats vides.
  • Les configurations Delta Lake qui nécessitent une version de protocole spécifique (par exemple, appendOnly) ne peuvent être appliquées qu’à des tables d’une version appropriée.
  • Lors de la mise à jour de l’état d’une table Delta, les lignages longs sont désormais automatiquement tronqués pour éviter un StackOverFlowError.

Structured Streaming

Nouvelles fonctionnalités

  • Delta Lake et Kafka prennent désormais entièrement en charge Trigger.Once. Précédemment, les limites de taux (par exemple maxOffsetsPerTrigger ou maxFilesPerTrigger) spécifiées en tant qu’options sources ou valeurs par défaut peuvent entraîner uniquement une exécution partielle des données disponibles. Ces options sont désormais ignorées lorsque Trigger.Once est utilisé, ce qui permet de traiter toutes les données actuellement disponibles.

  • Ajout d’une nouvelle diffusion en continu foreachBatch() dans Scala, où vous pouvez définir une fonction pour traiter la sortie de chaque microlot à l’aide d’opérations DataFrame. Cette option permet :

    • D’utiliser des sources de données en lots existantes pour écrire des sorties de microlot sur des systèmes qui n’ont pas encore de source de données de diffusion en continu (par exemple, utilisez l’éditeur de lot Cassandra sur chaque sortie microlot).
    • Écriture de la sortie de microlot dans plusieurs emplacements.
    • L’application DataFrame et d’opérations de table sur des sorties de microlot qui ne sont pas prises en charge dans la diffusion en continu de DataFrame (par exemple, la sortie de microlot upsert dans une table Delta).

  • Ajout de fonctions from_avro/to_avro pour lire et écrire des données Avro dans DataFrame au lieu de fichiers uniquement, comme from_json/to_json. Pour plus d’informations, consultez Lire et écrire des données Avro n’importe où.

  • Ajout de la prise en charge de la diffusion en continu foreach() dans Python (déjà disponible dans Scala). Pour plus d’informations, consultez la documentation foreach et foreachBatch.

Améliorations

  • Génération plus rapide de résultats de sortie et/ou nettoyage d’état à l’aide d’opérations avec état (mapGroupsWithState, jointure enter flux, agrégation de diffusion en continu, diffusion en continu dropDuplicates) lorsqu’il n’y a aucune donnée dans le flux d’entrée.

Résolution des bogues

  • Correction du bogue de correction Spark-24588 dans la jointure entre flux où la jointure a rapporté moins de résultats lorsqu’il existe une répartition explicite avant celle-ci (par exemple, df1.repartition("a", "b").join(df, "a")).

Autres changements et améliorations

  • Ajout de la prise en charge de la commande SQL Deny pour les clusters prenant en charge le contrôle d’accès aux tables. Les utilisateurs peuvent désormais refuser des autorisations spécifiques de la même manière qu’auparavant. Une autorisation refusée remplace celle qui a été accordée. Les administrateurs et les propriétaires d’un objet particulier sont toujours autorisés à effectuer des actions.
  • Nouvelle source de données Azure Data Lake Storage Gen2 qui utilise le pilote ABFS. Consultez Se connecter à Azure Data Lake Storage Gen2 et Stockage Blob
  • Mise à niveau de certaines bibliothèques Python installées :
    • pip : de 10.0.0 B2 à 10.0.1
    • setuptools : de 39.0.1 à 39.2.0
    • tornado : de 5.0.1 à 5.0.2
    • wheel : 0.31.0 à 0.31.1
  • Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.
  • Prise en charge améliorée de Parquet
  • Mise à niveau d’Apache ORC de 1.4.1 vers 1.4.3

Apache Spark

Databricks Runtime 4.2 comprend Apache Spark 2.3.1. Cette version contient tous les améliorations et correctifs inclus dans Databricks Runtime 4.1 (EoS), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :

  • [SPARK-24588][SS] La jointure en continu devrait exiger le HashClusteredPartitioning des enfants
  • [SPARK-23931][SQL] Créer arrays_zip dans function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Corriger codegen lorsque le fractionnement est requis pour arrays_zip
  • [SPARK-24578][SQL] Extrémité de fin de la taille de la sous-région de la zone de mémoire tampon nio retournée
  • [SPARK-24613][SQL] Le cache avec UDF n’a pas pu être mis en correspondance avec les caches dépendants suivants
  • [SPARK-24583][SQL] Type de schéma incorrect dans InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Ajouter une API pour dans un flux structuré pour l’exposition de lignes de sortie de chaque microlot en tant que DataFrame
  • [SPARK-24396][SS][PYSPARK] Ajouter des flux structurés ForeachWriter structurés pour Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression utilise getSimpleName, qui n’est pas sécurisé dans Scala
  • [SPARK-24452][SQL][CORE] Évite tout dépassement possible dans int add ou multiple
  • [SPARK-24187][R][SQL] Ajouter la fonction array_join à SparkR
  • [SPARK-24525][SS] Fournir une option permettant de limiter le nombre de lignes dans un MemorySink
  • [SPARK-24331][SPARKR][SQL] Ajout d’arrays_overlap, array_repeat, map_entries à SparkR
  • [SPARK-23931][SQL] Ajouter la fonction arrays_zip à Spark SQL
  • [SPARK-24186][R][SQL] Modification inverse et concat des fonctions de collection dans R
  • [SPARK-24198][SPARKR][SQL] Ajout d’une fonction de tranche à SparkR
  • [SPARK-23920][SQL] Ajout de la fonction array_remove pour supprimer tous les éléments qui correspondent à un élément du tableau
  • [SPARK-24197][SPARKR][SQL] Ajout d’une fonction array_sort à SparkR
  • [SPARK-24340][CORE] Nettoyer les fichiers du gestionnaire de bloc de disque non aléatoires après l’arrêt de l’exécuteur sur un cluster autonome
  • [SPARK-23935][SQL] Ajout d’une fonction map_entries
  • [SPARK-24500][SQL] Garantir que les flux sont matérialisés au cours des transformations d’arborescence.
  • [SPARK-24495][SQL] EnsureRequirement retourne un plan incorrect lors de la réorganisation des clés égales
  • [SPARK-24506][UI] Ajouter des filtres de l’interface utilisateur aux onglets ajoutés après la liaison
  • [SPARK-24468][SQL] Gérer l’échelle négative lors de l’ajustement de la précision pour les opérations décimales
  • [SPARK-24313][SQL] Correction de l’évaluation interprétée des opérations de collection pour les types complexes
  • [SPARK-23922][SQL] Ajouter une fonction arrays_overlap
  • [SPARK-24369][SQL] Gestion correcte pour plusieurs agrégations distinctes avec le même ensemble d’arguments
  • [SPARK-24455][CORE] Correction des fautes de frappe dans le commentaire TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Ajout de TaskContext.getLocalProperty(key) dans Python
  • [SPARK-24117][SQL] Unification de getSizePerRow
  • [SPARK-24156][SS] Correction de l’erreur lors de la récupération à partir de l’échec dans un lot sans données
  • [SPARK-24414][UI] Calcule le nombre correct de tâches pour une étape.
  • [SPARK-23754][Python] Re-déclencher StopIteration dans le code client
  • [SPARK-23991][DSTREAMS] Corriger la perte de données lorsque l’écriture WAL échoue dans allocateBlocksToBatch
  • [SPARK-24373][SQL] Ajouter AnalysisBarrier à l’enfant de RelationalGroupedDataset et de KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Étiquette pandas_udf comme expérimentale
  • [SPARK-24334] Une condition de concurrence critique dans ArrowPythonRunner provoque un arrêt incorrect de l’allocateur de mémoire de la flèche
  • [SPARK-19112][CORE] Ajouter des shortCompressionCodecNames manquants à la configuration.
  • [SPARK-24244][SPARK-24368][SQL] transmission uniquement des colonnes requises à l’analyseur CSV
  • [SPARK-24366][SQL] Amélioration des messages d’erreur pour la conversion de type
  • [SPARK-24371][SQL] Ajout de isInCollection dans l’API tableau pour Scala...
  • [SPARK-23925][SQL] Ajouter une fonction de collection array_repeat
  • [MINOR] Ajouter une configuration de port SSL dans toString et scaladoc
  • [SPARK-24378][SQL] correction date_trunc exemple de fonction incorrecte
  • [Spark-24364][SS] empêcher InMemoryFileIndex d’échouer si le chemin d’accès du fichier n’existe pas
  • [SPARK-24257][SQL] LongToUnsafeRowMap calculer la nouvelle taille peut être incorrecte
  • [SPARK-24348][SQL] element_at”, correction d’erreur
  • [SPARK-23930][SQL] ajouter une fonction de tranche
  • [SPARK-23416][SS] ajoutez une méthode d’arrêt spécifique pour ContinuousExecution.
  • [SPARK-23852][SQL] mettre à niveau vers Parquet 1.8.3
  • [SPARK-24350][SQL] corrige ClassCastException dans la fonction « array_position »
  • [SPARK-24321][SQL] extrait le code commun de la division/du reste vers une caractéristique de base
  • [SPARK-24309][CORE] AsyncEventQueue doit s’arrêter en cas d’interruption.
  • [SPARK-23850][SQL] Ajouter une configuration distincte pour les options de rédaction SQL.
  • [SPARK-22371][CORE] retourne None au lieu de lever une exception lorsqu’un accumulateur est récupéré par le gaspillage collecté.
  • [SPARK-24002][SQL] tâche non sérialisable due à org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Ajouter une fonction array_sort
  • [SPARK-23923][SQL] ajouter une fonction de cardinalité
  • [SPARK-24159][SS] activer les microlots sans données pour la diffusion en continu mapGroupswithState
  • [SPARK-24158][SS] activer les lots sans données pour les jointures de diffusion en continu
  • [SPARK-24157][SS] activation de lots sans données dans MicroBatchExecution pour l’agrégation et la déduplication de streaming
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet génère des statistiques erronées pour la chaîne
  • [SPARK-17916] Correction de la chaîne vide étant analysée comme Null lorsque nullValue est défini.
  • [SPARK-23916][SQL] Ajouter une fonction array_join
  • [SPARK-23408][SS] synchroniser les actions AddData successives dans Streaming*JoinSuite
  • [SPARK-23780][R] échec de l’utilisation de la bibliothèque googleVis avec la nouvelle SparkR
  • [SPARK-23821][SQL] fonction de collection : aplatissement
  • [SPARK-23627][SQL] fournir isEmpty dans le jeu de données
  • [SPARK-24027][SQL] prend en charge MapType avec StringType pour les clés comme type racine en from_json
  • [SPARK-24035][SQL] syntaxe SQL pour l’avertissement antlr de correction de tableau croisé dynamique
  • [SPARK-23736][SQL] extension de la fonction concat pour prendre en charge les colonnes de tableau
  • [SPARK-24246][SQL] améliorer AnalysisException en définissant la cause quand elle est disponible
  • [SPARK-24263][R] SparkR vérification Java avec openjdk
  • [SPARK-24262][Python] Correction des fautes de frappe dans le message d’erreur de correspondance de type UDF
  • [SPARK-24067][STREAMING][KAFKA] Autoriser les décalages non consécutifs
  • [SPARK-10878][CORE] Corriger la condition de concurrence lorsque plusieurs clients résolvent des artefacts en même temps
  • [SPARK-19181][CORE] Correction de la « métrique SparkListenerSuite.local »
  • [SPARK-24068] Propagation des options de DataFrameReader à la source de source de texte sur l’inférence de schéma
  • [SPARK-24214][SS] corriger toJSON pour StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] ajouter une fonction array_position/element_at
  • [SPARK-23926][SQL] extension de la fonction inversée pour prendre en charge les arguments ArrayType
  • [SPARK-23809][SQL] La session SparkSession active doit être définie par getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] prendre en charge l’encodage personnalisé pour les fichiers json
  • [SPARK-24035][SQL] syntaxe de SQL pour le tableau croisé dynamique
  • [SPARK-24069][R] Ajouter des fonctions de array_min/array_max
  • [SPARK-23976][CORE] détecter un dépassement de longueur dans UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] restaurer le point de terminaison de l’API « /version ».
  • [SPARK-24128][SQL] Mention de l’option de configuration dans l’erreur CROSS JOIN implicite
  • [SPARK-23291][SQL][R] substr de R ne doit pas réduire la position de départ de 1 lors de l’appel de l’API Scala
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper doit définir isZero correctement
  • [SPARK-24168][SQL] WindowExec ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24143] filtrer les blocs vides lors de la conversion de mapstatus en paire (blockId, taille)
  • [SPARK-23917][SPARK-23918][SQL] ajouter une fonction array_max/array_min
  • [SPARK-23905][SQL] ajouter un jour de la semaine UDF
  • [SPARK-16406][SQL] améliorer les performances de LogicalPlan.resolve
  • [SPARK-24013][SQL] supprimer la compression inutile dans ApproximatePercentile
  • [SPARK-23433][CORE] achèvements tardifs des tâches de mise à jour de tous les ensembles de tâches
  • [SPARK-24169][SQL] JsonToStructs ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24133][SQL] rétroporter [SPARK-24133]vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24133][SQL] vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
  • [SPARK-24085][SQL] la requête retourne UnsupportedOperationException quand une sous-requête scalaire est présente dans l’expression de partitionnement
  • [SPARK-24062][THRIFT SERVER] corriger le chiffrement SASL ne peut pas activer le problème dans le serveur Thrift
  • [SPARK-23004][SS] Assurez-vous que StateStore.commit n’est appelé qu’une seule fois dans une tâche d’agrégation de streaming
  • [SPARK-23188][SQL] rendre la taille de lot du lecteur de coversion vectorielle configurable
  • [SPARK-23375][SPARK-23973][SQL] éliminer le tri inutile dans l’optimiseur
  • [SPARK-23877][SQL] utiliser des prédicats de filtre pour nettoyer les partitions dans les requêtes de métadonnées uniquement
  • [SPARK-24033][SQL] correction de l’incompatibilité du cadre de fenêtre specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] mettre à niveau Apache ORC vers 1.4.3
  • Corriger un problème de vérification de la valeur null manquante qui est plus susceptible d’être déclenchée par la génération de code d’expression rationalisée, et exposée par SPARK-23986, car il rend le code source généré un peu plus longtemps et a déclenché le chemin de code problématique (fractionnement du code par Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] exchange doit copier les données avant une lecture aléatoire non sérialisée
  • [SPARK-24021][CORE] bogue corrigé dans UpdateBlacklistForFetchFailure de BlacklistTracker
  • [SPARK-24014][PYSPARK] ajouter la méthode onStreamingStarted à StreamingListener
  • [SPARK-23963][SQL] Gère correctement un grand nombre de colonnes dans une requête sur une table Hive textuelle
  • [SPARK-23948] Déclencher l’écouteur de tâches de mapstage dans submitMissingTasks
  • [SPARK-23986][SQL] freshName peut générer des noms non uniques
  • [SPARK-23835][SQL] ajouter le contrôle not-null à la désérialisation des arguments des tuples

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 4.2.

Environnement du système

  • Système d’exploitation : Ubuntu 16.04.4 LTS
  • Java : 1.8.0_162
  • Scala : 2.11.8
  • Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
  • R : R version 3.4.4 (2018-03-15)
  • Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
    • Pilote Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
chiffrement 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requêtes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliothèques R installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 objet BLOB 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 voiture 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
jeux de données 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 cartes 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrice 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flux 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collecteur 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52