Condividi tramite

Databricks Runtime 4.2 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Databricks ha rilasciato questa versione a luglio 2018.

Importante

Questa versione è stata deprecata il 5 marzo 2019. Per altre informazioni sui criteri di deprecazione e sulla pianificazione di Databricks Runtime, vedere Ciclo di vita del supporto di Databricks.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 4.2, basate su Apache Spark.

Delta Lake

Databricks Runtime 4.2 aggiunge importanti miglioramenti qualitativi e funzionalità a Delta Lake. Databricks consiglia vivamente a tutti i clienti Delta Lake di eseguire l'aggiornamento al nuovo runtime. Questa versione rimane in anteprima privata, ma rappresenta una versione candidata in previsione della prossima versione disponibile a livello generale.

Nuove funzionalità

  • I flussi possono ora essere scritti direttamente in un table Delta registrato nel metastore Hive usando df.writeStream.table(...).

Miglioramenti

  • Tutti i comandi e le query Delta Lake supportano ora il riferimento a un table usando il relativo percorso come identifier:

    delta.`<path-to-table>`

    In precedenza OPTIMIZE e VACUUM richiedeva l'uso non standard di valori letterali stringa , '<path-to-table>'ovvero .

  • DESCRIBE HISTORY ora include l'ID commit ed è ordinato più recente al meno recente per impostazione predefinita.

Correzioni di bug

  • Il filtro basato sui predicati partition ora funziona correttamente anche quando il caso dei predicati differisce da quello del table.
  • Correzione del columnAnalysisException mancante durante l'esecuzione di controlli di uguaglianza sui columns booleani in Delta tables ( ovvero booleanValue = true).
  • CREATE TABLE non modifica più il log delle transazioni durante la creazione di un puntatore a un tableesistente. In questo modo si evitano conflitti non necessari con flussi simultanei e consente la creazione di puntatori al metastore per tableswhere l'utente ha accesso in sola lettura ai dati.
  • La chiamata display() a un flusso con grandi quantità di dati non causa più L'OOM nel driver.
  • AnalysisException viene ora generata quando viene eliminato un percorso Delta Lake sottostante, anziché restituire risultati vuoti.
  • Le configurazioni Delta Lake che richiedono una versione del protocollo specifica (ad esempio, appendOnly) possono essere applicate solo a tables in una versione appropriata.
  • Quando si aggiorna lo stato di un tableDelta, le linee lunghe vengono ora troncate automaticamente per evitare un StackOverFlowError.

Structured Streaming

Nuove funzionalità

  • Delta Lake e Kafka ora supportano completamente Trigger.Once. I limiti di frequenza precedenti (ad esempio maxOffsetsPerTrigger o maxFilesPerTrigger) specificati come opzioni di origine o impostazioni predefinite possono comportare solo un'esecuzione parziale dei dati disponibili. Queste opzioni vengono ora ignorate quando Trigger.Once vengono usate, consentendo l'elaborazione di tutti i dati attualmente disponibili.

  • È stato aggiunto un nuovo flusso foreachBatch() in Scala, where è possibile definire una funzione per elaborare l'output di ogni microbatch usando le operazioni di DataFrame. In questo modo è possibile:

    • Uso di origini dati batch esistenti per scrivere output di microbatch nei sistemi che non dispongono ancora di un'origine dati di streaming( ad esempio, usare il writer batch Cassandra in ogni output micro-batch).
    • Scrittura dell'output di microbatch in più posizioni.
    • Applicazione del DataFrame e operazioni di table sugli output di microbatch che non sono ancora supportati nei DataFrame di streaming (ad esempio, inserire l'output di microbatch in un Delta table).

  • Aggiunta from_avro/to_avro di funzioni per leggere e scrivere dati Avro all'interno di un dataframe anziché solo file, simili a from_json/to_json. Per altri dettagli, vedere Leggere e scrivere dati Avro ovunque .

  • Aggiunta del supporto per lo streaming foreach() in Python (già disponibile in Scala). Per altri dettagli, vedere foreach e foreachBatch.

Miglioramenti

  • Generazione più rapida dei risultati di output e/o pulizia dello stato con operazioni stateful (mapGroupsWithState, stream-stream join, aggregazione di streaming, streaming dropDuplicates) quando non sono presenti dati nel flusso di input.

Correzioni di bug

  • Correzione del bug SPARK-24588 nel stream-stream joinwherejoin che riportava un numero inferiore di risultati quando è presente una ripartizione esplicita prima di esso (ad esempio, df1.repartition("a", "b").join(df, "a")).

Altre modifiche e miglioramenti

  • Aggiunta del supporto per il comando SQL Deny per il controllo di accesso table cluster abilitati. Gli utenti possono ora deny autorizzazioni specifiche nello stesso modo in cui erano concesse in precedenza. Un'autorizzazione negata sostituisce una concessa. Gli amministratori e i proprietari di un particolare oggetto sono sempre autorizzati a eseguire azioni.
  • Nuova origine dati di Azure Data Lake Storage Gen2 che usa il driver ABFS. Vedere Connettersi ad Azure Data Lake Storage Gen2 e all'archiviazione BLOB
  • Aggiornamento di alcune librerie Python installate:
    • pip: da 10.0.0b2 a 10.0.1
    • setuptools: da 39.0.1 a 39.2.0
    • tornado: da 5.0.1 a 5.0.2
    • ruota: da 0.31.0 a 0.31.1
  • Aggiornamento di diverse librerie R installate. Vedere Librerie R installate.
  • Supporto parquet migliorato
  • Aggiornamento di Apache ORC dalla versione 1.4.1 alla versione 1.4.3

Apache Spark

Databricks Runtime 4.2 include Apache Spark 2.3.1. Questa versione include tutte le correzioni e i miglioramenti inclusi in Databricks Runtime 4.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-24588]streaming join devono richiedere HashClusteredPartitioning dai figli
  • [SPARK-23931][SQL] Make arrays_zip in function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Correzione di codegen quando la divisione è necessaria per arrays_zip
  • [SPARK-24578][CORE] Cap sub-region's size of returned nio buffer
  • [SPARK-24613][SQL] Impossibile trovare la corrispondenza della cache con funzioni definite dall'utente con le cache dipendenti successive
  • [SPARK-24583][SQL] Tipo di schema errato in InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Aggiungere l'API per in Structured Streaming per esporre le righe di output di ogni microbatch come dataframe
  • [SPARK-24396][SS][PYSPARK] Aggiungere Structured Streaming ForeachWriter per Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression usa getSimpleName non sicuro in Scala
  • [SPARK-24452][SQL][CORE] Evitare possibili overflow int add o multiple
  • [SPARK-24187][R][SQL] Aggiungere array_join funzione a SparkR
  • [SPARK-24525][SS] Fornire un'opzione per limit numero di righe in un memorySink
  • [SPARK-24331][SPARKR][SQL] Aggiunta di arrays_overlap, array_repeat map_entries a SparkR
  • [SPARK-23931][SQL] Aggiunge arrays_zip funzione a Spark SQL
  • [SPARK-24186][R][SQL] modificare inverso e concat in funzioni di raccolta in R
  • [SPARK-24198][SPARKR][SQL] Aggiunta della funzione slice a SparkR
  • [SPARK-23920][SQL] aggiungere array_remove a remove tutti gli elementi uguali dalla matrice
  • [SPARK-24197][SPARKR][SQL] Aggiunta di array_sort funzione a SparkR
  • [SPARK-24340][CORE] Pulire i file di gestione blocchi di dischi non casuali dopo l'uscita dell'executor in un cluster autonomo
  • [SPARK-23935][SQL] Aggiunta di map_entries funzione
  • [SPARK-24500][SQL] Assicurarsi che i flussi vengano materializzati durante le trasformazioni ad albero.
  • [SPARK-24495][SQL] EnsureRequirement restituisce un piano errato quando si riordinano chiavi uguali
  • [SPARK-24506][interfaccia utente] Aggiungere filtri dell'interfaccia utente alle schede aggiunte dopo l'associazione
  • [SPARK-24468][SQL] Gestire la scala negativa quando si regola la precisione per le operazioni decimali
  • [SPARK-24313][SQL] Correzione della valutazione interpretata delle operazioni di raccolta per tipi complessi
  • [SPARK-23922][SQL] Aggiungere arrays_overlap funzione
  • [SPARK-24369][SQL] Gestione corretta per più aggregazioni distinte having lo stesso argomento set
  • [SPARK-24455][CORE] correzione dell'errore di ortografia nel commento TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Aggiunta di TaskContext.getLocalProperty(key) in Python
  • [SPARK-24117][SQL] Unified the getSizePerRow
  • [SPARK-24156][SS] Correzione dell'errore durante il ripristino dall'errore in un batch senza dati
  • [SPARK-24414][interfaccia utente] Calcolare il numero corretto di attività per una fase.
  • [SPARK-23754][PYTHON] Riattivazione di StopIteration nel codice client
  • [SPARK-23991][DSTREAMS] Correzione della perdita di dati quando la scrittura WAL non riesce in allocateBlocksToBatch
  • [SPARK-24373][SQL] Aggiungere AnalysisBarrier al figlio di RelationalGroupedDataset e KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Etichettare pandas_udf come sperimentale
  • [SPARK-24334] Correzione della race condition in ArrowPythonRunner causa l'arresto non pulito dell'allocatore di memoria Arrow
  • [SPARK-19112][CORE] Aggiungere shortCompressionCodecNames mancanti alla configurazione.
  • [SPARK-24244][SPARK-24368][SQL] Passando solo i columns necessari al parser CSV
  • [SPARK-24366][SQL] Miglioramento dei messaggi di errore per la conversione dei tipi
  • [SPARK-24371][SQL] Aggiunta di isInCollection nell'API DataFrame per Scala an...
  • [SPARK-23925][SQL] Aggiungere array_repeat funzione di raccolta
  • [MINOR] Aggiungere la configurazione SSL della porta in toString e scaladoc
  • [SPARK-24378][SQL] Correzione di esempi non corretti della funzione date_trunc
  • [SPARK-24364][SS] Impedire a InMemoryFileIndex di non riuscire se il percorso del file non esiste
  • [SPARK-24257][SQL] LongToUnsafeRowMap calcolare le nuove dimensioni potrebbero non essere corrette
  • [SPARK-24348][SQL] element_at" correzione dell'errore
  • [SPARK-23930][SQL] Aggiungere una funzione slice
  • [SPARK-23416][SS] Aggiungere un metodo stop specifico per ContinuousExecution.
  • [SPARK-23852][SQL] Eseguire l'aggiornamento a Parquet 1.8.3
  • [SPARK-24350][SQL] Corregge ClassCastException nella funzione "array_position"
  • [SPARK-24321][SQL] Estrarre codice comune da Divisione/Resto a un tratto di base
  • [SPARK-24309][CORE] AsyncEventQueue deve essere arrestato in caso di interrupt.
  • [SPARK-23850][SQL] Aggiungere una configurazione separata per la ridistribuzione delle opzioni SQL.
  • [SPARK-22371][CORE] Restituisce Nessuno anziché generare un'eccezione quando viene sottoposto a Garbage Collection un enumeratore.
  • [SPARK-24002][SQL] Attività non serializzabile causata da org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Aggiungere array_sort funzione
  • [SPARK-23923][SQL] Aggiungere la funzione di cardinalità
  • [SPARK-24159][SS] Abilitare micro batch no-data per lo streaming mapGroupswithState
  • [SPARK-24158][SS] Abilitare batch senza dati per i join di streaming
  • [SPARK-24157][SS] Batch senza dati abilitati in MicroBatchExecution per l'aggregazione e la deduplicazione di streaming
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet produce statistiche errate per STRING
  • [SPARK-17916][SQL] Correzione della stringa vuota analizzata come null quando nullValue è set.
  • [SPARK-23916][SQL] Aggiungere array_join funzione
  • [SPARK-23408][SS] Sincronizzare le azioni AddData successive in Streaming*JoinSuite
  • [SPARK-23780][R] Impossibile usare la libreria googleVis con il nuovo SparkR
  • [SPARK-23821][SQL] Funzione collection: flatten
  • [SPARK-23627][SQL] Specificare isEmpty nel set di dati
  • [SPARK-24027][SQL] Supporto di MapType con StringType per le chiavi come tipo radice in base from_json
  • [SPARK-24035][SQL] Sintassi SQL per Pivot - correzione dell'avviso antlr
  • [SPARK-23736][SQL] Estensione della funzione concat per supportare l'array columns
  • [SPARK-24246][SQL] Migliorare AnalysisException impostando la causa quando è disponibile
  • [SPARK-24263][R] Interruzioni di controllo Java sparkR con openjdk
  • [SPARK-24262][PYTHON] Correzione dell'errore di digitazione nel messaggio di errore di corrispondenza del tipo di funzione definita dall'utente
  • [SPARK-24067][STREAMING][KAFKA] Consenti offset non consecutivi
  • [SPARK-10878][CORE] Correggere la race condition quando più client risolvono gli artefatti contemporaneamente
  • [SPARK-19181][CORE] Correzione di "SparkListenerSuite.local metrics"
  • [SPARK-24068]la propagazione delle opzioni di DataFrameReader all'origine dati di testo in schema inferenza
  • [SPARK-24214][SS] Correzione di toJSON per StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Aggiungere array_position/element_at funzione
  • [SPARK-23926][SQL] Estensione della funzione inversa per supportare gli argomenti ArrayType
  • [SPARK-23809][SQL] Active SparkSession deve essere set da getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Supporto della codifica personalizzata per i file JSON
  • [SPARK-24035][SQL] Sintassi SQL per Pivot
  • [SPARK-24069][R] Aggiungere funzioni di array_min/array_max
  • [SPARK-23976][CORE] Rilevare l'overflow della lunghezza in UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Restore endpoint dell'API "/version".
  • [SPARK-24128][SQL] Menzionare l'opzione di configurazione nell'errore CROSS implicito JOIN
  • [SPARK-23291][SQL][R] La sottostringa di R non deve ridurre la posizione iniziale di 1 quando si chiama l'API Scala
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper deve definire correttamente isZero
  • [SPARK-24168][SQL] WindowExec non deve accedere a SQLConf sul lato executor
  • [SPARK-24143]filtrare blocchi vuoti quando si converte mapstatus in (blockId, size) coppia
  • [SPARK-23917][SPARK-23918][SQL] Aggiungere array_max/array_min funzione
  • [SPARK-23905][SQL] Aggiungere la settimana della funzione definita dall'utente
  • [SPARK-16406][SQL] Migliorare le prestazioni di LogicalPlan.resolve
  • [SPARK-24013][SQL] Remove compressione non necessaria in ApproximatePercentile
  • [SPARK-23433][CORE] Completamento attività zombie in ritardo update tutti i set di attività
  • [SPARK-24169][SQL] JsonToStructs non deve accedere a SQLConf sul lato executor
  • [SPARK-24133][SQL] Backport [SPARK-24133]Verificare la presenza di overflow integer durante il ridimensionamento di WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec non deve accedere a SQLConf sul lato executor
  • [SPARK-24133][SQL] Verificare la presenza di overflow integer durante il ridimensionamento di WritableColumnVectors
  • [SPARK-24085][SQL] La query restituisce UnsupportedOperationException quando è presente una sottoquery scalare nell'espressione di partizionamento
  • [SPARK-24062][THRIFT SERVER] Correzione del problema di crittografia SASL non abilitata nel server thrift
  • [SPARK-23004][SS] Verificare che StateStore.commit venga chiamato una sola volta in un'attività di aggregazione di streaming
  • [SPARK-23188][SQL] Rendere configurabili le dimensioni del batch con autorizzazioni di lettura columar vettorializzate
  • [SPARK-23375][SPARK-23973][SQL] Eliminare l'ordinamento non richiesto in Optimizer
  • [SPARK-23877][SQL] Usare predicati di filtro per eliminare le partizioni nelle query solo metadati
  • [SPARK-24033][SQL] Correzione non corrispondente di Window Frame specificatowindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Aggiornare Apache ORC alla versione 1.4.3
  • Correzione di un problema di verifica Null mancante che è più probabile che venga attivato dalla generazione semplificata del codice e esposto da SPARK-23986 perché ha reso il codice sorgente generato un po' più lungo e ha attivato il percorso del codice problematico (suddivisione del codice per Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] Lo scambio deve copiare i dati prima della sequenza casuale non serializzata
  • [SPARK-24021][CORE] correzione del bug nell'updateBlacklistForFetchFailure di BlacklistTracker
  • [SPARK-24014][PYSPARK] Aggiungere il metodo onStreamingStarted a StreamingListener
  • [SPARK-23963][SQL] Gestire correttamente un numero elevato di columns nella query su table Hive basato su testo
  • [SPARK-23948] Attivare il listener del processo mapstage in submitMissingTasks
  • [SPARK-23986][SQL] freshName può generate nomi non univoci
  • [SPARK-23835][SQL] Aggiungere un segno di spunta not null agli argomenti di Tuples deserializzazione

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 4.2.

Ambiente di sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 per cluster Python 2 e 3.5.2 per cluster Python 3.
  • R: R versione 3.4.4 (2018-03-15)
  • Cluster GPU: sono installate le librerie GPU NVIDIA seguenti:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Librerie Python installate

Library Versione Library Versione Library Versione
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1,5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsig 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 filo 3.9 prompt-toolkit 1.0.7
Psycopg2 2.6.2 ptyprocess 0.5.1 py4j (0.10.3)
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 pygobject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 strofinare 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Librerie R installate

Library Versione Library Versione Library Versione
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 Scopa 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compilatore 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 dati.table 1.10.4-3
datasets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 Gower 0.1.2
grafica 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratori 1.0.9 jsonlite 1,5 kernlab 0.9-25
KernSmooth 2.23-15 Etichettatura 0,3 Lattice 0.20-35
Java 1.6.1 lazyeval 0.2.1 Littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1,5
mapproj 1.2.6 mappe 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrice 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 Concetto fondamentale 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
ricette 0.1.2 rematch 1.0.1 reshape2 1.4.3
Rio de Janeiro 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 Scalabilità 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spaziale 7.3-11 Spline 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
Sopravvivenza 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
UTF8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.11)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-consultas 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.mdfsoftware kryo-shaded 3.0.3
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.0.0
com.fasterxml.jackson.core annotazioni jackson 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocità univocità-parser 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx agente di raccolta 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.idromatico eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 0.8.0
org.apache.arrow freccia-memoria 0.8.0
org.apache.arrow freccia-vettore 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica Incubazione 1.2.0
org.apache.calcite calcite-core Incubazione 1.2.0
org.apache.calcite calcite-linq4j Incubazione 1.2.0
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet codifica parquet 1.8.3-databricks2
org.apache.parquet formato parquet 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1,58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged maglia-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core maglia-comune 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark inutilizzato 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.cortanaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1,16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52