Condividi tramite

Databricks Runtime 4.0 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Databricks ha rilasciato questa versione nel marzo 2018.

Importante

Questa versione è stata deprecata il 1° novembre 2018. Per altre informazioni sui criteri di deprecazione e sulla pianificazione di Databricks Runtime, vedere Ciclo di vita del supporto di Databricks.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 4.0, basate su Apache Spark.

Modifiche e miglioramenti

  • L'origine dati JSON tenta ora di rilevare automaticamente la codifica invece di presumere che sia UTF-8. Nei casi in cui il rilevamento automatico ha esito negativo, gli utenti possono specificare l'opzione charset per applicare una determinata codifica. Vedere Rilevamento automatico del set di caratteri.
  • L'assegnazione di punteggi e la stima usando le pipeline MLlib Spark in Structured Streaming sono completamente supportate.
  • L'esportazione del modello di Machine Learning di Databricks è completamente supportata. Con questa funzionalità è possibile eseguire il training di un modello Spark MLlib in Databricks, esportarlo con una chiamata di funzione e usare una libreria Databricks nel sistema preferito per importare il modello e assegnare un punteggio ai nuovi dati.
  • Una nuova implementazione dell'origine dati Spark offre accesso in lettura/scrittura scalabile ad Azure Synapse Analytics. Vedere Connettore Spark - Synapse Analytics.
  • Lo schema della from_json funzione viene ora sempre convertito in un valore nullable. In altre parole, tutti i campi, inclusi quelli annidati, sono nullable. Ciò garantisce che i dati siano compatibili con lo schema, impedendo il danneggiamento dopo aver scritto i dati in parquet quando manca un campo nei dati e lo schema fornito dall'utente dichiara il campo come non nullable.
  • Aggiornamento di alcune librerie Python installate:
    • futures: da 3.1.1 a 3.2.0
    • pandas: da 0.18.1 a 0.19.2
    • pyarrow: da 0.4.1 a 0.8.0
    • setuptools: da 38.2.3 a 38.5.1
    • tornado: da 4.5.2 a 4.5.3
  • Aggiornamento di diverse librerie R installate. Vedere Librerie R installate.
  • Aggiornamento di AWS Java SDK dalla versione 1.11.126 alla versione 1.11.253.
  • Aggiornamento del driver JDBC di SQL Server dalla versione 6.1.0.jre8 alla versione 6.2.2.jre8.
  • Aggiornamento del driver JDBC PostgreSQL da 9.4-1204-jdbc41 a 42.1.4.

Apache Spark

Databricks Runtime 4.0 include Apache Spark 2.3.0.

Core, PySpark e Spark SQL

Funzionalità principali

  • Lettore ORC vettorializzato: [SPARK-16060]: aggiunge il supporto per il nuovo lettore ORC che migliora notevolmente la velocità effettiva dell'analisi ORC tramite vettorizzazione (2-5x). Per abilitare il lettore, gli utenti possono impostare su spark.sql.orc.implnative.
  • Spark History Server V2: [SPARK-18085]: nuovo back-end del server di cronologia Spark (SHS) che offre una migliore scalabilità per applicazioni su larga scala con un meccanismo di archiviazione eventi più efficiente.
  • API origine dati V2: [SPARK-15689][SPARK-22386]: API sperimentale per il plug-in nuove origini dati in Spark. La nuova API tenta di risolvere diverse limitazioni dell'API V1 e mira a facilitare lo sviluppo di origini dati esterne con prestazioni elevate, facili da gestire ed estendibili. Questa API è ancora in fase di sviluppo attivo e dovrebbero essere previste modifiche di rilievo.
  • Miglioramenti delle prestazioni di PySpark: [SPARK-22216][SPARK-21187]: miglioramenti significativi delle prestazioni e dell'interoperabilità di Python tramite la serializzazione rapida dei dati e l'esecuzione vettorializzata.

Prestazioni e stabilità

Altre modifiche rilevanti

Structured Streaming

Elaborazione continua

  • Nuovo motore di esecuzione in grado di eseguire query di streaming con latenza end-to-end di sub millisecondi modificando solo una singola riga di codice utente. Per altre informazioni, vedere la guida alla programmazione.

Join stream-stream

  • Possibilità di unire due flussi di dati, memorizzando nel buffer le righe fino all'arrivo delle tuple corrispondenti nell'altro flusso. I predicati possono essere usati in base alle colonne relative all'ora dell'evento per associare la quantità di stato da conservare.

Streaming API V2

  • API sperimentale per il plug-in nuove origini e sink che funzionano per batch, micro batch ed esecuzione continua. Questa API è ancora in fase di sviluppo attivo e dovrebbero essere previste modifiche di rilievo.

MLlib

Caratteristiche salienti

  • Ml Prediction ora funziona con Structured Streaming, usando le API aggiornate. I dettagli seguono.

API nuove e migliorate

  • [SPARK-21866]: supporto predefinito per la lettura di immagini in un dataframe (Scala/Java/Python).
  • [SPARK-19634]: funzioni dataframe per statistiche di riepilogo descrittive sulle colonne vettoriali (Scala/Java).
  • [SPARK-14516]: ClusteringEvaluator per ottimizzare gli algoritmi di clustering, supportando la silhouette del Coseno e le metriche della silhouette euclidea quadrata (Scala/Java/Python).
  • [SPARK-3181]: regressione lineare affidabile con perdita di Huber (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher trasformatore (Scala/Java/Python).
  • Supporto di più colonne per diversi trasformatori di funzionalità:
  • [SPARK-21633] e SPARK-21542]: supporto migliorato per i componenti della pipeline personalizzati in Python.

Nuove funzionalità

  • [SPARK-21087]: CrossValidator e TrainValidationSplit può raccogliere tutti i modelli quando si adattano (Scala/Java). In questo modo è possibile controllare o salvare tutti i modelli montati.
  • [SPARK-19357]: meta-algoritmi CrossValidator, TrainValidationSplit,OneVsRest supporta un parametro di parallelismo per l'adattamento di più modelli secondari in processi Spark paralleli.
  • [SPARK-17139]: Riepilogo dei modelli per la regressione logistica multinomiale (Scala/Java/Python)
  • [SPARK-18710]: Aggiunta dell'offset in GLM.
  • [SPARK-20199]: Aggiunta featureSubsetStrategy di Param a GBTClassifier e GBTRegressor. L'uso di questa funzionalità per la sottosample può migliorare significativamente la velocità di training; questa opzione è stata un punto di forza chiave di xgboost.

Altre modifiche rilevanti

  • [SPARK-22156]: scalabilità della frequenza di apprendimento fissa Word2Vec con num iterazioni. La nuova frequenza di apprendimento è impostata in modo che corrisponda al codice C originale Word2Vec e dovrebbe offrire risultati migliori dal training.
  • [SPARK-22289]: aggiunta JSON del supporto per i parametri Matrix (Correzione di un bug per la persistenza ml con LogisticRegressionModel quando si usano limiti sui coefficienti).
  • [SPARK-22700]: Bucketizer.transform elimina erroneamente la riga contenente NaN. Quando Param handleInvalid è stato impostato su "skip", Bucketizer rilascia una riga con un valore valido nella colonna di input se un'altra colonna (irrilevante) ha un NaN valore.
  • [SPARK-22446]: Catalyst Optimizer a volte ha causato StringIndexerModel la generazione di un'eccezione "Unseen label" non corretta quando handleInvalid è stata impostata su "error". Questo problema può verificarsi per i dati filtrati, a causa del push-down del predicato, causando errori anche dopo che le righe non valide sono già state filtrate dal set di dati di input.
  • [SPARK-21681]: correzione di un bug del case edge nella regressione logistica multinomiale che causava coefficienti non corretti quando alcune funzionalità avevano una varianza zero.
  • Ottimizzazioni principali:
    • [SPARK-22707]: riduzione del consumo di memoria per CrossValidator.
    • [SPARK-22949]: riduzione del consumo di memoria per TrainValidationSplit.
    • [SPARK-21690]: Imputer deve eseguire il training usando un singolo passaggio sui dati.
    • [SPARK-14371]: OnlineLDAOptimizer evita di raccogliere statistiche sul driver per ogni mini batch.

SparkR

L'obiettivo principale di SparkR nella versione 2.3.0 è stato migliorare la stabilità delle funzioni definite dall'utente e l'aggiunta di diversi nuovi wrapper SparkR per le API esistenti:

Funzionalità principali

GraphX

Ottimizzazioni

  • [SPARK-5484]: Pregel ora esegue periodicamente i checkpoint per evitare StackOverflowErrors.
  • [SPARK-21491]: miglioramento delle prestazioni ridotto in diversi punti.

Elementi deprecati

Python

  • [SPARK-23122]: Deprecate register* for UDFs in and SQLContext in Catalog PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder è stato deprecato e verrà rimosso nella versione 3.0. È stato sostituito dal nuovo OneHotEncoderEstimatoroggetto . OneHotEncoderEstimator verrà rinominato OneHotEncoder in in 3.0 (ma OneHotEncoderEstimator verrà mantenuto come alias).

Modifiche del comportamento

SparkSQL

  • [SPARK-22036]: per impostazione predefinita le operazioni aritmetiche tra decimali restituiscono un valore arrotondato se non è possibile una rappresentazione esatta (anziché restituire NULL nelle versioni precedenti)
  • [SPARK-22937]: quando tutti gli input sono binari, SQL elt() restituisce un output come binario. In caso contrario, restituisce come stringa. Nelle versioni precedenti, viene sempre restituito come stringa indipendentemente dai tipi di input.
  • [SPARK-22895]: i predicati deterministici di Join/Filter dopo i primi predicati non deterministici vengono inseriti anche negli operatori figlio, se possibile. Nelle versioni precedenti, questi filtri non erano idonei per il pushdown del predicato.
  • [SPARK-22771]: quando tutti gli input sono binari, functions.concat() restituisce un output come binario. In caso contrario, restituisce come stringa. Nelle versioni precedenti, viene sempre restituito come stringa indipendentemente dai tipi di input.
  • [SPARK-22489]: quando uno dei lati join è broadcastable, è preferibile trasmettere la tabella specificata in modo esplicito in un hint di trasmissione.
  • [SPARK-22165]: inferenza della colonna di partizione trovata in precedenza tipo comune non corretto per tipi dedotti diversi. Ad esempio, in precedenza finiva con double il tipo come tipo comune per double il tipo e date il tipo. Ora trova il tipo comune corretto per tali conflitti. Per informazioni dettagliate, vedere la guida alla migrazione.
  • [SPARK-22100]: la percentile_approx funzione ha accettato numeric in precedenza l'input del tipo e i risultati del tipo restituiti double . Supporta ora date il tipo, timestamp il tipo e numeric i tipi come tipi di input. Il tipo di risultato viene modificato anche in modo che corrisponda al tipo di input, che è più ragionevole per i percentili.
  • [SPARK-21610]: le query dai file JSON/CSV non elaborati non sono consentite quando le colonne a cui si fa riferimento includono solo la colonna di record danneggiata interna (denominata _corrupt_record per impostazione predefinita). È invece possibile memorizzare nella cache o salvare i risultati analizzati e quindi inviare la stessa query.
  • [SPARK-23421]: a partire da Spark 2.2.1 e 2.3.0, lo schema viene sempre dedotto in fase di esecuzione quando le tabelle dell'origine dati hanno le colonne presenti sia nello schema di partizione che nello schema di dati. Lo schema dedotto non include le colonne partizionate. Quando si legge la tabella, Spark rispetta i valori di partizione di queste colonne sovrapposte anziché i valori archiviati nei file di origine dati. Nella versione 2.2.0 e 2.1.x lo schema dedotto viene partizionato, ma i dati della tabella sono invisibili agli utenti (ad esempio, il set di risultati è vuoto).

PySpark

  • [SPARK-19732]: na.fill() o accetta anche fillna valori booleani e sostituisce i valori Null con valori booleani. Nelle versioni precedenti di Spark, PySpark lo ignora e restituisce il set di dati/dataframe originale.
  • [SPARK-22395]: pandas 0.19.2 o upper è necessario per l'uso di funzionalità correlate a Pandas, ad esempio toPandas, createDataFrame da pandas DataFrame e così via.
  • [SPARK-22395]: il comportamento dei valori di timestamp per le funzionalità correlate a Pandas è stato modificato in modo da rispettare il fuso orario di sessione, che viene ignorato nelle versioni precedenti.
  • [SPARK-23328]: df.replace non consente di omettere value quando to_replace non è un dizionario. In precedenza, value poteva essere omesso negli altri casi e aveva per None impostazione predefinita, che è anti-intuitivo e soggetto a errori.

MLlib

  • Modifiche dell'API di rilievo: la gerarchia di classi e di tratto per i riepiloghi del modello di regressione logistica è stata modificata in modo da essere più pulita e più adatta all'aggiunta del riepilogo multiclasse. Si tratta di una modifica che causa un'interruzione per il codice utente che esegue il cast di un oggetto LogisticRegressionTrainingSummary a un oggetto BinaryLogisticRegressionTrainingSummary. Gli utenti devono invece usare il model.binarySummary metodo . Vedere [SPARK-17139]: per altri dettagli (si noti che si tratta di un'API @Experimental ). Questo non influisce sul metodo di riepilogo python, che funzionerà comunque correttamente per i casi multinomiali e binari.
  • [SPARK-21806]: : BinaryClassificationMetrics.pr()primo punto (0.0, 1.0) fuorviante ed è stato sostituito da (0,0, p) dove la precisione p corrisponde al punto di richiamo più basso.
  • [SPARK-16957]: gli alberi delle decisioni ora usano punti medi ponderati quando si scelgono valori suddivisi. Ciò può modificare i risultati del training del modello.
  • [SPARK-14657]: RFormula senza intercetta viene ora restituita la categoria di riferimento quando si codificano i termini di stringa, in modo da corrispondere al comportamento R nativo. Ciò può modificare i risultati del training del modello.
  • [SPARK-21027]: il parallelismo predefinito usato in OneVsRest è ora impostato su 1 (ovvero seriale). Nella versione 2.2 e versioni precedenti, il livello di parallelismo è stato impostato sulle dimensioni predefinite del pool di thread in Scala. Ciò può modificare le prestazioni.
  • [SPARK-21523]: Aggiornamento di Breeze a 0.13.2. Ciò includeva una correzione di bug importante nella ricerca di righe di Wolfe forte per L-BFGS.
  • [SPARK-15526]: la dipendenza JPMML è ora ombreggiata.
  • Vedere anche la sezione "Correzioni di bug" per le modifiche del comportamento risultanti dalla correzione di bug.

Problemi noti

  • [SPARK-23523][SQL]: risultato errato causato dalla regola OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: bug nei self-join del flusso di flusso.

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 4.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (o 3.5.2 se si usa Python 3)
  • R: R versione 3.4.3 (2017-11-30)
  • Cluster GPU: sono installate le librerie GPU NVIDIA seguenti:
    • Driver Tesla 375.66
    • CUDA 8.0
    • CUDNN 6.0

Librerie Python installate

Library Versione Library Versione Library Versione
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1,5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsig 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 filo 3.9 prompt-toolkit 1.0.7
Psycopg2 2.6.2 ptyprocess 0.5.1 py4j (0.10.3)
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 pygobject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 strofinare 0,32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

Librerie R installate

Library Versione Library Versione Library Versione
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 boot 1.3-20
brew 1.0-6 Scopa 0.4.3 car 2.1-6
caret 6.0-77 chron 2.3-51 class 7.3-14
cluster 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compilatore 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.3 DBI 0,7 ddalpha 1.3.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 Gower 0.1.2 grafica 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratori 1.0.8 jsonlite 1,5 kernlab 0.9-25
KernSmooth 2.23-15 Etichettatura 0,3 Lattice 0.20-35
Java 1.5.1 lazyeval 0.2.1 Littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1,5
mapproj 1.2-5 mappe 3.2.0 MASS 7.3-48
Matrice 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
methods 3.4.3 mgcv 1.8-23 mime 0,5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 Proc 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
ricette 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0,7 Scalabilità 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spaziale 7.3-11 Spline 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
Sopravvivenza 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

Librerie Java e Scala installate (versione del cluster Scala 2.11)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-consultas 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.mdfsoftware kryo-shaded 3.0.3
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.0.0
com.fasterxml.jackson.core annotazioni jackson 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocità univocità-parser 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx agente di raccolta 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.idromatico eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 0.8.0
org.apache.arrow freccia-memoria 0.8.0
org.apache.arrow freccia-vettore 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica Incubazione 1.2.0
org.apache.calcite calcite-core Incubazione 1.2.0
org.apache.calcite calcite-linq4j Incubazione 1.2.0
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet codifica parquet 1.8.2-databricks1
org.apache.parquet formato parquet 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1,58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged maglia-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core maglia-comune 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark inutilizzato 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.cortanaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1,16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52