Databricks Runtime 7.5 (EoS)
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Databricks ha rilasciato questa versione nel dicembre 2020.
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 7.5, basate su Apache Spark 3.0.
Nuove funzionalità
Funzionalità e miglioramenti di Delta Lake
Questa versione offre le funzionalità e i miglioramenti di Delta Lake seguenti:
- Il checkpoint asincrono elimina i picchi di durata del micro batch di streaming
- Le informazioni più recenti sulla tabella vengono ora propagate ai cataloghi
-
MERGE INTOl'operazione supporta ora l'evoluzione dello schema delle colonne nidificate -
MERGE INTOl'operazione ora usa automaticamente scritture ottimizzate -
MERGE INTOLe operazioni eUPDATEora risolvono le colonne di struct annidate in base al nome -
CLONEè disponibile a livello generale ed è ora possibile eseguire l'override delle proprietà della tabella -
RESTOREè disponibile a livello generale - I impliciti di Scala semplificano le API di lettura e scrittura di Spark
-
Migliorare la velocità effettiva di streaming con
fetchParallelisml'opzione del connettore - Tenere traccia dello stato di avanzamento del flusso con le nuove metriche del caricatore automatico
Il checkpoint asincrono elimina i picchi di durata del micro batch di streaming
Delta Lake esegue checkpoint ogni 10 commit per impostazione predefinita. Nei carichi di lavoro di streaming, il checkpoint può causare picchi secondari nella durata del micro batch ogni 10 commit. Il checkpoint asincrono elimina questi picchi.
Il checkpoint asincrono è abilitato per impostazione predefinita per tutti i carichi di lavoro non attivati dopo lo streaming. Con il checkpoint asincrono, i writer di streaming scrivono anche checkpoint avanzati, quindi non è necessario acconsentire esplicitamente ai checkpoint avanzati.
Per disabilitare il checkpoint asincrono, impostare la configurazione spark.databricks.delta.checkpoint.async.enabled falseSQL.
I carichi di lavoro batch continuano a scrivere checkpoint in modo sincrono e si consiglia di abilitare il checkpoint asincrono per i carichi di lavoro batch.
Le informazioni più recenti sulla tabella vengono ora propagate ai cataloghi
Delta Lake ora propaga le informazioni più recenti sulla tabella, ad esempio le proprietà dello schema e della tabella, a cataloghi come il metastore Hive, in base al massimo sforzo. Tali informazioni consentono di sfruttare gli strumenti di catalogazione per comprendere lo schema delle tabelle Delta.
Delta Lake non dipende internamente da queste informazioni, ma tenta di mantenerlo aggiornato. Delta Lake archivia inoltre le proprietà delta.lastUpdateVersion della tabella e delta.lastCommitTimestamp per indicare la versione e il timestamp del commit che ha eseguito l'ultimo push di una modifica al metastore. Il metastore viene aggiornato solo quando lo schema della tabella o le proprietà nella tabella non corrispondono.
Pertanto, le proprietà della tabella sopra indicate non riflettono necessariamente la versione più recente della tabella.
Se le informazioni sulla tabella e le informazioni sul metastore non sono sincronizzate, è possibile eseguire un comando, DESCRIBE <table> ad esempio per aggiornare il metastore.
Nota
Poiché Hive non consente la modifica delle colonne di partizione, ma le tabelle Delta possono modificare il partizionamento, le tabelle Delta non vengono visualizzate come partizionate in Hive.
MERGE INTO l'operazione supporta ora l'evoluzione dello schema delle colonne nidificate
L'evoluzione dello schema delle colonne nidificate ora ha la stessa semantica di quella delle colonne di primo livello. Ad esempio, è possibile aggiungere automaticamente nuove colonne annidate a una StructType colonna. Per informazioni dettagliate, vedere Evoluzione automatica dello schema in Merge .
MERGE INTO l'operazione ora usa automaticamente scritture ottimizzate
Le scritture ottimizzate possono offrire prestazioni molto migliori per MERGE INTO le tabelle partizionate, soprattutto per MERGE INTO le tabelle partizionate. Per disabilitare le scritture ottimizzate, impostare la configurazione spark.databricks.delta.optimizeWrite.enabled di Spark su false.
MERGE INTO Le operazioni e UPDATE ora risolvono le colonne di struct annidate in base al nome
Le operazioni UPDATE di aggiornamento e MERGE INTO i comandi ora risolvono le colonne di struct annidate in base al nome. Ovvero, quando si confrontano o si assegnano colonne di tipo StructType, l'ordine delle colonne nidificate non è rilevante (esattamente come l'ordine delle colonne di primo livello). Per ripristinare la risoluzione in base alla posizione, impostare la configurazione spark.databricks.delta.resolveMergeUpdateStructsByName.enabled di Spark su false.
CLONE è disponibile a livello generale ed è ora possibile eseguire l'override delle proprietà della tabella
Il CLONE comando è ora disponibile a livello generale. Vedi CREATE TABLE CLONE. Inoltre, è ora possibile specificare gli override delle proprietà della tabella quando si usa CLONE. Per esempi, vedere Clonare una tabella in Azure Databricks.
RESTORE è disponibile a livello generale
Il RESTORE comando è ora disponibile a livello generale. Vedere RESTORE.
I impliciti di Scala semplificano le API di lettura e scrittura di Spark
È possibile importare io.delta.implicits._ per usare il delta metodo con le API di lettura e scrittura di Spark.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Migliorare la velocità effettiva di streaming con fetchParallelism l'opzione del connettore
Il connettore AQS supporta ora una nuova opzione fetchParallelism per specificare il parallelismo per recuperare i messaggi dal servizio di accodamento.
Tenere traccia dello stato di avanzamento del flusso con le nuove metriche del caricatore automatico
Il caricatore automatico segnala ora il numero di file presenti nel backlog e la quantità di backlog dopo ogni batch. È possibile usare queste metriche per tenere traccia dello stato di avanzamento del flusso. Per informazioni dettagliate su come visualizzare le metriche, vedere Che cos'è il caricatore automatico?.
Miglioramenti
Supporto più ampio per le librerie con ambito notebook tramite %pip comandi magic e %conda
È ora possibile installare librerie con ambito notebook usando %pip i comandi magic e %conda nei cluster a concorrenza elevata con ACL di tabella o pass-through delle credenziali abilitati.
Visualizzazione accurata di Spark SQL DECIMAL
Il tipo di dati Spark SQL DECIMAL viene ora visualizzato nelle tabelle senza perdita di precisione e scalabilità.
Connettore di archiviazione ADLS Gen 2 basato su Hadoop 3.3 per ABFS
Una versione aggiornata del connettore di archiviazione di ADLS Gen 2 si basa su Hadoop 3.3 per ABFS. Il connettore aggiornato contiene molti miglioramenti della stabilità (vedere Stabilità Hadoop) e include il supporto per l'autenticazione con token di firma di accesso condiviso.
Altre correzioni
Il connettore Databricks Kafka per Spark Streaming è stato rimosso. Usare il connettore Apache Spark.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- koala aggiornati dalla versione 1.3.0 alla 1.4.0.
- Aggiornamento di diverse librerie R installate. Vedere Librerie R installate.
- Build OpenJDK 8 aggiornata a Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).
Apache Spark
Databricks Runtime 7.5 include Apache Spark 3.0.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 7.4 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
- [SPARK-33611] [interfaccia utente] Evitare la codifica due volte nel parametro di query dell'URL proxy riscritto
- [SPARK-33587] [CORE] Terminare l'executor in caso di errori irreversibili annidati (7.x)
- [SPARK-33140] [SQL] Ripristinare il codice che non usa SparkSession passato per ottenere SQLConf.
- [SPARK-33472] [SQL] Regolare l'ordine delle regole RemoveRedundantSorts
- [SPARK-33422] [DOC] Correzione della visualizzazione corretta della voce di menu a sinistra
- [SPARK-27421] [SQL] Correzione del filtro per la colonna int e la classe valore java.lang.String durante l'eliminazione della colonna di partizione
- [SPARK-33483] [INFRA][TEST] Correggere i modelli di esclusione del ratto e aggiungere una LICENZA
- [SPARK-33464] [INFRA] Aggiungere/rimuovere (annullare)la cache necessaria e ristrutturare GitHub Actions yaml
- [SPARK-33407] [PYTHON][7.X] Semplificare il messaggio di eccezione dalle funzioni definite dall'utente Python (disabilitato per impostazione predefinita)
- [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE deve invalidare le cache che fanno riferimento alla tabella
- [SPARK-33358] [SQL] Codice restituito quando il processo di comando non è riuscito
- [SPARK-33183] [DBCONNECT] Aggiungere RemoveRedundantSorts.scala a ALLOW_LIST.txt
- [SPARK-33290] [SQL] REFRESHREFRESH TABLE deve invalidare la cache anche se la tabella stessa potrebbe non essere memorizzata nella cache
- [SPARK-33140] [SQL] Correzione della compilazione delta
- [SPARK-33316] [SQL] Aggiungere unit test per from_avro e to_avro con il Registro schemi e lo schema Avro fornito dall'utente
-
[SPARK-33404] [SQL] Correggere i risultati non corretti nell'espressione
date_trunc - [SPARK-33339] [PYTHON] L'applicazione Pyspark si blocca a causa di un errore non di eccezione
- [SPARK-33412] [SQL] OverwriteByExpression deve risolvere la condizione di eliminazione in base alla relazione di tabella non alla query di input
- [SPARK-33391] [SQL] element_at con CreateArray non rispetta un indice basato.
- [SPARK-33316] [SQL] Supporto dello schema Avro nullable fornito dall'utente per lo schema catalyst non nullable nella scrittura di Avro
- [SPARK-33372] [SQL] Correzione dell'eliminazione di bucket InSet
- [SPARK-33371] [PYTHON] Aggiornare setup.py e test per Python 3.9
- [SPARK-33140] [SQL] rimuovere SQLConf e SparkSession in tutte le sottoclassi di Rule[QueryPlan]
- [SPARK-33338] [SQL] GROUP BY l'uso della mappa letterale non dovrebbe avere esito negativo
- [SPARK-33306] [SQL]Il fuso orario è necessario quando si esegue il cast della data alla stringa
- [SPARK-33284] [WEB-UI] Nella pagina Interfaccia utente di archiviazione fare clic su un campo qualsiasi per ordinare la tabella causerà la perdita del contenuto dell'intestazione
- [SPARK-33362] [SQL] skipSchemaResolution deve comunque richiedere la risoluzione della query
- [SPARK-32257] [SQL] Segnala errori espliciti per l'utilizzo non valido del comando SET/RESET
- [SPARK-32406] [SQL] Rendere il RESET supporto della sintassi per il ripristino singolo della configurazione
- [SPARK-32376] [SQL] Rendere il comportamento di riempimento null di unionByName funziona con le colonne struct
- [SPARK-32308] [SQL] Spostare la logica di risoluzione per nome di unionByName dal codice API alla fase di analisi
- [SPARK-20044] [interfaccia utente] Supportare l'interfaccia utente spark dietro il proxy inverso front-end usando un prefisso di percorso Ripristina URL proxy
- [SPARK-33268] [SQL][PYTHON] Correzione di bug per il cast dei dati da/a PythonUserDefinedType
- [SPARK-33292] [SQL] Rendere disambiguata la rappresentazione di stringa Literal ArrayBasedMapData
- [SPARK-33183] [SQL] Correggere la regola di Optimizer EliminaSorts e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
- [SPARK-33272] [SQL] eliminare il mapping degli attributi in QueryPlan.transformUpWithNewOutput
- [SPARK-32090] [SQL] Migliorare UserDefinedType.equal() per renderlo simmetrico
- [SPARK-33267] [SQL] Correzione del problema NPE nel filtro "In" quando uno dei valori contiene null
- [SPARK-33208] [SQL] Aggiornare il documento di SparkSession#sql
- [SPARK-33260] [SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
- [SPARK-33230] [SQL] Commiter hadoop per ottenere l'ID processo univoco in "spark.sql.sources.writeJobUUID"
- [SPARK-33197] [SQL] Apportare modifiche a spark.sql.analyzer.maxIterations diventano effettive in fase di esecuzione
- [SPARK-33228] [SQL] Non annullare la memorizzazione dei dati quando si sostituisce una vista con lo stesso piano logico
- [SPARK-32557] [CORE] Registrazione e ingoiazione dell'eccezione per voce nel server cronologia
- [SPARK-32436] [CORE] Inizializzare numNonEmptyBlocks in HighlyCompressedMapStatus.readExternal
- [SPARK-33131] [SQL] Correzione dei set di raggruppamenti con la clausola having non è in grado di risolvere il nome completo delle regole di confronto
- [SPARK-32761] [SQL] Consenti l'aggregazione di più espressioni distinte piegabili
- [SPARK-33094] [SQL] Impostare il formato ORC per propagare la configurazione hadoop dalle opzioni DS al file system HDFS sottostante
Aggiornamenti di manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 7.5.
Ambiente di sistema
- Sistema operativo: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R versione 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Librerie Python installate
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | cryptography | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | decorator | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| Psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | pygobject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| API Python | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | six | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| aggiornamenti automatici | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
Librerie R installate
Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-25 | brew | 1.0-6 | brio | 1.1.0 |
| Scopa | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | colorspace | 1.4-1 | commonmark | 1.7 |
| compilatore | 3.6.3 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | crayon | 1.3.4 | crosstalk | 1.1.0.1 |
| curl | 4.3 | data.table | 1.13.2 | datasets | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | digest | 0.6.27 |
| dplyr | 0.8.5 | DT | 0.16 | puntini di sospensione | 0.3.1 |
| evaluate | 0.14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| foreign | 0.8-76 | forge | 0.2.0 | fs | 1.5.0 |
| generics | 0.1.0 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.13.1 |
| glue | 1.4.2 | Gower | 0.2.2 | grafica | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iteratori | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | knitr | 1,30 |
| Etichettatura | 0.4.2 | later | 1.1.0.1 | Lattice | 0.20-41 |
| Java | 1.6.8 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1,5 | markdown | 1.1 |
| MASS | 7.3-53 | Matrice | 1.2-18 | memoise | 1.1.0 |
| methods | 3.6.3 | mgcv | 1.8-33 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | Concetto fondamentale | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Avanzamento | 1.2.2 | promises | 1.1.1 |
| proto | 1.0.0 | ps | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| ricette | 0.1.14 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.2.0 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.6 | Scalabilità | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | Forma | 1.4.4 | shiny | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| spaziale | 7.3-11 | Spline | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.5 | stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | Sopravvivenza | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | tools | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | waldo | 0.2.2 |
| whisker | 0.4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Librerie Java e Scala installate (versione del cluster Scala 2.12)
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-distribuisci-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-consultas | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.mdfsoftware | kryo-shaded | 4.0.2 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.3.4 |
| com.fasterxml.jackson.core | annotazioni jackson | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeina | caffeina | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guaiava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocità | univocità-parser | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | agente di raccolta | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato freccia | 0.15.1 |
| org.apache.arrow | freccia-memoria | 0.15.1 |
| org.apache.arrow | freccia-vettore | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curatore-cliente | 2.7.1 |
| org.apache.curator | curatore-framework | 2.7.1 |
| org.apache.curator | ricette curatori | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | Incubazione 3.1.0 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shim | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | codifica parquet | 1.10.1-databricks6 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocità | 1,5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | annotazioni del gruppo di destinatari | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | maglia-comune | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Spessori | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | inutilizzato | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | treten-extra | 1.5.0 |
| org.cortanaani | xz | 1,5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |