Databricks Runtime 10.2 (EoS)
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.2 e Databricks Runtime 10.2 Photon, con tecnologia Apache Spark 3.2.0. Databricks ha rilasciato questa versione nel dicembre 2021. Photon è disponibile in anteprima pubblica.
Miglioramenti e nuove funzionalità
- Usare file in Repository con Spark Streaming
- Databricks Utilities aggiunge un comando di montaggio degli aggiornamenti
- Delta Lake supporta la ridenominazione delle colonne (anteprima pubblica)
- La cronologia delle tabelle Delta Lake aggiunge informazioni sulla versione di Databricks Runtime
- Databricks Utilities aggiunge informazioni sull'ora di modifica più recenti quando sono elencate le directory
- Spark SQL aggiunge una
approx_top_kfunzione per restituire gli elementi principali e i relativi conteggi - Trigger.AvailableNow ora disponibile in Python e Scala
- Il caricatore automatico supporta ora l'evoluzione dello schema per Avro (anteprima pubblica)
Usare file in Repository con Spark Streaming
È ora possibile accedere ai file in Repos da Spark Streaming.
Databricks Utilities aggiunge un comando di montaggio degli aggiornamenti
Il nuovo dbutils.fs.updateMount comando è simile a dbutils.fs.mount, ma questo nuovo comando aggiorna un punto di montaggio esistente anziché crearne uno nuovo. Vedere il comando updateMount (dbutils.fs.updateMount)..
Delta Lake supporta la ridenominazione delle colonne (anteprima pubblica)
Delta Lake supporta ora la ridenominazione delle colonne. Per rinominare la colonna di una tabella Delta, è necessario aggiornare la versione della tabella Delta e quindi impostare la modalità di mapping delle colonne sul mapping dei nomi. Si veda Rinominare ed eliminare le colonne con mapping di colonne Delta Lake.
La cronologia delle tabelle Delta Lake aggiunge informazioni sulla versione di Databricks Runtime
Quando viene eseguita una scrittura in una tabella Delta, vengono registrate anche informazioni sulla versione di Databricks Runtime che ha eseguito la scrittura. Per ottenere le informazioni sulla versione, eseguire il DESCRIBE HISTORY comando nella tabella e quindi visualizzare la engineInfo colonna nell'output. Vedere DESCRIBE HISTORY and Work with Delta Lake table history .See DESCRIBE HISTORY and Work with Delta Lake table history.
Databricks Utilities aggiunge informazioni sull'ora di modifica più recenti quando sono elencate le directory
Il dbutils.fs.ls comando per elencare il contenuto di una directory restituisce ora un modificationTime campo. Questo campo contiene l'ora di modifica più recente per ogni file o directory elencata. Vedere il comando ls (dbutils.fs.ls).See ls command (dbutils.fs.ls).
Spark SQL aggiunge una approx_top_k funzione per restituire gli elementi principali e i relativi conteggi
La nuova approx_top_k funzione restituisce i valori degli elementi più frequenti, insieme ai relativi conteggi approssimativi, per l'espressione specificata. Alcuni esempi includono:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
Il risultato dell'esecuzione di uno degli esempi è:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Vedere approx_top_k funzione di aggregazione.
Trigger.AvailableNow ora disponibile in Python e Scala
Questa modifica supporta le query Trigger.AvailableNow di streaming di origine Delta in Python e Scala. Databricks Runtime 10.1 ha introdotto il supporto per questo trigger in Scala. Databricks Runtime 10.2 ora supporta anche questo trigger in Python. Vedere copertura di Trigger.AvailableNow in Che cos'è il caricatore automatico?.
Il caricatore automatico supporta ora l'evoluzione dello schema per Avro (anteprima pubblica)
Vedere Configurare l'inferenza e l'evoluzione dello schema in Auto Loader.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- filelock dalla versione 3.3.1 alla versione 3.4.0
- tracciato da 5.3.0 a 5.3.1
- Librerie R aggiornate:
- base da 4.1.1 a 4.1.2
- compilatore da 4.1.1 a 4.1.2
- set di dati da 4.1.1 a 4.1.2
- grafica da 4.1.1 a 4.1.2
- grDevices da 4.1.1 a 4.1.2
- griglia da 4.1.1 a 4.1.2
- metodi da 4.1.1 a 4.1.2
- parallela da 4.1.1 a 4.1.2
- Rserve da 1.8-8 a 1.8-10
- spline da 4.1.1 a 4.1.2
- statistiche da 4.1.1 a 4.1.2
- stats4 da 4.1.1 a 4.1.2
- tcltk da 4.1.1 a 4.1.2
- strumenti da 4.1.1 a 4.1.2
- Utilità dalla versione 4.1.1 alla versione 4.1.2
- backport da 1.2.1 a 1.4.0
- scopa da 0.7.9 a 0.7.10
- cli da 3.0.1 a 3.1.0
- cpp11 da 0.4.0 a 0.4.1
- pastelli da 1.4.1 a 1.4.2
- credenziali dalla versione 1.3.1 alla versione 1.3.2
- futuro da 1.22.1 a 1.23.0
- gert da 1.4.1 a 1.4.3
- glmnet da 4.1-2 a 4.1-3
- colla da 1.4.2 a 1.5.0
- memoise da 2.0.0 a 2.0.1
- parallelamente da 1.28.1 a 1.29.0
- readr dalla versione 2.0.2 alla versione 2.1.0
- sessioninfo da 1.1.1 a 1.2.1
- stringi da 1.7.5 a 1.7.6
- tibble da 3.1.5 a 3.1.6
- tinytex da 0,34 a 0,35
- tzdb da 0.1.2 a 0.2.0
- usethis da 2.1.2 a 2.1.3
- uuid da 0.1-4 a 1.0-3
- vroom da 1.5.5 a 1.5.6
- xfun da 0.27 a 0.28
- Librerie Java aggiornate:
- com.fasterxml.jackson da 2.12.2 a 2.12.3
- io.airlift.aircompressor da 0.19 a 0.21
- io.netty.netty-all da 4.1.63.Final a 4.1.68.Final
- joda-time.joda-time da 2.10.5 a 2.10.10
- org.apache.commons.commons-compress da 1.20 a 1.21
- org.apache.orc da 1.6.10 a 1.6.12
- org.eclipse.jetty da 9.4.40.v20210413 a 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 da 1.0 a 1.2
- org.scalanlp.breeze_2.12 da 1.0 a 1.2
- org.org.typelevel.algebra_2.12 dalla versione 2.0.0 alla versione 2.0.1
- org.typelevel.cats-kernel_2.12 da 2.0.0 a 2.0.1
Apache Spark
Databricks Runtime 10.2 include Apache Spark 3.2.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
- [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() genera un valore lazy
- [SPARK-37468] [SQL] Supportare intervalli ANSI e TimestampNTZ per UnionEstimation
- [SPARK-37464] [SQL] SCHEMA e DATABASE devono essere semplicemente alias dello SPAZIO DEI NOMI
- [SPARK-37452] [SQL] Char e Varchar interrompono la compatibilità con le versioni precedenti tra v3.1 e v2
- [SPARK-36861] [SQL] Usare
yyyy-MM-ddcome modello di data nell'individuazione delle partizioni - [SPARK-37456] [SQL] CREATE NAMESPACE deve qualificarsi per il comando v2
- [SPARK-37357] [SQL] Aggiungere un fattore di partizione di piccole dimensioni per ribilanciare le partizioni
- [SPARK-37446] [SQL] Usare la reflection per getWithoutRegisterFns per consentire versioni diverse di Hive per la compilazione
- [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION deve gestire in modo coerente la posizione vuota nel comando v1 e v2
- [SPARK-36357] [SQL] Supporto del timestamp pushdown senza fuso orario per orc
- [SPARK-36346] [SQL] Supporto del tipo TimestampNTZ nell'origine file Orc
- [SPARK-36646] [SQL] Eseguire il push del gruppo per colonna di partizione per aggregazione
- [SPARK-34960] [SQL] Push di aggregazione verso il basso per ORC
- [SPARK-37386] [SQL] Semplificare OptimizeSkewedJoin per non eseguire l'analizzatore dei costi
- [SPARK-36073] [SQL] Correzioni e miglioramenti di EquivalentExpressions
- [SPARK-35352] [SQL] Aggiungere la generazione di codice per l'unione completa di ordinamento esterno
- [SPARK-37292] [SQL] Rimuove l'outer join se ha solo DISTINCT sul lato trasmesso con alias
- [SPARK-37371] [SQL] UnionExec deve supportare columnar se tutti gli elementi figlio supportano columnar
- [SPARK-36645] [SQL] Push down dell'aggregazione (Min/Max/Count) per Parquet
- [SPARK-37379] [SQL] Aggiungere l'eliminazione del pattern ad albero alla regola CTESubstitution
- [SPARK-37332] [SQL] Consenti intervalli ANSI in
ALTER TABLE .. ADD COLUMNS - [SPARK-37224] [SS] Ottimizzare il percorso di scrittura nel provider dell'archivio stati RocksDB
- [SPARK-37304] [SQL] Consenti intervalli ANSI nella versione 2
ALTER TABLE .. REPLACE COLUMNS - [SPARK-36924] [SQL] CAST tra intervalli ANSI e IntegralType
- [SPARK-37289] [SQL] Remove
partitionSchemaOptionfunction - [SPARK-37270] [SQL] Correzione del push piegabile nei rami CaseWhen se elseValue è vuoto
- [SPARK-35345] [SQL] Aggiungere test Parquet a BloomFilterBenchmark
- [SPARK-37341] [SQL] Evitare buffer non necessari e copiare un join di tipo merge esterno completo
- [SPARK-37266] [SQL] Il testo della visualizzazione può essere solo query SELECT
- [SPARK-37288] [PYTHON][3.2] Backport dall'aggiornamento dell'annotazione
- [SPARK-37262] [SQL] Non registrare aggregazioni e gruppi vuoti in JDBCScan
- [SPARK-37283] [SQL] Non tentare di archiviare una tabella V1 che contiene intervalli ANSI in formato compatibile con Hive
- [SPARK-37221] [SQL] L'API di tipo collect in SparkPlan deve supportare l'output a colonne
- [SPARK-37202] [SQL] Usare AnalysisContext per tenere traccia delle funzioni temporanee di riferimento
- [SPARK-37023] [CORE] Evitare di recuperare lo stato di unione quando shuffleMergeEnabled è false per un oggetto shuffleDependency durante un nuovo tentativo
- [SPARK-37307] [CORE] Non ottenere la connessione JDBC per le partizioni vuote
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions supporta l'ottimizzazione del nodo non radice
- [SPARK-36799] [SQL] Passare il nome queryExecution nell'interfaccia della riga di comando
- [SPARK-37261] [SQL] Consentire l'aggiunta di partizioni con intervalli ANSI in DSv2
- [SPARK-37203] [SQL] Correzione di NotSerializableException quando si osserva con TypedImperativeAggregate
- [SPARK-37199] [SQL] Aggiungere un campo deterministico a QueryPlan
- [SPARK-37253] [PYTHON]
try_simplify_tracebacknon deve avere esito negativo quandotb_frame.f_linenonon è Nessuno - [SPARK-37214] [SQL] Eseguire l'analisi delle query in precedenza con identificatori non validi
- [SPARK-37240] [SQL] Gestire gli intervalli ANSI per
ColumnVectorUtils.populate() - [SPARK-35437] [SQL] Usare espressioni per filtrare le partizioni Hive sul lato client
- [SPARK-32940] [SQL] Collect, first e last devono essere funzioni di aggregazione deterministiche
- [SPARK-37231] [SQL] Scritture dinamiche/letture di partizioni a intervalli ANSI
- [SPARK-37038] [SQL] Push di esempio DSV2
- [SPARK-36665] [SQL] Aggiungere altre semplificazioni dell'operatore Not
- [SPARK-37150] [SQL] Eseguire la migrazione dello spazio dei nomi DESCRIBE per usare il comando V2 per impostazione predefinita
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale ha restituito null
- [SPARK-37212] [SQL] Migliorare l'implementazione del pushdown aggregato.
- [SPARK-37190] [SQL] Migliorare i messaggi di errore per Cast in modalità ANSI
- [SPARK-37161] [SQL] RowToColumnConverter supporta AnsiIntervalType
- [SPARK-37160] [SQL] Aggiungere una configurazione per disabilitare facoltativamente la spaziatura interna per il tipo char
- [SPARK-36554] [SQL][PYTHON] Esporre make_date espressione in functions.scala
- [SPARK-37200] [SQL] Supporto dell'indice di rilascio per l'origine dati V2
- [SPARK-37179] [SQL] Modalità ANSI: aggiungere una configurazione per consentire il cast tra Datetime e Numeric
- [SPARK-37168] [SQL] Migliorare i messaggi di errore per funzioni e operatori SQL in modalità ANSI
- [SPARK-36935] [SQL] Estendere ParquetSchemaConverter per calcolare il livello di ripetizione e definizione Parquet
- [SPARK-37066] [SQL] Miglioramento del messaggio di errore per visualizzare il percorso del file quando non è stato possibile leggere il file successivo
- [SPARK-32567] [SQL] Aggiungere code-gen per l'hash join casuale completo
- [SPARK-37176] [SQL] Sincronizzare la logica dell'handle di eccezione del metodo JsonInferSchema#infer con il metodo JacksonParser#parse
- [SPARK-37149] [SQL] Migliorare i messaggi di errore per le eccezioni aritmetiche di overflow in modalità ANSI
- [SPARK-37136] [SQL] Rimuovere il codice sulla funzione di compilazione hive ma non implementare in Spark
- [SPARK-16280] [SPARK-37082] [SQL] Implementa histogram_numeric funzione di aggregazione che supporta l'aggregazione parziale.
- [SPARK-36975] [SQL] Correggere le metriche delle chiamate client Hive in HiveClientImpl
Aggiornamenti di manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.2.
Ambiente di sistema
- Sistema operativo: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Librerie Python installate
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleach | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | informazioni sulla distribuzione | 0.23ubuntu1 | entrypoints | 0.3 |
| facet-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook | 6.3.0 | numpy | 1.19.2 |
| packaging | 20.9 | pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.2.0 | pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | Psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2.20 | Pygments | 2.8.1 |
| pygobject | 3.36.0 | pyparsing | 2.4.7 | pirsistente | 0.17.3 |
| API Python | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | six | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacity | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | aggiornamenti automatici | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
Librerie R installate
Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-11-30.
| Library | Versione | Library | Versione | Library | Versione |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | boot | 1.3-28 |
| brew | 1.0-6 | brio | 1.1.2 | Scopa | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | callr | 3.7.0 |
| caret | 6.0-90 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1.7 | compilatore | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | crayon | 1.4.2 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| puntini di sospensione | 0.3.2 | evaluate | 0.14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | foreign | 0.8-81 |
| forge | 0.2.0 | fs | 1.5.0 | future | 1.23.0 |
| future.apply | 1.8.1 | gargle | 1.2.0 | generics | 0.1.1 |
| gert | 1.4.3 | ggplot2 | 3.3.5 | gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| glue | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| Gower | 0.2.2 | grafica | 4.1.2 | grDevices | 4.1.2 |
| grid | 4.1.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | haven | 2.4.3 | highr | 0.9 |
| hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | Iteratori | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| knitr | 1.36 | Etichettatura | 0.4.2 | later | 1.3.0 |
| Lattice | 0.20-45 | Java | 1.6.10 | lifecycle | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matrice | 1.3-4 |
| memoise | 2.0.1 | methods | 4.1.2 | mgcv | 1.8-38 |
| mime | 0.12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallelly | 1.29.0 | Concetto fondamentale | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Avanzamento | 1.2.2 | progressr | 0.9.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-26 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | ricette | 0.1.17 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.1 |
| reprex | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0.13 | rversions | 2.1.1 |
| rvest | 1.0.2 | sass | 0.4.0 | Scalabilità | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.1 | Forma | 1.4.6 |
| shiny | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | spaziale | 7.3-11 | Spline | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| Sopravvivenza | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0,35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | UTF8 | 1.2.2 |
| utils | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | waldo | 0.3.1 |
| whisker | 0.4 | withr | 2.4.2 | xfun | 0.28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | zip | 2.2.0 |
Librerie Java e Scala installate (versione del cluster Scala 2.12)
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-distribuisci-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-consultas | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.mdfsoftware | kryo-shaded | 4.0.2 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.3.4 |
| com.fasterxml.jackson.core | annotazioni jackson | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.caffeina | caffeina | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guaiava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocità | univocità-parser | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.sdk.netlib | arpack | 1.3.2 |
| dev.sdk.netlib | blas | 1.3.2 |
| dev.sdk.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | agente di raccolta | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato freccia | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | freccia-vettore | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curatore-cliente | 2.13.0 |
| org.apache.curator | curatore-framework | 2.13.0 |
| org.apache.curator | ricette curatori | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | Incubazione 4.1.0 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shim | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | codifica parquet | 1.12.0-databricks-0003 |
| org.apache.parquet | strutture parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | annotazioni del gruppo di destinatari | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | maglia-comune | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Spessori | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | inutilizzato | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | treten-extra | 1.5.0 |
| org.cortanaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |