Condividi tramite

Databricks Runtime 10.3 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.3 e Databricks Runtime 10.3 Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato questa versione nel mese di febbraio 2022.

Miglioramenti e nuove funzionalità

I writer Parquet e Avro ora usano il fuso orario della sessione quando si ribasa i timestamp nelle origini dati Parquet

I writer Parquet e Avro ora usano il fuso orario della sessione mentre il timestamp viene ribasato in legacy modalità invece di usare il fuso orario JVM predefinito. Il fuso orario della sessione è impostato sul fuso orario JVM per impostazione predefinita.

Nuove funzioni in Spark SQL

In questa versione sono ora supportate le funzioni SPARK SQL seguenti:

  • aes_decrypt: decrittografa l'input tramite AES.
  • aes_encrypt: crittografa l'input tramite AES.
  • contiene: determina se un'espressione contiene un'altra espressione.
  • endswith: determina se un'espressione termina con un'altra espressione.
  • percentile_cont: restituisce un valore percentile.
  • startswith: determina se un'espressione inizia con un'altra espressione.

L'unione casuale ridotta è ora disponibile a livello generale

Il comando Delta MERGE INTO usa una tecnica denominata unione casuale bassa, che riduce la casualità delle righe non modificate. Ciò migliora le prestazioni del comando e consente di mantenere il clustering esistente nella tabella, ad esempio l'ordinamento Z. Questa funzionalità è stata introdotta in Databricks Runtime 9.0 per l'anteprima pubblica e ora ha raggiunto la disponibilità generale. Per abilitare il basso shuffle merge, impostare spark.databricks.delta.merge.enableLowShuffle su true. Vedere Merge casuale basso in Azure Databricks.

Nuove funzionalità di COPY INTO: modalità di convalida ed evoluzione dello schema

Modalità di convalida: COPY INTO ora supporta una modalità VALIDATE in cui i dati da caricare in una tabella vengono convalidati ma non scritti nella tabella. Queste convalide includono:

  • Indica se i dati possono essere analizzati.
  • Indica se lo schema corrisponde a quello della tabella o se lo schema deve essere evoluto.
  • Indica se vengono soddisfatti tutti i vincoli di nullità e check.

Sintassi di esempio:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

L'impostazione predefinita consiste nel convalidare tutti i dati da caricare. È possibile specificare una serie di righe da convalidare con la ROWS parola chiave , ad esempio VALIDATE 15 ROWS. L'istruzione COPY INTO restituisce un'anteprima dei dati di 50 righe o minore, quando viene usato un numero minore di 50 con la ROWS parola chiave .

Evoluzione dello schema: COPY INTO supporta ora l'evoluzione dello schema con l'opzione mergeSchema in COPY_OPTIONS. Per sviluppare lo schema di una tabella, è necessario disporre delle autorizzazioni OWN per la tabella.

Sintassi di esempio:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Vedere COPY INTO.

Le colonne Identity sono ora supportate nelle tabelle Delta (anteprima pubblica)

Delta Lake supporta ora le colonne Identity. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Visualizza CREATE TABLE [UTILIZZANDO].

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • distlib da 0.3.3 a 0.3.4
    • filelock da 3.4.0 a 3.4.2
    • numpy da 1.19.2 a 1.20.1
    • tracciato da 5.3.1 a 5.5.0
  • Librerie R aggiornate:
    • backport da 1.4.0 a 1.4.1
    • brio da 1.1.2 a 1.1.3
    • scopa da 0.7.10 a 0.7.11
    • classe da 7.3-19 a 7.3-20
    • cpp11 da 0.4.1 a 0.4.2
    • DBI da 1.1.1 a 1.1.2
    • devtools dalla versione 2.4.2 alla versione 2.4.3
    • digest da 0.6.28 a 0.6.29
    • dtplyr da 1.1.0 a 1.2.0
    • fani da 0.5.0 a 1.0.2
    • estero da 0.8-81 a 0.8-82
    • fs da 1.5.0 a 1.5.2
    • gert da 1.4.3 a 1.5.0
    • colla da 1.5.0 a 1.6.0
    • httpuv da 1.6.3 a 1.6.5
    • jsonlite da 1.7.2 a 1.7.3
    • magliar da 1.36 a 1.37
    • MASS da 7.3-54 a 7.3-55
    • Matrice da 1.3-4 a 1.4-0
    • nlme da 3.1-152 a 3.1-155
    • da nnet frm 7.3-16 a 7.3-17
    • openssl da 1.4.5 a 1.4.6
    • parallelamente da 1.29.0 a 1.30.0
    • pkgbuild da 1.2.0 a 1.3.1
    • pkgload da 1.2.3 a 1.2.4
    • progressr da 0.9.0 a 0.10.0
    • Rcpp da 1.0.7 a 1.0.8
    • readr dalla versione 2.1.0 alla versione 2.1.1
    • remote dalla versione 2.4.1 alla versione 2.4.2
    • RSQLite da 2.2.8 a 2.2.9
    • sessioninfo dalla versione 1.2.1 alla versione 1.2.2
    • sparklyr dalla versione 1.7.2 alla versione 1.7.4
    • testat da 3.1.0 a 3.1.1
    • tinytex da 0,35 a 0,36
    • usethis da 2.1.3 a 2.1.5
    • vroom da 1.5.6 a 1.5.7
    • withr da 2.4.2 a 2.4.3
    • xfun da 0.28 a 0.29
    • xml2 da 1.3.2 a 1.3.3
  • Librerie Java aggiornate:
    • dev.incremental.netlib.arpack da 1.3.2 a 2.2.1
    • dev.incremental.netlib.blas da 1.3.2 a 2.2.1
    • dev.incremental.netlib.lapack da 1.3.2 a 2.2.1
    • io.delta.delta-sharing-spark_2.12 da 0.2.0 a 0.3.0

Apache Spark

Databricks Runtime 10.3 include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-37896] [SQL] Implementare un oggetto ConstantColumnVector e migliorare le prestazioni dei metadati dei file nascosti
  • [SPARK-37924] [SQL] Ordinare le proprietà della tabella in base alla chiave in SHOW CREATE TABLE in VIEW (v1)
  • [SPARK-37636] [SQL] Eseguire la migrazione di CREATE NAMESPACE per usare il comando V2 per impostazione predefinita
  • [SPARK-37381] [SQL] Unificare i test v1 e v2 SHOW CREATE TABLE
  • [SPARK-37876] [CORE][SQL] Sposta SpecificParquetRecordReaderBase.listDirectory in TestUtils
  • [SPARK-37854] [CORE] Sostituire il controllo del tipo con criteri di ricerca nel codice Spark
  • [SPARK-36967] [CORE] Segnala dimensioni accurate del blocco casuale se la sua asimmetria
  • [SPARK-37864] [SQL] Permettere la lettura vettorializzata di valori booleani usando la codifica RLE con Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator dovrebbe ignorare rapidamente il controllo dell'allineamento con la piattaforma non idonea
  • [SPARK-37855] [SQL] IllegalStateException durante la trasformazione di una matrice all'interno di uno struct annidato
  • [SPARK-37858] [SQL] Generare SparkRuntimeException classi di errore dalle funzioni AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker non deve provare a ottenere lo stato per un file ignorato
  • [SPARK-37860] [interfaccia utente] Correzione dell'elemento taskindex nella sequenza temporale degli eventi dell'attività della pagina della fase
  • [SPARK-36879] [SQL] Supportare la codifica della pagina dati Parquet v2 (DELTA_BINARY_PACKED) per il percorso vettorializzato
  • [SPARK-37828] [SQL] Eseguire il push dei filtri tramite RebalancePartitions
  • [SPARK-37802] [SQL][3.2] Il nome del campo composito deve funzionare con il push di aggregazione verso il basso
  • [SPARK-37826] [SQL] Usare il nome del codec zstd nei nomi di file ORC per hive orc impl
  • [SPARK-37820] [SQL] Sostituire ApacheCommonBase64 con JavaBase64 per i funcs stringa
  • [SPARK-37832] [SQL] Convertitore di struct Orc deve usare una matrice per cercare convertitori di campi anziché un elenco collegato
  • [SPARK-37786] [SQL] Supporto per StreamingQueryListener nell'uso di SQLConf.get per ottenere l'SQLConf del corrispondente SessionState.
  • [SPARK-37527] [SQL] Tradurre funzioni di aggregazione più standard per il pushdown
  • [SPARK-37777] [SQL] Aggiornare la sintassi SQL di SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Checkpoint eagerly quando viene chiesto di farlo per reale
  • [SPARK-37822] [SQL] StringSplit deve restituire una matrice su elementi non Null
  • [SPARK-37812] [SQL] Quando si deserializza uno struct Orc, riutilizzare la riga del risultato quando possibile
  • [SPARK-37367] [SQL] Test delle eccezioni ripristinabile in DDLParserSuite.create - Basic
  • [SPARK-37796] [SQL] Matrice ByteArrayMethodsEquals dovrebbe ignorare rapidamente il controllo dell'allineamento con la piattaforma non idonea
  • [SPARK-37817] [SQL][Minore] Rimuovere codice non raggiungibile in complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Correzione di un errore di digitazione nel messaggio HttpAuthenticationException
  • [SPARK-37750] [SQL] Modalità ANSI: facoltativamente restituisce un risultato Null se l'elemento non esiste nella matrice o nella mappa
  • [SPARK-37789] [SQL] Aggiungere una classe per rappresentare funzioni di aggregazione generali in DS V2
  • [SPARK-37785] [SQL][CORE] Aggiungere Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Supporto di QueryExecutionListener che utilizza SQLConf.get per ottenere la SQLConf corrispondente di SessionState
  • [SPARK-37783] [SS][SQL][CORE] Abilitare la ricorsione della parte finale laddove possibile
  • [SPARK-37726] [SQL] Aggiungere metriche delle dimensioni di spill per il sort merge join
  • [SPARK-37800] [SQL] TreeNode.argString formatta erroneamente gli argomenti di tipo Set[_]
  • [SPARK-37716] [SQL] Migliorare i messaggi di errore quando un processo laterale dispone di espressioni non deterministiche
  • [SPARK-37779] [SQL] Rendere il piano ColumnarToRowExec canonico dopo (de)serializzazione
  • [SPARK-37578] [SQL] Aggiornare le metriche delle attività dalle metriche personalizzate di ds v2
  • [SPARK-37676] [SQL] Supporto della funzione di aggregazione ANSI: percentile_cont
  • [SPARK-37724] [SQL] Modalità ANSI: disabilitare le parole chiave riservate ANSI per impostazione predefinita
  • [SPARK-37705] [SQL][3.2] Rebase timestamp nel fuso orario della sessione salvato nei metadati Parquet/Avro
  • [SPARK-34755] [SQL] Supportare le utilità per il formato del numero di trasformazione
  • [SPARK-36703] [SQL] Rimuovere il sort se è un elemento figlio di RepartitionByExpression
  • [SPARK-37369] [SQL] Evitare la transizione di ColumnarToRow ridondante in InMemoryTableScan
  • [SPARK-37450] [SQL] Eliminare i campi non necessari da Generate
  • [SPARK-37728] [SQL] La lettura di colonne annidate con lettore vettorializzato ORC può causare l'eccezione ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Aggiungere la generazione di codice per l'aggregazione di ordinamento senza raggruppare le chiavi
  • [SPARK-37659] [UI][3.2] Correggere la race condition di FsHistoryProvider tra elenco e eliminazione delle informazioni di log
  • [SPARK-37727] [SQL] Mostra configurazioni ignorate & nascondere gli avvisi per configurazioni già impostate in SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider indica se modifica il contesto di sicurezza
  • [SPARK-37273] [SQL] Supportare colonne di metadati di file nascoste in Spark SQL
  • [SPARK-36876] [SQL] Supportare l'eliminazione delle partizioni dinamiche per HiveTableScanExec
  • [SPARK-37546] [SQL] Il comando ReplaceTableAsSelect V2 deve qualificare la posizione
  • [SPARK-37545] [SQL] Il comando V2 CreateTableAsSelect dovrebbe qualificare la destinazione
  • [SPARK-37707] [SQL] Consenti l'assegnazione dell'archivio e il cast implicito tra i tipi datetime
  • [SPARK-37644] [SQL] Supporto del push di aggregazione completo dell'origine dati v2
  • [SPARK-37695] [CORE][SHUFFLE] Ignorare i blocchi di diagnosi ob merged da shuffle basato su push
  • [SPARK-35295] [ML] Sostituire completamente com.github.fommil.netlib di dev.device.netlib:2.0
  • [SPARK-37694] [SQL] Non consentire l'eliminazione di risorse nell'interfaccia della riga di comando spark sql
  • [SPARK-37330] [SQL] Eseguire la migrazione del comando ReplaceTableStatement alla versione 2
  • [SPARK-27974] [SQL] Supporto della funzione di aggregazione ANSI: array_agg
  • [SPARK-36902] [SQL] Eseguire la migrazione del comando CreateTableAsSelectStatement alla versione 2
  • [SPARK-37678] [PYTHON] Correzione della firma _cleanup_and_return
  • [SPARK-37613] [SQL] Supporto della funzione di aggregazione ANSI: regr_count
  • [SPARK-37689] [SQL] L'espansione deve essere supportata in PropagateEmptyRelation
  • [SPARK-37654] [SQL] Correzione del server dei criteri di rete in Row.getSeq quando il campo è Null
  • [SPARK-37496] [SQL] Eseguire la migrazione del comando ReplaceTableAsSelectStatement alla versione 2
  • [SPARK-37483] [SQL] Supporto del push verso il basso nella parte superiore N all'origine dati JDBC V2
  • [SPARK-37577] [SQL] Correzione: ClassCastException: ArrayType cannot be cast to StructType for Generate Pruning
  • [SPARK-37310] [SQL] Eseguire la migrazione di ALTER NAMESPACE ... SET PROPRIETÀ per usare il comando V2 per impostazione predefinita
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE dovrebbe qualificare la posizione per il comando v2
  • [SPARK-37343] [SQL] Implementare createIndex, IndexExists e dropIndex in JDBC (dialetto Postgres)
  • [SPARK-37060] [CORE][3.2] Gestire la risposta dello stato del driver dai master di backup
  • [SPARK-37629] [SQL] Velocizzare Expression.canonicalized
  • [SPARK-37633] [SQL] Il cast di annullamento del wrapping dovrebbe ignorare se il downcast non è riuscito con un...
  • [SPARK-37631] [SQL] Eseguire la pulizia del codice per promuovere le stringhe per il tipo doppio nelle funzioni matematiche
  • [SPARK-37569] [SQL] Non contrassegnare i campi di visualizzazione annidati come nullable
  • [SPARK-37557] [SQL] Sostituire l'hash dell'oggetto con l'aggregazione di ordinamento se figlio è già ordinato
  • [SPARK-36850] [SQL] Eseguire la migrazione di CreateTableStatement al framework dei comandi v2
  • [SPARK-37592] [SQL] Migliorare le prestazioni di JoinSelection
  • [SPARK-37217] [SQL] Il numero di partizioni dinamiche deve essere verificato in anticipo durante la scrittura in tabelle esterne
  • [SPARK-37584] [SQL] Nuova funzione SQL: map_contains_key
  • [SPARK-37455] [SQL] Sostituire l'hash con l'aggregazione di ordinamento se figlio è già ordinato
  • [SPARK-34735] [SQL][interfaccia utente] Aggiungere configurazioni modificate per l'esecuzione di SQL nell'interfaccia utente
  • [SPARK-37540] [SQL] Rilevare più tempo di viaggio non supportato
  • [SPARK-37376] [SQL] Introdurre una nuova interfaccia DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] Impostare GCM come modalità predefinita in aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader deve eseguire il fallback alla versione correlata, non sempre hadoop-2.7.4
  • [SPARK-37561] [SQL] Evitare di caricare tutte le funzioni durante l'acquisizione del valore DelegationToken di Hive
  • [SPARK-37370] [SQL] Aggiungere configurazioni SQL per controllare la nuova generazione di codice join nella versione 3.3
  • [SPARK-37311] [SQL] Eseguire la migrazione di ALTER NAMESPACE ... SET LOCATION per usare di default il comando V2
  • [SPARK-37192] [SQL] Eseguire la migrazione SHOW TBLPROPERTIES per usare il comando V2 per impostazione predefinita
  • [SPARK-37219] [SQL] Aggiunta del supporto della sintassi AS OF
  • [SPARK-37316] [SQL] Aggiungere la generazione di codice per la giunzione di merge ordinato per esistenza
  • [SPARK-37591] [SQL] Supportare la modalità GCM tramite aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Aggiungere gli mode argomenti e padding a aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Aggiungere aes_encrypt e aes_decrypt funzioni predefinite
  • [SPARK-37392] [SQL] Correggere il bug delle prestazioni durante l'inferenza dei vincoli per Generate
  • [SPARK-37481] [Core][WebUI] Correzione della scomparsa delle fasi ignorate dopo la ripetizione dei tentativi
  • [SPARK-37533] [SQL] Nuova funzione SQL: try_element_at
  • [SPARK-37451] [SQL] Correzione del tipo stringa di cast al tipo decimale se spark.sql.legacy.allowNegativeScaleOfDecimal è abilitato
  • [SPARK-37062] [SS] Introdurre una nuova origine dati per fornire un set coerente di righe per microbatch
  • [SPARK-37552] [SQL] Aggiungere la convert_timezone() funzione
  • [SPARK-37555] [SQL] spark-sql deve passare l'ultimo commento non chiuso al back-end
  • [SPARK-37286] [SQL] Spostare compileAggregates da JDBCRDD a JdbcDialect
  • [SPARK-37485] [CORE][SQL] Sostituire map con le espressioni che non producono alcun risultato con foreach
  • [SPARK-37556] [SQL] La classe Deser void non riesce con la serializzazione Java
  • [SPARK-37520] [SQL] Aggiungere le startswith() funzioni stringa e endswith()
  • [SPARK-37471] [SQL] Supporto ; spark-sql in commento annidato
  • [SPARK-37360] [SQL] Supporto di TimestampNTZ nell'origine dati JSON
  • [SPARK-37508] [SQL] Aggiungere la funzione stringa CONTAINS()
  • [SPARK-37494] [SQL] Output delle opzioni Unify v1 e v2 del SHOW CREATE TABLE comando
  • [SPARK-37524] [SQL] È consigliabile eliminare tutte le tabelle dopo il test dell'eliminazione della partizione dinamica.
  • [SPARK-37389] [SQL] Controllare i commenti tra parentesi quadre non chiuse
  • [SPARK-37220] [SQL] Non dividere il file di input per il lettore Parquet con push di aggregazione verso il basso
  • [SPARK-37326] [SQL] Supporto di TimestampNTZ nell'origine dati CSV
  • [SPARK-35867] [SQL] Abilitare la lettura vettorializzata per VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Sostituire get e getOrElse con getOrElse
  • [SPARK-37492] [SQL] Ottimizzare il codice di test orc con withAllNativeOrcReaders
  • [SPARK-37458] [SS] Rimuovere i SerializeFromObject non necessari dal piano di foreachBatch

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.3.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facet-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 Psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
pygobject 3.36.0 pyparsing 2.4.7 pirsistente 0.17.3
API Python 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-01-19.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 Scopa 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compilatore 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 credenziali 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
puntini di sospensione 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafica 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Iteratori 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 Etichettatura 0.4.2 later 1.3.0
Lattice 0.20-45 Java 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matrice 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 Concetto fondamentale 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Avanzamento 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 ricette 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 Scalabilità 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spaziale 7.3-11 Spline 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
Sopravvivenza 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0,36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 UTF8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 Incubazione 4.1.0
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shim 1.6.12
org.apache.parquet colonna Parquet 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet codifica parquet 1.12.0-databricks-0003
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1