Condividi tramite

Databricks Runtime 10.4 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.4 LTS e Databricks Runtime 10.4 LTS Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato questa versione a marzo 2022.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Miglioramenti e nuove funzionalità

Convertitore di tabelle da Iceberg a Delta (anteprima pubblica)

La funzione Convert to Delta supporta ora la conversione diretta di una tabella Iceberg in una tabella Delta. A tale scopo, usare i metadati nativi di Iceberg e i manifesti dei file. Vedere Converti in Delta Lake.

I rollback di compattazione automatica sono ora abilitati per impostazione predefinita

Questa versione migliora il comportamento per le scritture Delta Lake che eseguono il commit quando sono presenti transazioni simultanee di compattazione automatica. Prima di questa versione, tali scritture spesso venivano interrotte a causa di modifiche simultanee a una tabella. Le scritture avranno ora esito positivo anche se sono presenti transazioni simultanee di compattazione automatica.

L'unione casuale bassa è ora abilitata per impostazione predefinita

Il MERGE INTO comando ora usa sempre la nuova implementazione di shuffle low-shuffle. Questo comportamento migliora significativamente le prestazioni del comando per la MERGE INTO maggior parte dei carichi di lavoro. L'impostazione di configurazione usata in precedenza per abilitare questa funzionalità è stata rimossa. Vedere Merge casuale basso in Azure Databricks.

I tag degli ordini di inserimento vengono ora mantenuti per UPDATEs e DELETEs

I UPDATE comandi e DELETE ora conservano le informazioni di clustering esistenti (incluso l'ordinamento Z) per i file aggiornati o eliminati. Questo comportamento è un approccio ottimale e questo approccio non si applica ai casi in cui i file sono così piccoli che questi file vengono combinati durante l'aggiornamento o l'eliminazione.

HikariCP è ora il pool di connessioni metastore Hive predefinito

HikariCP offre molti miglioramenti della stabilità per l'accesso al metastore Hive mantenendo al tempo stesso un minor numero di connessioni rispetto all'implementazione precedente del pool di connessioni BoneCP. HikariCP è abilitato per impostazione predefinita in tutti i cluster di Databricks Runtime che utilizzano il metastore Hive di Databricks, ad esempio quando spark.sql.hive.metastore.jars non è impostato. È anche possibile passare in modo esplicito ad altre implementazioni del pool di connessioni, ad esempio BoneCP, impostando spark.databricks.hive.metastore.client.pool.type.

Il connettore Azure Synapse consente ora di impostare il numero massimo di righe di rifiuto consentite

Il connettore Azure Synapse supporta ora un'opzione maxErrors DataFrame. Questo aggiornamento consente di configurare il numero massimo di righe rifiutate consentite durante le operazioni di lettura e scrittura prima dell'annullamento dell'operazione di caricamento. Tutte le righe rifiutate vengono ignorate. Ad esempio, se due record su dieci hanno errori, vengono elaborati solo otto record.

Questa opzione esegue il mapping direttamente all'opzione per l'istruzione REJECT_VALUECREATE EXTERNAL TABLE in PolyBase e all'opzione MAXERRORS per il comando del COPY connettore Azure Synapse.

Per impostazione predefinita, il valore maxErrors è impostato su 0: si prevede che tutti i record siano validi.

Il checkpoint dello stato asincrono è ora disponibile a livello generale

È possibile abilitare il checkpoint dello stato asincrono nelle query di streaming con stato con aggiornamenti di stato di grandi dimensioni. In questo modo è possibile ridurre la latenza micro batch end-to-end. Questa funzionalità è ora disponibile a livello generale. Vedere Checkpoint dello stato asincrono per le query con stato.

È ora possibile specificare le impostazioni predefinite dei parametri per le funzioni definite dall'utente SQL

Quando si crea una funzione definita dall'utente SQL (UDF SQL), è ora possibile specificare espressioni predefinite per i parametri della UDF SQL. È quindi possibile chiamare la funzione definita dall'utente SQL senza fornire valori per quei parametri e Databricks inserirà i valori predefiniti per quei parametri. Vedere CREATE FUNCTION (SQL e Python).

Nuove funzioni SPARK SQL

Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:

  • try_multiply: restituisce multiplier moltiplicato per multiplicando NULL in caso di overflow.
  • try_subtract: restituisce la sottrazione di expr2 da expr1o NULL in caso di overflow.

Nuova directory di lavoro per i cluster a concorrenza elevata

Nei cluster con concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato, la directory di lavoro corrente dei notebook è ora la home directory dell'utente. In precedenza, la directory di lavoro era /databricks/driver.

Il supporto delle colonne Identity nelle tabelle Delta è ora disponibile a livello generale

Delta Lake supporta ora le colonne di identità. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Vedere CREATE TABLE [USANDO].

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • filelock da 3.4.2 a 3.6.0
  • Librerie R aggiornate:
    • birra da 1.0-6 a 1.0-7
    • scopa da 0.7.11 a 0.7.12
    • cli da 3.1.0 a 3.2.0
    • Clipr da 0.7.1 a 0.8.0
    • spazi di colore da 2.0-2 a 2.0-3
    • crayon da 1.4.2 a 1.5.0
    • dplyr da 1.0.7 a 1.0.8
    • dtplyr da 1.2.0 a 1.2.1
    • valutare da 0.14 a 0.15
    • foreach da 1.5.1 a 1.5.2
    • futuro da 1.23.0 a 1.24.0
    • generics da 0.1.1 a 0.1.2
    • colla da 1.6.0 a 1.6.1
    • gower da 0.2.2 a 1.0.0
    • iteratori da 1.0.13 a 1.0.14
    • jsonlite da 1.7.3 a 1.8.0
    • magrittr da 2.0.1 a 2.0.2
    • mgcv da 1,8-38 a 1,8-39
    • pilastro da 1.6.4 a 1.7.0
    • randomForest da 4.6-14 a 4.7-1
    • readr dalla versione 2.1.1 alla versione 2.1.2
    • ricette da 0.1.17 a 0.2.0
    • rlang da 0.4.12 a 1.0.1
    • rpart da 4.1-15 a 4.1.16
    • RSQLite da 2.2.9 a 2.2.10
    • sparklyr da 1.7.4 a 1.7.5
    • testat da 3.1.1 a 3.1.2
    • tidyr da 1.1.4 a 1.2.0
    • tidyselect da 1.1.1 a 1.1.2
    • tinytex da 0,36 a 0,37
    • yaml da 2.2.1 a 2.3.5
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.3 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38322] [SQL] Supportare la fase di query per mostrare le statistiche di runtime in modalità spiegazione formattata.
  • [SPARK-38162] [SQL] Ottimizzare un piano di riga in modalità normale e AQE Optimizer
  • [SPARK-38229] [SQL] Non deve controllare temp/external/ifNotExists con visitReplaceTable quando parser
  • [SPARK-34183] [SS] DataSource V2: distribuzione e ordinamento necessari nell'esecuzione di micro batch
  • [SPARK-37932] [SQL]Attendere di risolvere gli attributi mancanti prima di applicare DeduplicateRelations
  • [SPARK-37904] [SQL] Migliorare il ribilanciamentoPartitions nelle regole di Optimizer
  • [SPARK-38236] [SQL][3.2][3.1] Controllare se la posizione della tabella è assoluta per "new Path(locationUri).isAbsolute" in create/alter table
  • [SPARK-38035] [SQL] Aggiungere test docker per il dialetto JDBC di compilazione
  • [SPARK-38042] [SQL] Verificare che ScalaReflection.dataTypeFor funzioni sui tipi di matrice con alias
  • [SPARK-38273] [SQL] decodeUnsafeRows' gli iteratori devono chiudere i flussi di input sottostanti
  • [SPARK-38311] [SQL] Correzione di DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite in modalità ANSI
  • [SPARK-38305] [CORE] Controllare in modo esplicito se l'origine esiste in unpack() prima di chiamare i metodi FileUtil
  • [SPARK-38275] [SS] Includere l'utilizzo della memoria writeBatch come utilizzo totale della memoria dell'archivio stati RocksDB
  • [SPARK-38132] [SQL] Rimuovere NotPropagation regola
  • [SPARK-38286] [SQL] MaxRows e maxRowsPerPartition di Union possono sovraflow
  • [SPARK-38306] [SQL] Correzione di ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite in modalità ANSI
  • [SPARK-38281] [SQL][Test] Correzione di AnalysisSuite in modalità ANSI
  • [SPARK-38307] [SQL][Test] Correzione di ExpressionTypeCheckingSuite e CollectionExpressionsSuite in modalità ANSI
  • [SPARK-38300] [SQL] Usare ByteStreams.toByteArray per semplificare fileToString e resourceToBytes in catalyst.util
  • [SPARK-38304] [SQL] Elt() deve restituire null se index è Null in modalità ANSI
  • [SPARK-38271] PoissonSampler può restituire più righe di MaxRows
  • [SPARK-38297] [PYTHON] Eseguire il cast esplicito del valore restituito in DataFrame.to_numpy in POS
  • [SPARK-38295] [SQL][Test] Correzione di ArithmeticExpressionSuite in modalità ANSI
  • [SPARK-38290] [SQL] Correggere JsonSuite e ParquetIOSuite in modalità ANSI
  • [SPARK-38299] [SQL] Pulire l'utilizzo deprecato di StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respect allowNonNumericNumbers durante l'analisi dei valori NaN e Infinity tra virgolette nel lettore JSON
  • [SPARK-38276] [SQL] Aggiungere piani TPCDS approvati in modalità ANSI
  • [SPARK-38206] [SS] Ignora la nullabilità quando si confronta il tipo di dato delle chiavi di join durante il join di flusso-flusso
  • [SPARK-37290] [SQL] - Tempo di pianificazione esponenziale in caso di funzione non deterministica
  • [SPARK-38232] [SQL] Spiegazione formattata non raccoglie sottoquery nella fase di query in AQE
  • [SPARK-38283] [SQL] Testare l'analisi datetime non valida in modalità ANSI
  • [SPARK-38140] [SQL] Le statistiche delle colonne (min, max) per il tipo timestamp non sono coerenti con i valori a causa delle differenze di fuso orario.
  • [SPARK-38227] [SQL][SS] Applica nullità rigorosa della colonna nidificata in finestra temporale/finestra di sessione
  • [SPARK-38221] [SQL] Eseguire un'iterazione eager su groupingExpressions quando si spostano espressioni di raggruppamento complesse all'esterno di un nodo di aggregazione
  • [SPARK-38216] [SQL] Interrompere anticipatamente se tutte le colonne sono colonne di partizionamento quando si crea una tabella Hive
  • [SPARK-38214] [SS]Non è necessario filtrare le finestre quando windowDuration è multiplo di slideDuration
  • [SPARK-38182] [SQL] Correzione di NoSuchElementException se il filtro sottoposto a push non contiene riferimenti
  • [SPARK-38159] [SQL] Aggiungere un nuovo FileSourceMetadataAttribute per i metadati dei file nascosti
  • [SPARK-38123] [SQL] Uso unificato DataType a partire targetType da QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(tipo di dati errato) nella clausola HAVING dovrebbe generare un errore di mancata corrispondenza dei dati
  • [SPARK-35173] [SQL][PYTHON] Aggiungere più colonne aggiungendo il supporto
  • [SPARK-38177] [SQL] Correggere le trasformazioni errateExpressions in Optimizer
  • [SPARK-38228] [SQL] L'assegnazione dell'archivio legacy non dovrebbe avere esito negativo in caso di errore in modalità ANSI
  • [SPARK-38173] [SQL] Non è possibile riconoscere correttamente la colonna tra virgolette quando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Rimuovere array_sort controllo delle voci ordinabili
  • [SPARK-38199] [SQL] Eliminare l'oggetto inutilizzato dataType specificato nella definizione di IntervalColumnAccessor
  • [SPARK-38203] [SQL] Correggere SQLInsertTestSuite e SchemaPruningSuite in modalità ANSI
  • [SPARK-38163] [SQL] Mantenere la classe di errore di SparkThrowable durante la costruzione del generatore di funzioni
  • [SPARK-38157] [SQL] Impostare in modo esplicito ANSI su false nel timestamp di testNTZ/timestamp.sql e SQLQueryTestSuite in modo che corrisponda ai risultati d'oro previsti
  • [SPARK-38069] [SQL][SS] Migliorare il calcolo della finestra temporale
  • [SPARK-38164] [SQL] Nuove funzioni SQL: try_subtract e try_multiply
  • [SPARK-38176] [SQL] Modalità ANSI: consente il cast implicito di String in altri tipi semplici
  • [SPARK-37498] [PYTHON] Aggiungere alla fine per test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Correzione di QueryExecution.debug#toFile usando il valore passato in maxFields quando explainMode è CodegenMode
  • [SPARK-38131] [SQL] Usare le classi di errore solo nelle eccezioni rivolte all'utente
  • [SPARK-37652] [SQL] Aggiungere un test per migliorare l'efficienza del join asimmetrico utilizzando l'unione
  • [SPARK-37585] [SQL] Aggiornamento di InputMetric in DataSourceRDD con TaskCompletionListener
  • [SPARK-38113] [SQL] Usare classi di errore negli errori di esecuzione del pivot
  • [SPARK-38178] [SS] Correggere la logica per misurare l'utilizzo della memoria di RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat deve controllare il nome del campo
  • [SPARK-37652] Ripristinare "[SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione"
  • [SPARK-38124] [SQL][SS] Introdurre StatefulOpClusteredDistribution e applicare a stream-stream join
  • "[SPARK-38030] [SQL] La canonicalizzazione non deve rimuovere la nullabilità del dataType di AttributeReference"
  • [SPARK-37907] [SQL] InvokeLike supporta ConstantFolding
  • [SPARK-37891] [CORE] Aggiungere il controllo scalastyle per disabilitare scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Aggiornare il commento di RelationConversions
  • [SPARK-37943] [SQL] Usare classi di errore negli errori di compilazione del raggruppamento
  • [SPARK-37652] [SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione
  • [SPARK-38056] [Interfaccia utente Web][3.2] Correzione del problema di Structured Streaming non funzionante nel server di cronologia quando si usa LevelDB
  • [SPARK-38144] [CORE] Rimuovere la configurazione di spark.storage.safetyFraction non usata
  • [SPARK-38120] [SQL] Correggere HiveExternalCatalog.listPartitions quando il nome della colonna di partizione è maiuscolo e il valore della partizione contiene un punto
  • [SPARK-38122] [Docs] Aggiornare la chiave dell'app di DocSearch
  • [SPARK-37479] [SQL] Eseguire la migrazione dello spazio dei nomi DROP per usare il comando V2 per impostazione predefinita
  • [SPARK-35703] [SQL] Allentare il vincolo per il bucket join e rimuovere HashClusteredDistribution
  • [SPARK-37983] [SQL] Eseguire il backup delle metriche relative al tempo di compilazione dall'aggregazione di ordinamento
  • [SPARK-37915] [SQL] Combinare unioni se è presente un progetto tra di essi
  • [SPARK-38105] [SQL] Usare classi di errore negli errori di analisi dei join
  • [SPARK-38073] [PYTHON] Aggiornare la funzione atexit per evitare problemi con l'associazione tardiva
  • [SPARK-37941] [SQL] Usare classi di errore negli errori di compilazione del cast
  • [SPARK-37937] [SQL] Usare classi di errore negli errori di analisi del join laterale
  • [SPARK-38100] [SQL] Rimuovere il metodo privato inutilizzato in Decimal
  • [SPARK-37987] [SS] Risolto test instabile StreamingAggregationSuite. cambiamento schema dello stato al riavvio della query
  • [SPARK-38003] [SQL] La regola LookupFunctions deve cercare solo le funzioni dal Registro di sistema delle funzioni scalari
  • [SPARK-38075] [SQL] Correzione hasNext dell'iteratore HiveScriptTransformationExecdi output del processo
  • [SPARK-37965] [SQL] Rimuovere la verifica del nome del campo durante la lettura/scrittura di dati esistenti in Orc
  • [SPARK-37922] [SQL] Combinare un cast se è possibile eseguire il cast in modo sicuro di due cast (per dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impedire la sovrascrittura dei file uniti di shuffle push dopo la finalizzazione della sequenza casuale
  • [SPARK-38011] [SQL] Rimuovere la configurazione duplicata e inutile in ParquetFileFormat
  • [SPARK-37929] [SQL] Supporto della modalità a catena per dropNamespace l'API
  • [SPARK-37931] [SQL] Specificare il nome della colonna, se necessario
  • [SPARK-37990] [SQL] Supporto di TimestampNTZ in RowToColumnConverter
  • [SPARK-38001] [SQL] Sostituire le classi di errore correlate alle funzionalità non supportate da UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 supporta il push di aggregazione parziale AVG
  • [SPARK-37878] [SQL] Eseguire la migrazione SHOW CREATE TABLE per usare il comando v2 per impostazione predefinita
  • [SPARK-37731] [SQL] Eseguire il refactoring e la ricerca della funzione di pulizia in Analyzer
  • [SPARK-37979] [SQL] Passare a classi di errore più generiche nelle funzioni AES
  • [SPARK-37867] [SQL] Compilare funzioni di aggregazione del dialetto JDBC di compilazione
  • [SPARK-38028] [SQL] Esporre il vettore freccia da ArrowColumnVector
  • [SPARK-30062] [SQL] Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2
  • [SPARK-36649] [SQL] Supporto Trigger.AvailableNow nell'origine dati Kafka
  • [SPARK-38018] [SQL] Correzione di ColumnVectorUtils.populate per gestire correttamente CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved deve essere gestito ExecutorDecommission come completato
  • [SPARK-38019] [CORE] Rendere ExecutorMonitor.timedOutExecutors deterministico
  • [SPARK-37957] [SQL] Passare correttamente il flag deterministico per le funzioni scalari V2
  • [SPARK-37985] [SQL] Correzione del test flaky per SPARK-37578
  • [SPARK-37986] [SQL] Supporto di TimestampNTZ nell'ordinamento di radix
  • [SPARK-37967] [SQL] Literal.create supporta ObjectType
  • [SPARK-37827] [SQL] Inserire alcune proprietà della tabella predefinite in V1Table.propertie per adattarsi al comando V2
  • [SPARK-37963] [SQL] È necessario aggiornare l'URI della partizione dopo la ridenominazione della tabella in InMemoryCatalog
  • [SPARK-35442] [SQL] Supporto della propagazione di una relazione vuota tramite aggregazione/unione
  • [SPARK-37933] [SQL] Modificare il metodo di attraversamento delle regole push down V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Applica il limite 1 sul lato destro del join semi/anti sinistro se la condizione di join è vuota
  • [SPARK-37959] [ML] Correzione della norma di controllo della norma in KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql non deve passare l'ultimo commento al back-end
  • [SPARK-37627] [SQL] Aggiungere una colonna ordinata in BucketTransform

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.4 LTS.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facet-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 Psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
pygobject 3.36.0 pyparsing 2.4.7 pirsistente 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-02-24.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 Scopa 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compilatore 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credenziali 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
puntini di sospensione 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafica 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1,37 Etichettatura 0.4.2
later 1.3.0 Lattice 0.20-45 Java 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrice 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 Concetto fondamentale 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Avanzamento 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
ricette 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
Scalabilità 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spaziale 7.3-11
Spline 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
UTF8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 Incubazione 4.1.0
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shim 1.6.12
org.apache.parquet Parquet Column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet codifica parquet 1.12.0-databricks-0003
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1