Condividi tramite

Databricks Runtime 11.2 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.2, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione a settembre 2022.

Miglioramenti e nuove funzionalità

Passare alle autorizzazioni ALTER TABLE nei controlli di accesso alle tabelle (ACL tabella)

Ora, gli utenti devono disporre solo delle MODIFY autorizzazioni per modificare lo schema o le proprietà di una tabella con ALTER TABLE. La proprietà è comunque necessaria per concedere le autorizzazioni per una tabella, modificarne il proprietario e la posizione o rinominarla. Questa modifica rende il modello di autorizzazione per gli ACL di tabella coerenti con il catalogo unity. Vedere ALTER TABLE.

Eliminazione dinamica per MERGE INTO

Quando si usa il calcolo abilitato per Photon, MERGE INTO ora usa l'eliminazione dinamica di file e partizioni quando appropriato per migliorare le prestazioni, ad esempio quando una piccola tabella di origine viene unita in una tabella di destinazione più grande.

Miglioramento del rilevamento dei conflitti in Delta con eliminazione dinamica dei file

Quando si verificano potenziali conflitti durante i commit, il rilevamento dei conflitti considera ora i file eliminati dall'eliminazione dinamica dei file, ma non sono stati eliminati da filtri statici. Ciò comporta una diminuzione del numero di transazioni non riuscite.

Nuova scheda Integrazioni open source nelle home page di DSE/SQL

Introduzione alla nuova scheda "Integrazioni open source" nelle home page di DSE/SQL che visualizza opzioni di integrazione open source, ad esempio tabelle Live Delta e dbt core.

Miglioramenti al rilevamento delle partizioni CONVERT TO DELTA

CONVERT TO DELTA deduce automaticamente lo schema di partizione per le tabelle Parquet registrate nel metastore Hive o nel catalogo Unity, eliminando la necessità di fornire la PARTITIONED BY clausola .

CONVERT TO DELTA sfrutta le informazioni sulle partizioni dal metastore per individuare i file per una tabella Parquet anziché elencare l'intero percorso di base, assicurando che le partizioni eliminate non vengano aggiunte alla tabella Delta.

Vedere Converti in Delta Lake.

Gli schemi di tabella supportano ora i valori predefiniti per le colonne

Gli schemi di tabella supportano ora l'impostazione dei valori predefiniti per le colonne. INSERTI comandi , UPDATEe DELETE per queste colonne possono fare riferimento a questi valori con la DEFAULT parola chiave . Ad esempio, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguito da INSERT INTO t VALUES (1, DEFAULT) aggiungerà la riga (1, 42). Questo comportamento è supportato per le origini dati CSV, JSON, Orc e Parquet.

Nuove funzioni geospaziali H3

È ora possibile usare 28 nuove espressioni H3 predefinite per l'elaborazione geospaziale nei cluster abilitati per Photon, disponibili in SQL, Scala e Python. Si veda Funzioni geospaziali H3.

Nuova dipendenza di Databricks Runtime

Databricks Runtime dipende ora dalla libreria Java H3 versione 3.7.0.

Bring Your Own Key: Crittografia delle credenziali Git

È possibile usare Azure Key Vault per crittografare un token di accesso personale (PAT) Git o altre credenziali Git.

Si veda Configurare le cartelle Git di Databricks (Repository).

SQL: nuova funzione di aggregazione any_value

La nuova any_value funzione di aggregazione restituisce qualsiasi valore casuale di expr per un gruppo di righe. Vedere la funzione di aggregazione any_value.

Comandi del file system di Databricks Utilities consentiti in più tipi di cluster

dbutils.fs I comandi (ad eccezione dei comandi correlati al montaggio) sono ora consentiti nei cluster di isolamento dell'utente con Il catalogo Unity, nonché nei cluster ACL di tabella legacy quando l'utente dispone ANY FILE delle autorizzazioni.

È ora possibile concedere privilegi CREATE nei metastore per il catalogo unity

È ora possibile concedere privilegi CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT e CREATE PROVIDER nei metastore del catalogo Unity.

Scritture ottimizzate per le tabelle non partizionate nei cluster abilitati per Photon

Le tabelle gestite di Unity Catalog ora consentono di rendere persistenti automaticamente i file di dimensioni ottimizzate da tabelle non partizionate per migliorare la velocità delle query e ottimizzare le prestazioni.

Supporto photon per più origini dati

Photon supporta ora più origini dati, tra cui CSV e Avro, ed è compatibile anche con i frame di dati memorizzati nella cache. In precedenza, l'analisi di queste origini dati significava che l'intera query non poteva essere fotonizzata, indipendentemente dagli operatori o dalle espressioni della query. Ora, le query che analizzano queste origini dati possono essere fotonizzate, sbloccando significativi miglioramenti della latenza e del TCO.

Questa funzionalità è abilitata per impostazione predefinita dalla spark.databricks.photon.photonRowToColumnar.enabled configurazione.

Limitazioni:

  • Gli schemi con tipi annidati non sono supportati (ad esempio matrici, mappe e struct) in questa versione.
  • Le origini ORC, RDD, Distribuisci, Kafka ed EventHub non sono supportate in questa versione.

SQL: ALTER SHARE supporta ora START VERSION

Il ALTER SHARE comando supporta START VERSIONora , che consente ai provider di condividere i dati a partire da una versione specifica della tabella. Vedere ALTER SHARE.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • distlib da 0.3.4 a 0.3.5
    • filelock dalla versione 3.7.1 alla versione 3.8.0
    • tracciato da 5.8.2 a 5.9.0
    • protobuf da 4.21.2 a 4.21.5
  • Librerie R aggiornate:
    • scopa da 0.8.0 a 1.0.0
    • bslib da 0.3.1 a 0.4.0
    • chiamante dalla versione 3.7.0 alla versione 3.7.1
    • cursore da 6.0-92 a 6.0-93
    • dbplyr da 2.2.0 a 2.2.1
    • devtools dalla versione 2.4.3 alla versione 2.4.4
    • valutare da 0,15 a 0,16
    • lontano da 2.1.0 a 2.1.1
    • fontawesome da 0.2.2 a 0.3.0
    • futuro da 1.26.1 a 1.27.0
    • generics da 0.1.2 a 0.1.3
    • gert da 1.6.0 a 1.7.0
    • globals da 0.15.1 a 0.16.0
    • Googlesheets4 da 1.0.0 a 1.0.1
    • hardhat da 1.1.0 a 1.2.0
    • htmltools da 0.5.2 a 0.5.3
    • parallelamente da 1.32.0 a 1.32.1
    • pilastro da 1.7.0 a 1.8.0
    • pkgload da 1.2.4 a 1.3.0
    • processx dalla versione 3.6.1 alla versione 3.7.0
    • Rcpp da 1.0.8.3 a 1.0.9
    • ricette da 0.2.0 a 1.0.1
    • rlang da 1.0.2 a 1.0.4
    • roxygen2 da 7.2.0 a 7.2.1
    • RSQLite da 2.2.14 a 2.2.15
    • sass da 0.4.1 a 0.4.2
    • brillante da 1.7.1 a 1.7.2
    • stringi da 1.7.6 a 1.7.8
    • tibble da 3.1.7 a 3.1.8
    • tidyverse da 1.3.1 a 1.3.2
    • timeDate da 3043.102 a 4021.104
    • xfun da 0.31 a 0.32
  • Librerie Java aggiornate:
    • org.apache.orc.orc-core da 1.7.4 a 1.7.5
    • org.apache.orc.orc-mapreduce da 1.7.4 a 1.7.5
    • org.apache.orc.orc-shims da 1.7.4 a 1.7.5

Apache Spark

Databricks Runtime 11.2 include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Restituire tipi di intervallo ANSI più ampi dalle funzioni percentili
  • [SPARK-40054] [SQL] Ripristinare la sintassi di gestione degli errori di try_cast()
  • [SPARK-39489] [CORE] Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson invece di Json4s
  • [SPARK-39319] [CORE][SQL] Creare contesti di query come parte di SparkThrowable
  • [SPARK-40085] [SQL] Usare INTERNAL_ERROR classe di errore anziché IllegalStateException per indicare bug
  • [SPARK-40001] [SQL] Eseguire scritture NULL nelle colonne JSON DEFAULT scrivere 'null' nella risorsa di archiviazione
  • [SPARK-39635] [SQL] Supporto delle metriche dei driver nell'API metrica personalizzata DS v2
  • [SPARK-39184] [SQL] Gestire una matrice di risultati sottodimensionata nelle sequenze di data e timestamp
  • [SPARK-40019] [SQL] Refactoring del commento di ArrayType contieneNull e refactoring delle logiche di errore nell'espressione collectionOperator su containsNull
  • [SPARK-39989] [SQL] Supporto delle statistiche delle colonne di stima se è un'espressione piegabile
  • [SPARK-39926] [SQL] Correzione di un bug nel supporto DEFAULT della colonna per le analisi Parquet non vettorializzate
  • [SPARK-40052] [SQL] Gestire buffer di byte diretti in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Correggere il tipo di intervallo di destinazione negli errori di overflow di cast
  • [SPARK-39835] [SQL] Correzione di EliminaSorts rimuovere l'ordinamento globale sotto l'ordinamento locale
  • [SPARK-40002] [SQL] Non spingere il limite verso il basso attraverso la finestra usando ntile
  • [SPARK-39976] [SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
  • [SPARK-39985] [SQL] Abilitare i valori di colonna DEFAULT impliciti negli inserimenti da dataframe
  • [SPARK-39776] [SQL] Join verbose string deve aggiungere il tipo join
  • [SPARK-38901] [SQL] DS V2 supporta le funzioni di push verso il basso
  • [SPARK-40028] [SQL][FollowUp] Migliorare esempi di funzioni stringa
  • [SPARK-39983] [CORE][SQL] Non memorizzare nella cache le relazioni di trasmissione nonrializzate sul driver
  • [SPARK-39812] [SQL] Semplificare il codice con cui creare AggregateExpressiontoAggregateExpression
  • [SPARK-40028] [SQL] Aggiungere esempi binari per le espressioni stringa
  • [SPARK-39981] [SQL] Generare l'eccezione QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
  • [SPARK-40007] [PYTHON][SQL] Aggiungere 'mode' alle funzioni
  • [SPARK-40008] [SQL] Supporto del cast di integrali a intervalli ANSI
  • [SPARK-40003] [PYTHON][SQL] Aggiungere 'median' alle funzioni
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve recachere la relazione di risultato
  • [SPARK-39951] [SQL] Aggiornare il controllo delle colonne parquet V2 per i campi annidati
  • [SPARK-33236] [shuffle] Backport in DBR 11.x: abilitare il servizio shuffle basato su push per archiviare lo stato nel database a livello di NM per il riavvio mantenendo il riavvio
  • [SPARK-39836] [SQL] Semplificare V2ExpressionBuilder tramite l'estrazione di un metodo comune.
  • [SPARK-39873] [SQL] Rimuovi OptimizeLimitZero e unisci in EliminateLimits
  • [SPARK-39961] [SQL] Conversione push-down di DS V2 Cast se il cast è sicuro
  • [SPARK-39872] [SQL] Modificare l'uso con l'API BytePackerForLong#unpack8Values di input della matrice in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Rimuovere le regole non necessarie AliasHelper o PredicateHelper per alcune regole
  • [SPARK-39900] [SQL] Indirizzare una condizione parziale o negata nel pushdown del predicato del formato binario
  • [SPARK-39904] [SQL] Rinominare inferDate per preferireDate e chiarire la semantica dell'opzione nell'origine dati CSV
  • [SPARK-39958] [SQL] Aggiungere il log degli avvisi quando non è possibile caricare l'oggetto metrica personalizzato
  • [SPARK-39932] [SQL] WindowExec deve cancellare il buffer di partizione finale
  • [SPARK-37194] [SQL] Evitare l'ordinamento non necessario nella scrittura v1 se non è una partizione dinamica
  • [SPARK-39902] [SQL] Aggiungere i dettagli dell'analisi al nodo di analisi del piano Spark in SparkUI
  • [SPARK-39865] [SQL] Visualizzare i messaggi di errore corretti sugli errori di overflow dell'inserimento di tabelle
  • [SPARK-39940] [SS] Aggiornare la tabella del catalogo nella query di streaming con sink DSv1
  • [SPARK-39827] [SQL] Usare la classe ARITHMETIC_OVERFLOW di errore in int overflow in add_months()
  • [SPARK-39914] [SQL] Aggiungere il filtro DS V2 alla conversione del filtro V1
  • [SPARK-39857] [SQL] Backport manuale DBR 11.x; V2ExpressionBuilder usa il tipo di dati LiteralValue errato per In predicato #43454
  • [SPARK-39840] [SQL][PYTHON] Factor PythonArrowInput come simmetria per PythonArrowOutput
  • [SPARK-39651] [SQL] La condizione di filtro prune se confrontata con rand è deterministica
  • [SPARK-39877] [PYTHON] Aggiungere unpivot all'API del dataframe PySpark
  • [SPARK-39909] [SQL] Organizzare il controllo delle informazioni di push per JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Includere le statistiche di origine e i vincoli per LogicalRDD se proviene dal dataframe
  • [SPARK-39849] [SQL] Dataset.as(StructType) riempie le nuove colonne mancanti con valore Null
  • [SPARK-39860] [SQL] Più espressioni devono estendere predicato
  • [SPARK-39823] [SQL][PYTHON] Rinominare Dataset.as come Dataset.to e aggiungere DataFrame.to in PySpark
  • [SPARK-39918] [SQL][MINOR] Sostituire la parola "non confrontabile" con "incomparabile" nel messaggio di errore
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa il tipo di dati LiteralValue errato per Il predicato In
  • [SPARK-39862] [SQL] Backport manuale per pr 43654 destinato a DBR 11.x: aggiornare SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS per consentire/negare ALTER TABLE ... Comandi ADD COLUMN separatamente.
  • [SPARK-39844] [SQL] Backport manuale per pr 43652 destinato a DBR 11.x
  • [SPARK-39899] [SQL] Correzione del passaggio di parametri del messaggio a InvalidUDFClassException
  • [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Supporto di CharType in PySpark
  • [SPARK-38864] [SQL] Aggiungere unpivot/melt al set di dati
  • [SPARK-39864] [SQL] Registrare in modo differire ExecutionListenerBus
  • [SPARK-39808] [SQL] Supporto della modalità funzione di aggregazione
  • [SPARK-39875] [SQL] Modificare il protected metodo nella classe finale in private o package-visible
  • [SPARK-39731] [SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser di ora FIX
  • [SPARK-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
  • [SPARK-39784] [SQL] Inserire i valori letterali sul lato destro del filtro dell'origine dati dopo la conversione dell'espressione Catalyst nel filtro origine dati
  • [SPARK-39672] [SQL][3.1] Correzione della rimozione del progetto prima del filtro con sottoquery correlata
  • [SPARK-39552] [SQL] Unificare v1 e v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists deve gestire lo spazio dei nomi annidato
  • [SPARK-37287] [SQL] Estrarre la partizione dinamica e l'ordinamento dei bucket da FileFormatWriter
  • [SPARK-39469] [SQL] Inferenza del tipo di data per l'inferenza dello schema CSV
  • [SPARK-39148] [SQL] Il push down aggregato DS V2 può funzionare con OFFSET o LIMIT
  • [SPARK-39818] [SQL] Correzione di bug in ARRAY, STRUCT, tipi MAP con valori DEFAULT con campi NULL
  • [SPARK-39792] [SQL] Aggiungere DecimalDivideWithOverflowCheck per la media decimale
  • [SPARK-39798] [SQL] Replcace toSeq.toArray con .toArray[Any] nel costruttore di GenericArrayData
  • [SPARK-39759] [SQL] Implementare listIndexes in JDBC (dialetto H2)
  • [SPARK-39385] [SQL] Supporta il push verso il basso REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
  • [SPARK-39760] [PYTHON] Supporto di Varchar in PySpark
  • [SPARK-39557] [SQL] Backport manuale in DBR 11.x: supporta ARRAY, STRUCT, tipi MAP come valori DEFAULT
  • [SPARK-39758] [SQL][3.3] Correzione del server dei criteri di rete dalle funzioni regexp in modelli non validi
  • [SPARK-39749] [SQL] Modalità SQL ANSI: usare la rappresentazione di stringa normale per eseguire il cast di decimali in stringhe
  • [SPARK-39704] [SQL] Implementare createIndex & dropIndex & indexExists in JDBC (dialetto H2)
  • [SPARK-39803] [SQL] Usare LevenshteinDistance invece di StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Supporto del tipo TimestampNTZ nell'origine dati JDBC
  • [SPARK-39781] [SS] Aggiunta del supporto per fornire max_open_files al provider dell'archivio stati rocksdb
  • [SPARK-39719] [R] Implementare databaseExists/getDatabase nello spazio dei nomi SparkR supportato da 3L
  • [SPARK-39751] [SQL] Rinominare la metrica dei probe delle chiavi di aggregazione hash
  • [SPARK-39772] Lo spazio dei nomi [SQL] deve essere Null quando il database è Null nei costruttori precedenti
  • [SPARK-39625] [SPARK-38904][SQL] Aggiungere Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilare funzioni di aggregazione di regressione lineare predefinite per il dialetto JDBC
  • [SPARK-39720] [R] Implementare tableExists/getTable in SparkR per lo spazio dei nomi 3L
  • [SPARK-39744] [SQL] Aggiungere la REGEXP_INSTR funzione
  • [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
  • [SPARK-39788] [SQL] Rinomina catalogName in dialectName per JdbcUtils
  • [SPARK-39647] [CORE] Registrare l'executor con ESS prima di registrare BlockManager
  • [SPARK-39754] [CORE][SQL] Rimuovere gli elementi inutilizzati import o non necessari {}
  • [SPARK-39706] [SQL] Impostare la colonna mancante con defaultValue come costante in ParquetColumnVector
  • [SPARK-39699] [SQL] Rendere CollapseProject più intelligente sulle espressioni di creazione della raccolta
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devono supportare il filtro aggregato
  • [SPARK-39579] [SQL] [PYTHON] [R] Rendere ListFunctions/getFunction/functionExists compatibile con lo spazio dei nomi a 3 livelli
  • [SPARK-39627] [SQL] Il pushdown di JDBC V2 deve unificare l'API di compilazione
  • [SPARK-39748] [SQL][SS] Includere il piano logico di origine per LogicalRDD se proviene dal dataframe
  • [SPARK-39385] [SQL] Tradurre funzioni di aggregazione di regressione lineare per il pushdown
  • [SPARK-39695] [SQL] Aggiungere la REGEXP_SUBSTR funzione
  • [SPARK-39667] [SQL] Aggiungere un'altra soluzione alternativa quando la memoria non è sufficiente per compilare e trasmettere la tabella
  • [SPARK-39666] [ES-337834][SQL] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode expressionEncoder
  • [SPARK-39643] [SQL] Non consentire espressioni di sottoquery nei valori DEFAULT
  • [SPARK-38647] [SQL] Aggiungere la combinazione SupportsReportOrdering nell'interfaccia per l'analisi (DataSourceV2)
  • [SPARK-39497] [SQL] Migliorare l'eccezione di analisi della colonna chiave della mappa mancante
  • [SPARK-39661] [SQL] Evitare di creare logger SLF4J non necessari
  • [SPARK-39713] [SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per INVALID_ARRAY_INDEX errore
  • [SPARK-38899] [SQL]DS V2 supporta le funzioni datetime di push
  • [SPARK-39638] [SQL] Modificare l'uso ConstantColumnVector per archiviare le colonne di partizione in OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Eseguire la pulizia ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) da ColumnVectorUtils
  • [SPARK-39231] [SQL] Usare ConstantColumnVector anziché per archiviare le colonne di On/OffHeapColumnVector partizione in VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog non deve generare NoSuchDatabaseException in loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evitare AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN di rielaborazione
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve rispettare l'ordinamento dell'output figlio
  • [SPARK-39606] [SQL] Usare le statistiche figlio per stimare l'operatore order
  • [SPARK-39611] [PYTHON][PS] Correggere gli alias non corretti in array_ufunc
  • [SPARK-39656] [SQL][3.3] Correggere lo spazio dei nomi errato in DescribeNamespaceExec
  • [SPARK-39675] [SQL] Passare alla configurazione di 'spark.sql.codegen.factoryMode' dallo scopo di test allo scopo interno
  • [SPARK-39139] [SQL] DS V2 supporta il push della funzione definita dall'utente DS V2
  • [SPARK-39434] [SQL] Specificare il contesto della query di errore di runtime quando l'indice della matrice non è delimitato
  • [SPARK-39479] [SQL] DS V2 supporta il push delle funzioni matematiche (non ANSI)
  • [SPARK-39618] [SQL] Aggiungere la REGEXP_COUNT funzione
  • [SPARK-39553] [CORE] L'annullamento della registrazione a più thread non deve generare npe quando si usa Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Aggiungere un file per risolvere le funzioni generali pandas mancanti
  • [SPARK-39444] [SQL] Aggiungere OptimizeSubqueries nell'elenco nonExcludableRules
  • [SPARK-39316] [SQL] Merge PromotePrecision e CheckOverflow in aritmetica binaria decimale
  • [SPARK-39505] [interfaccia utente] Rendering del contenuto del log di escape nell'interfaccia utente
  • [SPARK-39448] [SQL] Aggiungi ReplaceCTERefWithRepartition nell'elenco nonExcludableRules
  • [SPARK-37961] [SQL] Eseguire l'override di maxRows/maxRowsPerPartition per alcuni operatori logici
  • [SPARK-35223] Ripristinare l'aggiunta di IssueNavigationLink
  • [SPARK-39633] [SQL] Supporto del timestamp in secondi per TimeFrame con le opzioni del dataframe
  • [SPARK-38796] [SQL] Aggiornare la documentazione per le stringhe di formato numerico con le funzioni {try_}to_number
  • [SPARK-39650] [SS] Correzione dello schema di valore non corretto nella deduplicazione di streaming con compatibilità con le versioni precedenti
  • [SPARK-39636] [CORE][interfaccia utente] Correzione di più bug in JsonProtocol, che influiscono su heap StorageLevels e Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Restituire ELEMENT_AT_BY_INDEX_ZERO da element_at(*, 0)
  • [SPARK-39349] Aggiungere un metodo CheckError centralizzato per qa del percorso di errore
  • [SPARK-39453] [SQL] DS V2 supporta il push delle funzioni non aggregate (non ANSI)
  • [SPARK-38978] [SQL] DS V2 supporta l'operatore OFFSET push down
  • [SPARK-39567] [SQL] Supportare gli intervalli ANSI nelle funzioni percentili
  • [SPARK-39383] [SQL] Supportare le colonne DEFAULT nelle origini dati ALTER TABLE ALTER COLUMNS a V2
  • [SPARK-39396] [SQL] Correzione dell'eccezione di accesso LDAP "codice di errore 49 - credenziali non valide"
  • [SPARK-39548] [SQL] Comando CreateView con una query della clausola window ha raggiunto un problema di definizione di finestra non trovato
  • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
  • [SPARK-39543] L'opzione DataFrameWriterV2 deve essere passata alle proprietà di archiviazione se il fallback a v1
  • [SPARK-39564] [SS] Esporre le informazioni della tabella del catalogo al piano logico nella query di streaming
  • [SPARK-39582] [SQL] Correzione del marcatore "Since" per array_agg
  • [SPARK-39388] [SQL] Riutilizzare orcSchema quando si esegue il push dei predicati orc
  • [SPARK-39511] [SQL] Migliorare il push verso il basso limite locale 1 per il lato destro del semi/anti join sinistro se la condizione di join è vuota
  • [SPARK-38614] [SQL] Non spingere il limite verso il basso attraverso la finestra che usa percent_rank
  • [SPARK-39551] [SQL] Aggiungere un controllo del piano non valido di AQE
  • [SPARK-39383] [SQL] Supportare le colonne DEFAULT in ALTER TABLE ADD COLUMNS to V2 data sources
  • [SPARK-39538] [SQL] Evitare di creare logger SLF4J non necessari
  • [SPARK-39383] [SQL] Backport manuale in DBR 11.x: eseguire il refactoring del supporto della colonna DEFAULT per ignorare il passaggio dell'analizzatore primario
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression per supportare alias con expression
  • [SPARK-39496] [SQL] Gestire lo struct Null in Inline.eval
  • [SPARK-39545] [SQL] Eseguire l'override concat del metodo per ExpressionSet in Scala 2.13 per migliorare le prestazioni
  • [SPARK-39340] [SQL] Il push agg di DS v2 deve consentire punti nel nome delle colonne di primo livello
  • [SPARK-39488] [SQL] Semplificare la gestione degli errori di TempResolvedColumn
  • [SPARK-38846] [SQL] Aggiungere il mapping esplicito dei dati tra tipo numerico Teradata e Spark DecimalType
  • [SPARK-39520] [SQL] Eseguire l'override -- del metodo per ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Supporto del cast di intervalli ANSI a decimali
  • [SPARK-39477] [SQL] Rimuovere le informazioni sul numero di query dai file golden di SQLQueryTestSuite
  • [SPARK-39419] [SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
  • [SPARK-39061] [SQL] Impostare i valori Nullable correttamente per Inline gli attributi di output
  • [SPARK-39320] [SQL] Supporto della funzione di aggregazione MEDIAN
  • [SPARK-39261] [CORE] Migliorare la formattazione di nuova riga per i messaggi di errore
  • [SPARK-39355] [SQL] La colonna singola usa virgolette per costruire UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigire le proprietà
  • [SPARK-37623] [SQL] Supporto della funzione di aggregazione ANSI: regr_intercept
  • [SPARK-39374] [SQL] Migliorare il messaggio di errore per l'elenco di colonne specificato dall'utente
  • [SPARK-39255] [SQL][3.3] Migliorare i messaggi di errore
  • [SPARK-39321] [SQL] Effettuare il refactoring di TryCast per usare RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Accettare una matrice NumPy in createDataFrame
  • [SPARK-39267] [SQL] Pulire il simbolo dsl non necessario
  • [SPARK-39171] [SQL] Unificare l'espressione Cast
  • [SPARK-28330] [SQL] Supporto di ANSI SQL: clausola offset dei risultati nell'espressione di query
  • [SPARK-39203] [SQL] Riscrivere la posizione della tabella nell'URI assoluto in base all'URI del database
  • [SPARK-39313] [SQL] toCatalystOrdering deve avere esito negativo se non è possibile convertire V2Expression
  • [SPARK-39301] [SQL][PYTHON] Sfruttare LocalRelation e rispettare le dimensioni del batch Arrow in createDataFrame con l'ottimizzazione freccia
  • [SPARK-39400] [SQL] spark-sql deve rimuovere il dir della risorsa Hive in tutti i casi

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.2.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 click 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facet-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 packaging 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2.20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
aggiornamenti automatici 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-08-15.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 Scopa 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compilatore 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 puntini di sospensione 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafica 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 Etichettatura 0.4.2 later 1.3.0
Lattice 0.20-45 Java 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrice 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 Concetto fondamentale 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Avanzamento 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
ricette 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
Scalabilità 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spaziale 7.3-11
Spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow freccia-vettore 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shim 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet codifica parquet 1.12.0-databricks-0004
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Spessori 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1