Condividi tramite

Databricks Runtime 12.2 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 12.2 LTS, basate su Apache Spark 3.3.2.

Databricks ha rilasciato questa versione a marzo 2023.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Modifiche comportamentali

[Modifica di rilievo] La nuova versione di Python richiede l'aggiornamento dei client Python V1 di Databricks Connect

Per applicare le patch di sicurezza necessarie, la versione di Python in Databricks Runtime 12.2 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19. Poiché queste modifiche possono causare errori nei client che usano funzioni PySpark specifiche, tutti i client che usano Databricks Connect V1 per Python con Databricks Runtime 12.2 LTS devono essere aggiornati a Python 3.9.7 o versione successiva.

Miglioramenti e nuove funzionalità

L'evoluzione dello schema Delta Lake supporta la specifica delle colonne di origine nelle istruzioni di merge

È ora possibile specificare colonne presenti solo nella tabella di origine nelle azioni di inserimento o aggiornamento per le istruzioni di merge quando l'evoluzione dello schema è abilitata. In Databricks Runtime 12.1 e versioni successive è possibile usare solo INSERT * le azioni o UPDATE SET * per l'evoluzione dello schema con merge. Vedere Evoluzione automatica dello schema per l'unione delta Lake.

I carichi di lavoro Structured Streaming sono supportati nei cluster con modalità di accesso condiviso

È ora possibile usare Structured Streaming per interagire con il catalogo Unity nei cluster condivisi. Esistono alcune limitazioni. Vedere Informazioni sulle funzionalità di Structured Streaming supportate da Unity Catalog.

Nuove funzionalità per l'I/O predittivo

Il supporto foton per il Foreachbatch sink è ora disponibile. I carichi di lavoro che eseguono il flusso da un'origine e si uniscono in tabelle Delta o scrivono in più sink possono ora trarre vantaggio dal sink fotonizzato Foreachbatch .

Supporto implicito degli alias di colonna laterale

Azure Databricks supporta ora l'aliasing implicito delle colonne laterali per impostazione predefinita. È ora possibile riutilizzare un'espressione specificata in precedenza nello stesso SELECT elenco. Ad esempio, dato SELECT 1 AS a, a + 1 AS b, l'oggetto a in a + 1 può essere risolto come l'oggetto definito 1 AS ain precedenza. Per altri dettagli nell'ordine di risoluzione, vedere Risoluzione dei nomi. Per disattivare questa funzionalità, è possibile impostare su spark.sql.lateralColumnAlias.enableImplicitResolution false.

Nuova funzionalità forEachBatch

Photon è ora supportato quando si usa foreachBatch per scrivere in un sink di dati.

Opzioni di connessione standardizzate per la federazione di query

È ora possibile usare un set unificato di opzioni (host, porta, database, utente, password) per connettersi alle origini dati supportate in Federazione query. Port è facoltativo e usa il numero di porta predefinito per ogni origine dati, a meno che non sia specificato.

Libreria di funzioni SQL estesa per la gestione di matrici

È ora possibile rimuovere tutti gli elementi NULL da una matrice usando array_compact. Per aggiungere elementi a una matrice, usare array_append.

Nuova funzione mask per rendere anonime le stringhe

Richiamare la funzione mask per rendere anonimi i valori di stringa sensibili.

Le condizioni di errore comuni restituiscono ora SQLSTATEs

La maggior parte delle condizioni di errore che Databricks Runtime include ora valori SQLSTATE documentati che possono essere usati per verificare la verifica degli errori in modo conforme allo standard SQL.

Richiamare le funzioni del generatore nella clausola FROM

È ora possibile richiamare funzioni generatori con valori di tabella, ad esempio esplodere nella clausola regolare FROM di una query. In questo modo la chiamata della funzione generatore viene allineata con altre funzioni di tabella predefinite e definite dall'utente.

Il supporto per i buffer di protocollo è disponibile a livello generale

È possibile usare le from_protobuf funzioni e to_protobuf per scambiare dati tra tipi binari e struct. Vedere Buffer del protocollo di lettura e scrittura.

Vai a definizione per le variabili e le funzioni del notebook

Nei notebook è possibile passare rapidamente alla definizione di una variabile, di una funzione o al code-behind di un'istruzione %run facendo clic con il pulsante destro del mouse sulla variabile o sul nome della funzione.

Correzione rapida del notebook per l'importazione automatica delle librerie

I notebook di Databricks offrono ora una funzionalità di correzione rapida per l'importazione automatica delle librerie. Se si dimentica di importare una libreria come pandas, passare il puntatore del mouse sull'avviso di sintassi sottolineato e quindi fare clic su Correzione rapida, per abilitare Databricks Assistant nell'area di lavoro.

Correzioni di bug

  • Maggiore coerenza per il comportamento di commit Delta per le transazioni vuote relative ai comandi update, delete e merge. Nel WriteSerializable livello di isolamento, i comandi che non comportano modifiche ora creano un commit vuoto. In un Serializable livello di isolamento, tali transazioni vuote ora non creano un commit.

Modifiche del comportamento

Modifiche del comportamento con la nuova funzionalità alias di colonna laterale

La nuova funzionalità alias di colonna laterale introduce modifiche di comportamento per i casi seguenti durante la risoluzione dei nomi:

  • L'alias di colonna laterale ha ora la precedenza sui riferimenti correlati con lo stesso nome. Ad esempio, per questa query SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), l'oggetto c1 nell'oggetto interno c1 AS c2 è stato risolto nel riferimento t.c1correlato, ma ora passa all'alias 1 AS c1di colonna laterale . La query restituisce NULLora .
  • L'alias di colonna laterale ha ora la precedenza sui parametri della funzione con lo stesso nome. Ad esempio, per la funzione , CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xl'oggetto x nel corpo della funzione è stato risolto nel parametro della funzione x, ma viene modificato in alias x + 1 di colonna laterale nel corpo della funzione. La query restituisce SELECT * FROM func(1) ora 2, 2.
  • Per disattivare la funzionalità alias di colonna laterale, impostare su spark.sql.lateralColumnAlias.enableImplicitResolution false. Per altre informazioni, vedere Risoluzione dei nomi.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • filelock da 3.8.2 a 3.9.0
    • joblib da 1.1.0 a 1.1.1
    • platformdirs dalla versione 2.6.0 alla versione 2.6.2
    • whatthepatch da 1.0.3 a 1.0.4
  • Librerie R aggiornate:
    • classe da 7.3-20 a 7.3-21
    • codetools da 0.2-18 a 0.2-19
    • MASS da 7.3-58 a 7.3-58.2
    • nlme da 3.1-160 a 3.1-162
    • Rserve da 1.8-11 a 1.8-12
    • SparkR dalla versione 3.3.1 alla versione 3.3.2

Modifiche del comportamento

  • Gli utenti devono ora disporre SELECT di privilegi e MODIFY per qualsiasi file durante la creazione di uno schema con un percorso definito.

Apache Spark

Databricks Runtime 12.2 include Apache Spark 3.3.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 12.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-42416] [SC-123205][SC-122851][SQL] Le operazioni del set di date non devono risolvere di nuovo il piano logico analizzato
  • [SPARK-41848] Ripristinare "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Correzione dell'attività over-scheduled con TaskResourceProfile"
  • [SPARK-42162] [SC-122711][ES-556261] Introdurre l'espressione MultiCommutativeOp come ottimizzazione della memoria per la canonizzazione di grandi alberi di espressioni commutative
  • [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Correzione dell'impostazione della profondità ricorsiva per le funzioni Protobuf
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implementare DataFrameWriterV2
  • [SPARK-41716] [SC-122545][CONNECT] Rinominare _catalog_to_pandas in _execute_and_fetch nel catalogo
  • [SPARK-41490] [SC-121774][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implementare Catalog.cacheTable, isCached e uncache
  • [SPARK-42191] [SC-121990][SQL] Supporto di udf 'luhn_check'
  • [SPARK-42253] [SC-121976][PYTHON] Aggiungere il test per rilevare la classe di errore duplicata
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON] Aggiungere UserDefinedType in protos
  • [SPARK-42231] [SC-121841][SQL] Trasforma MISSING_STATIC_PARTITION_COLUMN in internalError
  • [SPARK-42136] [SC-122554] Eseguire il refactoring del calcolo del partizionamento dell'output BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][SQL] Integrazione _LEGACY_ERROR_TEMP_1003 in FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PYTHON] Eseguire la migrazione di TypeError da pyspark/sql/dataframe.py a PySparkTypeError
  • [SPARK-35240] Ripristinare "[SC-118242][SS] Usare CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1176 (e 1177)
  • [SPARK-42232] [SC-122267][SQL] Rinominare la classe di errore: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL] Riscrivere aggregazioni distinte dopo l'unione di sottoquery
  • [SPARK-42306] [SC-122539][SQL] Integrazione _LEGACY_ERROR_TEMP_1317 in UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL] Rinominare la classe di errore: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][CORE] Ignorare IOException in handleBlockRemovalFailure se SparkContext viene arrestato
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] Rinominare le classi di errore
  • [SPARK-42320] [SC-122478][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient supporta ora RetryPolicies
  • [SPARK-38728] [SC-116723][SQL] Testare la classe di errore: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Esempi autonomi in PySpark
  • [SPARK-39347] [SC-122457][SS] Correzione di bug per il calcolo dell'intervallo di tempo quando l'ora < dell'evento 0
  • [SPARK-42336] [SC-122458][CORE] Usare getOrElse() invece di contains() in ResourceAllocator
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON] Funzione definita dall'utente Pandas in Spark Connect
  • [SPARK-42217] [SC-122263][SQL] Supportare l'alias di colonna laterale implicito nelle query con Window
  • [SPARK-35240] [SC-118242][SS] Usare CheckpointFileManager per la manipolazione dei file di checkpoint
  • [SPARK-42294] [SC-122337][SQL] Includere i valori predefiniti della colonna nell'output DESCRIBE per le tabelle V2
  • [SPARK-41979] Ripristinare "Ripristina "[12.x][SC-121190][SQL] Aggiungere punti mancanti per i messaggi di errore nelle classi di errore"."
  • [SPARK-42286] [SC-122336][SQL] Eseguire il fallback al percorso di codice codegen precedente per espr complesso con CAST
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON] Evitare di usare l'elenco predefinito, dict nella digitazione statica
  • [SPARK-41985] [SC-122172][SQL] Centralizzare più regole di risoluzione delle colonne
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT] Accettare il tipo restituito nelle stringhe DDL per le funzioni definite dall'utente scalari Python in Spark Connect
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT] Riutilizza l'inizializzazione di JVM e gruppi di configurazione separati da impostare in modalità locale remota
  • [SPARK-41575] [SC-120118][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Ripristinare "[SC-122172][SQL] Centralizzare più regole di risoluzione delle colonne"
  • [SPARK-42123] [SC-122234][SC-121453][SQL] Includere i valori predefiniti della colonna nell'output DESCRIBE e SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172][SQL] Centralizzare più regole di risoluzione delle colonne
  • [SPARK-42284] [SC-122233][CONNECT] Assicurarsi che l'assembly del server di connessione venga compilato prima di eseguire test client - SBT
  • [SPARK-42239] [SC-121790][SQL] Integrare MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][SQL] Il pushdown di DS V2 supporta la compilazione SortOrder di dialetti JDBC autonomamente
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics deve occuparsi di Python UDAF
  • [SPARK-41979] Ripristinare "[12.x][SC-121190][SQL] Aggiungere punti mancanti per i messaggi di errore nelle classi di errore".
  • [SPARK-42224] [12.x][SC-121708][CONNECT] Eseguire la migrazione di TypeError nel framework degli errori per le funzioni Spark Connect
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Eseguire la migrazione degli errori di Spark Connect nel framework di errore PySpark.
  • [SPARK-42119] [SC-121913][SC-121342][SQL] Aggiungere funzioni predefinite con valori di tabella inline e inline_outer
  • [SPARK-41489] [SC-121713][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Introduzione a PySparkValueError e PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL] Migliorare la convalida delle modifiche del piano
  • [SPARK-42225] [12.x][SC-121714][CONNECT] Aggiungere SparkConnectIllegalArgumentException per gestire esattamente l'errore Spark Connect.
  • [SPARK-42044] [12.x][SC-121280][SQL] Correzione del messaggio di errore non corretto per MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS] Consente il parametro columns durante la creazione di dataframe con serie.
  • [SPARK-42078] [12.x][SC-120761][PYTHON] Eseguire la migrazione degli errori generati da JVM in PySparkException.
  • [SPARK-42133] [12.x][SC-121250] Aggiungere metodi API set di dati di base a SparkConnect Scala Client
  • [SPARK-41979] [12.x][SC-121190][SQL] Aggiungere punti mancanti per i messaggi di errore nelle classi di errore.
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Funzione definita dall'utente Python inline scalare in Spark Connect
  • [SPARK-42051] [SC-121994][SQL] Supporto di Codegen per HiveGenericUDF
  • [SPARK-42257] [SC-121948][CORE] Rimuovere l'ordinamento esterno della variabile inutilizzata
  • [SPARK-41735] [SC-121771][SQL] Usare MINIMAL anziché STANDARD per SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL] Raffinare NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL] Migliorare il messaggio di errore per PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE] Eseguire la migrazione SparkCoreErrors in classi di errore
  • [SPARK-42163] [SC-121839][SQL] Correzione dell'eliminazione dello schema per l'indice di matrice non piegabile o la chiave della mappa
  • [SPARK-40711] [SC-119990][SQL] Aggiungere le metriche delle dimensioni della spill per la finestra
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Creare createDataFrame una coercizione del supporto AtomicType -> StringType
  • [SPARK-42202] [SC-121837][Connetti][Test] Migliorare la logica di arresto del server di test E2E
  • [SPARK-41167] [SC-117425][SQL] Migliorare le prestazioni multi like creando un predicato albero delle espressioni bilanciato
  • [SPARK-41931] [SC-121618][SQL] Messaggio di errore migliore per la definizione incompleta del tipo complesso
  • [SPARK-36124] [SC-121339][SC-110446][SQL] Supporto di sottoquery con correlazione tramite UNION
  • [SPARK-42090] [SC-121290][3.3] Introdurre il conteggio dei tentativi sasl in RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR deve fornire l'utilità di pianificazione FAIR
  • [SPARK-41572] [SC-120772][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL] Rinomina e migliora messaggio di errore per NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL] Migliorare il messaggio di errore per INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573] Assegnare SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Tentativi di richiesta SASL
  • [SPARK-38591] [SC-121018][SQL] Aggiungere flatMapSortedGroups e cogroupSorted
  • [SPARK-41975] [SC-120767][SQL] Migliorare il messaggio di errore per INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Aggiungere opzioni mancanti per le funzioni Protobuf
  • [SPARK-41984] [SC-120769][SQL] Rinomina e migliora messaggio di errore per RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL] Correzione del server dei criteri di rete per le classi di errore: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON] Correzione del nome di colonna non corretto nel withFielddocumento
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON] Aggiungi array_append a Connetti
  • [SPARK-41960] [SC-120773][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL] Correzione di getPartitionFiltersAndDataFilters() per gestire i filtri senza attributi a cui si fa riferimento
  • [SPARK-42096] [SC-121012][CONNECT] Pulizia del codice per connect il modulo
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Correzione count(*) e count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL] Modalità SQL ANSI: Round/Bround dovrebbe restituire un errore in caso di overflow intero
  • [SPARK-42043] [SC-120968][CONNECT] Risultato client Scala con test E2E
  • [SPARK-41884] [SC-121022][CONNECT] Supportare una tupla naïve come riga nidificata
  • [SPARK-42112] [SC-121011][SQL][SS] Aggiungere un controllo Null prima ContinuousWriteRDD#compute della chiusura della funzione dataWriter
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON] Il valore letterale deve generare TypeError per un tipo di dati non supportato
  • [SPARK-42108] [SC-120898][SQL] Trasformare Analizzatore Count(*) in Count(1)
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON] Supporto di SQL con parametri per sql()
  • [SPARK-40599] [SC-120930][SQL] Relax multiTransform rule type to allow alternatives to be any kinds of Seq
  • [SPARK-41574] [SC-120771][SQL] Aggiornare _LEGACY_ERROR_TEMP_2009 come INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][SQL] Trasforma INCORRECT_END_OFFSET in INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE] Rinominare MedianHeap in PercentileMap e supportare percentile
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Correzione della rappresentazione di stringa per la classe Column
  • [SPARK-42084] [SC-120775][SQL] Evitare la perdita della restrizione di sola accesso qualificato
  • [SPARK-41973] [SC-120765][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL] SPJ: Rimuovi opzione in KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][CONNECT][PYTHON] Rinominare i messaggi proto per toDF e withColumnsRenamed
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON] Risolvere i problemi relativi al nome della variabile nelle funzioni lambda annidate
  • [SPARK-41982] [SC-120604][SQL] Le partizioni di tipo string non devono essere considerate come tipi numerici
  • [SPARK-40599] [SC-120620][SQL] Aggiungere metodi multiTransform a TreeNode per generare alternative
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON] Supporto dei from_arrow_schema tipi annidati
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] Correzione del modo in cui viene gestita l'eccezione nella segnalazione errori.
  • [SPARK-41586] [12.x][TUTTI I TEST][SC-120544][PYTHON] Introdurre pyspark.errors classi di errore e per PySpark.
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal deve supportare 1-dim ndarray
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON] Supporto createDataFramearray.array
  • [SPARK-41896] [SC-120506][SQL] Il filtro in base all'indice di riga restituisce risultati vuoti
  • [SPARK-41162] [SC-119742][SQL] Correzione di anti-join e semi-join per il self-join con le aggregazioni
  • [SPARK-41961] [SC-120501][SQL] Supportare funzioni con valori di tabella con LATERAL
  • [SPARK-41752] [SC-120550][SQL][interfaccia utente] Raggruppare le esecuzioni annidate nell'esecuzione radice
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Il valore letterale deve supportare i tipi di dati Numpy
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON] Troncamento di nanosecondi timestampsl
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implementare DataFrameReader.csv
  • [SPARK-41990] [SC-120532][SQL] Usare FieldReference.column invece di nella conversione da apply V1 a V2 del filtro
  • [SPARK-39217] [SC-120446][SQL] Rende il supporto DPP sul lato di eliminazione ha Unione
  • [SPARK-42076] [SC-120551][CONNECT][PYTHON] Conversione dei dati dei fattori arrow -> rows in conversion.py
  • [SPARK-42074] [SC-120540][SQL] Abilitare KryoSerializer in TPCDSQueryBenchmark per applicare la registrazione della classe SQL
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implementare DataFrameReader.orc
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON] Correzione DataFrame.unionByNamedi , aggiunta di allow_missing_columns
  • [SPARK-38651] [SC-120514] [SQL] Aggiungere spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert deve accettare ExpressionProxy come figlio
  • [SPARK-41232] [SC-120073][SQL][PYTHON] Aggiunta di array_append funzione
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader deve supportare l'elenco dei percorsi
  • [SPARK-42071] [SC-120533][CORE] Registrarsi scala.math.Ordering$Reverse a KyroSerializer
  • [SPARK-41986] [SC-120429][SQL] Introdurre shuffle in SinglePartition
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON] Abilitare i test correlati alla colonna nidificata
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader deve supportare lo schema StructType
  • [SPARK-42031] [SC-120389][CORE][SQL] Pulire i remove metodi che non richiedono l'override
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Supporto dei createDataFrame(rows/lists/tuples/dicts) tipi annidati
  • [SPARK-41437] [SC-117601][SQL][TUTTI I TEST] Non ottimizzare due volte la query di input per il fallback di scrittura v1
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON] Aggiungere l'alias mancante groupby
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON] Abilitare doctest per le funzioni finestra
  • [SPARK-41914] [SC-120094][SQL] FileFormatWriter materializza il piano AQE prima di accedere a outputOrdering
  • [SPARK-41805] [SC-119992][SQL] Riutilizzare le espressioni in WindowSpecDefinition
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range per accettare float come argomenti
  • [SPARK-42029] [SC-120336][CONNECT] Aggiungere regole di Guava Shading per connect-common evitare errori di avvio
  • [SPARK-41989] [SC-120334][PYTHON] Evitare l'interruzione della configurazione della registrazione da pyspark.pandas
  • [SPARK-42003] [SC-120331][SQL] Ridurre il codice duplicato in ResolveGroupByAll
  • [SPARK-41635] [SC-120313][SQL] Correggere il gruppo in base a tutte le segnalazioni di errori
  • [SPARK-41047] [SC-120291][SQL] Migliorare la documentazione per l'arrotondamento
  • [SPARK-41822] [SC-120122][CONNECT] Configurare la connessione gRPC per il client Scala/JVM
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON] Supporto dei DataFrame.collect tipi annidati
  • [SPARK-41887] [SC-120268][CONNECT][PYTHON] Impostare DataFrame.hint il parametro tipizzato per l'elenco di accettazione
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON] Aggiungere l'elenco delle funzioni I/O non supportate
  • [SPARK-41595] [SC-120097][SQL] Funzione del generatore di supporto esplodere/explode_outer nella clausola FROM
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON] Abilitare il documento per DataFrame.hint
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] DataFrame.intersect L'output doctest ha un ordine diverso
  • [SPARK-41442] [SC-117795][SQL][TUTTI I TEST] Aggiornare solo il valore SQLMetric se si esegue l'unione con una metrica valida
  • [SPARK-41944] [SC-120046][CONNECT] Passare le configurazioni quando la modalità remota locale è attivata
  • [SPARK-41708] [SC-119838][SQL] Eseguire il pull delle informazioni sulla versione 1write in WriteFiles
  • [SPARK-41780] [SC-120000][SQL] Dovrebbe generare INVALID_PARAMETER_VALUE. PATTERN quando i regexp parametri non sono validi
  • [SPARK-41889] [SC-119975][SQL] Collegare la causa radice alle classi di errore invalidPatternError e refactoring INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL] Creare classi case avroScanBuilder e JsonScanBuilder
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: connettere i dati delle colonne persi dal client con pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Codificatori indipendenti
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implementare RepartitionByExpression
  • [SPARK-41581] [SC-119997][SQL] Aggiorna _LEGACY_ERROR_TEMP_1230 come INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON] Aggiungere l'elenco non supportato per functions
  • [SPARK-41933] [SC-119980][CONNECT] Specificare la modalità locale che avvia automaticamente il server
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' deve rispettare lo schema DDL fornito dall'utente
  • [SPARK-41936] [SC-119978][CONNECT][PYTHON] Riutilizzare withMetadata il withColumns proto
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typechecking parity with pyspark
  • [SPARK-41939] [SC-119977][CONNECT][PYTHON] Aggiungere l'elenco non supportato per catalog le funzioni
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON] Make StructType supporta i metadati e Implementa DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON] Aggiungere l'elenco di funzioni non supportate per session
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON] Aggiungere test case per Dataset.to()
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ingore il documento per spiegare la connessione
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON] Rendere la funzione from_json accettare uno schema non letterale
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON] Aggiungere l'elenco non supportato per GroupedData
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON] Aggiungere una funzione array_compact
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON] Imposta GroupBy l'elenco di colonne accept
  • [SPARK-41925] [SC-119905][SQL] Abilita spark.sql.orc.enableNestedColumnVectorizedReader per impostazione predefinita
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON] Imposta DataFrame.select l'elenco di colonne accept
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON] Eliminare DataFrame.collect le informazioni sul fuso orario
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON] Aggiungere DataFrame.writeTo all'elenco non supportato
  • [SPARK-41912] [SC-119837][SQL] La sottoquery non deve convalidare il CTE
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Supporto createDataFrame del dataframe vuoto
  • [SPARK-41905] [SC-119848][CONNECT] Supporto del nome come stringhe nella sezione
  • [SPARK-41869] [SC-119845][CONNECT] Rifiutare una singola stringa in dropDuplicates
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON] Accettare DataFrame.sample gli stessi parametri di PySpark
  • [SPARK-41849] [SC-119835][CONNECT] Implementare DataFrameReader.text
  • [SPARK-41861] [SC-119834][SQL] Eseguire l'analisi tipizzata build() di ScanBuilders v2
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON] Abilitare i documenti correlati a DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Make createDataFrame handle None/NaN correttamente
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Make DataFrame.collect handle None/NaN/Array/Binary porperly
  • [SPARK-39318] [SC-119713][SQL] Rimuovere i file d'oro tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Aggiungere nuovi tipi di colonna dei metadati dell'origine file
  • [SPARK-41790] [SC-119729][SQL] Impostare correttamente il formato del lettore e del writer TRANSFORM
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON] Aggiungere il parametro di ordinamento mancante in Sort e sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON] Correzione del test del documento per DataFrame.describe
  • [SPARK-41871] [SC-119714][CONNECT] Il parametro hint del dataframe può essere str, float o int
  • [SPARK-41720] [SC-119076][SQL] Rinominare UnresolvedFunc in UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL] Correzione del bug di correzione relativo ai valori DEFAULT nel lettore Orc
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Riutilizzare INVALID_TYPED_LITERAL invece di _LEGACY_ERROR_TEMP_0022

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 12.2.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.19
  • R: 4.2.2
  • Delta Lake: 2.2.0

Librerie Python installate

Library Versione Library Versione Library Versione
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttoken 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facet-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy 1.21.5 packaging 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-11-11.

Library Versione Library Versione Library Versione
freccia 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
Scopa 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compilatore 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
puntini di sospensione 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafica 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
Etichettatura 0.4.2 later 1.3.0 Lattice 0.20-45
Java 1.7.0 lifecycle 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 Concetto fondamentale 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 ricette 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spaziale 7.3-11 Spline 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
Sopravvivenza 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow freccia-vettore 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shim 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet codifica parquet 1.12.3-databricks-0002
org.apache.parquet strutture parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Spessori 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1