Condividi tramite

Databricks Runtime 13.3 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 13.3 LTS, con tecnologia Apache Spark 3.4.1.

Databricks ha rilasciato questa versione nell'agosto 2023.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Miglioramenti e nuove funzionalità

Supporto scala per i cluster condivisi

I cluster condivisi abilitati per Unity supportano ora Scala, quando si usa Databricks Runtime 13.3 e versioni successive.

L'elenco elementi consentiti per script init, JAR e coordinate Maven nei cluster condivisi del catalogo Unity è disponibile in anteprima pubblica

È ora possibile usare il catalogo unity allowlist per controllare l'installazione di script init, JAR e coordinate Maven nel calcolo con la modalità di accesso condiviso che esegue Databricks Runtime 13.3 e versioni successive. Si veda Librerie Allowlist e script di init su calcolo condiviso.

Il supporto dei volumi per script init e JAR è disponibile in anteprima pubblica

È ora possibile usare i volumi di catalogo Unity per archiviare script init e JAR nel calcolo con modalità di accesso assegnato o condiviso che eseguono Databricks Runtime 13.3 e versioni successive. Si veda Dove è possibile installare gli script init? e le librerie con ambito cluster.

Lanci sicuri abilitati in maniera predefinita per le operazioni di Delta Lake

Le operazioni delta UPDATE e MERGE ora generano un errore quando non è possibile eseguire il cast sicuro dei valori al tipo nello schema della tabella di destinazione. Tutti i cast impliciti in Delta seguono spark.sql.storeAssignmentPolicy ora anziché spark.sql.ansi.enabled. Vedere Conformità ANSI in Databricks Runtime.

Introduzione ai tag con Unity Catalog

Con Databricks Runtime 13.3 LTS e versioni successive, è possibile applicare tag agli oggetti a protezione diretta. I tag consentono di organizzare gli oggetti a protezione diretta e semplificare la ricerca e l'individuazione degli asset di dati. Vedere Applicare tag a oggetti a protezione diretta del catalogo Unity.

Databricks Runtime restituisce un errore se un file viene modificato tra la pianificazione delle query e la chiamata

Le query di Databricks Runtime ora restituiscono un errore se un file viene aggiornato tra la pianificazione delle query e la chiamata. Prima di questa modifica, Databricks Runtime leggeva un file tra queste fasi, che a volte causa risultati imprevedibili.

Sovrascrivere lo schema di blocco quando si usano sovrascrizioni di partizione dinamica

Non è possibile impostare su overwriteSchema true in combinazione con sovrascrizioni di partizione dinamica in Delta Lake. In questo modo si evita un possibile danneggiamento della tabella a causa della mancata corrispondenza dello schema. Vedere Sovrascrivere le partizioni dinamiche.

Integrare l'API copyFile in dbutils.fs.cp

Il comando dbutils.fs.cp dbutils copy è ora ottimizzato per una copia più veloce. Con questo miglioramento, le operazioni di copia possono essere fino a 100 volte più velocemente, a seconda delle dimensioni del file. La funzionalità è disponibile in tutti i file system accessibili in Azure Databricks, inclusi i volumi del catalogo Unity e i montaggi del file system di Databricks.

Supporto del driver ODBC/JDBC di Databricks

Azure Databricks supporta i driver ODBC e JDBC rilasciati negli ultimi 2 anni. Scaricare il driver più recente in Scaricare il driver ODBC e scaricare il driver JDBC.

Supporto per marcatori di parametro senza nome (posizionale)

L'API SparkSession.sql() supporta ora query con parametri usando la ? sintassi oltre alle query con parametri usando la :parm sintassi . Vedere i marcatori di parametro.

Abilitare l'etichettatura delle colonne delle serie temporali

È ora possibile etichettare le colonne time series durante la creazione di vincoli di chiave primaria.

Nuove funzioni SQL bitmap

Azure Databricks ha ora fornito un set di funzioni che possono essere usate per eseguire il mapping dei valori numerici integrali in una bitmap e aggregarli. Può essere usato per pre-calcolare il numero di valori distinti.

Funzioni di crittografia migliorate

Le funzioni di aes_encrypt, aes_decrypt e try_aes_decrypt sono state migliorate grazie al supporto per i vettori di inizializzazione (IV) e i dati aggiuntivi autenticati (AAD).

Supporto del catalogo Unity per REFRESH FOREIGN

È ora possibile aggiornare cataloghi, schemi e tabelle esterne nel catalogo unity usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAe REFRESH FOREIGN TABLE. Vedere REFRESH FOREIGN (CATALOG, SCHEMA e TABLE).

INSERT BY NAME

Quando si inseriscono righe in una tabella, è ora possibile consentire ad Azure Databricks di eseguire automaticamente il mapping di colonne e campi nella query di origine alle colonne della tabella in base al nome. Vedere INSERT INTO.

Condividere visualizzazioni materializzate con condivisione differenziale

L'istruzione ALTER SHARE supporta ora le viste materializzate.

Modifiche di rilievo

Modifiche al cast implicito durante l'archiviazione di righe in una tabella con MERGE INTO e UPDATE

Azure Databricks segue ora la configurazione spark.sql.storeAssignmentPolicy per il cast implicito durante l'archiviazione di righe in una tabella. Il valore ANSI predefinito genera un errore durante l'archiviazione dei valori di overflow. In precedenza, i valori verrebbero archiviati come NULL per impostazione predefinita.

Come nell'esempio seguente, è possibile risolvere gli overflow riscrivendo la tabella per usare un tipo più ampio per la colonna che causa l'errore.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Modifiche all'inferenza dello schema Parquet

Quando si deduceno schemi da file Parquet non scritti da Spark, int64 per impostazione predefinita le colonne timestamp con annotate con isAdjustedToUTC=false verranno digitate per impostazione predefinita TIMESTAMP_NTZ . In precedenza, questi sono stati dedotti come TIMESTAMP tipo. Questo aggiornamento migliora l'accuratezza del mapping dei tipi Parquet ai tipi Spark SQL.

Di conseguenza, la lettura di dati da file Parquet esterni in una tabella Delta può causare un errore se la timestampNtz funzionalità non è abilitata. L'errore verrà visualizzato come segue:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Per mantenere il comportamento precedente e prevenire questo errore, è possibile impostare il parametro spark.sql.parquet.inferTimestampNTZ.enabled di configurazione spark su false.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • debugpy da 1.5.1 a 1.6.0
    • distlib da 0.3.6 a 0.3.7
    • fastjsonschema da 2.16.3 a 2.18.0
    • filelock da 3.12.0 a 3.12.2
  • Librerie R aggiornate:
    • SparkR dalla versione 3.4.0 alla versione 3.4.1
  • Librerie Java aggiornate:
    • org.apache.orc.orc-core da 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce da 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims da 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.xerial.snappy.snappy-java da 1.1.8.4 a 1.1.10.1

Apache Spark

Databricks Runtime 13.3 include Apache Spark 3.4.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • È ora possibile impostare la variabile di ambiente del cluster per usare il connettore SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Ripristinare "[SC-133100][SQL] Correzione del tipo di dati Avro conver...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Scaricare il provider forzando così la chiusura e il rilascio delle risorse nell'errore dell'attività di manutenzione
  • [SPARK-44059] [SC-137023] Aggiungere il supporto dell'analizzatore degli argomenti denominati per le funzioni predefinite
  • [SPARK-44485] [SC-137653][SQL] Ottimizzare TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Streaming ForeachBatch in Python
  • [SPARK-44446] [SC-136994][PYTHON] Aggiungere controlli per i casi speciali relativi al tipo di elenco previsto
  • [SPARK-44439] [SC-136973][CONNECT][SS]Correzione di listListeners per inviare solo gli ID al client
  • [SPARK-44216] [SC-136941] [PYTHON] Rendere pubblica l'API assertSchemaEqual
  • [SPARK-44201] [SC-136778][CONNECT][SS]Aggiunta del supporto per il listener di streaming in Scala per Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Ripristinare "[SC-133990][SQL][PYTHON] Supportare le funzioni di tabella definite dall'utente python"
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][CORE][CONNECT] Correzione del popolamento di artefatti per un oggetto JobArtifactState senza elementi associati
  • [SPARK-44269] [SC-135817][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] Aggiornare gli argomenti TVF per richiedere parentesi intorno all'identificatore dopo la parola chiave TABLE
  • [SPARK-43915] [SC-134766][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Aggiungere il supporto per UDFRegistration al client Scala connect
  • [SPARK-44109] [SC-134755][CORE] Rimuovere percorsi preferiti duplicati di ogni partizione RDD
  • [SPARK-44169] [SC-135497][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][CORE][interfaccia utente] Colonna di supporto Heap Histogram nella Executors scheda
  • [SPARK-44044] [SC-135695][SS] Miglioramento del messaggio di errore per le funzioni window con streaming
  • [SPARK-43914] [SC-135414][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Consenti precisione personalizzata per l'uguaglianza fp circa
  • [SPARK-44370] [SC-136575][CONNECT] Eseguire la migrazione di Buf remote generation alpha a plug-in remoti
  • [SPARK-44410] [SC-136930][PYTHON][CONNECT] Impostare la sessione attiva in crea, non solo getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Ripristinabile test_artifact con modifiche rilevanti
  • [SPARK-44145] [SC-136698][SQL] Callback quando è pronto per l'esecuzione
  • [SPARK-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
  • [SPARK-43986] [SC-135623][SQL] Creare classi di errore per gli errori delle chiamate di funzione HyperLogLog
  • [SPARK-44139] [SC-134967][SQL] Rimuovere completamente i filtri di cui è stato eseguito il push nelle operazioni MERGE basate su gruppo
  • [SPARK-44338] [SC-136718][SQL] Correzione del messaggio di errore di mancata corrispondenza dello schema di visualizzazione
  • [SPARK-44208] [SC-135505][CORE][SQL] Assegnare nomi di classi di errore non crittografati per una logica che usa direttamente le eccezioni
  • [SPARK-44364] [SC-136773] [PYTHON] Aggiunta del supporto per il tipo di dati List[Row] per il previsto
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils deve applicare ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL] Aggiunta di un controllo Null per l'opzione lineSep
  • [SPARK-44388] [SC-136695][CONNECT] Correzione del problema di cast protobuf quando viene aggiornata l'istanza della funzione definita dall'utente
  • [SPARK-44352] [SC-136373][CONNECT] Ripristinare lo stesso tipo e gli amici in DataType.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2: Gestire i comandi UPDATE per le origini basate su gruppi
  • [SPARK-44360] [SC-136461][SQL] Supportare l'eliminazione dello schema nelle operazioni MERGE basate su delta
  • [SPARK-44138] [SC-134907][SQL] Impedire espressioni non deterministiche, sottoquery e aggregazioni nelle condizioni MERGE
  • [SPARK-43321] [SC-136678][Connetti][Followup] Nomi migliori per le API usate in Join client ScalaWith
  • [SPARK-44263] [SC-136447][CONNECT] Supporto di intercettori personalizzati
  • [SPARK-39851] [SC-123383][SQL] Migliorare la stima delle statistiche di join se un lato può mantenere l'univocità
  • [SPARK-44390] [SC-136677][CORE][SQL] Rinominare SparkSerDerseUtils in SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Assegnare il nome e migliorare il messaggio di errore per errori LEGACY frequenti.
  • [SPARK-44322] [SC-136204][CONNECT] Rendere il parser usare SqlApiConf anziché SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Spostare le funzioni predefinite dei valori da StructType a ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI] Correzione dell'errore di ordinamento della colonna ID executor nella pagina dell'interfaccia utente executor
  • [SPARK-44282] [SC-135948][CONNECT] Preparare l'analisi di DataType per l'uso in Spark Connect Scala Client
  • [SPARK-44349] [SC-136581][R] Aggiungere funzioni matematiche a SparkR
  • [SPARK-44397] [SC-136647][PYTHON] Esporre assertDataFrameEqual in pyspark.testing.utils
  • [SPARK-42981] [SC-136620][CONNECT] Aggiungere la serializzazione con freccia diretta
  • [SPARK-44373] [SC-136577][SQL] Eseguire il wrapping conActive per l'API del set di dati con la logica di analisi per rendere il lavoro di configurazione correlato al parser
  • [SPARK-44340] [SC-136574][SQL] Definire la logica di calcolo tramite l'API PartitionEvaluator e usarla in WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][CONNECT][PS] Abilitare PandasSQLStringFormatter.vformat per l'uso con Spark Connect
  • [SPARK-44325] [SC-136572][SQL] Usare l'API PartitionEvaluator in SortMergeJoinExec
  • [SPARK-44315] [SC-136171][SQL][CONNECT] Spostare DefinedByConstructorParams in sql/api
  • [SPARK-44275] [SC-136184][CONNECT] Aggiungere un meccanismo di ripetizione dei tentativi configurabile a Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Spostare le utilità usate dal client Scala ai moduli comuni
  • [SPARK-43321] [SC-136156][Connetti] Set di dati#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] Preparare ScalaReflection al passaggio a SQL/API
  • [SPARK-44313] [SC-136081][SQL] Correzione della convalida dell'espressione di colonna generata quando è presente una colonna char/varchar nello schema
  • [SPARK-43963] [SC-134145][SQL] DataSource V2: Gestire i comandi MERGE per le origini basate su gruppi
  • [SPARK-44363] [SC-136433] [PYTHON] Visualizzare la percentuale di righe diverse nel confronto tra dataframe
  • [SPARK-44251] [SC-136432][SQL] Impostare i valori Nullable correttamente sulla chiave join unioneta in full outer using join
  • [SPARK-43948] [SC-133366][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Aggiungere hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt a Scala e Python
  • [SPARK-44351] [SC-136353][SQL] Effettuare una certa semplificazione sintattica
  • [SPARK-44281] [SC-135963][SQL] Spostare l'errore QueryCompilation usato da DataType in sql/api come DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT] Spostare l'origine in SQL/API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Aggiungere array_agg, array_size, cardinalità, count_min_sketch, mask, named_struct,json_* a Scala e Python
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Aggiungere funzioni any e len a Scala
  • [SPARK-44290] [SC-136300][CONNECT] File e archivi basati su sessione in Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] Aggiungere la funzione assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Aggiungere funzioni bitmap a Scala e Python
  • [SPARK-44342] [SC-136334][SQL] Sostituire SQLContext con SparkSession per GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Rimuovere il outer join se sono tutte funzioni di aggregazione distinte
  • [SPARK-44333] [SC-136206][CONNECT][SQL] Spostare EnhancedLogicalPlan da ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Aggiungere funzioni try_* a Scala e Python
  • [SPARK-44193] [SC-135886][CONNECT] Implementare l'intercettazione delle eccezioni GRPC per la conversione
  • [SPARK-44284] [SC-136107][CONNECT] Creare un sistema conf semplice per sql/api
  • [SPARK-43913] [SC-133368][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Ripristinare "[SC-135924][SPARK-43416][CONNECT] Correzione dello schema non corretto per la query di intervallo"
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] Consenti di impostare un agente utente con una variabile di ambiente
  • [SPARK-44154] [SC-136060] Implementare funzioni bitmap
  • [SPARK-43885] [SC-133996][SQL] DataSource V2: Gestire i comandi MERGE per le origini basate su delta
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Aggiungere funzioni misc a Scala e Python
  • [SPARK-43969] [SC-134556][SQL] Effettuare il refactoring e assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Correzione del percorso incoerente tra le operazioni di catalogo e dati
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Aggiungere funzioni di data e ora a Scala, Python e Connect - parte 2
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Aggiungere funzioni stringa a Scala e Python - parte 1
  • [SPARK-44266] [SC-135813][SQL] Spostare Util.truncatedString in sql/api
  • [SPARK-44195] [SC-135722][R] Aggiungere API JobTag a SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Supportare la regola del parser degli argomenti TABLE per TableValuedFunction
  • [SPARK-44254] [SC-135709][SQL] Spostare QueryExecutionErrors usato da DataType in sql/api come DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Correzione dello schema non corretto per la query di intervallo
  • [SPARK-43922] [SC-135612][SQL] Aggiungere il supporto dei parametri denominati nel parser per le chiamate di funzione
  • [SPARK-44300] [SC-135882][CONNECT] Correzione della pulizia degli artefatti per limitare l'ambito di eliminazione agli artefatti specifici della sessione
  • [SPARK-44293] [SC-135849][CONNECT] Correzione dell'URI non valido per i file JAR personalizzati in Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Se i blocchi di num sono 0, il server deve generare un'eccezione RuntimeException
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deve essere illustrativo
  • [SPARK-44274] [SC-135814][CONNECT] Spostare le funzioni util usate da ArtifactManager in common/utils
  • [SPARK-44194] [SC-135815][PYTHON][CORE] Aggiungere API JobTag a PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Annotazioni di tipo Python più esplicite per GroupedData
  • [SPARK-44079] [SC-135486][SQL] Correzione ArrayIndexOutOfBoundsException dell'analisi della matrice come struct usando la modalità PERMISSIVE con record danneggiato
  • [SPARK-44255] [SC-135809][SQL] Rilocare StorageLevel in common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementare la generazione di codice per la funzione to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Effettuare il refactoring di PythonUDTFRunner per inviare separatamente il tipo restituito
  • [SPARK-43353] [SC-132734][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementare SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] deve comunque creare subDir quando il numero di subDir in merge dir è minore di conf
  • [SPARK-41599] [SC-135616] Perdita di memoria in FileSystem.CACHE durante l'invio di app a un cluster sicuro tramite InProcessLauncher
  • [SPARK-44241] [SC-135613][Core] Impostare erroneamente io.connectionTimeout/connectionCreationTimeout su zero o negativo causerà cons/distruzione incessanti executor
  • [SPARK-44133] [SC-134795][13.X][PYTHON] Aggiornare MyPy dalla versione 0.920 alla versione 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Serde evento in formato JSON
  • [SPARK-44188] [SC-135173][CORE] Rimuovere il metodo inutile resetAllPartitions in ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] Modificare la compatibilità client dall'elenco consenti all'elenco di rifiuto
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Aggiungere un accesso spark connect ai dataframe di runtime in base all'ID.
  • [SPARK-44183] [SC-135209][PYTHON] Creare la PyArrow versione minima alla versione 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Aggiungere un percorso preferito nell'origine kafka v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Aggiungere funzioni di data e ora all'API Scala, Python e Connect - parte 1
  • [SPARK-44161] [SC-135326][Connetti] Gestire l'input di riga per le funzioni definite dall'utente
  • [SPARK-44227] [SC-135520][SQL] Estrarre SchemaUtils da StructField
  • [SPARK-44064] [SC-135116][CORE][SQL] Aggiungere una nuova apply funzione a NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2279-2282] e eliminare alcune classi di errore inutilizzate
  • [SPARK-44056] [SC-134758][SQL] Includere il nome della funzione definita dall'utente nel messaggio di errore di esecuzione della funzione definita dall'utente, se disponibile
  • [SPARK-44205] [SC-135422][SQL] Estrarre il codice catalyst da DecimalType
  • [SPARK-44220] [SC-135484][SQL] Spostare StringConcat in sql/api
  • [SPARK-44146] [SC-135230][CONNECT] Isolare i file jar e i file di classe della sessione spark Connect
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][SQL] Correggere le query interpretate del test case può eseguire Codegen
  • [SPARK-44204] [SC-135253][SQL][HIVE] Aggiungere record mancanteHiveCall per getPartitionNames
  • [SPARK-44237] [SC-135485][CORE] Semplificare la logica di ricerca del costruttore DirectByteBuffer
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] Supportare i parametri posizionali per sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Supportare i parametri posizionali in Python sql()
  • [SPARK-44164] [SC-135158][SQL] Estrarre il metodo toAttribute da StructField alla classe Util
  • [SPARK-44178] [SC-135113][CONNECT] Supportare i parametri posizionali in sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader deve chiudere la classe barriera InputStream dopo la lettura
  • [SPARK-43063] [SC-128382][SQL] df.show handle null deve stampare NULL invece di null
  • [SPARK-42539] [SC-124464][SQL][HIVE] Eliminare classloader separato quando si usa la versione Hive 'builtin' per il client di metadati
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listFunctions
  • [SPARK-44066] [SC-134878][SQL] Supportare i parametri posizionali in Scala/Java sql()
  • [SPARK-44078] [SC-134869][CONNECT][CORE] Aggiunta del supporto per l'isolamento classloader/resource
  • [SPARK-43470] [SC-135187][CORE] Aggiungere informazioni sulla versione del sistema operativo, Java, Python al log applicazioni
  • [SPARK-43136] [SC-135238][CONNECT][Followup] Aggiunta di test per KeyAs
  • [SPARK-39740] [SC-135093][INTERFACCIA UTENTE]: Aggiornare la sequenza temporale alla versione 7.7.2 per correggere CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listTables
  • [SPARK-44026] [SC-135181] Consenti di specificare il valore iniziale per SQLMetrics
  • [SPARK-44202] [SC-135244][CORE] Aggiungere API JobTag a JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] Implementare DataTypeExpression per offrire Unapply per l'espressione
  • [SPARK-43876] Ripristinare "[SC-134603][SQL] Abilitare l'hashmap rapido per query distinte"
  • [SPARK-40082] [SC-126437] Pianificare mergeFinalize quando si esegue il push di un'operazione di merge shuffleMapStage riprova ma non è in esecuzione alcuna attività
  • [SPARK-43888] [SC-132893][CORE] Rilocare la registrazione in common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Aggiungere sessionholder a SparkConnectPlanner
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Aggiungere funzioni stringa a Scala e Python - parte 2
  • [SPARK-44134] [SC-134954][CORE] Correzione dell'impostazione delle risorse (GPU/FPGA) su 0 quando vengono impostate in spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Sostituire il tipo con tpe nell'utilità per convertire i tipi Python in tipi spark
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Aggiungere API SparkContext per l'annullamento delle query in base al tag
  • [SPARK-44000] [SC-133634][SQL] Aggiungere hint per disabilitare la trasmissione e la replica di un lato del join
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Aggiungere ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala e Python
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Aggiungere EWM a SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][SQL] Correggere le statistiche di calcolo quando il nodo AggregateExec sopra QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Correggere il messaggio di errore per l'argomento unit delle funzioni add/diff datetime
  • [SPARK-43794] [SC-132561][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][CONNECT][SS]Implementazione delle API MapGroupsWithState e FlatMapGroupsWithState per Spark Connect
  • [SPARK-43529] [SQL] Supportare le espressioni CREATE/REPLACE TABLE OPTIONS e la pulizia del codice
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] Aggiungi __repr__ per GroupedData
  • [SPARK-42299] [SC-133190] Assegnare un nome a _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Aggiunge il supporto per aes_encrypt IV e AAD
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Aggiungere current funzioni simili a Scala e Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Aggiungere funzioni regexp_* a Scala e Python
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] Nascondere i metodi column non supportati dal completamento automatico
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Serde evento in formato JSON
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementare le funzioni 'levenshtein(str1, str2[, threshold])' nel client Python
  • [SPARK-44125] [SC-134745][R] Supporto di Java 21 in SparkR
  • [SPARK-43919] [SC-133374][SQL] Estrarre la funzionalità JSON all'esterno della riga
  • [SPARK-43769] [SC-132520][CONNECT] Implementare le funzioni 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer per stampare lo stato di lettura
  • [SPARK-43876] [SC-134603][SQL] Abilitare fast hashmap per query distinte
  • [SPARK-44024] [SC-134497][SQL] Modifica per l'uso map quando unzip viene usato solo per estrarre un singolo elemento
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Aggiungere operazioni di bit all'API Scala, Python e Connect
  • [SPARK-44092] [SC-134506][CORE] Aggiungere Utils.isJavaVersionAtLeast21 e creare core il passaggio del modulo con Java 21
  • [SPARK-44018] [SC-134512][SQL] Migliorare hashCode e toString per alcune espressioni DS V2
  • [SPARK-44105] [SC-134582][SQL] LastNonNull deve essere risolto in modo differire
  • [SPARK-44081] [SC-134434] Semplificare l'API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definire e usare Unresolved[Leaf|Tratti di nodo unario.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Refactoring della risoluzione dei valori di colonna predefiniti
  • [SPARK-43493] [SC-132063][SQL] Aggiungere un argomento max distance alla funzione levenshtein()
  • [SPARK-44075] [SC-134382][CONNECT] Rendere transformStatCorr lazy
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Aggiungere alcuni, bool_or, bool_and, tutti a Scala, Python e Connect
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Aggiungere funzioni make_* a Scala e Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Migliorare i messaggi di errore: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Aggiungere funzioni to_* a Scala e Python
  • [SPARK-44055] [SC-134321][CORE] Rimuovere le funzioni ridondanti override da CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Correzione del codegen per unhex e unbase64 con failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Supportare le funzioni di tabella definite dall'utente python
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Aggiungere any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, ridurre l'API Scala, Python e Connect
  • [SPARK-43380] [SC-133100][SQL] Risolvere i problemi di conversione dei tipi di dati Avro per evitare di produrre risultati non corretti
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Migliorare awaitTermination() per gestire le disconnessioni client
  • [SPARK-43179] [SC-129070][SHUFFLE] Consentire alle app di controllare se i metadati vengono salvati nel database dal servizio shuffle esterno

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 13.3.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Librerie Python installate

Library Versione Library Versione Library Versione
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 cryptography 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0.12
entrypoints 0.4 executing 1.2.0 facet-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 packaging 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2023-02-10.

Library Versione Library Versione Library Versione
freccia 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
Scopa 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compilatore 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
puntini di sospensione 0.3.2 evaluate 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafica 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
Etichettatura 0.4.2 later 1.3.0 Lattice 0.20-45
Java 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1,5
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 Concetto fondamentale 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 ricette 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spaziale 7.3-15 Spline 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Sopravvivenza 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato freccia 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow freccia-vettore 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shim 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Spessori 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1