Condividi tramite

Databricks Runtime 14.2 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.2, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a novembre 2023.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Miglioramenti e nuove funzionalità

CACHE SELECT viene ora ignorato

Il comando CACHE SELECT SQL viene ora ignorato a favore di un algoritmo di memorizzazione nella cache migliorato. Consulta Ottimizza le prestazioni con la cache in Azure Databricks.

Miglioramento del comportamento di memorizzazione nella cache

Il posizionamento di DiskCache da parte dello scheduler Spark ora ha un'assegnazione delle partizioni più rapida, un miglior bilanciamento durante l'autoscaling del cluster e un'esecuzione delle query più coerente.

Correzione della gestione dei file danneggiati nei comandi DML

I comandi DELETEDML , UPDATEe MERGE INTO non rispettano più le opzioni ignoreCorruptFiles di lettura e ignoreMissingFiles. Quando si verifica un file illeggibile in una tabella, questi comandi ora hanno esito negativo anche se queste opzioni sono specificate.

È ora possibile usare le funzioni from_avro, to_avro, from_protobufe to_protobuf Python con registro schemi nei cluster condivisi.

foreachBatch e StreamingListener supporto

È ora possibile usare le foreachBatch() API e StreamingListener con Structured Streaming nei cluster condivisi. Vedere Usare foreachBatch per scrivere in sink di dati arbitrari e monitorare query structured streaming in Azure Databricks.

La concorrenza a livello di riga è disponibile a livello generale e attiva per impostazione predefinita

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga. La concorrenza a livello di riga è supportata solo nelle tabelle senza partizionamento, incluse le tabelle con clustering liquido. La concorrenza a livello di riga è abilitata per impostazione predefinita nelle tabelle Delta con vettori di eliminazione abilitati. Vedere Conflitti di scrittura con concorrenza a livello di riga.

Delta Sharing: i destinatari possono eseguire query batch, CDF e di streaming su tabelle condivise con vettori di eliminazione (anteprima pubblica)

I destinatari di Delta Sharing possono ora eseguire query batch, CDF e di streaming su tabelle condivise che utilizzano vettori di eliminazione. In Databricks Runtime 14.1 possono eseguire solo query batch. Consultare Aggiungere tabelle con vettori di eliminazione o mapping di colonne a una condivisione, Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati, e Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati.

Clone superficiale per le tabelle esterne del catalogo Unity (anteprima pubblica)

È possibile ora utilizzare il "clone superficiale" con le tabelle esterne del Catalogo Unity. Consulta il clone superficiale per le tabelle del Catalogo Unity .

Nuovo algoritmo di assegnazione della memorizzazione nella cache dei dischi

L'utilità di pianificazione Spark usa ora un nuovo algoritmo di memorizzazione nella cache del disco. L'algoritmo migliora l'utilizzo del disco e l'assegnazione della partizione tra i nodi, con un'assegnazione più veloce sia inizialmente che dopo gli eventi di ridimensionamento del cluster. L'assegnazione della cache più permanente migliora la coerenza tra le esecuzioni e riduce lo spostamento dei dati durante le operazioni di ribilanciamento.

from_avro con il connettore del registro di schema aggiunge supporto per l'evoluzione dello schema

È ora possibile abilitare il riavvio delle pipeline quando vengono rilevati record evoluti. In precedenza, se l'evoluzione dello schema si verificava con il connettore from_avro, le nuove colonne restituivano null. Vedere Leggere e scrivere dati Avro in streaming.

Raccolta di statistiche multithread più veloce

La raccolta di statistiche è fino a 10 volte più veloce nei cluster di piccole dimensioni durante l'esecuzione di CONVERT TO DELTA o la clonazione da tabelle Iceberg e Parquet. Vedere Convertire in Delta Lake e clonare tabelle Parquet e Iceberg.

Filtri pushdown nei file DeltaSource su Delta

Per una migliore utilizzazione, i filtri di partizione per le query di streaming delle tabelle Delta vengono ora trasferiti a Delta prima della limitazione del tasso.

Supporto per le funzioni scalari definite dall'utente nei cluster condivisi (anteprima pubblica)

È ora possibile utilizzare le funzioni scalari definite dall'utente di Scala nei cluster abilitati per il catalogo Unity configurati con modalità di accesso condiviso. Vedere Funzioni scalari definite dall'utente - Scala.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • fastjsonschema da 2.18.0 a 2.19.0
    • filelock da 3.12.3 a 3.12.4
    • googleapis-common-protos da 1.60.0 a 1.61.0
  • Librerie R aggiornate:
  • Librerie Java aggiornate:

Apache Spark

Databricks Runtime 14.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.1, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-45592] [DBRRM-624] Ripristinare il problema di correzione "[SC-146977][SQL] Correzione in AQE con InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Ripristinare "[SC-146319][PYTHON][SQL] Supporto iniziale f...
  • [SPARK-45433] [DBRRM-621] Annullare “[SC-145163][SQL] Correzione di CSV/JSON schema infer...
  • [SPARK-45592] [SC-146977][SQL] Problema di correttezza in AQE con InMemoryTableScanExec
  • [SPARK-45354] Ripristinare "[SC-143991][SQL] Risolvere le funzioni in basso"
  • [SPARK-45680] [SOLO TEST][SASP-2347][CONNECT] Correzione dei test
  • [SPARK-45680] [CONNECT] Sessione di rilascio
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Correzione del rallentamento in Avro read
  • [SPARK-45649] [SC-146742][SQL] Unificare il framework di preparazione per OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Creazione di StructType da Json
  • [SPARK-45620] [SC-146225][PYTHON] Correzione delle API rivolte all'utente correlate a Python UDTF per l'uso di camelCase
  • [SPARK-45727] [SC-146978][SS] Rimuovere la mappa inutilizzata nella simulazione della propagazione delle filigrane
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] I metodi del catalogo evitano la conversione Pandas
  • [SPARK-45574] [SC-146106][SQL] Aggiungere :: sintassi come sintassi abbreviata per il cast
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit non supporta --total-executor-cores la distribuzione in K8s
  • [SPARK-45661] [SC-146594][SQL][PYTHON] Aggiungere toNullable in StructType, MapType e ArrayType
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Supporto iniziale per l'API di lettura dell'origine dati Python
  • [SPARK-45542] [SC-145892][CORE] Sostituire setSafeMode(HdfsConstants.SafeModeAction, boolean) con setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL] SPJ: Gestire le partizioni di input vuote dopo il filtro dinamico
  • [SPARK-45454] [SC-144846][SQL] Impostare il proprietario predefinito della tabella su current_user
  • [SPARK-45554] [SC-146875][PYTHON] Introdurre un parametro flessibile a assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] Usare l'ID dataframe per convalidare semanticamente CollectMetrics
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Migliorare il messaggio di errore per gli attributi dipendenti da JVM in Spark Connect.
  • [SPARK-45646] [SC-146276][SQL] Rimuovere le variabili temporali di hardcoding prima di Hive 2.0
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Correzione del rallentamento in Avro read
  • [SPARK-45545] [SC-146484][CORE] Passare SSLOptions ovunque si crei un oggetto SparkTransportConf
  • [SPARK-45641] [SC-146260][interfaccia utente] Visualizzare l'ora di inizio dell'applicazione in AllJobsPage
  • [SPARK-40154] [SC-146491][Python][Docs] Correggere il livello di archiviazione in Dataframe.cache docstring
  • [SPARK-45626] [SC-146259][SQL] Convertire _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL] Correzione della correttezza per le sottoquery scalari correlate annidate con le aggregazioni COUNT
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] Applicare le metriche osservate all'oggetto Osservazione
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Miglioramento scaladoc per StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][CORE] Evitare ParVector, che non propaga ThreadLocals o SparkSession
  • [SPARK-45604] [SC-146105][SQL] Aggiungere il controllo LogicalType in INT64 -> Conversione DateTime nel lettore Vettorializzatore Parquet
  • [SPARK-44649] [SC-145891][SQL] Il filtro di runtime supporta il passaggio di espressioni lato creazione equivalenti
  • [SPARK-41674] [SC-128408][SQL] Il filtro di runtime deve supportare il lato di join shuffle multi-livello come lato di creazione del filtro
  • [SPARK-45547] [SC-146228][ML] Convalidare i vettori con la funzione predefinita
  • [SPARK-45558] [SC-145890][SS] Introdurre un file di metadati per l'operatore con stato di streaming
  • [SPARK-45618] [SC-146252][CORE] Remove BaseErrorHandler
  • [SPARK-45638] [SC-146251][SQL][Avro] Migliorare la copertura dei test di conversione decimale
  • [SPARK-44837] [SC-146020][SQL] Cambiare il messaggio di errore per ALTER column ALTER TABLEPARTITION
  • [SPARK-45561] [SC-146264][SQL] Aggiungere conversioni appropriate per TINYINT in MySQLDialect
  • [SPARK-45632] [SC-146255][SQL] La cache delle tabelle deve evitare colonne non necessarie quando si abilita AQE
  • [SPARK-45569] [SC-145932][SQL] Assegnare il nome all'errore _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][CONNECT] Eseguire il test SBT in modo ermetico.
  • [SPARK-45452] [SC-144836][SQL] Migliorare InMemoryFileIndex l'uso dell'API FileSystem.listFiles
  • [SPARK-44735] [SC-146186][SQL] Aggiungere un messaggio di avviso quando si inseriscono colonne con lo stesso nome per riga che non corrispondono
  • [SPARK-45351] [SC-144791][CORE] Modificare il spark.shuffle.service.db.backend valore predefinito in ROCKSDB
  • [SPARK-45553] [SC-145906][PS] Deprecazione assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE] Esporre DeterministicLevel come developerApi
  • [SPARK-45549] [SC-145895][CORE] Rimuovere i numExistingExecutors inutilizzati in CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT] Includere SqlState nel messaggio proto SparkThrowable
  • [SPARK-45595] [SC-146037] esporre sqlstate nel messaggio di errore
  • [SPARK-45628] [SC-146123][ML] Miglioramento vector_to_array per .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Disattiva decorrelation in condizioni di join per il test di AQE InSubquery
  • [SPARK-45576] [SC-145883][CORE] Rimuovere i log di debug non necessari in RicaricareX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][CONNECT] Miglioramenti dell'agente utente: usare SPARK_CONNECT_USER_AGENT variabile env e includere attributi specifici dell'ambiente
  • [SPARK-45508] [SC-145513][CORE] Aggiungere "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" in modo che Platform possa accedere a Cleaner in Java 9+
  • [SPARK-45595] Ripristinare "[SC-146037] Esporre SQLSTATE nel messaggio di errore"
  • [SPARK-45595] [SC-146037] Esporre SQLSTATE nel messaggio di errore
  • [SPARK-45112] Ripristina "[SC-143259][SQL] Use UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411][CORE] Abilita spark.eventLog.compress per impostazione predefinita
  • [SPARK-45586] [SC-145899][SQL] Ridurre la latenza del compilatore per i piani con alberi delle espressioni di grandi dimensioni
  • [SPARK-45517] [SC-145691][CONNECT][14.x] Espandere altri costruttori di eccezioni per supportare i parametri del framework degli errori
  • [SPARK-45581] [SC-145896] Rendere SQLSTATE obbligatorio.
  • [SPARK-45427] [SC-145590][CORE] Aggiungere impostazioni SSL RPC a SSLOptions e SparkTransportConf
  • [SPARK-45261] [SC-143357][CORE] Correzione EventLogFileWriters dell'handle none come codec
  • [SPARK-45582] [SC-145897][SS] Assicurarsi che l'istanza dell'archivio non venga usata dopo la chiamata del commit all'interno dell'aggregazione di streaming in modalità di output
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: rendere 'rowTag' un'opzione obbligatoria
  • [SPARK-45392] [SC-144362][CORE][SQL][SS] Sostituire Class.newInstance() con Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificato
  • [SPARK-45458] [SC-145011][SQL] Convertire IllegalArgumentException in SparkIllegalArgumentException in bitwiseExpressions
  • [SPARK-45564] [SC-145735][SQL] Semplificare 'DataFrameStatFunctions.bloomFilter' con l'espressione 'BloomFilterAggregate'
  • [SPARK-45566] [SC-145777][PS] Supporto di utilità di test simili a Pandas per l'API Pandas in Spark
  • [SPARK-45498] [SC-145509][CORE] Completamento: Ignorare il completamento dell'attività dalla fase precedente a...
  • [SPARK-45483] [SC-145152][CONNECT] Correggere i gruppi di funzioni in connect.functions
  • [SPARK-45577] [SC-145781][PYTHON] Correzione di UserDefinedPythonTableFunctionAnalyzeRunner per passare valori piegati dagli argomenti denominati
  • [SPARK-45009] [SC-138223][FOLLOW UP] Disattiva la decorrelazione nelle condizioni di join per AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Consentire la disabilitazione selettiva di "fallocate" nel statestore di RocksDB
  • [SPARK-45500] [SC-145134][CORE][WEBUI] Mostra il numero di driver completati in modo anomalo in MasterPage
  • [SPARK-44120] [SC-144349][PYTHON] Supporto di Python 3.12
  • [SPARK-45439] [SC-145589][SQL][interfaccia utente] Ridurre l'utilizzo della memoria di LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][UI] Ciclo JSON.stringify e JSON.parse non necessario per l'elenco delle attività nei dettagli della fase
  • [SPARK-45567] [SC-145718][CONNECT] Rimuovere ridondanza se in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][SQL] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Effettuare add_artifact richiesta idempotente
  • [SPARK-44913] [SC-144326][SQL] DS V2 supporta il push della funzione definita dall'utente V2 con metodo magic
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622] Aggiungere SQLSTATES 2/2 mancante
  • [SPARK-45009] [SC-145620][SC-138223][SQL] Decorrelare le sottoquery del predicato nella condizione di join
  • [SPARK-45377] [SC-144377][CORE] Gestire InputStream in NettyLogger
  • [SPARK-45248] [SC-143759][CORE]Impostare il timeout per il server dell'interfaccia utente di Spark
  • [SPARK-44594] [SC-145611][SS] Rimuovere il parametro del metodo ridondante nel connettore kafka
  • [SPARK-45539] [SC-145621][SS] Aggiungere asserzione e log per indicare che la definizione della filigrana è necessaria per le query di aggregazione di streaming in modalità accodamento
  • [SPARK-44262] [SC-145639][SQL] Aggiungere dropTable e getInsertStatement a JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT] Includere QueryContext nel messaggio proto SparkThrowable
  • [SPARK-45310] [SC-145127][CORE] Lo stato del blocco casuale del report deve rispettare il servizio casuale durante la migrazione delle autorizzazioni
  • [SPARK-45521] [SC-145487][ML] Evitare il ricalcolazione di nnz in VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Cambia l'alias di colonna current_database() in current_schema()
  • [SPARK-45116] [SC-145142][SQL] Aggiungere un commento per il parametro di JdbcDialect createTable
  • [SPARK-45495] [SC-145529][core] Profilo risorsa attività a livello di fase di supporto per il cluster k8s quando l'allocazione dinamica è disabilitata
  • [SPARK-45487] [SC-145559] Correggere gli errori SQLSTATEs e temp
  • [SPARK-45505] [SC-145550][PYTHON] Refactoring analyzeInPython per renderlo riutilizzabile
  • [SPARK-45132] [SC-145425][SQL] Correzione IDENTIFIER per la chiamata di funzione
  • [SPARK-45213] [SC-145020][SQL] Assegnare il nome al _LEGACY_ERROR_TEMP_2151 di errore
  • [SPARK-45416] [SC-145126][CONNECT] Verifica della integrità della coerenza dei risultati di Arrow
  • [SPARK-45163] [SC-143386][SQL] Unire UNSUPPORTED_VIEW_OPERATION e UNSUPPORTED_TABLE_OPERATION e risolvere alcuni problemi
  • [SPARK-45421] [SC-144814][SQL] Catch AnalysisException su InlineCTE
  • [SPARK-43664] [SC-145404][CONNECT][PS] Generare un'eccezione per ps.sql con l'oggetto Pandas-on-Spark in Spark Connect.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] Aggiungere l'API UDTF per i metodi 'eval' e 'terminate' per utilizzare il risultato precedente di 'analyze'
  • [SPARK-36112] [SC-67885] [SQL] Supportare le sottoquery EXISTS e IN correlate usando il framework DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929][SQL] Correzione del messaggio di errore per il viaggio in tempo con tabella non esistente
  • [SPARK-43254] [SC-143318][SQL] Assegnare un nome al _LEGACY_ERROR_TEMP_2018 di errore
  • [SPARK-45204] [SC-145167][CONNECT] Aggiungere il segnaposto ExecuteHolder facoltativo a SparkConnectPlanner
  • [SPARK-45451] [SC-145144][SQL] Rendere configurabile il livello di archiviazione predefinito della cache del set di dati
  • [SPARK-45192] [SC-143194][interfaccia utente] Correzione del parametro lineInterpolate scaduto per il bordo graphviz
  • [SPARK-45467] [SC-145146][CORE] Sostituire Proxy.getProxyClass() con Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT] Aggiungere il trasformatore di funzionalità dell'assembler di matrici
  • [SPARK-44855] [SC-145226][CONNECT] Piccole modifiche per il collegamento di ExecuteGrpcResponseSender a ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][SQL] Accodamento ESCAPEsql() dell'espressione Like
  • [SPARK-45494] [SC-145129][CORE][PYTHON] Introdurre funzioni util per leggere/scrivere una matrice di byte per PythonWorkerUtils
  • [SPARK-45464] [SC-145125][CORE] Correzione della build di distribuzione network-yarn
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Introdurre un mapper per StorageLevel
  • [SPARK-45450] [SC-145009][PYTHON] Correggere le importazioni in base a PEP8: pyspark.pandas e pyspark (core)
  • [SPARK-45475] [SC-145018][SQL] Usa DataFrame.foreachPartition anziché RDD.foreachPartition in JdbcUtils
  • [SPARK-45271] [SC-143778][SQL] Unire _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION ed eliminare un metodo inutilizzato in QueryCompilationErrors
  • [SPARK-45449] [SC-145013][SQL] Problema di invalidazione della cache con la tabella JDBC
  • [SPARK-45473] [SC-145017][SQL] Correzione del messaggio di errore non corretto per RoundBase
  • [SPARK-43299] [SC-145022][SS][CONNECT] Convertire StreamingQueryException nel client Scala
  • [SPARK-45474] [SC-145014][CORE][WEBUI] Supportare il filtro di primo livello nell'API JSON MasterPage
  • [SPARK-45205] [SC-145012][SQL] CommandResultExec per eseguire l'override dei metodi iterator per evitare di attivare più processi.
  • [SPARK-45472] [SC-145004][SS] L'archivio stati di RocksDB non deve controllare nuovamente l'esistenza del percorso del checkpoint
  • [SPARK-45470] [SC-145010][SQL] Evitare di incollare il valore stringa del tipo di compressione hive orc
  • [SPARK-45448] [SC-144829][PYTHON] Correggere le importazioni in base a PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] Correggere le importazioni in base a PEP8: pyspark.errors e pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] Ridurre il valore predefinito spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] I metodi del dataframe controllano la stessa sessione
  • [SPARK-45413] [SC-144847][CORE] Aggiungere un avviso per preparare il supporto di LevelDB
  • [SPARK-45462] [SC-144848][CORE][WEBUI] Mostra Duration in ApplicationPage
  • [SPARK-44527] [SC-144855][SQL] Sostituire ScalarSubquery con null se maxRows è 0
  • [SPARK-45401] [SC-144854][PYTHON] Aggiungere un nuovo metodo cleanup nell'interfaccia UDTF
  • [SPARK-43704] [SC-144849][CONNECT][PS] Supporto MultiIndex per to_series()
  • [SPARK-45424] [SC-144888][SQL] Correzione di TimestampFormatter restituisce risultati di analisi facoltativi quando solo la corrispondenza del prefisso
  • [SPARK-45441] [SC-144833][PYTHON] Introduzione di altre funzioni util per PythonWorkerUtils
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] Convalidare il piano e la sessione in DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] Aggiungere impostazioni SSL RPC a TransportConf
  • [SPARK-45432] [SC-144818][CORE] Rimuovere il costruttore di LocatedFileStatus Hadoop-2 deprecato
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression controlla le etichette di training
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Aggiungere DataType.fromDDL in PySpark
  • [SPARK-45406] [SC-144793][PYTHON][CONNECT] Eliminare schema dal costruttore dataframe
  • [SPARK-45404] [SC-144799][CORE] Supportare la AWS_ENDPOINT_URL variabile env
  • [SPARK-43620] [SC-144792][CONNECT][PS] Correzione delle API Pandas dipende dalle funzionalità non supportate
  • [SPARK-45354] [SC-143991][SQL] Risolvere le funzioni in basso
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Aggiungere nuovi tentativi per l'API dell'artefatto. Migliorare la gestione degli errori (completamento a [SPARK-45093]).
  • [SPARK-45120] [SC-142780][SPARK-45150][interfaccia utente] Aggiornare d3 dalla versione 3 alla versione 7(v7.8.5) e applicare le modifiche api nell'interfaccia utente
  • [SPARK-44838] [SC-143983][SQL] raise_error miglioramento
  • [SPARK-45312] [SC-143754][SQL][interfaccia utente] Attiva/nascondi visualizzazione/nascondi il formato SVG del piano nella pagina di esecuzione
  • [SPARK-45378] [SC-144448][CORE] Aggiungere convertToNettyForSsl a ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE] Doc per SparkConnect.addJobTag e Connect SparkSession.addTag
  • [SPARK-45383] Gestire in modo normale RelationTime Vault non risolto
  • [SPARK-45347] [SC-144512][SQL][CONNECT] Includere SparkThrowable in FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis deve generare un piano inlined in AnalysisException
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} deve generare eccezioni quando il piano non è valido
  • [SPARK-45227] [SC-144233][CORE] Correzione di un problema di thread-safety delicato con CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171][PYTHON] Rifattorizzazione della regola dell'analizzatore ResolveFunctions per ritardare la creazione di un join laterale quando vengono utilizzati argomenti di tabelle
  • [SPARK-45266] Ripristina "[SC-144171][PYTHON] Refattorizza la regola dell'analizzatore ResolveFunctions per ritardare l'esecuzione del join laterale quando vengono usati argomenti di tabella"
  • [SPARK-45371] [SC-144389][CONNECT] Risolvere i problemi di ombreggiatura nel client Scala di Spark Connect
  • [SPARK-45057] [SC-144214][CORE] Evitare di acquisire il blocco in lettura quando keepReadLock è false
  • [SPARK-45385] [SC-144357][SQL] Deprecazione spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][SQL] Rimuovere la configurazione SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] Rifattorizzare la regola del risolutore di funzioni per ritardare la creazione di un join laterale quando si utilizzano argomenti di tabella
  • [SPARK-45362] [SC-144198][PYTHON] Proiettare PARTITION espressioni BY prima che python UDTF 'eval' li utilizza
  • [SPARK-45346] [SC-143925][SQL] L'inferenza dello schema Parquet deve rispettare il flag di distinzione tra maiuscole e minuscole quando si uniscono gli schemi
  • [SPARK-45341] [SC-143933][CORE] Correggere il livello del titolo nei commenti di KVStore.java per eseguire sbt doc correttamente Java 17
  • [SPARK-45334] [SC-143914][SQL] Rimuovere il commento fuorviante in parquetSchemaConverter
  • [SPARK-45337] [SC-143932][CORE] Rifattorizzare AbstractCommandBuilder#getScalaVersion per rimuovere la verifica per Scala 2.12
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] I metodi del dataframe ignorano la conversione pandas
  • [SPARK-43662] [SC-143923][PS][CONNECT] Supporto merge_asof in Spark Connect
  • [SPARK-44126] [SC-143751][CORE] Il numero di errori di migrazione casuale non deve aumentare quando l'executor di destinazione è stato rimosso
  • [SPARK-44550] [SC-119768][SQL] Abilitare le correzioni di correttezza per null IN (empty list) in ANSI
  • [SPARK-45316] [SC-143783][CORE][SQL] Aggiungere nuovi parametri ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] Segnalazione errori per la query addArtifacts
  • [SPARK-44756] [SC-143787][CORE] L'executor si blocca quando RetryingBlockTransferor non riesce ad avviare un nuovo tentativo
  • [SPARK-45333] [SC-143768][CORE] Correzione di un errore di unità correlato a spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750][SQL][CONNECT] Gestire il nome file Null nelle tracce dello stack delle eccezioni
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId aggiunge informazioni di colonna
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] Supportare i parametri mappa e matrice per sql()
  • [SPARK-45138] [SC-143309][SS] Definire una nuova classe di errore e applicarla quando lo stato di checkpoint in DFS ha esito negativo
  • [SPARK-45297] [SC-143644][SQL] Rimuovere la soluzione alternativa per dateformatter aggiunta in SPARK-31827
  • [SPARK-44345] [SC-143593][CORE] Livello di log inferiore unknown shuffle map output a WARN se la migrazione casuale è abilitata
  • [SPARK-44463] [SC-143251][SS][CONNECT] Migliorare la gestione degli errori per connettere il ruolo di lavoro Python a vapore
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Implementare l'arricchimento degli errori per il client Scala
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Implementare l'arricchimento degli errori per il client Python
  • [SPARK-45216] [SC-143288][SQL] Correzione delle API set di dati con seeding non deterministico
  • [SPARK-45251] [SC-143419][CONNECT] Aggiungere client_type campo per FetchErrorDetails
  • [SPARK-45137] [SC-143001][CONNECT] Supporto dei parametri map/array in sql() con parametri
  • [SPARK-45224] [SC-143257][PYTHON] Aggiungere esempi con mapping e matrice come parametri di sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] Implementare rpc FetchErrorDetails
  • [SPARK-45178] [SC-136089] Fallback per eseguire un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare wrapper
  • [SPARK-44823] [14.x][SC-142979][PYTHON] Aggiornare black a 23.9.1 e correggere il controllo errato
  • [SPARK-45078] [SC-142954][SQL] Correzione di array_insert ImplicitCastInputTypes non funzionante
  • [SPARK-44579] [SC-138428][SQL] Supporto dell'interrupt in caso di annullamento in SQLExecution
  • [SPARK-45252] [SC-143371][CORE] Eseguire correttamente l'escape dei simboli maggiori/minori dei simboli nei commenti per eseguire sbt doc correttamente
  • [SPARK-45189] [SC-142973][SQL] Creazione di UnresolvedRelation da TableIdentifier deve includere il campo del catalogo
  • [SPARK-45229] [SC-143254][CORE][interfaccia utente] Visualizzare il numero di driver in attesa dello stato SUBMITTED in MasterPage
  • [SPARK-43453] Ripristina "[SC-143135][PS] Ignora quando namesMultiIndexaxis=1 per "concat

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 14.2.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Librerie Python installate

Library Versione Library Versione Library Versione
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 serv 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
executing 0.8.3 facet-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 Notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 packaging 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot Posit Gestione pacchetti CRAN nel 10-02-2023.

Library Versione Library Versione Library Versione
freccia 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
Scopa 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compilatore 4.3.1 config 0.3.1 in conflitto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credenziali 1.3.2
curl 5.0.1 data.table (pacchetto di R per la manipolazione dati) 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramma 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 puntini di sospensione 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Etichettatura 0.4.2 later 1.3.1 Lattice 0.21-8
Java 1.7.2.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrice 1.5-4.1 memoise 2.0.1
methods 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 ricette 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spaziale 7.3-15 Spline 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Sopravvivenza 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 UTF8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Librerie Java e Scala installate (versione cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shim 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-all 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1