Databricks Runtime 15.2 (EoS)
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio e compatibilità delle versioni di Databricks Runtime.
Le note di rilascio seguenti forniscono informazioni su Databricks Runtime 15.2, supportate da Apache Spark 3.5.0.
Databricks ha rilasciato questa versione nel maggio 2024.
Suggerimento
Per visualizzare le note di rilascio per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere note di rilascio di Databricks Runtime a fine supporto. Le versioni di EoS Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.
Modifiche comportamentali
Il comando Vacuum ripulisce i file di metadati COPY INTO
L'esecuzione di VACUUM in una tabella scritta con COPY INTO
ora pulisce i metadati non referenziati associati al monitoraggio dei file inseriti. Non c'è alcun impatto sulla semantica operativa di COPY INTO
.
Lakehouse Federation è generalmente disponibile (GA)
In Databricks Runtime 15.2 e versioni successive connettori Lakehouse Federation nei tipi di database seguenti sono disponibili a livello generale:
- MySQL
- PostgreSQL
- Amazon Redshift
- Fiocco di neve
- Microsoft SQL Server
- Azure Synapse (SQL Data Warehouse)
- Databricks
Questa versione introduce anche i miglioramenti seguenti:
Supporto per l'autenticazione Single Sign-On (SSO) nei connettori Snowflake e Microsoft SQL Server.
Supporto del collegamento privato di Azure per il connettore SQL Server da ambienti di calcolo serverless. Vedere Passaggio 3: Creare regole dell'endpoint privato.
Supporto per i pushdown aggiuntivi (string, math e varie funzioni).
Miglioramento della frequenza di successo del pushdown tra forme di query diverse.
Funzionalità di debug pushdown aggiuntive:
- L'output
EXPLAIN FORMATTED
visualizza il testo della query di cui è stato eseguito il push. - L'interfaccia utente del profilo di query visualizza il testo della query di cui è stato eseguito il push, gli identificatori dei nodi federati e i tempi di esecuzione delle query JDBC (in modalità dettagliata). Vedere Visualizzare le query federate generate dal sistema.
- L'output
BY POSITION
per la mappatura delle colonne usando COPY INTO
con file CSV senza intestazione
In Databricks Runtime 15.2 e versioni successive, è possibile usare le parole chiave BY POSITION
(o la sintassi alternativa ( col_name [ , <col_name> ... ] )
) con COPY INTO
per i file CSV senza intestazione, per semplificare il mapping delle colonne della tabella di origine alle colonne della tabella di destinazione. Consultare i parametri .
Ridurre il consumo di memoria quando le attività Spark hanno esito negativo a causa di un errore di Resubmitted
In Databricks Runtime 15.2 e versioni successive il valore restituito del metodo Spark TaskInfo.accumulables()
è vuoto quando le attività hanno esito negativo con un errore di Resubmitted
. In precedenza, il metodo restituiva i valori di un tentativo precedente di attività riuscito. Questa modifica del comportamento influisce sui consumer seguenti:
- Attività Spark che usano la classe
EventLoggingListener
. - Listener Spark personalizzati.
Per ripristinare il comportamento precedente, impostare spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled
su false
.
La visualizzazione delle versioni del piano di esecuzione delle query adattive è disabilitata
Per ridurre il consumo di memoria, le versioni del piano AQE (Adaptive Query Execution) sono ora disabilitate per impostazione predefinita nell'interfaccia utente di Spark. Per abilitare la visualizzazione delle versioni del piano AQE nell'interfaccia utente di Spark, impostare il spark.databricks.sql.aqe.showPlanChangesInUI.enabled
su true
.
Il limite per le query conservate viene ridotto per ridurre l'utilizzo della memoria dell'interfaccia utente Spark
In Databricks Runtime 15.2 e versioni successive, per ridurre la memoria usata dall'interfaccia utente spark nell'ambiente di calcolo di Azure Databricks, il limite per il numero di query visibili nell'interfaccia utente viene ridotto da 1000 a 100. Per modificare il limite, impostare un nuovo valore usando la configurazione di spark.sql.ui.retainedExecutions
Spark.
DESCRIBE HISTORY
ora mostra le colonne di clustering per le tabelle che usano clustering liquido
Quando si esegue una query di DESCRIBE HISTORY
, nella colonna operationParameters
viene visualizzato un campo clusterBy
per impostazione predefinita per le operazioni CREATE OR REPLACE
e OPTIMIZE
. Per una tabella Delta che utilizza il liquid clustering, il campo clusterBy
viene popolato con le colonne di clustering della tabella. Se la tabella non usa il clustering liquido, il campo è vuoto.
Nuove funzionalità e miglioramenti
Il supporto per le chiavi primarie ed esterne è disponibile a livello generale
Il supporto per le chiavi primarie ed esterne in Databricks Runtime è disponibile a livello generale. La versione GA include le seguenti modifiche ai privilegi necessari per utilizzare le chiavi primarie e esterne:
- Per definire una chiave esterna, è necessario disporre del privilegio
SELECT
nella tabella con la chiave primaria a cui fa riferimento la chiave esterna. Non è più necessario possedere la tabella con la chiave primaria, come era richiesto in precedenza. - L'eliminazione di una chiave primaria tramite la clausola
CASCADE
non richiede privilegi per le tabelle che definiscono chiavi esterne che fanno riferimento alla chiave primaria. In precedenza, era necessario possedere le tabelle di riferimento. - L'eliminazione di una tabella che include vincoli richiede ora gli stessi privilegi di eliminazione delle tabelle che non includono vincoli.
Per informazioni su come usare chiavi primarie ed esterne con tabelle o viste, vedere clausola CONSTRAINT, clausola ADD CONSTRAINTe clausola DROP CONSTRAINT.
Clustering liquido disponibile a livello generale
Il supporto per il clustering liquido è ora disponibile a livello generale con Databricks Runtime 15.2 e versioni successive. Consultare Utilizzare il clustering liquido per le tabelle Delta.
L'ampliamento dei tipi è disponibile in anteprima pubblica
È ora possibile abilitare l'estensione dei tipi nelle tabelle supportate da Delta Lake. Le tabelle con allargamento del tipo abilitato consentono di modificare il tipo delle colonne in un tipo di dati più grande senza riscrivere i file di dati sottostanti. Consulta Ampliamento di tipo.
Clausola di evoluzione dello schema aggiunta alla sintassi di merge SQL
È ora possibile aggiungere la clausola WITH SCHEMA EVOLUTION
a un'istruzione di merge SQL per abilitare l'evoluzione dello schema per l'operazione. Consultare la sintassi dell'evoluzione dello schema per l'unione.
Le fonti di dati personalizzate PySpark sono disponibili in anteprima pubblica
È possibile creare un'origine dati PySpark usando l'API DataSource Python (PySpark), che consente la lettura da origini dati personalizzate e la scrittura verso destinazioni dati personalizzate in Apache Spark usando Python. Vedere origini dati personalizzate PySpark
applyInPandas e mapInPandas ora disponibili nell'ambiente di calcolo del catalogo Unity con modalità di accesso condiviso
Nell'ambito di una versione di manutenzione di Databricks Runtime 14.3 LTS, i tipi UDF applyInPandas
e mapInPandas
sono ora supportati nel calcolo in modalità di accesso condiviso che eseguono Databricks Runtime 14.3 o superiori.
Usare dbutils.widgets.getAll() per ottenere tutti i widget in un notebook
Ottenere tutti i valori del widget usando dbutils.widgets.getAll()
per in un notebook. Ciò è particolarmente utile quando si passano più valori di widget a una query Spark SQL.
Supporto per l'inventario dei vuoti
È ora possibile specificare un inventario dei file da considerare quando si esegue il comando VACUUM
in una tabella Delta. Consulta la documentazione OSS Delta.
Supporto per le funzioni di compressione Zstandard
È ora possibile usare le funzioni zst_compress, zstd_decompresse try_zstd_decompress per comprimere e decomprimere i dati BINARY
.
Correzioni di bug
I piani di query nell'interfaccia utente SQL ora visualizzano correttamente PhotonWriteStage
Quando vengono visualizzati nell'interfaccia utente SQL, i comandi write
nei piani di query mostravano erroneamente PhotonWriteStage
come operatore. Con questa versione, l'interfaccia utente viene aggiornata per mostrare PhotonWriteStage
come fase. Si tratta solo di una modifica dell'interfaccia utente e non influisce sulla modalità di esecuzione delle query.
Ray viene aggiornato per risolvere i problemi relativi all'avvio dei cluster Ray
Questa versione include una versione patch di Ray che corregge una modifica di rilievo che impedisce ai cluster Ray di iniziare con Databricks Runtime per Machine Learning. Questa modifica garantisce che la funzionalità Ray sia identica alle versioni di Databricks Runtime precedenti alla versione 15.2.
Correzione della classe di errore per le funzioni di DataFrame.sort()
e DataFrame.sortWithinPartitions()
Questa versione include un aggiornamento delle funzioni PySpark DataFrame.sort()
e DataFrame.sortWithinPartitions()
per garantire che la classe ZERO_INDEX
di errore venga generata quando 0
viene passato come argomento di indice. In precedenza, la classe di errore INDEX_NOT_POSITIVE
è stata lanciata.
ipywidgets è stato retrocesso da 8.0.4 a 7.7.2
Per correggere gli errori introdotti da un aggiornamento di ipywidgets a 8.0.4 in Databricks Runtime 15.0, ipywidgets viene effettuato il downgrade alla versione 7.7.2 in Databricks Runtime 15.2. Questa è la stessa versione inclusa nelle versioni precedenti di Databricks Runtime.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- GitPython dalla versione 3.1.42 alla versione 3.1.43
- google-api-core da 2.17.1 a 2.18.0
- Google-auth dalla versione 2.28.1 alla versione 2.29.0
- google-cloud-storage dalla versione 2.15.0 alla versione 2.16.0
- googleapis-common-protos da 1.62.0 a 1.63.0
- ipywidgets da 8.0.4 a 7.7.2
- mlflow-skinny da 2.11.1 a 2.11.3
- s3transfer da 0.10.0 a 0.10.1
- sqlparse da 0.4.4 a 0.5.0
- typing_extensions dalla versione 4.7.1 alla versione 4.10.0
- Librerie R aggiornate:
- Librerie Java aggiornate:
- com.amazonaws.aws-java-sdk-autoscaling da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudfront da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudhsm da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-cognitosync da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-config da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-core da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-datapipeline da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-directconnect da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-directory da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-dynamodb da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-ec2 da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-ecs da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-efs da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-elasticache da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.390 a 1.12.610
- Versioni di com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-emr da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-glacier da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-glue da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-iam da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-importexport da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-kinesis da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-kms da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-lambda da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-logs da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-machinelearning da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-opsworks da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-rds da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-redshift da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-route53 da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-s3 da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-ses da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-simpledb da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-sns da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-sqs da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-ssm da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-storagegateway da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-sts da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-support da 1.12.390 a 1.12.610
- com.amazonaws.aws-java-sdk-workspaces da 1.12.390 a 1.12.610
- com.amazonaws.jmespath-java da 1.12.390 a 1.12.610
Apache Spark
Databricks Runtime 15.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
- [SPARK-47941] [SC-163568] [SS] [Connect] Propagare gli errori di inizializzazione del lavoratore ForeachBatch agli utenti per PySpark
- [SPARK-47412] [SC-163455][SQL] Aggiungere il supporto per la collazione per LPad/RPad.
- [SPARK-47907] [SC-163408][SQL] Inserire 'bang' in una configurazione
-
[SPARK-46820] [SC-157093][PYTHON] Correggere la regressione dei messaggi di errore ripristinando
new_msg
- [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Gestori delle risorse: migrazione della registrazione strutturata
- [SPARK-47890] [SC-163324][CONNECT][PYTHON] Aggiungere funzioni varianti a Scala e Python.
-
[SPARK-47894] [SC-163086][CORE][WEBUI] Aggiungere la pagina
Environment
nell'interfaccia utente Master - [SPARK-47805] [SC-163459][SS] Implementazione di TTL per MapState
- [SPARK-47900] [SC-163326] Correzione della verifica di collazione implicita (UTF8_BINARY)
- [SPARK-47902] [SC-163316][SQL] Rendere le espressioni Compute Current Time* pieghevoli
- [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Supporta il tipo di colonna nella funzione divisa per Scala e Python
- [SPARK-47754] [SC-162144][SQL] Postgres: Supporto per la lettura di matrici multidimensionali
- [SPARK-47416] [SC-163001][SQL] Aggiungere nuove funzioni a CollationBenchmark #90339
- [SPARK-47839] [SC-163075][SQL] Correzione del bug di aggregazione in RewriteWithExpression
- [SPARK-47821] [SC-162967][SQL] Implementare l'espressione is_variant_null
-
[SPARK-47883] [SC-163184][SQL] Rendere
CollectTailExec.doExecute
pigro con RowQueue - [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP da TIMESTAMP_TZ
-
[SPARK-47924] [SC-163282][CORE] Aggiungere un log DEBUG a
DiskStore.moveFileToBlock
- [SPARK-47897] [SC-163183][SQL][3.5] Correzione della regressione delle prestazioni di ExpressionSet in scala 2.12
- [SPARK-47565] [SC-161786][PYTHON] Resilienza al crash del gruppo di lavoratori PySpark
- [SPARK-47885] [SC-162989][PYTHON][CONNECT] Rendere pyspark.resource compatibile con pyspark-connect
-
[SPARK-47887] [SC-163122][CONNECT] Rimuovere le importazioni inutilizzate di
spark/connect/common.proto
daspark/connect/relations.proto
- [SPARK-47751] [SC-161991][PYTHON][CONNECT] Rendere pyspark.worker_utils compatibile con pyspark-connect
- [SPARK-47691] [SC-161760][SQL] Postgres: Supportare le matrici multidimensionali in scrittura
- [SPARK-47617] [SC-162513][SQL] Aggiungere TPC-DS infrastruttura di test per le regole di confronto
- [SPARK-47356] [SC-162858][SQL] Aggiungere il supporto per ConcatWs & Elt (tutte le collazioni)
-
[SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferendo
dict
comeMapType
dal Pandas DataFrame per consentire la creazione di DataFrame - [SPARK-47863] [SC-162974][SQL] Fix startsWith & endsWith collation-aware implementation for ICU
- [SPARK-47867] [SC-162966][SQL] Supporto della variante nell'analisi JSON.
- [SPARK-47366] [SC-162475][SQL][PYTHON] Aggiungere VariantVal per PySpark
- [SPARK-47803] [SC-162726][SQL] Supporto per il cast alla variante.
- [SPARK-47769] [SC-162841][SQL] Aggiungere l'espressione schema_of_variant_agg.
- [SPARK-47420] [SC-162842][SQL] Correzione dell'output del test
- [SPARK-47430] [SC-161178][SQL] Supporto GROUP BY per MapType
- [SPARK-47357] [SC-162751][SQL] Aggiungere il supporto per Upper, Lower, InitCap (tutte le regole di confronto)
- [SPARK-47788] [SC-162729][SS] Verificare lo stesso partizionamento hash per le operazioni con stato di streaming
- [SPARK-47776] [SC-1622291][SS] Non consentire l'utilizzo di ordinamenti di disuguaglianza binaria nello schema della chiave dell'operatore con stato
- [SPARK-47673] [SC-162824][SS] Implementazione di TTL per ListState
- [SPARK-47818] [SC-162845][CONNECT] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
- [SPARK-47694] [SC-162783][CONNECT] Rendere configurabili le dimensioni massime dei messaggi sul lato client
- [SPARK-47274] Ripristinare "[SC-162479][PYTHON][SQL] Fornire altre informazioni su usef...
- [SPARK-47616] [SC-161193][SQL] Aggiungere un documento utente per il mapping dei tipi di dati Spark SQL da MySQL
- [SPARK-47862] [SC-162837][PYTHON][CONNECT] Correggi la generazione dei file proto
- [SPARK-47849] [SC-162724][PYTHON][CONNECT] Modificare lo script di versione per rilasciare pyspark-connect
- [SPARK-47410] [SC-162518][SQL] Ristrutturare UTF8String e CollationFactory
- [SPARK-47807] [SC-162505][PYTHON][ML] Rendere pyspark.ml compatibile con pyspark-connect
- [SPARK-47707] [SC-161768][SQL] Gestione speciale del tipo JSON per il connettore MySQL/J 5.x
- [SPARK-47765] Ripristinare "[SC-162636][SQL] Aggiungere SET REGOLE di confronto per analizzare...
- [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Miglioramento dell'usabilità del gestore di avanzamento
- [SPARK-47289] [SC-161877][SQL] Consenti alle estensioni di registrare le informazioni estese nel piano di spiegazione
- [SPARK-47274] [SC-162479][PYTHON][SQL] Fornire un contesto più utile per gli errori dell'API dataframe PySpark
- [SPARK-47765] [SC-162636][SQL] Aggiungere regole di confronto SET alle regole del parser
-
[SPARK-47828] [SC-162722][CONNECT][PYTHON]
DataFrameWriterV2.overwrite
fallisce a causa di un piano non valido - [SPARK-47812] [SC-162696][CONNECT] Supporto alla serializzazione di SparkSession per il worker "forEachBatch"
- [SPARK-47253] [SC-162698][CORE] Consenti a LiveEventBus di arrestarsi senza svuotare completamente la coda di eventi
- [SPARK-47827] [SC-162625][PYTHON] Avvisi mancanti per le funzionalità deprecate
- [SPARK-47733] [SC-162628][SS] Aggiungere metriche personalizzate per l'operatore transformWithState nell'ambito del progresso della query
- [SPARK-47784] [SC-162623][SS] Unire TTLMode e TimeoutMode in un singolo TimeMode.
- [SPARK-47775] [SC-162319][SQL] Supportare i tipi scalari rimanenti nella specifica di variante.
- [SPARK-47736] [SC-162503][SQL] Aggiungere il supporto per AbstractArrayType
- [SPARK-47081] [SC-161758][CONNECT] Supporto dello stato di esecuzione delle query
- [SPARK-47682] [SC-162138][SQL] Supportare il cast da variabile.
- [SPARK-47802] [SC-162478][SQL] Revertire () da significato struct() a significato *
- [SPARK-47680] [SC-162318][SQL] Aggiungere variant_explode espressione.
-
[SPARK-47809] [SC-162511][SQL]
checkExceptionInExpression
dovrebbe verificare l'errore per ciascuna modalità codegen -
[SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementare
SQLStringFormatter
utilizzandoWithRelations
- [SPARK-47693] [SC-162326][SQL] Aggiungere l'ottimizzazione per il confronto in minuscolo di UTF8String usato nella collation UTF8_BINARY_LCASE
- [SPARK-47541] [SC-162006][SQL] Stringhe ordinate in tipi complessi che supportano operazioni reverse, array_join, concat, map
- [SPARK-46812] [SC-161535][CONNECT][PYTHON] Abilitare mapInPandas / mapInArrow a supportare ResourceProfile
- [SPARK-47727] [SC-161982][PYTHON] Portare SparkConf al livello radice sia per SparkSession che per SparkContext
- [SPARK-47406] [SC-159376][SQL] Gestire TIMESTAMP e DATETIME in MYSQLDialect
- [SPARK-47081] Ripristinare "[SC-161758][CONNECT] Supporto all'Esecuzione delle Query…
- [SPARK-47681] [SC-162043][SQL] Aggiungere l'espressione schema_of_variant.
- [SPARK-47783] [SC-162222] Aggiungere alcuni DATI SQL mancanti per pulire l'YY000 da usare...
- [SPARK-47634] [SC-161558][SQL] Aggiungere il supporto legacy per disabilitare la normalizzazione delle chiavi della mappa
- [SPARK-47746] [SC-162022] Implementare la codifica dell'intervallo ordinale in RocksDBStateEncoder
- [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec deve usare sempre context.session
- [SPARK-47643] [SC-161534][SS][PYTHON] Aggiungere un test pyspark per la fonte di streaming Python
- [SPARK-47582] [SC-161943][SQL] Eseguire la migrazione di Catalyst logInfo con variabili al framework di registrazione strutturata
- [SPARK-47558] [SC-162007][SS] Supporto TTL stato per ValueState
- [SPARK-47358] [SC-160912][SQL][COLLATION] Migliorare il supporto delle espressioni di ripetizione per restituire il tipo di dati corretto
- [SPARK-47504] [SC-162044][SQL] Resolve AbstractDataType simpleStrings for StringTypeCollated
- [SPARK-47719] Ripristinare "[SC-161909][SQL] Modificare spark.sql.legacy.t...
- [SPARK-47657] [SC-162010][SQL] Implementare il supporto per il push down dei filtri delle regole di confronto per ogni origine file
- [SPARK-47081] [SC-161758][CONNECT] Supporto dello stato di esecuzione delle query
- [SPARK-47744] [SC-161999] Aggiunta del supporto per byte con valori negativi nel codificatore di intervalli
- [SPARK-47713] [SC-162009][SQL][CONNECT] Correzione di un errore di self-join
- [SPARK-47310] [SC-161930][SS] Aggiungere micro-benchmarking per le operazioni di merge per più valori nella sezione dei valori nell'archivio di stato
- [SPARK-47700] [SC-161774][SQL] Correzione della formattazione dei messaggi di errore con treeNode
- [SPARK-47752] [SC-161993][PS][CONNECT] Rendere pyspark.pandas compatibile con pyspark-connect
- [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementare l'API logWarning/logInfo nel framework di registrazione strutturata
- [SPARK-47107] [SC-161201][SS][PYTHON] Implementare il lettore di partizioni per l'origine dati di streaming in Python
- [SPARK-47553] [SC-161772][SS] Aggiungere il supporto Java per le API dell'operatore transformWithState
- [SPARK-47719] [SC-161909][SQL] Modificare il valore predefinito di spark.sql.legacy.timeParserPolicy su CORRETTO
- [SPARK-47655] [SC-161761][SS] Integrare timer con la gestione dello stato iniziale per state-v2
- [SPARK-47665] [SC-161550][SQL] Usare SMALLINT per scrivere ShortType in MYSQL
- [SPARK-47210] [SC-161777][SQL] Aggiunta del cast implicito senza supporto per valori indeterminati
- [SPARK-47653] [SC-161767][SS] Aggiungere il supporto per i tipi numerici negativi e il codificatore di chiavi per la scansione dell'intervallo
- [SPARK-46743] [SC-160777][SQL] Bug di conteggio dopo il folding costante
- [SPARK-47525] [SC-154568][SQL] Supporto della correlazione di sottoquery join sugli attributi della mappa
- [SPARK-46366] [SC-151277][SQL] Usare l'espressione WITH in BETWEEN per evitare espressioni duplicate
- [SPARK-47563] [SC-161183][SQL] Aggiungere la normalizzazione della mappa alla creazione
- [SPARK-42040] [SC-161171][SQL] SPJ: Introduzione di una nuova API per la partizione di input V2 per segnalare le statistiche delle partizioni
-
[SPARK-47679] [SC-161549][SQL] Usare direttamente i nomi di
HiveConf.getConfVars
o Hive -
[SPARK-47685] [SC-161566][SQL] Ripristinare il supporto per il tipo
Stream
inDataset#groupBy
- [SPARK-47646] [SC-161352][SQL] Fare in modo che try_to_number restituisca NULL per input non valido
- [SPARK-47366] [SC-161324][PYTHON] Aggiungere gli alias per pyspark e dataframe parse_json
-
[SPARK-47491] [SC-161176][CORE] Aggiungere
slf4j-api
jar al classpath prima delle altre directoryjars
- [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty proietta CommandResults a livello locale
-
[SPARK-47364] [SC-158927][CORE] Make
PluginEndpoint
warn when plugins reply for one-way message - [SPARK-47280] [SC-158350][SQL] Rimuovere la limitazione del fuso orario per ORACLE TIMESTAMP WITH TIMEZONE
- [SPARK-47551] [SC-161542][SQL] Aggiungere variant_get expression.
-
[SPARK-47559] [SC-161255][SQL] Supporto codegen per variante
parse_json
- [SPARK-47572] [SC-161351][SQL] Garantire che le partizioni partitionSpec della finestra siano ordinabili.
- [SPARK-47546] [SC-161241][SQL] Migliorare la convalida durante la lettura di Variant da Parquet
-
[SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferendo
dict
comeMapType
dal Pandas DataFrame per consentire la creazione di DataFrame - [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Creare una colonna con regole di confronto nell'API del dataframe
-
[SPARK-47641] [SC-161376][SQL] Migliorare le prestazioni per
UnaryMinus
eAbs
-
[SPARK-47631] [SC-161325][SQL] Rimuovere
SQLConf.parquetOutputCommitterClass
non usato -
[SPARK-47674] [SC-161504][CORE] Abilitare
spark.metrics.appStatusSource.enabled
per impostazione predefinita - [SPARK-47273] [SC-161162][SS][PYTHON] implementare l'interfaccia dello scrittore di flussi di dati Python.
- [SPARK-47637] [SC-161408][SQL] Usare errorCapturingIdentifier in più posizioni
- [SPARK-47497] Annullare "Annulla '[SC-160724][SQL] Fai sì che to_csv supporti l'output di array/struct/map/binary come stringhe ben formattate'"
- [SPARK-47492] [SC-161316][SQL] Estendere le regole di spazio vuoto in lexer
- [SPARK-47664] [SC-161475][PYTHON][CONNECT] Convalidare il nome della colonna con lo schema memorizzato nella cache
- [SPARK-47638] [SC-161339][PS][CONNECT] Ignorare la convalida dei nomi di colonna in PS
- [SPARK-47363] [SC-161247][SS] Stato iniziale senza l'implementazione del lettore di stato per l'API di stato v2.
- [SPARK-47447] [SC-160448][SQL] Consenti la lettura di Parquet TimestampLTZ come TimestampNTZ
-
[SPARK-47497] Ripristina “[SC-160724][SQL] Make
to_csv
supportare l'output diarray/struct/map/binary
come stringhe in un formato leggibile” -
[SPARK-47434] [SC-160122][WEBUI] Correggi collegamento
statistics
inStreamingQueryPage
- [SPARK-46761] [SC-159045][SQL] Le stringhe racchiuse tra virgolette in un percorso JSON devono supportare ? personaggi
-
[SPARK-46915] [SC-155729][SQL] Semplificare
UnaryMinus
Abs
e allineare la classe di errore - [SPARK-47431] [SC-160919][SQL] Aggiungere la collazione predefinita a livello di sessione
- [SPARK-47620] [SC-161242][PYTHON][CONNECT] Aggiungere una funzione helper per ordinare le colonne
- [SPARK-47570] [SC-161165][SS] Integrare le modifiche del codificatore di analisi dell'intervallo con l'implementazione del timer
-
[SPARK-47497] [SC-160724][SQL] Fare in modo che
to_csv
supporta l'output diarray/struct/map/binary
come stringhe formattate in modo gradevole -
[SPARK-47562] [SC-161166][CONNECT] Fattorizzare la gestione dei letterali fuori da
plan.py
- [SPARK-47509] [SC-160902][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
-
[SPARK-47539] [SC-160750][SQL] Rendere il valore restituito del metodo
castToString
essereAny => UTF8String
- [SPARK-47372] [SC-160905][SS] Aggiungere il supporto per il codificatore di stato basato sull'analisi dell'intervallo da usare con il provider dell'archivio stati
- [SPARK-47517] [SC-160642][CORE][SQL] Prefer Utils.bytesToString per la visualizzazione delle dimensioni
-
[SPARK-47243] [SC-158059][SS] Correggere il nome del pacchetto di
StateMetadataSource.scala
- [SPARK-47367] [SC-160913][PYTHON][CONNECT] Supportare origini dati Python con Spark Connect
-
[SPARK-47521] [SC-160666][CORE] Usare
Utils.tryWithResource
durante la lettura dei dati di shuffle dall'archiviazione esterna - [SPARK-47474] [SC-160522][CORE] Ripristina SPARK-47461 e aggiungi alcuni commenti
- [SPARK-47560] [SC-160914][PYTHON][CONNECT] Evitare RPC per convalidare il nome di colonna con lo schema memorizzato nella cache
- [SPARK-47451] [SC-160749][SQL] Supporto to_json(variant).
- [SPARK-47528] [SC-160727][SQL] Aggiungere il supporto UserDefinedType a DataTypeUtils.canWrite
- [SPARK-44708] Annullare "[SC-160734][PYTHON] Eseguire la migrazione di test_reset_index assert_eq per usare assertDataFrameEqual"
- [SPARK-47506] [SC-160740][SQL] Aggiungere il supporto a tutti i formati di origine file per i tipi di dati collazionati
- [SPARK-47256] [SC-160784][SQL] Assegnare nomi alle classi di errore _LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [SC-160720][CORE] Correzione del file JAR della risorsa primaria che è stato aggiunto due volte a spark.jars nella modalità cluster di k8s
- [SPARK-47398] [SC-160572][SQL] Estrarre un trait per InMemoryTableScanExec per permettere di estendere le funzionalità
- [SPARK-47479] [SC-160623][SQL] Optimize non può scrivere dati in relazioni con più percorsi nel log degli errori
- [SPARK-47483] [SC-160629][SQL] Aggiungere il supporto per le operazioni di aggregazione e join su matrici di stringhe collate
- [SPARK-47458] [SC-160237][CORE] Risolvere il problema con il calcolo delle attività simultanee massime per la fase della barriera
-
[SPARK-47534] [SC-160737][SQL] Spostare
o.a.s.variant
ino.a.s.types.variant
- [SPARK-47396] [SC-159312][SQL] Aggiungere una mappatura generale da TIME WITHOUT TIME ZONE a TimestampNTZType
- [SPARK-44708] [SC-160734][PYTHON] Eseguire la migrazione di test_reset_index assert_eq per usare assertDataFrameEqual
- [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Aggiungere test di inferenza dello schema per i tag di valore
-
[SPARK-47007] [SC-160630][SQL] Aggiungere l'espressione
MapSort
-
[SPARK-47523] [SC-160645][SQL] Sostituire i
JsonParser#getCurrentName
deprecati conJsonParser#currentName
- [SPARK-47440] [SC-160635][SQL] Correzione dell'invio di sintassi non supportata al server MS SQL
- [SPARK-47512] [SC-160617][SS] Tipo di operazione tag usato con l'acquisizione/rilascio del blocco dell'istanza dell'archivio stati RocksDB
- [SPARK-47346] [SC-159425][PYTHON] Rendere configurabile la modalità daemon durante la creazione di ruoli di lavoro di Python Planner
-
[SPARK-47446] [SC-160163][CORE] Far avvertire
BlockManager
prima diremoveBlockInternal
- [SPARK-46526] [SC-156099][SQL] Supporto LIMIT per le sottoquery correlate alle quali i predicati fanno riferimento solo a una tabella esterna
-
[SPARK-47461] [SC-160297][CORE] Rimuovere la funzione privata
totalRunningTasksPerResourceProfile
daExecutorAllocationManager
- [SPARK-47422] [SC-160219][SQL] Supportare stringhe ordinate nelle operazioni di array
-
[SPARK-47500] [SC-160627][PYTHON][CONNECT] Gestione dei nomi delle colonne fuori da
plan.py
-
[SPARK-47383] [SC-160144][CORE] Supporto
spark.shutdown.timeout
configurazione - [SPARK-47342] [SC-159049]Annulla "[SQL] Supporto a TimestampNTZ per DB2 TIMESTAMP CON FUSO ORARIO"
-
[SPARK-47486] [SC-160491][CONNECT] Rimuovere il metodo
ArrowDeserializers.getString
privato inutilizzato - [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logica del server & per il listener delle query di streaming lato client
- [SPARK-47487] [SC-160534][SQL] Semplificare il codice in AnsiTypeCoercion
- [SPARK-47443] [SC-160459][SQL] Supporto dell'aggregazione delle finestre per le regole di confronto
- [SPARK-47296] [SC-160457][SQL][COLLATION] Non sono supportate funzioni per regole di confronto non binarie
- [SPARK-47380] [SC-160164][CONNECT] Verificare sul lato server che la SparkSession sia la stessa
- [SPARK-47327] [SC-160069][SQL] Spostare il test di concorrenza delle chiavi di ordinamento in CollationFactorySuite
- [SPARK-47494] [SC-160495][Doc] Aggiungere la documentazione sulla migrazione per la modifica del comportamento dell'inferenza del timestamp Parquet a partire da Spark 3.3
- [SPARK-47449] [SC-160372][SS] Rifattorizzare e suddividere i test unitari di lista/timer
-
[SPARK-46473] [SC-155663][SQL] Riutilizzare
getPartitionedFile
metodo - [SPARK-47423] [SC-160068][SQL] Regole di confronto - Impostare il supporto delle operazioni per le stringhe con regole di confronto
- [SPARK-47439] [SC-160115][PYTHON] Documentare l'API origine dati Python nella pagina di riferimento dell'API
-
[SPARK-47457] [SC-160234][SQL] Correzione
IsolatedClientLoader.supportsHadoopShadedClient
per gestire Hadoop 3.4+ - [SPARK-47366] [SC-159348][SQL] Implementare parse_json.
- [SPARK-46331] [SC-152982][SQL] Rimozione di CodegenFallback dal sottoinsieme di espressioni DateTime e Version()
- [SPARK-47395] [SC-159404] Aggiungere ordinamento e regole di confronto ad altre API
-
[SPARK-47437] [SC-160117][PYTHON][CONNECT] Correggere la classe di errore per
DataFrame.sort*
- [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Listener SparkConnectListenerBus del lato server per il listener di query di streaming del lato client
- [SPARK-47324] [SC-158720][SQL] Aggiungere la conversione dei timestamp mancanti per i tipi annidati JDBC
- [SPARK-46962] [SC-158834][SS][PYTHON] Aggiungere un'interfaccia per l'API di origine dati di streaming Python e implementare il Python Worker per eseguire l'origine dati di streaming Python.
- [SPARK-45827] [SC-158498][SQL] Spostare i controlli del tipo di dati in CreatableRelationProvider
- [SPARK-47342] [SC-158874][SQL] Supporto di TimestampNTZ per DB2 TIMESTAMP WITH TIME ZONE
- [SPARK-47399] [SC-159378][SQL] Disabilitare le colonne generate nelle espressioni con collazioni
- [SPARK-47146] [SC-158247][CORE] Possibile perdita di thread durante l'esecuzione di un sort merge join
- [SPARK-46913] [SC-159149][SS] Aggiungere il supporto per i timer basati su elaborazione/tempo dell'evento con l'operatore transformWithState
-
[SPARK-47375] [SC-159063][SQL] Aggiungere linee guida per il mapping di timestamp in
JdbcDialect#getCatalystType
- [SPARK-47394] [SC-159282][SQL] Supporto di timestamp con fuso orario per H2Dialect
- [SPARK-45827] Ripristina "[SC-158498][SQL] Sposta i controlli del tipo di dati in ...
- [SPARK-47208] [SC-159279][CORE] Consenti l'override della memoria di base in eccesso
- [SPARK-42627] [SC-158021][SPARK-26494][SQL] Supporto di Oracle TIMESTAMP CON FUSO ORARIO LOCALE
- [SPARK-47055] [SC-156916][PYTHON] Aggiornare MyPy 1.8.0
- [SPARK-46906] [SC-157205][SS] Aggiungere un controllo al cambiamento dell'operatore stateful per lo streaming
- [SPARK-47391] [SC-159283][SQL] Rimuovere la soluzione alternativa del test case per JDK 8
- [SPARK-47272] [SC-158960][SS] Aggiungere l'implementazione MapState per la State API v2.
- [SPARK-47375] [SC-159278][Doc][FollowUp] Correggere un errore nella documentazione dell'opzione preferTimestampNTZ di JDBC
- [SPARK-42328] [SC-157363][SQL] Rimuovere _LEGACY_ERROR_TEMP_1175 dalle classi di errore
- [SPARK-47375] [SC-159261][Doc][FollowUp] Correggere la descrizione dell'opzione preferTimestampNTZ nel documento JDBC
- it-IT: [SPARK-47344] [SC-159146] Estendere l'errore INVALID_IDENTIFIER oltre a intercettare '-' in un identificatore senza virgolette e correggere "IS". NULL" et al.
- [SPARK-47340] [SC-159039][SQL] Modificare "collate" nel nome tipo StringType in minuscolo
- [SPARK-47087] [SC-157077][SQL] Sollevare l'eccezione di Spark con una classe di errore durante il controllo del valore di configurazione
- [SPARK-47327] [SC-158824][SQL] Correzione del problema di sicurezza dei thread in ICU Collator
- [SPARK-47082] [SC-157058][SQL] Correzione della condizione di errore out-of-bounds
- [SPARK-47331] [SC-158719][SS] Serializzazione usando classi di case/primitivi/POJO basate su codificatore SQL per l'API dello stato arbitrario v2.
- [SPARK-47250] [SC-158840][SS] Aggiungere ulteriori convalide e modifiche NERF per il provider di stato RocksDB e l'uso delle famiglie di colonne
- [SPARK-47328] [SC-158745][SQL] Rinominare la collation UCS_BASIC in UTF8_BINARY
-
[SPARK-47207] [SC-157845][CORE] Supporto
spark.driver.timeout
eDriverTimeoutPlugin
- [SPARK-47370] [SC-158956][Doc] Aggiungere la documentazione sulla migrazione: Inferenza del tipo TimestampNTZ nei file Parquet
- [SPARK-47309] [SC-158827][SQL][XML] Aggiungere unit test di inferenza dello schema
-
[SPARK-47295] [SC-158850][SQL] Aggiunto StringSearch ICU nelle funzioni
startsWith
eendsWith
-
[SPARK-47343] [SC-158851][SQL] Correggere NPE quando
sqlString
valore della variabile è null in esecuzione immediata -
[SPARK-46293] [SC-150117][CONNECT][PYTHON] Usare
protobuf
dipendenza transitiva -
[SPARK-46795] [SC-154143][SQL] Sostituire
UnsupportedOperationException
conSparkUnsupportedOperationException
insql/core
- [SPARK-46087] [SC-149023][PYTHON] Sincronizzare le dipendenze PySpark nei requisiti di documentazione e di sviluppo
- [SPARK-47169] [SC-158848][SQL] Disabilitare il raggruppamento in bucket sulle colonne ordinate
- [SPARK-42332] [SC-153996][SQL] Modifica della richiesta in ComplexType MergeExpression
- [SPARK-45827] [SC-158498][SQL] Spostare i controlli del tipo di dati in CreatableRelationProvider
- [SPARK-47341] [SC-158825][Connect] Sostituire i comandi con le relazioni in alcuni test in SparkConnectClientSuite
- [SPARK-43255] [SC-158026][SQL] Sostituire la classe di errore _LEGACY_ERROR_TEMP_2020 da un errore interno
- [SPARK-47248] [SC-158494][SQL][COLLATION] Supporto migliorato per le funzioni stringa: contiene
-
[SPARK-47334] [SC-158716][SQL] Fare sì che
withColumnRenamed
riutilizzi l'implementazione diwithColumnsRenamed
- [SPARK-46442] [SC-153168][SQL] DS V2 supporta il push verso il basso PERCENTILE_CONT e PERCENTILE_DISC
- [SPARK-47313] [SC-158747][SQL] Aggiunta della gestione di scala.MatchError all'interno di QueryExecution.toInternalError
- [SPARK-45827] [SC-158732][SQL] Aggiungere un tipo singleton di variante per Java
- [SPARK-47337] [SC-158743][SQL][DOCKER] Aggiornare la versione dell'immagine Docker DB2 alla versione 11.5.8.0
- [SPARK-47302] [SC-158609][SQL] Parola chiave collate come identificatore
-
[SPARK-46817] [SC-154196][CORE] Correggere l'utilizzo di
spark-daemon.sh
aggiungendo il comandodecommission
-
[SPARK-46739] [SC-153553][SQL] Aggiungere la classe di errore
UNSUPPORTED_CALL
-
[SPARK-47102] [SC-158253][SQL] Aggiungere il flag di configurazione
COLLATION_ENABLED
- [SPARK-46774] [SC-153925][SQL][AVRO] Usare mapreduce.output.fileoutputformat.compress anziché il deprecato mapred.output.compress nei processi di scrittura di Avro.
- [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Timeout se il worker non si ricollega.
- [SPARK-46835] [SC-158355][SQL][Collations] Supporto di join per collazioni non binarie
- [SPARK-47131] [SC-158154][SQL][COLLATION] Supporto delle funzioni stringa: contains, startswith, endswith
- [SPARK-46077] [SC-157839][SQL] Prendere in considerazione il tipo generato da TimestampNTZConverter in JdbcDialect.compileValue.
- [SPARK-47311] [SC-158465][SQL][PYTHON] Eliminare le eccezioni Python in cui PySpark non si trova nel percorso Python
- [SPARK-47319] [SC-158599][SQL] Migliorare il calcolo di input mancanti
- [SPARK-47316] [SC-158606][SQL] Correggere TimestampNTZ nell'array di Postgres
- [SPARK-47268] [SC-158158][SQL][Collations] Supporto per la ripartizione con regole di confronto
- [SPARK-47191] [SC-157831][SQL] Evitare la ricerca di relazioni non necessarie durante il rimozione della tabella/visualizzazione dalla cache
- [SPARK-47168] [SC-158257][SQL] Disabilitare il pushdown del filtro Parquet quando si utilizzano stringhe con regole di confronto non predefinite
-
[SPARK-47236] [SC-158015][CORE] Correzione
deleteRecursivelyUsingJavaIO
per ignorare l'input di file non esistente - [SPARK-47238] [SC-158466][SQL] Ridurre l'utilizzo della memoria dell'executor rendendo il codice generato in WSCG una variabile di trasmissione
- [SPARK-47249] [SC-158133][CONNECT] Correggere il bug in cui tutte le esecuzioni di connessione vengono considerate abbandonate indipendentemente dal relativo stato effettivo
- [SPARK-47202] [SC-157828][PYTHON] Correggere l'errore di battitura che causa problemi nei datetime con tzinfo
- [SPARK-46834] [SC-158139][SQL][Collations] Supporto per le aggregazioni
- [SPARK-47277] [SC-158351][3.5] Funzione PySpark util assertDataFrameEqual non deve supportare il flusso DF
- [SPARK-47155] [SC-158473][PYTHON] Correzione del problema della classe di errore
- [SPARK-47245] [SC-158163][SQL] Migliorare il codice di errore per INVALID_PARTITION_COLUMN_DATA_TYPE
-
[SPARK-39771] [SC-158425][CORE] Aggiungere un messaggio di avviso in
Dependency
quando deve essere creato un numero troppo elevato di shuffle blocks. - [SPARK-47277] [SC-158329] La funzione util di PySpark assertDataFrameEqual non deve supportare il DataFrame in streaming
- [SPARK-47293] [SC-158356][CORE] Compilare batchSchema con sparkSchema anziché accodarne uno per uno
- [SPARK-46732] [SC-153517][CONNECT]Rendere il thread Subquery/Broadcast compatibile con il sistema di gestione degli artefatti di Connect
- [SPARK-44746] [SC-158332][PYTHON] Aggiungere altre documentazione UDTF python per le funzioni che accettano tabelle di input
- [SPARK-47120] [SC-157517][SQL] Il push down del filtro dati con confronto con valori null dalla sottoquery che produce un NPE nel filtro Parquet.
-
[SPARK-47251] [SC-158291][PYTHON] Bloccare i tipi non validi nell'argomento
args
per il comandosql
-
[SPARK-47251] Revertire “[SC-158121][PYTHON] Blocca tipi non validi dall'argomento
args
per il comandosql
” - [SPARK-47015] [SC-157900][SQL] Disabilitare il partizionamento nelle colonne collate
-
[SPARK-46846] [SC-154308][CORE] Make
WorkerResourceInfo
extendSerializable
in modo esplicito - [SPARK-46641] [SC-156314][SS] Aggiungere la soglia maxBytesPerTrigger
-
[SPARK-47244] [SC-158122][CONNECT]
SparkConnectPlanner
rendere private le funzioni interne -
[SPARK-47266] [SC-158146][CONNECT] Fai in modo che
ProtoUtils.abbreviate
restituisca lo stesso tipo dell'input - [SPARK-46961] [SC-158183][SS] Uso di ProcessorContext per archiviare e recuperare handle
- [SPARK-46862] [SC-154548][SQL] Disabilitare l'eliminazione delle colonne CSV in modalità multiriga
-
[SPARK-46950] [SC-155803][CORE][SQL] Align
not available codec
error-class -
[SPARK-46368] [SC-153236][CORE] Supporto
readyz
nell'API di invio REST - [SPARK-46806] [SC-154108][PYTHON] Migliorare il messaggio di errore per spark.table quando il tipo di argomento non è corretto
- [SPARK-47211] [SC-158008][CONNECT][PYTHON] Correzione delle stringhe di confronto di PySpark Connect che venivano ignorate
-
[SPARK-46552] [SC-151366][SQL] Sostituire
UnsupportedOperationException
conSparkUnsupportedOperationException
incatalyst
- [SPARK-47147] [SC-157842][PYTHON][SQL] Correzione dell'errore di conversione di stringhe collate in PySpark
- [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Correggere l'errore di confronto di Spark Connect aggiungendo il campo protobuf collateId
- [SPARK-46575] [SC-153200][SQL][HIVE] Rendere HiveThriftServer2.startWithContext DevelopApi ripetibile e correggere l'instabilità di ThriftServerWithSparkContextInHttpSuite
- [SPARK-46696] [SC-153832][CORE] In ResourceProfileManager, le chiamate di funzione devono verificarsi dopo le dichiarazioni di variabili
- [SPARK-47214] [SC-157862][Python] Creare un'API UDTF per "analyze" per distinguere tra argomenti NULL costanti e altri tipi di argomenti
- [SPARK-46766] [SC-153909][SQL][AVRO] Supporto del pool di buffer ZSTD per l'origine dati AVRO
- [SPARK-47192] [SC-157819] Convertire alcuni errori di _LEGACY_ERROR_TEMP_0035
- [SPARK-46928] [SC-157341][SS] Aggiungere il supporto per ListState nell'API Stato Arbitrario v2.
-
[SPARK-46881] [SC-154612][CORE] Supporto
spark.deploy.workerSelectionPolicy
-
[SPARK-46800] [SC-154107][CORE] Supporto
spark.deploy.spreadOutDrivers
- [SPARK-45484] [SC-146014][SQL] Correggere il bug che usa un codec di compressione Parquet non corretto, lz4raw
- [SPARK-46791] [SC-154018][SQL] Supportare il set Java in JavaTypeInference
-
[SPARK-46332] [SC-150224][SQL] Eseguire la migrazione di
CatalogNotFoundException
alla classe di erroreCATALOG_NOT_FOUND
- [SPARK-47164] [SC-157616][SQL] Fare in modo che il valore predefinito da un tipo più ampio si comporti come un letterale ristretto di v2, in modo analogo a v1
-
[SPARK-46664] [SC-153181][CORE] Migliorare
Master
per ripristinare rapidamente in caso di zero ruoli di lavoro e app - [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz e zstandard supportano il livello di compressione per i file avro
Supporto del driver ODBC/JDBC di Databricks
Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).
Consulta gli aggiornamenti di manutenzione di Databricks Runtime 15.2 .
Ambiente di sistema
- Sistema Operativo: Ubuntu 22.04.4 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.2.0
Librerie Python installate
Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
---|---|---|---|---|---|
asttoken | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
nero | 23.3.0 | freccia | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | certificato | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
clic | 8.0.4 | cloudpickle | 2.2.1 | Comunicazione | 0.1.2 |
contourpy | 1.0.5 | crittografia | 41.0.3 | ciclista | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decoratore | 5.1.1 | distlib | 0.3.8 |
punti di ingresso | 0.4 | esecuzione | 0.8.3 | facet-overview | 1.1.1 |
filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
google-cloud-core | 2.4.1 | Google Cloud Storage | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jedi | 0.18.1 | Jeepney (mezzo di trasporto pubblico tipico delle Filippine) | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | portachiavi | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | imballaggio | 23.2 |
Panda | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
capro espiatorio | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Guanciale | 9.4.0 | seme | 23.2.1 | platformdirs | 3.10.0 |
plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
Richieste | 2.31.0 | RSA | 4.9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 68.0.0 | Sei | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
dati accatastati | 0.2.0 | statsmodels | 0.14.0 | tenacia | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | aggiornamenti non supervisionati | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
ruota | 0.38.4 | zipp | 3.11.0 |
Librerie R installate
Le librerie R vengono installate dallo snapshot CRAN Posit Package Manager.
Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
---|---|---|---|---|---|
freccia | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
backporti | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | pezzo | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | Blob | 1.2.4 | stivale | 1.3-28 |
fermentare | 1.0-10 | Brio | 1.1.4 | scopa | 1.0.5 |
bslib | 0.6.1 | cashmere | 1.0.8 | chiamante | 3.7.3 |
Cursore | 6.0-94 | cellranger | 1.1.0 | Chron | 2.3-61 |
classe | 7.3-22 | Cli | 3.6.2 | Clipr | 0.8.0 |
orologio | 0.7.0 | grappolo | 2.1.4 | codetools | 0.2-19 |
spazio colore | 2.1-0 | segno comune | 1.9.1 | compilatore | 4.3.2 |
configurazione | 0.3.2 | Conflitto | 1.2.0 | cpp11 | 0.4.7 |
pastello | 1.5.2 | credenziali | 2.0.1 | ricciolo | 5.2.0 |
data.table | 1.15.0 | Dataset | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | Descrizione | 1.4.3 | strumenti per sviluppatori | 2.4.5 |
diagramma | 1.6.5 | diffobj | 0.3.5 | digerire | 0.6.34 |
illuminazione verso il basso | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | ellissi | 0.3.2 | valutare | 0.23 |
fan | 1.0.6 | colori | 2.1.1 | mappatura rapida | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
straniero | 0.8-85 | forgiare | 0.2.0 | fs | 1.6.3 |
futuro | 1.33.1 | future.apply | 1.11.1 | gargarizzare | 1.5.2 |
Generici | 0.1.3 | Gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.2 | colla | 1.7.0 |
Google Drive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
grafica | 4.3.2 | grDevices | 4.3.2 | griglia | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
gtable | 0.3.4 | casco da cantiere | 1.3.1 | rifugio | 2.5.4 |
highr | 0.10 | Hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | Id | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | Iteratori | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-21 | knitr | 1,45 | etichettatura | 0.4.3 |
Dopo | 1.3.2 | traliccio | 0.21-8 | lava | 1.7.3 |
ciclo di vita | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Markdown | 1.12 | Massa | 7.3-60 |
Matrice | 1.5-4.1 | memorizzare | 2.0.1 | metodi | 4.3.2 |
mgcv | 1.8-42 | mimo | 0.12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallelo | 4.3.2 |
parallelamente | 1.36.0 | pilastro | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | lodare | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | progresso | 1.2.3 |
progressr | 0.14.0 | Promesse | 1.2.1 | proto | 1.0.0 |
proxy | 0.4-27 | P.S. | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reattivo | 0.4.4 |
reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
Ricette | 1.0.9 | rivincita (nuovo incontro) | 2.0.0 | rematch2 | 2.1.2 |
Telecomandi | 2.4.2.1 | esempio riproducibile | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | Sass | 0.4.8 |
bilancia | 1.3.0 | selettore | 0.4-2 | sessioninfo | 1.2.2 |
forma | 1.4.6 | lucido | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | spaziale | 7.3-15 | Spline | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | Statistiche | 4.3.2 |
stats4 | 4.3.2 | perizoma | 1.8.3 | stringr | 1.5.1 |
sopravvivenza | 3.5-5 | spavalderia | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
formattazione del testo | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | cambio d'ora | 0.3.0 |
data e ora | 4032.109 | tinytex | 0.49 | attrezzi | 4.3.2 |
tzdb | 0.4.0 | verificatore di URL | 1.0.1 | usa questo | 2.2.2 |
utf8 | 1.2.4 | utilità | 4.3.2 | identificatore univoco universale (UUID) | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
Vroom | 1.6.5 | Waldo | 0.5.2 | baffo | 0.4.1 |
withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | zip | 2.3.1 |
Librerie installate di Java e Scala (versione del cluster Scala 2.12)
ID gruppo | ID oggetto | Versione |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | corrente | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | compagno di classe | 1.3.4 |
com.fasterxml.jackson.core | Annotazioni Jackson | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeina | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-nativi |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-nativi |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-nativi |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-nativi |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | Tink | 1.9.0 |
com.google.errorprone | annotazioni soggette a errori | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23/05/2026 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | profilatore | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configurazione | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocità-parser | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | Blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | compressore d'aria | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | annotazione delle metriche | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metriche-controlli di salute | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | collettore | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | attivazione | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | sottaceto | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | modello di stringa | 3.2.1 |
org.apache.ant | formica | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant launcher | 1.10.11 |
org.apache.arrow | formato freccia | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | freccia-vettore | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curatore-cliente | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | ricette del curatore | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | Hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | Edera | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | annotazioni del pubblico | 0.13.0 |
org.apache.zookeeper | custode dello zoo | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | applicazione web di Jetty | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-localizzatore | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | localizzatore di risorse OSGi | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | maglia-comune | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Annotazioni | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | Spessori | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | interfaccia di prova | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatibile con scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |