Condividi tramite

Databricks Runtime 15.2

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.2, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nel maggio 2024.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Modifiche comportamentali

Vacuum pulisce i file di metadati COPY INTO

L'esecuzione di VACUUM in una tabella scritta con COPY INTO ora pulisce i metadati non referenziati associati al rilevamento dei file inseriti. Non c'è alcun impatto sulla semantica operativa di COPY INTO.

Lakehouse Federation è disponibile a livello generale

In Databricks Runtime 15.2 e versioni successive, i connettori Lakehouse Federation nei tipi di database seguenti sono disponibili a livello generale :

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Questa versione introduce anche i miglioramenti seguenti:

  • Supporto per l'autenticazione Single Sign-On (SSO) nei connettori Snowflake e Microsoft SQL Server.

  • Il supporto per il collegamento privato di Azure nel connettore SQL Server da ambienti di calcolo serverless. Si veda Passaggio 3: Creare regole per endpoint privati.

  • Supporto per i pushdown aggiuntivi (string, math e funzioni varie).

  • Miglioramento della frequenza di successo del pushdown tra forme di query diverse.

  • Funzionalità di debug pushdown aggiuntive:

    • L'output EXPLAIN FORMATTED visualizza il testo della query di cui è stato eseguito il push.
    • L'interfaccia utente del profilo di query visualizza il testo della query di cui è stato eseguito il push, gli identificatori dei nodi federati e i tempi di esecuzione delle query JDBC (in modalità dettagliata). Vedere Visualizzare le query federate generate dal sistema.

BY POSITION per il mapping delle colonne con COPY INTO file CSV senza intestazione

In Databricks Runtime 15.2 e versioni successive è possibile usare le parole chiave (o la BY POSITION sintassi ( col_name [ , <col_name> ... ] )alternativa ) con COPY INTO per i file CSV senza intestazione per semplificare il mapping delle colonne della tabella di origine al mapping delle colonne della tabella di destinazione. Vedere Parametri.

Ridurre il consumo di memoria quando le attività Spark hanno esito negativo con un Resubmitted errore

In Databricks Runtime 15.2 e versioni successive il valore restituito del metodo Spark TaskInfo.accumulables() è vuoto quando le attività hanno esito negativo con un Resubmitted errore. In precedenza, il metodo restituiva i valori di un tentativo precedente di attività riuscito. Questa modifica del comportamento influisce sui consumer seguenti:

  • Attività Spark che usano la EventLoggingListener classe .
  • Listener Spark personalizzati.

Per ripristinare il comportamento precedente, impostare spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled su false.

La visualizzazione delle versioni del piano di esecuzione delle query adattive è disabilitata

Per ridurre il consumo di memoria, le versioni del piano AQE (Adaptive Query Execution) sono ora disabilitate per impostazione predefinita nell'interfaccia utente di Spark. Per abilitare la visualizzazione delle versioni del piano AQE nell'interfaccia utente di Spark, impostare su spark.databricks.sql.aqe.showPlanChangesInUI.enabled true.

Il limite per le query conservate viene ridotto per ridurre l'utilizzo della memoria dell'interfaccia utente Spark

In Databricks Runtime 15.2 e versioni successive, per ridurre la memoria usata dall'interfaccia utente spark nell'ambiente di calcolo di Azure Databricks, il limite per il numero di query visibili nell'interfaccia utente viene ridotto da 1000 a 100. Per modificare il limite, impostare un nuovo valore usando la spark.sql.ui.retainedExecutions configurazione di Spark.

DESCRIBE HISTORY mostra ora le colonne di clustering per le tabelle che usano clustering liquido

Quando si esegue una query DESCRIBE HISTORY, la colonna operationParameters mostra un campo clusterBy per impostazione predefinita per le operazioni CREATE OR REPLACE e OPTIMIZE. Per una tabella Delta che usa clustering liquido, il campo clusterBy viene popolato con le colonne di clustering della tabella. Se la tabella non usa il clustering liquido, il campo è vuoto.

Miglioramenti e nuove funzionalità

Il supporto per le chiavi primarie ed esterne è disponibile a livello generale

Il supporto per le chiavi primarie ed esterne in Databricks Runtime è disponibile a livello generale. La versione a disponibilità generale include le modifiche seguenti ai privilegi necessari per usare chiavi primarie ed esterne:

  • Per definire una chiave esterna, è necessario avere il privilegio SELECT per la tabella con la chiave primaria a cui fa riferimento la chiave esterna. Non è necessario possedere la tabella con la chiave primaria, richiesta in precedenza.
  • L'eliminazione di una chiave primaria tramite la clausola CASCADE non richiede privilegi per le tabelle che definiscono chiavi esterne che fanno riferimento alla chiave primaria. In precedenza, era necessario possedere le tabelle di riferimento.
  • L'eliminazione di una tabella che include vincoli richiede ora gli stessi privilegi di eliminazione delle tabelle che non includono vincoli.

Per informazioni su come usare chiavi primarie ed esterne con tabelle o viste, vedere clausola CONSTRAINT, clausola ADD CONSTRAINT e clausola DROP CONSTRAINT.

Clustering liquido disponibile a livello generale

Il supporto per il clustering liquido è ora disponibile a livello generale con Databricks Runtime 15.2 e versioni successive. Vedere Usare il clustering liquido per le tabelle Delta.

L'estensione dei tipi è disponibile in anteprima pubblica

È ora possibile abilitare l'estensione dei tipi nelle tabelle supportate da Delta Lake. Le tabelle con tipo esteso abilitato consentono di modificare il tipo di colonne in un tipo di dati più ampio senza riscrivere i file di dati sottostanti. Vedere Estensione del tipo.

Clausola di evoluzione dello schema aggiunta alla sintassi di merge SQL

È ora possibile aggiungere la clausola WITH SCHEMA EVOLUTION a un'istruzione di merge SQL per abilitare l'evoluzione dello schema per l'operazione. Vedere Sintassi dell'evoluzione dello schema per unire.

Le origini dati personalizzate pySpark sono disponibili in anteprima pubblica

È possibile creare un'origine dati PySpark usando l'API DataSource Python (PySpark), che consente la lettura da origini dati personalizzate e la scrittura in sink di dati personalizzati in Apache Spark usando Python. Vedere Origini dati personalizzate pySpark

applyInPandas e mapInPandas ora disponibili nell'ambiente di calcolo del catalogo Unity con modalità di accesso condiviso

Nell'ambito di una versione applyInPandas di manutenzione di Databricks Runtime 14.3 LTS e mapInPandas i tipi UDF sono ora supportati nel calcolo in modalità di accesso condiviso che esegue Databricks Runtime 14.3 e versioni successive.

Usare dbutils.widgets.getAll() per ottenere tutti i widget in un notebook

Usare dbutils.widgets.getAll() per ottenere tutti i valori dei widget in un notebook. Ciò è particolarmente utile quando si passano più valori di widget a una query Spark SQL.

Supporto dell'inventario vuoto

È ora possibile specificare un inventario dei file da considerare quando si esegue il comando VACUUM in una tabella Delta. Vedere la documentazione di OSS Delta.

Supporto per le funzioni di compressione Zstandard

È ora possibile usare le funzioni zst_compress, zstd_decompress e try_zstd_decompress per comprimere e decomprimere i dati BINARY.

Correzioni di bug

I piani di query nell'interfaccia utente SQL adesso mostrano correttamente PhotonWriteStage

Quando vengono visualizzati nell'interfaccia utente SQL, i comandi write nei piani di query mostravano PhotonWriteStage erroneamente come operatore. Con questa versione, l'interfaccia utente viene aggiornata per mostrare PhotonWriteStage come fase. Si tratta solo di una modifica dell'interfaccia utente e non influisce sulla modalità di esecuzione delle query.

Ray viene aggiornato per risolvere i problemi relativi all'avvio dei cluster Ray

Questa versione include una versione patch di Ray che corregge una modifica di rilievo che impedisce ai cluster Ray di iniziare con Databricks Runtime per Machine Learning. Questa modifica garantisce che la funzionalità Ray sia identica alle versioni di Databricks Runtime precedenti alla versione 15.2.

GraphFrames viene aggiornato per correggere i risultati non corretti con Spark 3.5

Questa versione include un aggiornamento del pacchetto GraphFrames per risolvere i problemi che causano risultati non corretti per alcuni algoritmi con GraphFrame e Spark 3.5.

Correzione della classe di errore per DataFrame.sort() le funzioni e DataFrame.sortWithinPartitions()

Questa versione include un aggiornamento delle funzioni e PySpark DataFrame.sort() per assicurarsi che la ZERO_INDEX classe di errore venga generata quando 0 viene passata come argomento di indice.DataFrame.sortWithinPartitions() In precedenza, la classe INDEX_NOT_POSITIVE di errore è stata generata.

ipywidgets è stato effettuato il downgrade da 8.0.4 a 7.7.2

Per correggere gli errori introdotti da un aggiornamento di ipywidgets a 8.0.4 in Databricks Runtime 15.0, ipywidgets viene effettuato il downgrade alla versione 7.7.2 in Databricks Runtime 15.2. Questa è la stessa versione inclusa nelle versioni precedenti di Databricks Runtime.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • GitPython dalla versione 3.1.42 alla versione 3.1.43
    • google-api-core da 2.17.1 a 2.18.0
    • Google-auth dalla versione 2.28.1 alla versione 2.29.0
    • google-cloud-storage dalla versione 2.15.0 alla versione 2.16.0
    • googleapis-common-protos da 1.62.0 a 1.63.0
    • ipywidgets da 8.0.4 a 7.7.2
    • mlflow-skinny da 2.11.1 a 2.11.3
    • s3transfer from 0.10.0 to 0.10.1
    • sqlparse da 0.4.4 a 0.5.0
    • typing_extensions dalla versione 4.7.1 alla versione 4.10.0
  • Librerie R aggiornate:
  • Librerie Java aggiornate:
    • com.amazonaws.aws-java-sdk-autoscaling da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-config da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-core da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directory da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ecs da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-efs da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-emr da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glacier da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glue da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-iam da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-importexport da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-[...]s da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kms da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-lambda da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-logs da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-rds da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-redshift da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-route53 da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-s3 da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ses da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sns da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sqs da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ssm da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sts da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-support da 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces da 1.12.390 a 1.12.610
    • com.amazonaws.jmespath-java da 1.12.390 a 1.12.610

Apache Spark

Databricks Runtime 15.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connetti] Propagare gli errori di inizializzazione del ruolo di lavoro ForeachBatch agli utenti per PySpark
  • [SPARK-47412] [SC-163455][SQL] Aggiungere il supporto delle regole di confronto per LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Mettere bang sotto una configurazione
  • [SPARK-46820] [SC-157093][PYTHON] Correggere la regressione del messaggio di errore ripristinando new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Manager: migrazione della registrazione strutturata
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Aggiungere funzioni varianti a Scala e Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Aggiungere Environment una pagina all'interfaccia utente master
  • [SPARK-47805] [SC-163459][SS] Implementazione della durata (TTL) per MapState
  • [SPARK-47900] [SC-163326] Correzione delle regole di confronto implicite (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Rendere le espressioni Compute Current Time* pieghevoli
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Supportare il tipo di colonna nella funzione divisa per scala e Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: supporto per la lettura di matrici multidimensionali
  • [SPARK-47416] [SC-163001][SQL] Aggiungere nuove funzioni a CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Correzione del bug di aggregazione in RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementare l'espressione is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Rendere CollectTailExec.doExecute lazy con RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP da TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Aggiungere un log DEBUG a DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Correzione della regressione delle prestazioni di ExpressionSet in scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Resilienza dell'arresto anomalo del pool di lavoro PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Rendere pyspark.resource compatibile con pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Rimuovere l'importazione spark/connect/common.proto inutilizzata da spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Rendere pyspark.worker_utils compatibile con pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: supportare una matrice multidimensionale sul lato scrittura
  • [SPARK-47617] [SC-162513][SQL] Aggiungere l'infrastruttura di test TPC-DS per le regole di confronto
  • [SPARK-47356] [SC-162858][SQL] Aggiunta del supporto per ConcatWs & Elt (tutte le regole di confronto)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferenza dict dal MapType dataframe Pandas per consentire la creazione di dataframe
  • [SPARK-47863] [SC-162974][SQL] Correzione dell'implementazione di startsWith & endsWith con riconoscimento delle regole di confronto per l'ICU
  • [SPARK-47867] [SC-162966][SQL] Supportare la variante nell'analisi JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Aggiungere VariantVal per PySpark
  • [SPARK-47803] [SC-162726][SQL] Cast del supporto alla variante.
  • [SPARK-47769] [SC-162841][SQL] Aggiungere schema_of_variant_agg'espressione.
  • [SPARK-47420] [SC-162842][SQL] Correzione dell'output del test
  • [SPARK-47430] [SC-161178][SQL] Supporto di GROUP BY per MapType
  • [SPARK-47357] [SC-162751][SQL] Aggiunta del supporto per Upper, Lower, InitCap (tutte le regole di confronto)
  • [SPARK-47788] [SC-162729][SS] Verificare lo stesso partizionamento hash per le operazioni con stato di streaming
  • [SPARK-47776] [SC-162291][SS] Non consentire regole di confronto di disuguaglianza binaria da usare nello schema della chiave dell'operatore con stato
  • [SPARK-47673] [SC-162824][SS] Implementazione di TTL per ListState
  • [SPARK-47818] [SC-162845][CONNECT] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
  • [SPARK-47694] [SC-162783][CONNECT] Rendere configurabili le dimensioni massime dei messaggi sul lato client
  • [SPARK-47274] Ripristinare "[SC-162479][PYTHON][SQL] Fornire altro usef...
  • [SPARK-47616] [SC-161193][SQL] Aggiungere un documento utente per il mapping dei tipi di dati SPARK SQL da MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Correzione della generazione di file proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Modificare lo script di versione per rilasciare pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Eseguire il refactoring di UTF8String e CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Rendere pyspark.ml compatibile con pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Gestione speciale del tipo JSON per il connettore MySQL/J 5.x
  • [SPARK-47765] Ripristinare "[SC-162636][SQL] Aggiungere SET COLLATION per l'analisi...
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Miglioramento dell'usabilità del gestore di stato
  • [SPARK-47289] [SC-161877][SQL] Consenti alle estensioni di registrare le informazioni estese nel piano di spiegazione
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Fornire un contesto più utile per gli errori dell'API DataFrame PySpark
  • [SPARK-47765] [SC-162636][SQL] Aggiungere SET COLLATION alle regole del parser
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite ha esito negativo con piano non valido
  • [SPARK-47812] [SC-162696][CONNECT] Supporto della serializzazione di SparkSession per il ruolo di lavoro ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Consenti l'arresto di LiveEventBus senza svuotare completamente la coda di eventi
  • [SPARK-47827] [SC-162625][PYTHON] Avvisi mancanti per le funzionalità deprecate
  • [SPARK-47733] [SC-162628][SS] Aggiungere metriche personalizzate per la parte dell'operatore transformWithState dello stato di avanzamento della query
  • [SPARK-47784] [SC-162623][SS] Unire TTLMode e TimeoutMode in un singolo TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Supportare i tipi scalari rimanenti nella specifica di variante.
  • [SPARK-47736] [SC-162503][SQL] Aggiunta del supporto per AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Supporto dello stato di esecuzione delle query
  • [SPARK-47682] [SC-162138][SQL] Supporto del cast dalla variante.
  • [SPARK-47802] [SC-162478][SQL] Ripristinare () dal significato dello struct() al significato *
  • [SPARK-47680] [SC-162318][SQL] Aggiungere variant_explode'espressione.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression deve controllare l'errore per ogni modalità codegen
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementare SQLStringFormatter con WithRelations
  • [SPARK-47693] [SC-162326][SQL] Aggiungere l'ottimizzazione per il confronto in minuscolo di UTF8String usato nelle regole di confronto UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Stringhe collate in tipi complessi che supportano operazioni inverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Rendere mapInPandas/mapInArrow support ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Impostare SparkConf sul livello radice per SparkSession e SparkContext
  • [SPARK-47406] [SC-159376][SQL] Gestire TIMESTAMP e DATETIME in MYSQLDialect
  • [SPARK-47081] Ripristinare "[SC-161758][CONNECT] Support Query Executi...
  • [SPARK-47681] [SC-162043][SQL] Aggiungere schema_of_variant'espressione.
  • [SPARK-47783] [SC-162222] Aggiungere alcuni SQLSTATEs mancanti per pulire l'YY000 da usare...
  • [SPARK-47634] [SC-161558][SQL] Aggiungere il supporto legacy per disabilitare la normalizzazione delle chiavi della mappa
  • [SPARK-47746] [SC-162022] Implementare la codifica dell'intervallo basato su ordinale in RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec deve usare sempre context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Aggiungere il test pyspark per l'origine di streaming Python
  • [SPARK-47582] [SC-161943][SQL] Eseguire la migrazione di Catalyst logInfo con variabili al framework di registrazione strutturata
  • [SPARK-47558] [SC-162007][SS] Supporto della durata (TTL) dello stato per ValueState
  • [SPARK-47358] [SC-160912][SQL][REGOLE DI CONFRONTO] Migliorare il supporto delle espressioni di ripetizione per restituire il tipo di dati corretto
  • [SPARK-47504] [SC-162044][SQL] Risolvere abstractDataType simpleStrings per StringTypeCollated
  • [SPARK-47719] Ripristinare "[SC-161909][SQL] Modificare spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementare il supporto per il push down del filtro delle regole di confronto per ogni origine file
  • [SPARK-47081] [SC-161758][CONNECT] Supporto dello stato di esecuzione delle query
  • [SPARK-47744] [SC-161999] Aggiunta del supporto per byte con valori negativi nel codificatore di intervalli
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Correzione di un errore di self-join
  • [SPARK-47310] [SC-161930][SS] Aggiungere micro benchmark per le operazioni di merge per più valori nella parte del valore dell'archivio stati
  • [SPARK-47700] [SC-161774][SQL] Correzione della formattazione dei messaggi di errore con treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Rendere pyspark.pandas compatibile con pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementare l'API logWarning/logInfo nel framework di registrazione strutturata
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementare il lettore di partizioni per l'origine dati di streaming Python
  • [SPARK-47553] [SC-161772][SS] Aggiungere il supporto Java per le API dell'operatore transformWithState
  • [SPARK-47719] [SC-161909][SQL] Modificare il valore predefinito di spark.sql.legacy.timeParserPolicy su CORRETTO
  • [SPARK-47655] [SC-161761][SS] Integrare il timer con la gestione dello stato iniziale per state-v2
  • [SPARK-47665] [SC-161550][SQL] Usare SMALLINT per scrivere shorttype in MYSQL
  • [SPARK-47210] [SC-161777][SQL] Aggiunta del cast implicito senza supporto indeterminato
  • [SPARK-47653] [SC-161767][SS] Aggiunta del supporto per i tipi numerici negativi e il codificatore di chiavi di analisi dell'intervallo
  • [SPARK-46743] [SC-160777][SQL] Conteggio bug dopo la riduzione costante
  • [SPARK-47525] [SC-154568][SQL] Supporto della correlazione di sottoquery join sugli attributi della mappa
  • [SPARK-46366] [SC-151277][SQL] Usare l'espressione WITH in BETWEEN per evitare espressioni duplicate
  • [SPARK-47563] [SC-161183][SQL] Aggiungere la normalizzazione della mappa alla creazione
  • [SPARK-42040] [SC-161171][SQL] SPJ: Introdurre una nuova API per la partizione di input V2 per segnalare le statistiche delle partizioni
  • [SPARK-47679] [SC-161549][SQL] Usare HiveConf.getConfVars o usare direttamente nomi di conf Hive
  • [SPARK-47685] [SC-161566][SQL] Ripristinare il supporto per Stream il tipo in Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Impostare try_to_number restituire NULL per l'input in formato non valido
  • [SPARK-47366] [SC-161324][PYTHON] Aggiungere alias pyspark e dataframe parse_json
  • [SPARK-47491] [SC-161176][CORE] Aggiungere slf4j-api jar al percorso della classe prima delle altre directory jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projects CommandResults localmente
  • [SPARK-47364] [SC-158927][CORE] Avvisare PluginEndpoint quando i plug-in rispondono per un messaggio unidirezionale
  • [SPARK-47280] [SC-158350][SQL] Rimuovere la limitazione del fuso orario per ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Aggiungere variant_get espressione.
  • [SPARK-47559] [SC-161255][SQL] Supporto codegen per variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Imponi partizione FinestraSpec è ordinabile.
  • [SPARK-47546] [SC-161241][SQL] Migliorare la convalida durante la lettura di Variant da Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferenza dict dal MapType dataframe Pandas per consentire la creazione di dataframe
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Creare una colonna con regole di confronto nell'API del dataframe
  • [SPARK-47641] [SC-161376][SQL] Migliorare le prestazioni per UnaryMinus e Abs
  • [SPARK-47631] [SC-161325][SQL] Rimuovere il metodo inutilizzato SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Abilita spark.metrics.appStatusSource.enabled per impostazione predefinita
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementa l'interfaccia del writer del flusso di dati Python.
  • [SPARK-47637] [SC-161408][SQL] Usare errorCapturingIdentifier in più posizioni
  • [SPARK-47497] Ripristinare "Revert "[SC-160724][SQL] Make to_csv supportare l'output di array/struct/map/binary come stringhe carine""
  • [SPARK-47492] [SC-161316][SQL] Ampliare le regole degli spazi vuoti in lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Convalidare il nome della colonna con lo schema memorizzato nella cache
  • [SPARK-47638] [SC-161339][PS][CONNECT] Ignorare la convalida del nome della colonna in PS
  • [SPARK-47363] [SC-161247][SS] Stato iniziale senza implementazione del lettore di stato per l'API stato v2.
  • [SPARK-47447] [SC-160448][SQL] Consenti lettura parquet TimestampLTZ come TimestampNTZ
  • [SPARK-47497] Ripristinare "[SC-160724][SQL] Rendere to_csv supportato l'output di array/struct/map/binary come stringhe carine"
  • [SPARK-47434] [SC-160122][WEBUI] Correzione statistics del collegamento in StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Le stringhe racchiuse tra virgolette in un percorso JSON devono supportare ? characters
  • [SPARK-46915] [SC-155729][SQL] Semplificare UnaryMinus Abs e allineare la classe di errore
  • [SPARK-47431] [SC-160919][SQL] Aggiungere regole di confronto predefinite a livello di sessione
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Aggiungere una funzione helper per ordinare le colonne
  • [SPARK-47570] [SC-161165][SS] Integrare le modifiche del codificatore di analisi dell'intervallo con l'implementazione del timer
  • [SPARK-47497] [SC-160724][SQL] Supportare to_csv l'output di array/struct/map/binary come stringhe piuttosto belle
  • [SPARK-47562] [SC-161166][CONNECT] Gestione dei valori letterali fattori da plan.py
  • [SPARK-47509] [SC-160902][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
  • [SPARK-47539] [SC-160750][SQL] Rendere il valore restituito del metodo castToStringAny => UTF8String
  • [SPARK-47372] [SC-160905][SS] Aggiunta del supporto per il codificatore dello stato della chiave basata sull'analisi di intervalli da usare con il provider dell'archivio stati
  • [SPARK-47517] [SC-160642][CORE][SQL] Preferisce Utils.bytesToString per la visualizzazione delle dimensioni
  • [SPARK-47243] [SC-158059][SS] Correggere il nome del pacchetto di StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Supportare le origini dati Python con Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Usare Utils.tryWithResource durante la lettura di dati casuali da una risorsa di archiviazione esterna
  • [SPARK-47474] [SC-160522][CORE] Ripristinare SPARK-47461 e aggiungere alcuni commenti
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Evitare RPC di convalidare il nome della colonna con lo schema memorizzato nella cache
  • [SPARK-47451] [SC-160749][SQL] Supporto to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Aggiungere il supporto userDefinedType a DataTypeUtils.canWrite
  • [SPARK-44708] Ripristinare "[SC-160734][PYTHON] Eseguire la migrazione test_reset_index assert_eq per usare assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Aggiunta del supporto a tutti i formati di origine file per i tipi di dati compressi
  • [SPARK-47256] [SC-160784][SQL] Assegnare nomi alle classi di errore _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Correzione del file JAR della risorsa primaria aggiunto due volte a spark.jars in modalità cluster k8s
  • [SPARK-47398] [SC-160572][SQL] Estrarre un tratto per InMemoryTableScanExec per consentire l'estensione delle funzionalità
  • [SPARK-47479] [SC-160623][SQL] L'ottimizzazione non può scrivere dati nelle relazioni con più percorsi del log degli errori
  • [SPARK-47483] [SC-160629][SQL] Aggiunta del supporto per le operazioni di aggregazione e join su matrici di stringhe collate
  • [SPARK-47458] [SC-160237][CORE] Risolvere il problema con il calcolo delle attività simultanee massime per la fase della barriera
  • [SPARK-47534] [SC-160737][SQL] Sposta o.a.s.variant in o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Aggiungere un mapping generale per TIME WITHOUT TIME ZONE a TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Eseguire la migrazione test_reset_index assert_eq per usare assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Aggiungere test di inferenza dello schema per i tag valore
  • [SPARK-47007] [SC-160630][SQL] Aggiungere l'espressione MapSort
  • [SPARK-47523] [SC-160645][SQL] Sostituire deprecato JsonParser#getCurrentName con JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Correzione del push della sintassi non supportata in MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Tipo di operazione tag usata con l'acquisizione/rilascio del blocco dell'istanza dell'archivio stati RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Rendere configurabile la modalità daemon durante la creazione di ruoli di lavoro di Python Planner
  • [SPARK-47446] [SC-160163][CORE] Avvisa BlockManager prima removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Supporto di LIMIT su sottoquery correlate in cui i predicati fanno riferimento solo a una tabella esterna
  • [SPARK-47461] [SC-160297][CORE] Rimuovere una funzione totalRunningTasksPerResourceProfile privata da ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Supportare stringhe con regole di confronto nelle operazioni di matrice
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Factor column name handling out of plan.py
  • [SPARK-47383] [SC-160144][CORE] Configurazione del supporto spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Ripristinare "[SQL] Supporto timestampNTZ per DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Rimuovere il metodo privato ArrowDeserializers.getString inutilizzato
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logica client e server per il listener di query di streaming lato client
  • [SPARK-47487] [SC-160534][SQL] Semplificare il codice in AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Supporto dell'aggregazione finestra per le regole di confronto
  • [SPARK-47296] [SC-160457][SQL][REGOLE DI CONFRONTO] Non è possibile eseguire funzioni non supportate per le regole di confronto non binarie
  • [SPARK-47380] [SC-160164][CONNECT] Verificare sul lato server che SparkSession sia lo stesso
  • [SPARK-47327] [SC-160069][SQL] Spostare il test di concorrenza delle chiavi di ordinamento in CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Aggiungere la documentazione sulla migrazione per la modifica del comportamento dell'inferenza del timestamp Parquet a partire da Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Eseguire il refactoring e suddividere gli unit test elenco/timer
  • [SPARK-46473] [SC-155663][SQL] Riutilizzare getPartitionedFile il metodo
  • [SPARK-47423] [SC-160068][SQL] Regole di confronto - Impostare il supporto delle operazioni per le stringhe con regole di confronto
  • [SPARK-47439] [SC-160115][PYTHON] Documentare l'API origine dati Python nella pagina di riferimento dell'API
  • [SPARK-47457] [SC-160234][SQL] Correzione IsolatedClientLoader.supportsHadoopShadedClient per gestire Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementare parse_json.
  • [SPARK-46331] [SC-152982][SQL] Rimozione di CodegenFallback dal subset di espressioni DateTime e version()
  • [SPARK-47395] [SC-159404] Aggiungere regole di confronto e regole di confronto ad altre API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Correggere la classe di errore per DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Server side SparkConnectListenerBusListener for Client side streaming query listener
  • [SPARK-47324] [SC-158720][SQL] Aggiungere la conversione di timestamp mancanti per i tipi annidati JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Aggiungere l'interfaccia per l'API dell'origine dati di streaming Python e implementare il ruolo di lavoro Python per eseguire l'origine dati di streaming Python
  • [SPARK-45827] [SC-158498][SQL] Spostare i controlli dei tipi di dati in CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Supporto di TimestampNTZ per DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Disabilitare le colonne generate nelle espressioni con regole di confronto
  • [SPARK-47146] [SC-158247][CORE] Possibile perdita di thread quando si esegue l'ordinamento merge join
  • [SPARK-46913] [SC-159149][SS] Aggiunta del supporto per i timer basati sull'elaborazione/l'ora dell'evento con l'operatore transformWithState
  • [SPARK-47375] [SC-159063][SQL] Aggiungere linee guida per il mapping di timestamp in JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Supporto di TIMESTAMP CON FUSO ORARIO per H2Dialect
  • [SPARK-45827] Ripristinare "[SC-158498][SQL] Spostare i controlli del tipo di dati in ...
  • [SPARK-47208] [SC-159279][CORE] Consenti l'override della memoria sovraccarico di base
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Supporto di Oracle TIMESTAMP CON FUSO ORARIO LOCALE
  • [SPARK-47055] [SC-156916][PYTHON] Aggiornare MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Aggiungere un controllo per la modifica dell'operatore con stato per lo streaming
  • [SPARK-47391] [SC-159283][SQL] Rimuovere la soluzione alternativa del test case per JDK 8
  • [SPARK-47272] [SC-158960][SS] Aggiungere l'implementazione mapState per l'API State v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Correggere un errore nella documentazione dell'opzione preferTimestampNTZ di JDBC
  • [SPARK-42328] [SC-157363][SQL] Rimuovere _LEGACY_ERROR_TEMP_1175 dalle classi di errore
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Correggere la descrizione dell'opzione preferTimestampNTZ nel documento JDBC
  • [SPARK-47344] [SC-159146] Estendere INVALID_IDENTIFIER errore oltre a intercettare '-' in un identificatore non racchiuso tra virgolette e correggere "IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Modificare "collate" in StringType typename in minuscolo
  • [SPARK-47087] [SC-157077][SQL] Generare l'eccezione di Spark con una classe di errore nel controllo del valore di configurazione
  • [SPARK-47327] [SC-158824][SQL] Risolvere il problema di thread safety nel collator di ICU
  • [SPARK-47082] [SC-157058][SQL] Correzione della condizione di errore out-of-bounds
  • [SPARK-47331] [SC-158719][SS] Serializzazione usando classi di maiuscole/minuscole/primitive/POJO basate sul codificatore SQL per l'API stato arbitrario v2.
  • [SPARK-47250] [SC-158840][SS] Aggiungere altre convalide e modifiche NERF per il provider di stato RocksDB e l'uso delle famiglie di colonne
  • [SPARK-47328] [SC-158745][SQL] Rinominare le regole di confronto UCS_BASIC in UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Supporto spark.driver.timeout e DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Aggiungere la documentazione sulla migrazione: Inferenza del tipo TimestampNTZ nei file Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Aggiungere unit test di inferenza dello schema
  • [SPARK-47295] [SC-158850][SQL] Aggiunta di StringSearch ICU per le startsWith funzioni e endsWith
  • [SPARK-47343] [SC-158851][SQL] Correzione del server dei criteri di rete quando sqlString il valore della variabile è una stringa Null nell'esecuzione immediata
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Usare la protobuf dipendenza transitiva
  • [SPARK-46795] [SC-154143][SQL] Sostituisci UnsupportedOperationException con SparkUnsupportedOperationException in sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sincronizzare le dipendenze pySpark nei documenti e nei requisiti di sviluppo
  • [SPARK-47169] [SC-158848][SQL] Disabilitare il bucket sulle colonne collate
  • [SPARK-42332] [SC-153996][SQL] Modifica della richiesta in un'eccezione SparkException in ComplexType MergeExpression
  • [SPARK-45827] [SC-158498][SQL] Spostare i controlli dei tipi di dati in CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connetti] Sostituire i comandi con le relazioni in alcuni test in SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Sostituire la classe di errore _LEGACY_ERROR_TEMP_2020 da un errore interno
  • [SPARK-47248] [SC-158494][SQL][REGOLE DI CONFRONTO] Supporto migliorato per le funzioni stringa: contiene
  • [SPARK-47334] [SC-158716][SQL] Riusare withColumnRenamed l'implementazione di withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 supporta il push di PERCENTILE_CONT e PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Aggiunta di scala. Gestione di MatchError all'interno di QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Aggiungere un tipo singleton variant per Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Aggiornare la versione dell'immagine Docker DB2 alla versione 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Parola chiave Collate come identificatore
  • [SPARK-46817] [SC-154196][CORE] Correggere l'utilizzo spark-daemon.sh aggiungendo il decommission comando
  • [SPARK-46739] [SC-153553][SQL] Aggiungere la classe error UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Aggiungere il COLLATION_ENABLED flag di configurazione
  • [SPARK-46774] [SC-153925][SQL][AVRO] Usare mapreduce.output.fileoutputformat.compress anziché mapred.output.compress deprecato nei processi di scrittura Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: timeout se il ruolo di lavoro non si connette.
  • [SPARK-46835] [SC-158355][SQL][Regole di confronto] Supporto di join per regole di confronto non binarie
  • [SPARK-47131] [SC-158154][SQL][REGOLE DI CONFRONTO] Supporto delle funzioni stringa: contiene, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Si consideri il tipo generato da TimestampNTZConverter in JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Eliminare le eccezioni Python in cui PySpark non è nel percorso Python
  • [SPARK-47319] [SC-158599][SQL] Migliorare il calcolo missingInput
  • [SPARK-47316] [SC-158606][SQL] Correzione di TimestampNTZ nella matrice Postgres
  • [SPARK-47268] [SC-158158][SQL][Regole di confronto] Supporto per la ripartizione con regole di confronto
  • [SPARK-47191] [SC-157831][SQL] Evitare la ricerca di relazioni non necessarie durante l'annullamento del controllo della tabella/vista
  • [SPARK-47168] [SC-158257][SQL] Disabilitare il pushdown del filtro Parquet quando si utilizzano stringhe non predefinite con regole di confronto
  • [SPARK-47236] [SC-158015][CORE] Correzione deleteRecursivelyUsingJavaIO per ignorare l'input di file non esistente
  • [SPARK-47238] [SC-158466][SQL] Ridurre l'utilizzo della memoria dell'executor rendendo il codice generato in WSCG una variabile broadcast
  • [SPARK-47249] [SC-158133][CONNECT] Correzione del bug in cui tutte le esecuzioni di connessione vengono considerate abbandonate indipendentemente dal relativo stato effettivo
  • [SPARK-47202] [SC-157828][PYTHON] Correzione di un'interruzione di tipo typo datetimes con tzinfo
  • [SPARK-46834] [SC-158139][SQL][Regole di confronto] Supporto per le aggregazioni
  • [SPARK-47277] [SC-158351][3.5] La funzione PySpark util assertDataFrameEqual non deve supportare la funzione di streaming DF
  • [SPARK-47155] [SC-158473][PYTHON] Correzione del problema della classe di errore
  • [SPARK-47245] [SC-158163][SQL] Migliorare il codice di errore per INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Aggiungere un messaggio di avviso in Dependency quando deve essere creato un numero eccessivo di blocchi casuali.
  • [SPARK-47277] [SC-158329] La funzione pySpark util assertDataFrameEqual non deve supportare la funzione di streaming DF
  • [SPARK-47293] [SC-158356][CORE] Compilare batchSchema con sparkSchema invece di accodarne uno per uno
  • [SPARK-46732] [SC-153517][CONNECT]Rendere il thread Subquery/Broadcast funzionante con la gestione degli artefatti di Connect
  • [SPARK-44746] [SC-158332][PYTHON] Aggiungere altre documentazione UDTF python per le funzioni che accettano tabelle di input
  • [SPARK-47120] [SC-157517][SQL] Il push del filtro dati di confronto Null dalla sottoquery produce in NPE nel filtro Parquet
  • [SPARK-47251] [SC-158291][PYTHON] Blocca tipi non validi dall'argomento per sql il args comando
  • [SPARK-47251] Ripristinare "[SC-158121][PYTHON] Blocca tipi non validi dall'argomento per sql il args comando"
  • [SPARK-47015] [SC-157900][SQL] Disabilitare il partizionamento nelle colonne collate
  • [SPARK-46846] [SC-154308][CORE] Serializable Estendere WorkerResourceInfo in modo esplicito
  • [SPARK-46641] [SC-156314][SS] Aggiungere la soglia maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner rendere private le funzioni interne
  • [SPARK-47266] [SC-158146][CONNECT] Restituire ProtoUtils.abbreviate lo stesso tipo dell'input
  • [SPARK-46961] [SC-158183][SS] Uso di ProcessorContext per archiviare e recuperare handle
  • [SPARK-46862] [SC-154548][SQL] Disabilitare l'eliminazione delle colonne CSV nella modalità a più righe
  • [SPARK-46950] [SC-155803][CORE][SQL] Allineare not available codec la classe di errore
  • [SPARK-46368] [SC-153236][CORE] Supporto readyz nell'API di invio REST
  • [SPARK-46806] [SC-154108][PYTHON] Migliorare il messaggio di errore per spark.table quando il tipo di argomento non è corretto
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Correzione delle regole di confronto delle stringhe PySpark Connect ignorate
  • [SPARK-46552] [SC-151366][SQL] Sostituisci UnsupportedOperationException con SparkUnsupportedOperationException in catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Correzione dell'errore di conversione di stringhe con regole di confronto pySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Correggere l'errore delle regole di confronto di Spark Connect aggiungendo il campo protobuf collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] Rendere Retriable HiveThriftServer2.startWithContext DevelopApi retriable e correggere flakiness of ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] In ResourceProfileManager le chiamate di funzione devono essere eseguite dopo le dichiarazioni di variabili
  • [SPARK-47214] [SC-157862][Python] Creare l'API UDTF per il metodo 'analyze' per distinguere gli argomenti NULL costanti e altri tipi di argomenti
  • [SPARK-46766] [SC-153909][SQL][AVRO] Supporto del pool di buffer ZSTD per l'origine dati AVRO
  • [SPARK-47192] [SC-157819] Convertire alcuni errori di _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Aggiungere il supporto per ListState nell'API Stato arbitrario v2.
  • [SPARK-46881] [SC-154612][CORE] Appoggiare spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Appoggiare spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Correzione del bug che usa codec di compressione parquet non corretto lz4raw
  • [SPARK-46791] [SC-154018][SQL] Supporto del set Java in JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Eseguire la migrazione CatalogNotFoundException alla classe di errore CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Impostare il valore predefinito da un valore più ampio di tipo narrow letterale v2 si comporta come v1
  • [SPARK-46664] [SC-153181][CORE] Migliorare Master il ripristino rapidamente in caso di zero ruoli di lavoro e app
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz e zstandard supportano il livello di compressione per i file avro

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.2.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Librerie Python installate

Library Versione Library Versione Library Versione
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 serv 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facet-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Librerie R installate

Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN.

Library Versione Library Versione Library Versione
freccia 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 Scopa 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compilatore 4.3.2
config 0.3.2 in conflitto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramma 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 puntini di sospensione 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etichettatura 0.4.3
later 1.3.2 Lattice 0.21-8 Java 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Avanzamento 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagibile 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
ricette 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
Scalabilità 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spaziale 7.3-15 Spline 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
Sopravvivenza 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-consultas 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato freccia 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow freccia-vettore 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-all 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Spessori 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1