Condividi tramite

Databricks Runtime 13.2 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 13.2, basate su Apache Spark 3.4.0.

Databricks ha rilasciato questa versione a luglio 2023.

Miglioramenti e nuove funzionalità

Checkpoint del log delle modifiche per l'archivio stati di RocksDB

È possibile abilitare il checkpoint del log delle modifiche per ridurre la durata del checkpoint e la latenza end-to-end per i carichi di lavoro Structured Streaming con stato. Databricks raccomanda di abilitare il checkpoint del log delle modifiche per tutte le query con stato di Structured Streaming. Vedere Abilitare il checkpoint del log delle modifiche.

Affidabilità avanzata per VACUUM con clone superficiale nel Catalogo Unity.

Quando si usano le tabelle gestite di Unity Catalog per l'origine e la destinazione di un'operazione clone superficiale, Unity Catalog gestisce i file di dati sottostanti per migliorare l'affidabilità per l'origine e la destinazione dell'operazione di clonazione. L'esecuzione di VACUUM sull'origine di un clone superficiale non interrompe la tabella clonata. Consulta Vacuum e i cloni superficiali di Unity Catalog.

Supporto per funzioni definite dall'utente Python in SQL

È ora possibile dichiarare funzioni definite dall'utente usando Python all'interno di istruzioni SQL CREATE FUNCTION nel catalogo Unity. Consultare le funzioni definite dall'utente (UDF) in Unity Catalog.

Delta Lake UniForm for Iceberg è disponibile in anteprima pubblica

Delta Lake Universal Format (UniForm) consente di leggere le tabelle Delta con i client Iceberg. Vedi Leggi le tabelle Delta con i client Iceberg.

Il clustering di liquidi Delta Lake è disponibile in anteprima pubblica

Il clustering liquido di Delta Lake sostituisce il partizionamento delle tabelle e ZORDER per semplificare le decisioni relative al layout dei dati e ottimizzare le prestazioni delle query. Consulta Usa il clustering liquido per le tabelle Delta.

Supporto dell'archiviazione in Azure Databricks

Il supporto dell'archiviazione in Azure Databricks introduce una raccolta di funzionalità che consentono di usare i criteri del ciclo di vita basati sul cloud nell'archiviazione di oggetti cloud contenente tabelle Delta per spostare i file nei livelli di archiviazione di archiviazione. Vedere Supporto dell'archiviazione in Azure Databricks.

supporto della clausola IDENTIFIER

Usare IDENTIFIER(:mytable) per parametrizzare in modo sicuro i nomi di tabella, colonna, funzione e schema in molte istruzioni SQL.

Supporto del catalogo Unity per Python e Pandas User-Defined Funzioni (UDF)

In Databricks Runtime 13.2 e versioni successive, le funzioni definite dall'utente scritte in Python sono supportate nei cluster che usano la modalità di condivisione in un'area di lavoro abilitata per il Catalogo Unity. Sono incluse le funzioni definite dall'utente Python e Pandas. Per informazioni dettagliate sulle funzioni definite dall'utente di Python, vedere Funzioni scalari definite dall'utente - Python.

Condividere schemi con condivisione differenziale

Databricks Runtime 13.2 aggiunge la possibilità di usare ALTER SHARE <share-name> ADD SCHEMA <schema-name> per condividere un intero schema usando la condivisione delta, concedendo al destinatario l'accesso a tutte le tabelle e le viste nello schema al momento della condivisione, insieme alle tabelle e alle viste aggiunte allo schema in futuro. Vedere Aggiungere schemi a una condivisione e ALTER SHARE.

Correzioni di bug

  • Correzione di un bug con il lettore JSON, in cui i record sono stati analizzati in modalità PERMISSIVE se failOnUnknownFieldsmode è stato abilitato. I record vengono ora eliminati in modalità DROPMALFORMEDparser o vengono scritti nel badRecordsPath, se una di queste opzioni è impostata. FAILFAST genera un errore se un tipo di colonna non corrisponde.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • nodeenv dalla versione 1.7.0 alla versione 1.8.0
  • Librerie R aggiornate:
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.6.7 a 0.7.0

Apache Spark

Databricks Runtime 13.2 include Apache Spark 3.4.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-42750] [SC-133452][DBRRM-273] Supporto dell'istruzione Insert By Name
  • [SPARK-43133] [SC-133728] Supporto di Scala Client DataStreamWriter Foreach
  • [SPARK-43663] [SC-134135][CONNECT][PS] Abilitare SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correzione (NullOps|NumOps).(eq|ne) per Spark Connect.
  • [SPARK-44021] [SC-134109][SQL] Aggiungere spark.sql.files.maxPartitionNum
  • [SPARK-43910] [SC-132936][SQL] Rimuovere __auto_generated_subquery_name gli ID negli errori
  • [SPARK-43976] [SC-133375][CORE] Gestire il caso in cui modifiedConfigs non esiste nei registri eventi
  • [SPARK-32559] [SC-133992][SQL] Correggere la logica di taglio non ha gestito correttamente i caratteri di controllo ASCII
  • [SPARK-43421] [SC-132930][SS] Implementare il checkpoint basato su Changelog per il provider dell'archivio stati RocksDB
  • [SPARK-43594] [SC-133851][SQL] Aggiungere LocalDateTime a anyToMicros
  • [SPARK-43884] [SC-133867] Indicatori param in DDL
  • [SPARK-43398] [SC-133894][CORE] Il timeout dell'executor deve essere massimo di shuffle inattivi e timeout rdd
  • [SPARK-43610] [SC-133892][CONNECT][PS] Abilitare InternalFrame.attach_distributed_column in Spark Connect.
  • [SPARK-43971] [SC-133826][CONNECT][PYTHON] Supportare il createDataFrame di Python in modalità di streaming
  • [SPARK-44006] [SC-133652][CONNECT][PYTHON] Supporto degli artefatti della cache
  • [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] Aggiungere l'API copyFromLocalToFs
  • [SPARK-43921] [SC-133461][PROTOBUF] Generare file di descrittore Protobuf in fase di compilazione
  • [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Implementare il supporto dei file in SparkSession.addArtifacts
  • [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Correzione del tipo Python StreamingQueryProgressPerSecond
  • [SPARK-43768] [SC-132398][PYTHON][CONNECT] Supporto della gestione delle dipendenze Python in Python Spark Connect
  • [SPARK-43979] [13.X] Annulla “[SC-133456][SQL] CollectedMetrics dovrebbe essere trattato come lo stesso per il self-join”
  • [SPARK-42290] [SC-133696][SQL] Correzione dell'errore OOM non può essere segnalato quando AQE in
  • [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Aggiungere funzioni matematiche SQL a Scala e Python
  • [SPARK-43747] [SC-132047][PYTHON][CONNECT] Implementare il supporto pyfile in SparkSession.addArtifacts
  • [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Abilitare TimedeltaOps.(sub|rsub) con Spark Connect
  • [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Abilitare il test di parità: test_line_plot, test_pie_plot.
  • [SPARK-43867] [SC-132895][SQL] Migliorare i candidati suggeriti per l'attributo non risolto
  • [SPARK-43901] [SC-133454][SQL] Avro to Support custom decimal type backed by Long
  • [SPARK-43267] [SC-133024][JDBC] Gestire una colonna postgres sconosciuta definita dall'utente come stringa in un array
  • [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Aggiungere funzioni xpath_* a Scala e Python
  • [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Aggiungere percentile all'API Scala e Python
  • [SPARK-43717] [SC-133455][CONNECT] Il client Scala reduce agg non può gestire partizioni Null per gli input primitivi scala
  • [SPARK-43984] [SC-133469][SQL][PROTOBUF] Modifica da usare foreach quando map non produce risultati
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementare SparkSession.addArtifact(s) nel client Python
  • [SPARK-44002] [SC-133606][CONNECT] Correggere il gestore degli stati dell'artefatto
  • [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Aggiungere funzioni di aggregazione di regressione lineare a Scala e Python
  • [SPARK-43920] [SC-133614][SQL][CONNECT] Creare un modulo sql/api
  • [SPARK-43979] [SC-133456][SQL] CollectedMetrics deve essere considerato lo stesso per il self-join
  • [SPARK-43977] [SC-133373][CONNECT] Correzione del risultato del controllo imprevisto di dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: correzione di enumerazioni come bug ints
  • [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Aggiungere funzioni unix_* a Scala e Python
  • [SPARK-43807] [SC-132545][SQL] Eseguire la migrazione di _LEGACY_ERROR_TEMP_1269 a PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123][SQL] Corregge il bug che non permette di visualizzare l'SQL della colonna per Percentile[Cont|Disc]
  • [SPARK-42626] [SC-133248][CONNECT] Aggiungere iteratore distruttivo per SparkResult
  • [SPARK-43333] [SC-132898][SQL] Consenti ad Avro di convertire il tipo di unione in SQL con nome di campo stabile con tipo
  • [SPARK-43953] [SC-133134][CONNECT] Rimuovere pass
  • [SPARK-43970] [SC-133403][PYTHON][CONNECT] Nascondere i metodi del dataframe non supportati dal completamento automatico
  • [SPARK-43973] [SC-133272][SS][interfaccia utente] L'interfaccia utente di Structured Streaming dovrebbe visualizzare correttamente le query non riuscite
  • [SPARK-42577] [SC-125445][CORE] Aggiungere il limite massimo di tentativi per le fasi per evitare potenziali tentativi infiniti
  • [SPARK-43841] [SC-132699][SQL] Gestire gli attributi candidati senza prefisso in StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795][CORE][Completamento]Modificare la versione di supporto della configurazione spark.rdd.cache.visibilityTracking.enabled in 3.5.0
  • [SPARK-37942] [SC-130983][CORE][SQL] Eseguire la migrazione delle classi di errore
  • [SPARK-43898] [SC-132926][CORE] Registrarsi immutable.ArraySeq$ofRef automaticamente a KryoSerializer per Scala 2.13
  • [SPARK-43775] [SC-132891][SQL] DataSource V2: consenti la rappresentazione degli aggiornamenti come eliminazioni e inserimenti
  • [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Supporto di UserDefinedType in createDataFrame da pandas DataFrame e toPandas
  • [SPARK-43418] [SC-132753][SC-130685][CONNECT] Aggiungere SparkSession.Builder.getOrCreate
  • [SPARK-43549] [SC-132383][SQL] Convertire _LEGACY_ERROR_TEMP_0036 in INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644][CORE] Correzione del numero di sottocount nell'ambito dell'attività di ripetizione dei tentativi con la cache rdd
  • [SPARK-43892] [SC-133006][PYTHON] Aggiungere il supporto del completamento automatico per df[|] in pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listDatabases
  • [SPARK-43205] [SC-132623] IDENTIFIER clausola
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Supporto del tipo di timestamp annidato
  • [SPARK-43949] [SC-133048][PYTHON] Aggiornare cloudpickle alla versione 2.2.1
  • [SPARK-43760] [SC-132809][SQL] Valori Null dei risultati della sottoquery scalare
  • [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Correzione TimedeltaOps per Spark Connect
  • [SPARK-43895] [SC-132897][CONNECT][GO] Preparare il percorso del pacchetto Go
  • [SPARK-43894] [SC-132892][PYTHON] Correzione di un bug in df.cache()
  • [SPARK-43509] [SC-131625][CONNECT] Supporto per la creazione di più sessioni di Spark Connect
  • [SPARK-43882] [SC-132888][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2122
  • [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Correzione NumOps per Spark Connect
  • [SPARK-43604] [SC-132165][SQL] Effettuare il refactoring INVALID_SQL_SYNTAX per evitare di incorporare il testo dell'errore nel codice sorgente
  • [SPARK-43859] [SC-132883][SQL] Eseguire l'override di toString in LateralColumnAliasReference
  • [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listCatalogs
  • [SPARK-43353] Ripristinare "[SC-132734][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore"
  • [SPARK-43375] [SC-130309][CONNECT] Migliorare i messaggi di errore per INVALID_CONNECT_URL
  • [SPARK-43863] [SC-132721][CONNECT] Rimuovere i toSeq ridondanti da SparkConnectPlanner per Scala 2.13
  • [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Correzione DatetimeOps per Spark Connect
  • [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Correzione BinaryOps per Spark Connect
  • [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Correzione NullOps per Spark Connect
  • [SPARK-43782] [SC-132885][CORE] Supportare la configurazione a livello di log con la conf statica di Spark
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961][SQL] Aggiunge il supporto AES IV e AAD a ExpressionImplUtils
  • [SPARK-43795] [SC-132532][CONNECT] Rimuovere i parametri non usati per SparkConnectPlanner
  • [SPARK-42317] [SC-129194][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679][SQL] Usare classi di errore negli errori di compilazione di ResolveDefaultColumns
  • [SPARK-43749] [SC-132423][SPARK-43750][SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533][CORE] Rimuovere le dichiarazioni inutilizzate dal modulo Core
  • [SPARK-43314] [SC-129970][CONNECT][PYTHON] Eseguire la migrazione degli errori del client Spark Connect nella classe di errore
  • [SPARK-43799] [SC-132715][PYTHON] Aggiungere l'opzione binaria del descrittore all'API Pyspark Protobuf
  • [SPARK-43837] [SC-132678][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][SQL] Assegnare un nome alla classe di errore LEGACY_ERROR_TEMP(1254 & 1315)
  • [SPARK-43886] [SC-132808][PYTHON] Accettare la tupla generics come hint di digitazione della funzione definita dall'utente Pandas
  • [SPARK-43530] [SC-132653][PROTOBUF] Leggere il file descrittore una sola volta
  • [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_241[1-7]
  • [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Correzione CategoricalOps per Spark Connect
  • [SPARK-39979] [SC-132685][SQL] Aggiungere l'opzione per usare vettori di larghezza variabile di grandi dimensioni per le operazioni UDF freccia
  • [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Correzione StringOps per Spark Connect
  • [SPARK-43353] [SC-132734][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
  • [SPARK-43815] [SC-132781][SQL] Aggiungere to_varchar un alias per to_char
  • [SPARK-43543] [13.x][SC-131839][PYTHON] Correzione del comportamento di MapType annidato nella funzione definita dall'utente pandas
  • [SPARK-43361] [SC-131789][PROTOBUF] aggiornare la documentazione per gli errori relativi alla serializzazione degli enum
  • [SPARK-43740] [SC-132035][PYTHON][CONNECT] Nascondere i metodi non session supportati dal completamento automatico
  • [SPARK-43022] [SC-131681][CONNECT] Supportare le funzioni protobuf per il client Scala
  • [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Eseguire la migrazione NotImplementedError in PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][SQL] Abilitare la ricorsione della parte finale laddove possibile
  • [SPARK-42421] [SC-132695][CORE] Usare le utilità per ottenere l'opzione per l'allocazione dinamica usata nel checkpoint locale
  • [SPARK-43590] [SC-132012][CONNECT] Eseguire connect-jvm-client-mima-check per supportare la verifica mima con protobuf il modulo
  • [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Eseguire la migrazione degli errori rimanenti da DataFrame(Reader|Writer) nella classe error
  • [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: allow serde with enum as ints
  • [SPARK-43789] [SC-132397][R] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' in R createDataFrame con Arrow per impostazione predefinita
  • [SPARK-43596] [SC-126994][SQL] Gestire il predicato IsNull in rewriteDomainJoins
  • [SPARK-42249] [SC-122565][SQL] Ridefinizione del collegamento HTML per la documentazione nei messaggi di errore.
  • [SPARK-43128] [SC-131628][CONNECT][SS] Creare recentProgress e lastProgress restituire StreamingQueryProgress coerenza con l'API Scala nativa
  • [SPARK-43387] [SC-130448][SQL] Fornire un codice di errore leggibile per _LEGACY_ERROR_TEMP_1168.
  • [SPARK-43334] [SC-132358] [interfaccia utente] Correzione dell'errore durante la serializzazione di ExecutorPeakMetricsDistributions nella risposta dell'API
  • [SPARK-42958] [SC-131475][CONNECT] Effettuare il refactoring connect-jvm-client-mima-check per supportare il controllo mima con il modulo avro
  • [SPARK-43591] [SC-131977][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211][CORE] Usare classi di errore in org.apache.spark.io
  • [SPARK-43759] [SC-132189][SQL][PYTHON] Esporre TimestampNTZType in pyspark.sql.types
  • [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016][WEBUI] Campo Handle missing row.excludedInStages
  • [SPARK-42956] [SC-127257][CONNECT] Supportare le funzioni avro per il client Scala
  • [SPARK-43487] [SC-131975][SQL] Correzione del messaggio di errore CTE annidato
  • [SPARK-43265] [SC-129653] Spostare il framework degli errori in un modulo utils comune
  • [SPARK-40912] [SC-131547][CORE]Overhead delle eccezioni in KryoDeserializationStream
  • [SPARK-43583] [SC-131976][CORE] ottenere MergedBlockedMetaReqHandler dal delegato anziché dall'istanza SaslRpcHandler
  • [SPARK-42996] [SC-131997][CONNECT][PS][ML] Creare e assegnare ticket JIRA appropriati per tutti i test non superati.
  • [SPARK-38469] [SC-131425][CORE] Usare la classe di errore in org.apache.spark.network
  • [SPARK-43718] [SC-132014][SQL] Impostare correttamente il campo nullable per le chiavi nei join USING
  • [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop deve accettare una colonna vuota
  • [SPARK-43743] [SC-132038][SQL] Porta HIVE-12188(DoAs non funziona correttamente in HS2 protetto non Kerberos)
  • [SPARK-43598] [SC-131929][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031][CORE] Correzione di ClassNotFoundException durante la migrazione
  • [SPARK-43360] [SC-131526][SS][CONNECT] Scala client StreamingQueryManager
  • [SPARK-38467] [SC-131025][CORE] Usare classi di errore in org.apache.spark.memory
  • [SPARK-43345] [SC-131790][SPARK-43346][SQL] Rinominare le classi di errore LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450][SQL] L'eliminazione della sottoespressione supporta l'espressione di scelta rapida
  • [SPARK-38462] [SC-130449][CORE] Aggiungere una classe di errore INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798][SQL] Correzione cannotBroadcastTableOverMaxTableBytesError per l'uso bytesToString
  • [SPARK-43539] [SC-131830][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][SQL] Clonare il piano memorizzato nella cache in InMemoryRelation per impedire che il piano clonato faccia riferimento agli stessi oggetti
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] Estendere INTERNAL_ERROR con categorie e aggiungere INTERNAL_ERROR_BROADCAST classe di errore
  • [SPARK-43281] [SC-131370][SQL] Correzione: il writer concorrente non aggiorna le metriche dei file
  • [SPARK-43383] [SC-130660][SQL] Aggiungere rowCount statistiche a LocalRelation
  • [SPARK-43574] [SC-131739][PYTHON][SQL] Supporto per impostare l'eseguibile Python per le funzioni UDF e le API pandas nei processi di lavoro durante il runtime
  • [SPARK-43569] [SC-131694][SQL] Rimuovere la soluzione alternativa per HADOOP-14067
  • [SPARK-43183] [SC-128938][SS][13.x] Introdurre un nuovo callback "onQueryIdle" in StreamingQueryListener
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Supportare nomi di campo duplicati in createDataFrame con dataframe pandas
  • [SPARK-43548] [SC-131686][SS] Rimuovere la soluzione alternativa per HADOOP-16255
  • [SPARK-43494] [SC-131272][CORE] Chiamare replicate() direttamente invece HdfsDataOutputStreamBuilder di reflection in SparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063][CORE] Gestire le proprietà hadoopProperties e le metriche mancanti
  • [SPARK-42899] [SC-126456][SQL] Correggere DataFrame.to(schema) per gestire il caso in cui esista un campo annidato non annullabile in un campo annullabile.
  • [SPARK-43302] [SC-129747][SQL] Rendere Python UDAF un'aggregazioneFunction
  • [SPARK-43223] [SC-131270][Connetti] Agg tipizzato, funzioni di riduzione, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][SS] Espandere QueryTerminatedEvent per contenere la classe di errore, se presente nell'eccezione
  • [SPARK-43359] [SC-131463][SQL] Delete from Hive table should throw "UNSUPPORTED_FEATURE. TABLE_OPERATION"
  • [SPARK-43284] [SC-130313] Tornare alle stringhe con codifica URL
  • [SPARK-43492] [SC-131227][SQL] Aggiungere alias DATE_ADD di funzione a 3 args e DATE_DIFF
  • [SPARK-43473] [SC-131372][PYTHON] Supporto del tipo di struct in createDataFrame da pandas DataFrame
  • [SPARK-43386] [SC-131110][SQL] Migliorare l'elenco di colonne/attributi suggeriti nella classe di errore UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-43443] [SC-131332][SQL] Aggiungere benchmark per l'inferenza del tipo Timestamp quando si usa un valore non valido
  • [SPARK-43518] [SC-131420][SQL] Converti _LEGACY_ERROR_TEMP_2029 in INTERNAL_ERROR
  • [SPARK-42604] [SC-130648][CONNECT] Implementare functions.typedlit
  • [SPARK-42323] [ES-669513] Ripristinare "[SC-123479][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_2332"
  • [SPARK-43357] [SC-130649][SQL] Filtrare la data di citazione del tipo di data
  • [SPARK-43410] [SC-130526][SQL] Migliorare il ciclo vettorializzato per skipValues compressi
  • [SPARK-43441] [SC-130995][CORE] makeDotNode non deve avere esito negativo quando DeterministicLevel è assente
  • [SPARK-43324] [SC-130455][SQL] Gestire i comandi UPDATE per le origini basate su delta
  • [SPARK-43272] [SC-131168][CORE] Chiamare createFile direttamente invece di reflection
  • [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Eseguire la migrazione degli errori di sessione di Spark Connect nella classe di errore
  • [SPARK-43405] [SC-130987][SQL] Rimuovere inutili getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL metodo
  • [SPARK-43447] [SC-131017][R] Supporto di R 4.3.0
  • [SPARK-43425] [SC-130981][SQL] Aggiungi TimestampNTZType a ColumnarBatchRow
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] Aggiungere il controllo per le operazioni che coinvolgono più frame di dati
  • [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Eseguire la migrazione degli errori di Spark Connect Structured Streaming nella classe di errore
  • [SPARK-42992] [13.x][SC-129465][PYTHON] Introduzione a PySparkRuntimeError
  • [SPARK-43422] [SC-130982][SQL] Mantenere i tag in LogicalRelation con l'output dei metadati
  • [SPARK-43390] [SC-130646][SQL] DSv2 consente a CTAS/RTAS di preservare la nullabilità dello schema
  • [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest supporta opzioni di richiesta arbitrarie.
  • [SPARK-43313] [SC-130254][SQL] Aggiunta di valori DEFAULT di colonna mancanti per le azioni MERGE INSERT
  • [SPARK-42842] [SC-130438][SQL] Unire la classe di errore _LEGACY_ERROR_TEMP_2006 in REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405][SQL] Abilita spark.sql.thriftServer.interruptOnCancel per impostazione predefinita
  • [SPARK-43292] [SC-130525][CORE][CONNECT] Passare ExecutorClassLoader al core modulo e semplificare Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][SQL] Migliorare il supporto del tipo TimestampNTZ nell'origine dati JDBC
  • [SPARK-43343] [SC-130629][SS] FileStreamSource deve disabilitare un controllo glob di file aggiuntivo durante la creazione di DataSource
  • [SPARK-43312] [SC-130294][PROTOBUF] Opzione per convertire tutti i campi in JSON
  • [SPARK-43404] [SC-130586][SS] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare errori di mancata corrispondenza dell'ID
  • [SPARK-43397] [SC-130614][CORE] Durata delle autorizzazioni dell'executor del log nel executorLost metodo
  • [SPARK-42388] [SC-128568][SQL] Evitare letture del piè di pagina parquet due volte nel lettore vettorializzatore
  • [SPARK-43306] [13.x][SC-130320][PYTHON] Eseguire la migrazione di ValueError dai tipi SQL Spark alla classe di errore
  • [SPARK-43337] [SC-130353][UI][3.4] Le icone della freccia ascendente/discendente per l'ordinamento delle colonne non vengono visualizzate nelle colonne della tabella
  • [SPARK-43279] [SC-130351][CORE] Pulizia dei membri inutilizzati da SparkHadoopUtil
  • [SPARK-43250] [SC-130147][SQL] Sostituire la classe _LEGACY_ERROR_TEMP_2014 di errore con un errore interno
  • [SPARK-43363] [SC-130299][SQL][PYTHON] Effettuare una chiamata astype al tipo di categoria solo quando il tipo di freccia non viene fornito
  • [SPARK-43261] [SC-130154][PYTHON] Eseguire la migrazione TypeError dai tipi SPARK SQL alla classe di errore
  • [SPARK-41971] [SC-130230][SQL][PYTHON] Aggiungere una configurazione per la conversione pandas come gestire i tipi di struct
  • [SPARK-43381] [SC-130464][CONNECT] Rendere lazy 'transformStatCov'
  • [SPARK-43362] [SC-130481][SQL] Gestione speciale del tipo JSON per il connettore MySQL
  • [SPARK-42843] [SC-130196][SQL] Aggiornare la classe di errore _LEGACY_ERROR_TEMP_2007 a REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968][CONNECT] Streaming delle relazioni locali
  • [SPARK-43181] [SC-130476][SQL] Mostra WEBURL dell'interfaccia utente nella spark-sql shell
  • [SPARK-43051] [SC-130194][CONNECT] Aggiungi opzione per generare valori predefiniti
  • [SPARK-43204] [SC-129296][SQL] Allineare le assegnazioni MERGE con gli attributi della tabella
  • [SPARK-43348] [SC-130082][PYTHON] Supporto Python 3.8 in PyPy3
  • [SPARK-42845] [SC-130078][SQL] Aggiornare la classe di errore _LEGACY_ERROR_TEMP_2010 a InternalError
  • [SPARK-43211] [SC-128978][HIVE] Rimuovere il supporto di Hadoop2 in IsolatedClientLoader

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Librerie Python installate

Library Versione Library Versione Library Versione
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 cryptography 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0.12
entrypoints 0.4 executing 1.2.0 facet-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 packaging 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2023-02-10.

Library Versione Library Versione Library Versione
freccia 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
Scopa 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compilatore 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credenziali 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
puntini di sospensione 0.3.2 evaluate 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafica 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
Etichettatura 0.4.2 later 1.3.0 Lattice 0.20-45
Java 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1,5
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 Concetto fondamentale 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 ricette 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spaziale 7.3-15 Spline 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Sopravvivenza 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato freccia 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow freccia-vettore 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shim 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Spessori 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1