Databricks Runtime 16.0
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 16.0, basate su Apache Spark 3.5.0.
Databricks ha rilasciato questa versione a novembre 2024.
Suggerimento
Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.
Modifiche comportamentali
- Modifica che causa un'interruzione: JDK 17 è ora l'impostazione predefinita
- Modifica che causa un'interruzione: Hosted RStudio è end-of-life
- Modifica che causa un'interruzione: rimozione del supporto per la modifica
byte
di tipi ,short
int
elong
in tipi più ampi - Analisi corretta dei modelli regex con negazione nel raggruppamento di caratteri annidati
- Migliorare il rilevamento delle corrispondenze duplicate in Delta Lake
MERGE
- Il metodo di installazione della libreria cluster non può più essere sottoposto a override
- Timeout predefinito di due ore per le installazioni della libreria con ambito cluster
- L'installazione di librerie da DBFS e l'impostazione della conf
spark.databricks.driver.dbfsLibraryInstallationAllowed
spark sono disabilitate - La
addArtifact()
funzionalità è ora coerente tra i tipi di calcolo
Modifica che causa un'interruzione: JDK 17 è ora l'impostazione predefinita
In Databricks Runtime 16.0 e versioni successive la versione predefinita di JDK passa da JDK 8 a JDK 17. Questa modifica viene apportata a causa della deprecazione pianificata e della fine del supporto per JDK 8. Ciò influisce sugli elementi seguenti:
- Il codice Java in esecuzione nel calcolo di Azure Databricks deve essere compatibile con Java 17.
- Il codice Scala in esecuzione nei notebook o nell'ambiente di calcolo di Azure Databricks deve essere compatibile con Java 17.
- Le librerie Java e Scala installate nel calcolo devono essere compatibili con Java 17.
- Versioni del client metastore Apache Hive sotto la versione 2.x. L'impostazione della configurazione
spark.sql.hive.metastore.version
di Spark su una versione precedente alla 2.x causerà problemi di compatibilità con Java 17 e gli errori di connessione al metastore Hive. Databricks consiglia di aggiornare Hive a una versione precedente alla versione 2.0.0.
Se è necessario ripristinare Java 8, aggiungere quanto segue alle variabili di ambiente Spark quando si configura il calcolo di Azure Databricks:
JNAME=zulu8-ca-amd64
Se si usano istanze di Arm, usare quanto segue:
JNAME=zulu8-ca-arm64
Per altre informazioni sulla specifica delle versioni JDK con il calcolo di Azure Databricks, vedere Creare un cluster che usa JDK 17.
Per informazioni sulla migrazione del codice da Java 8, vedere le guide seguenti:
Modifica che causa un'interruzione: Hosted RStudio è end-of-life
Con questa versione, Databricks-hosted RStudio Server è di fine vita e non è disponibile in qualsiasi area di lavoro di Azure Databricks che esegue Databricks Runtime 16.0 e versioni successive. Per altre informazioni e vedere un elenco di alternative a RStudio, vedere Hosted RStudio Server deprecation (Deprecazione di Hosted RStudio Server).
Modifica che causa un'interruzione: rimozione del supporto per la modifica byte
di tipi , short
int
e long
in tipi più ampi
In Databricks Runtime 15.4.3 e versioni successive, le modifiche al tipo di dati seguenti non possono più essere applicate alle tabelle con la funzionalità di ampliamento del tipo abilitata:
byte
int
,short
elong
indecimal
.byte
,short
eint
indouble
.
Questa modifica viene apportata per garantire un comportamento coerente tra le tabelle Delta e Iceberg. Per altre informazioni sull'estensione dei tipi, vedere Ampliare il tipo.
Analisi corretta dei modelli regex con negazione nel raggruppamento di caratteri annidati
Questa versione include una modifica per supportare l'analisi corretta dei modelli regex con negazione nel raggruppamento di caratteri annidati. Ad esempio, [^[abc]]
verrà analizzato come "qualsiasi carattere che non sia uno di 'abc'".
Inoltre, il comportamento photon non era coerente con Spark per le classi di caratteri annidate. I modelli regex contenenti classi di caratteri annidati non useranno più Photon e useranno invece Spark. Una classe di caratteri annidata è qualsiasi motivo contenente parentesi quadre tra parentesi quadre, ad esempio [[a-c][1-3]]
.
Migliorare il rilevamento delle corrispondenze duplicate in Delta Lake MERGE
In Databricks Runtime 15.4 LTS e versioni successive le MERGE
operazioni hanno esito negativo se più righe della tabella di origine corrispondono alla stessa riga nella tabella di destinazione in base alla MERGE
condizione specificata nella ON
clausola . In Databricks Runtime 16.0 e versioni successive considera MERGE
anche le condizioni specificate nella WHEN MATCHED
clausola . Vedere Upsert in una tabella Delta Lake tramite merge.
Il metodo di installazione della libreria cluster non può più essere sottoposto a override
Non è possibile eseguire l'override delle configurazioni spark.databricks.libraries.enableSparkPyPI
di Spark , spark.databricks.libraries.enableMavenResolution
e spark.databricks.libraries.enableCRANResolutionnow
ora è possibile eseguire true
l'override di e.
Timeout predefinito di due ore per le installazioni della libreria con ambito cluster
In Databricks Runtime 16.0 e versioni successive, l'installazione della libreria con ambito cluster ha un timeout predefinito di due ore. Le installazioni della libreria che richiedono più tempo di questo timeout avranno esito negativo e l'installazione viene terminata. Quando si configura un cluster, è possibile modificare il periodo di timeout usando la configurazione spark.databricks.driver.clusterLibraryInstallationTimeoutSec
di Spark .
L'installazione di librerie da DBFS e l'impostazione della conf spark.databricks.driver.dbfsLibraryInstallationAllowed
spark sono disabilitate
In Databricks Runtime 16.0 e versioni successive l'installazione delle librerie da DBFS è completamente disabilitata. Questa modifica viene apportata per migliorare la sicurezza delle librerie in un'area di lavoro di Databricks. In Databricks Runtime 16.0 e versioni successive non è più possibile usare la configurazione spark.databricks.driver.dbfsLibraryInstallationAllowed
di Spark.
La addArtifact()
funzionalità è ora coerente tra i tipi di calcolo
Con questa versione, l'archivio viene decompresso automaticamente quando si usa addArtifact(archive = True)
per aggiungere una dipendenza al calcolo di Azure Databricks condiviso o serverless. Questa modifica rende coerente il comportamento "addArtifact(archive = True) in questi tipi di calcolo coerenti con l'ambiente di calcolo singolo, che supporta già l'decompressione automatica degli archivi.
Miglioramenti e nuove funzionalità
- Ricaricamento più affidabile dei moduli Python modificati con miglioramenti a
autoreload
- Supporto avro per lo schema ricorsivo
- Supporto espanso per Registro schemi Confluent per Avro
- Forzare il clustering nelle tabelle con clustering liquido
- Le API Delta per Python e Scala supportano ora le colonne Identity
- Il controllo di accesso con granularità fine sul calcolo utente singolo è disponibile a livello generale
- Creare tabelle cluster liquide durante le scritture in streaming
- Supporto per la clausola OPTIMIZE FULL
- Supporto per la specifica delle opzioni WITH in INSERT e riferimenti a tabelle
- Nuove funzioni SQL
- Abilitare l'evoluzione automatica dello schema durante l'unione dei dati in una tabella Delta
Ricaricamento più affidabile dei moduli Python modificati con miglioramenti a autoreload
In Databricks Runtime 16.0 e versioni successive, gli aggiornamenti all'estensione migliorano la sicurezza e l'affidabilità del ricaricamento dei moduli Python modificati importati dai file dell'area autoreload
di lavoro. Con queste modifiche, , autoreload
quando possibile, ricarica solo la parte di un modulo modificato anziché l'intero modulo. Inoltre, Azure Databricks ora suggerisce automaticamente l'uso dell'estensione autoreload
se il modulo è cambiato dopo l'ultima importazione. Vedere Autoreload per i moduli Python.
Supporto avro per lo schema ricorsivo
È ora possibile usare l'opzione recursiveFieldMaxDepth
con la from_avro
funzione e l'origine avro
dati. Questa opzione imposta la profondità massima per la ricorsione dello schema nell'origine dati Avro. Vedere Leggere e scrivere dati Avro in streaming.
Supporto espanso per Registro schemi Confluent per Avro
Azure Databricks supporta ora il riferimento allo schema Avro con il Registro schemi Confluent. Vedere Eseguire l'autenticazione in un registro dello schema confluente esterno.
Forzare il clustering nelle tabelle con clustering liquido
In Databricks Runtime 16.0 e versioni successive è possibile usare la OPTIMIZE FULL
sintassi per forzare il clustering di tutti i record in una tabella con clustering liquido abilitato. Vedere Forzare il clustering per tutti i record.
Le API Delta per Python e Scala supportano ora le colonne Identity
È ora possibile usare le API Delta per Python e Scala per creare tabelle con colonne Identity. Vedere Usare le colonne Identity in Delta Lake.
Il controllo di accesso con granularità fine sul calcolo utente singolo è disponibile a livello generale
In Databricks Runtime 16.0 e versioni successive, è disponibile a livello generale il controllo di accesso con granularità fine su un singolo ambiente di calcolo utente. Nelle aree di lavoro abilitate per il calcolo serverless, se una query viene eseguita in un ambiente di calcolo supportato, ad esempio calcolo singolo utente e la query accede a uno degli oggetti seguenti, la risorsa di calcolo passa la query all'ambiente di calcolo serverless per eseguire il filtro dei dati:
- Viste definite sulle tabelle in cui l'utente non dispone dei
SELECT
privilegi. - Visualizzazioni dinamiche.
- Tabelle con filtri di riga o maschere di colonna applicate.
- Viste materializzate e tabelle di streaming.
Creare tabelle cluster liquide durante le scritture in streaming
È ora possibile usare clusterBy
per abilitare il clustering liquido durante la creazione di nuove tabelle con scritture structured streaming. Vedere Abilitare il clustering liquido.
Supporto per la clausola OPTIMIZE FULL
Databricks Runtime 16.0 supporta la clausola OPTIMIZE FULL . Questa clausola ottimizza tutti i record di una tabella che usa clustering liquido, inclusi i dati che potrebbero essere stati raggruppati in precedenza.
Supporto per la specifica delle opzioni WITH in INSERT e riferimenti a tabelle
Databricks Runtime 16.0 supporta una specifica di opzioni per riferimenti a tabelle e nomi di tabella di un'istruzione INSERT
che può essere usata per controllare il comportamento delle origini dati.
Nuove funzioni SQL
Le funzioni SQL seguenti vengono aggiunte in Databricks Runtime 16.0:
-
Questa funzione è una versione a tolleranza di errore di url_decode. Questa funzione restituisce
NULL
se l'input non è una stringa con codifica URL valida. -
Se l'espressione di input per la
zeroifnull()
funzione èNULL
, la funzione restituisce 0. In caso contrario, viene restituito il valore dell'espressione di input. -
Restituisce
NULL
se l'input è 0 o il relativo input se non è 0. Se l'espressione di input per lanullifzero()
funzione è 0, la funzione restituisceNULL
. Se l'espressione di input non è 0, viene restituito il valore dell'espressione di input
Abilitare l'evoluzione automatica dello schema durante l'unione dei dati in una tabella Delta
Questa versione aggiunge il supporto per il withSchemaEvolution()
membro della DeltaMergeBuilder
classe . Usare withSchemaEvolution()
per abilitare l'evoluzione automatica dello schema durante MERGE
le operazioni. Ad esempio: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}
.
Altre modifiche
SparkR è ora deprecato
In Databricks Runtime 16.0 e versioni successive SparkR in Databricks è deprecato in preparazione per la deprecazione nella prossima versione di Spark 4. Vedere il thread Spark Spark Deprecate SparkR.
Databricks consiglia invece di usare sparklyr .
Databricks Runtime 16.0 non è supportato con PVC
Databricks Runtime 16.0 non è supportato da Databricks Private Virtual Cloud (PVC). È necessario usare Databricks Runtime 15.4 o versione successiva con tutte le versioni di PVC.
Correzioni di bug
Il caricatore automatico salva ora i tipi di record Avro con schemi vuoti
Quando si carica un file Avro in una tabella Delta usando Il caricatore automatico, record
i tipi nel file con uno schema vuoto vengono ora aggiunti alla colonna di dati salvata. Poiché non è possibile inserire tipi di dati complessi vuoti in una tabella Delta, questo risolve un problema con il caricamento di alcuni file Avro. Per altre informazioni sui dati salvati, vedere What is the rescued data column?.
Correzione per la scrittura di timestamp con timestamp contenenti un secondo offset.
Questa versione corregge un bug che interessa alcuni timestamp con fusi orari contenenti un secondo offset. Questo bug causa l'omissione dei secondi durante la scrittura in JSON, XML o CSV, causando valori di timestamp non corretti.
Per tornare al comportamento precedente, usare l'opzione seguente quando si scrive in uno dei formati interessati: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")
.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- azure-core da 1.30.2 a 1.31.0
- azure-storage-blob da 12.19.1 a 12.23.0
- azure-storage-file-datalake da 12.14.0 a 12.17.0
- nero da 23.3.0 a 24.4.2
- blinker da 1.4 a 1.7.0
- boto3 da 1.34.39 a 1.34.69
- botocore da 1.34.39 a 1.34.69
- certificato dal 2023.7.22 al 2024.6.2
- cffi da 1.15.1 a 1.16.0
- fare clic da 8.0.4 a 8.1.7
- comm da 0.1.2 a 0.2.1
- contourpy da 1.0.5 a 1.2.0
- crittografia da 41.0.3 a 42.0.5
- Cython da 0.29.32 a 3.0.11
- databricks-sdk da 0.20.0 a 0.30.0
- dbus-python da 1.2.18 a 1.3.2
- filelock da 3.13.4 a 3.15.4
- fonttools da 4.25.0 a 4.51.0
- GitPython dalla versione 3.1.43 alla versione 3.1.37
- google-api-core da 2.18.0 a 2.20.0
- google-auth dalla versione 2.31.0 alla versione 2.35.0
- google-cloud-storage da 2.17.0 a 2.18.2
- google-crc32c da 1.5.0 a 1.6.0
- Google-resumable-media da 2.7.1 a 2.7.2
- googleapis-common-protos da 1.63.2 a 1.65.0
- httplib2 da 0.20.2 a 0.20.4
- idna da 3.4 a 3.7
- ipykernel da 6.25.1 a 6.28.0
- ipython da 8.15.0 a 8.25.0
- jedi da 0.18.1 a 0.19.1
- jmespath da 0.10.0 a 1.0.1
- joblib da 1.2.0 a 1.4.2
- jupyter_client dalla versione 7.4.9 alla versione 8.6.0
- jupyter_core dalla versione 5.3.0 alla versione 5.7.2
- launchpadlib da 1.10.16 a 1.11.0
- lazr.restfulclient da 0.14.4 a 0.14.6
- matplotlib da 3.7.2 a 3.8.4
- mlflow-skinny da 2.11.4 a 2.15.1
- more-itertools da 8.10.0 a 10.3.0
- mypy-extensions da 0.4.3 a 1.0.0
- nest-asyncio da 1.5.6 a 1.6.0
- numpy da 1.23.5 a 1.26.4
- oauthlib dalla versione 3.2.0 alla versione 3.2.2
- imballaggio da 23.2 a 24.1
- patsy da 0.5.3 a 0.5.6
- pip da 23.2.1 a 24.2
- tracciato da 5.9.0 a 5.22.0
- prompt-toolkit dalla versione 3.0.36 alla versione 3.0.43
- pyarrow da 14.0.1 a 15.0.2
- pydantic da 1.10.6 a 2.8.2
- PyGObject da 3.42.1 a 3.48.2
- PyJWT da 2.3.0 a 2.7.0
- pyodbc da 4.0.38 a 5.0.1
- python-dateutil dalla versione 2.8.2 alla versione 2.9.0.post0
- python-lsp-jsonrpc da 1.1.1 a 1.1.2
- pytz dal 2022.7 al 2024.1
- PyYAML da 6.0 a 6.0.1
- pyzmq da 23.2.0 a 25.1.2
- richieste dalla versione 2.31.0 alla versione 2.32.2
- scikit-learn dalla versione 1.3.0 alla versione 1.4.2
- scipy da 1.11.1 a 1.13.1
- seaborn da 0.12.2 a 0.13.2
- setuptools da 68.0.0 a 74.0.0
- smmap da 5.0.1 a 5.0.0
- sqlparse da 0.5.0 a 0.5.1
- statsmodels da 0.14.0 a 0.14.2
- tornado da 6.3.2 a 6.4.1
- traitlet da 5.7.1 a 5.14.3
- typing_extensions dalla versione 4.10.0 alla versione 4.11.0
- ujson da 5.4.0 a 5.10.0
- virtualenv da 20.24.2 a 20.26.2
- ruota da 0.38.4 a 0.43.0
- zipp da 3.11.0 a 3.17.0
- Librerie R aggiornate:
- freccia da 14.0.0.2 a 16.1.0
- backport da 1.4.1 a 1.5.0
- base da 4.3.2 a 4.4.0
- bitops da 1.0-7 a 1.0-8
- avvio da 1.3-28 a 1.3-30
- brio da 1.1.4 a 1.1.5
- scopa da 1.0.5 a 1.0.6
- bslib da 0.6.1 a 0.8.0
- cachem da 1.0.8 a 1.1.0
- chiamante dalla versione 3.7.3 alla versione 3.7.6
- cli dalla versione 3.6.2 alla versione 3.6.3
- orologio da 0.7.0 a 0.7.1
- cluster dalla versione 2.1.4 alla versione 2.1.6
- codetools da 0.2-19 a 0.2-20
- spazi di colore da 2.1-0 a 2.1-1
- compilatore da 4.3.2 a 4.4.0
- crayon da 1.5.2 a 1.5.3
- curl da 5.2.0 a 5.2.1
- data.table da 1.15.0 a 1.15.4
- set di dati da 4.3.2 a 4.4.0
- DBI da 1.2.1 a 1.2.3
- dbplyr da 2.4.0 a 2.5.0
- digest da 0.6.34 a 0.6.36
- downlit da 0.4.3 a 0.4.4
- valutare da 0.23 a 0.24.0
- lontano da 2.1.1 a 2.1.2
- fastmap da 1.1.1 a 1.2.0
- estero da 0,8-85 a 0,8-86
- fs da 1.6.3 a 1.6.4
- futuro dalla 1.33.1 alla 1.34.0
- future.apply da 1.11.1 a 1.11.2
- gert da 2.0.1 a 2.1.0
- ggplot2 da 3.4.4 a 3.5.1
- gh da 1.4.0 a 1.4.1
- globals da 0.16.2 a 0.16.3
- grafica da 4.3.2 a 4.4.0
- grDevices dalla versione 4.3.2 alla versione 4.4.0
- griglia da 4.3.2 a 4.4.0
- gt da 0.10.1 a 0.11.0
- gtable da 0.3.4 a 0.3.5
- hardhat da 1.3.1 a 1.4.0
- highr da 0.10 a 0.11
- htmltools da 0.5.7 a 0.5.8.1
- httpuv da 1.6.14 a 1.6.15
- httr2 da 1.0.0 a 1.0.2
- ipred da 0.9-14 a 0.9-15
- KernSmooth da 2.23-21 a 2.23-22
- magliare da 1,45 a 1,48
- reticolo da 0,21-8 a 0,22-5
- lava da 1.7.3 a 1.8.0
- markdown da 1.12 a 1.13
- MASS da 7.3-60 a 7.3-60.0.1
- Matrice da 1.5 a 4.1 a 1.6-5
- metodi da 4.3.2 a 4.4.0
- mgcv da 1,8-42 a 1,9-1
- mlflow da 2.10.0 a 2.14.1
- munsell da 0.5.0 a 0.5.1
- nlme da 3.1-163 a 3.1-165
- openssl dalla versione 2.1.1 alla versione 2.2.0
- parallelo da 4.3.2 a 4.4.0
- parallelamente da 1.36.0 a 1.38.0
- pkgbuild da 1.4.3 a 1.4.4
- pkgdown da 2.0.7 a 2.1.0
- pkgload da 1.3.4 a 1.4.0
- processx da 3.8.3 a 3.8.4
- prodlim da 2023.08.28 a 2024.06.25
- promesse dalla versione 1.2.1 alla 1.3.0
- ps da 1.7.6 a 1.7.7
- ragg da 1.2.7 a 1.3.2
- Rcpp da 1.0.12 a 1.0.13
- RcppEigen da 0.3.3.9.4 a 0.3.4.0.0
- reactR da 0.5.0 a 0.6.0
- ricette da 1.0.9 a 1.1.0
- remote da 2.4.2.1 a 2.5.0
- repository da 2.1.0 a 2.1.1
- rlang da 1.1.3 a 1.1.4
- rmarkdown da 2.25 a 2.27
- roxygen2 da 7.3.1 a 7.3.2
- rpart da 4.1.21 a 4.1.23
- RSQLite da 2.3.5 a 2.3.7
- rstudioapi da 0.15.0 a 0.16.0
- rvest da 1.0.3 a 1.0.4
- sass da 0.4.8 a 0.4.9
- forma da 1.4.6 a 1.4.6.1
- brillante da 1.8.0 a 1.9.1
- sparklyr da 1.8.4 a 1.8.6
- spaziale da 7.3-15 a 7.3-17
- spline da 4.3.2 a 4.4.0
- statistiche da 4.3.2 a 4.4.0
- stats4 da 4.3.2 a 4.4.0
- stringi da 1.8.3 a 1.8.4
- sopravvivenza da 3,5-5 a 3,6-4
- swagger da 3.33.1 a 5.17.14.1
- systemfonts da 1.0.5 a 1.1.0
- tcltk da 4.3.2 a 4.4.0
- testat da 3.2.1 a 3.2.1.1
- textshaping da 0.3.7 a 0.4.0
- tidyselect da 1.2.0 a 1.2.1
- tinytex da 0,49 a 0,52
- strumenti da 4.3.2 a 4.4.0
- usethis da 2.2.2 a 3.0.0
- utilità dalla versione 4.3.2 alla versione 4.4.0
- uuid da 1.2-0 a 1.2-1
- V8 dalla versione 4.4.1 alla versione 4.4.2
- withr da 3.0.0 a 3.0.1
- xfun da 0.41 a 0.46
- xopen da 1.0.0 a 1.0.1
- yaml da 2.3.8 a 2.3.10
- Librerie Java aggiornate:
- com.amazonaws.aws-java-sdk-autoscaling da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudformation da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudfront da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudhsm da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudsearch da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudtrail da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatch da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-codedeploy da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cognitosync da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-config da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-core da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-datapipeline da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-directconnect da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-directory da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-dynamodb da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ec2 da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ecs da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-efs da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticache da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-emr da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-glacier da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-glue da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-iam da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-importexport da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-[...]s da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-kms da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-lambda da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-logs da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-machinelearning da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-opsworks da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-rds da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-redshift da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-route53 da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-s3 da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ses da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-simpledb da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sns da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sqs da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ssm da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-storagegateway da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sts da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-support da 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-workspaces da 1.12.610 a 1.12.638
- com.amazonaws.jmespath-java da 1.12.610 a 1.12.638
- com.google.protobuf.protobuf-java dalla versione 2.6.1 alla versione 3.25.1
- io.airlift.aircompressor da 0,25 a 0,27
- io.delta.delta-sharing-client_2.12 da 1.1.3 a 1.2.0
- io.netty.netty-all dalla versione 4.1.96.Final alla versione 4.1.108.Final
- io.netty.netty-buffer da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-http da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-http2 da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-socks da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-common da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-handler da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-handler-proxy da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-resolver da 4.1.96.Final a 4.1.108.Final
- Trasporto io.netty.netty da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-classes-epoll da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-classes-kqueue da 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-native-epoll da 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common da 4.1.96.Final a 4.1.108.Final
- org.apache.ivy.ivy da 2.5.1 a 2.5.2
- org.apache.zookeeper.zookeeper da 3.6.3 a 3.9.2
- org.apache.zookeeper.zookeeper-jute da 3.6.3 a 3.9.2
- org.rocksdb.rocksdbjni da 8.11.4 a 9.2.1
- org.scalactic.scalactic_2.12 dalla versione 3.2.15 alla versione 3.2.16
- compatibile con org.scalatest.scalatest da 3.2.15 a 3.2.16
- org.scalatest.scalatest-core_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-diagrams_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-featurespec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-flatspec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-freespec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-funspec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-funsuite_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-matchers-core_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-mustmatchers_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-propspec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-refspec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-shouldmatchers_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest-wordspec_2.12 da 3.2.15 a 3.2.16
- org.scalatest.scalatest_2.12 dalla versione 3.2.15 alla versione 3.2.16
Apache Spark
Databricks Runtime 16.0 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.4 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
- [SPARK-49093] [DBRRM-1371] Ripristinare "[SC-172958][SQL] GROUP BY con MapType nes...
- [SPARK-49898] [DBRRM-1282][SC-178410] Correzione della documentazione e impostazione predefinita per il flag di registrazione delle metriche delle attività del registro eventi da SPARK-42204
- [SPARK-49743] [ES-1260022][SI COMPORTA-157][SC-177475][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
- [SPARK-49816] [SC-177896][SQL] Deve aggiornare solo il conteggio dei riferimenti in uscita per la relazione CTE esterna a cui si fa riferimento
- [SPARK-48939] [SC-177022][SC-172766][AVRO] Supporto della lettura di Avro con riferimento allo schema ricorsivo
- [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
- [SPARK-49771] [SC-177466][PYTHON] Migliorare l'errore UDF dell'iter scalare Pandas quando le righe di output superano le righe di input
- [SPARK-48866] [SC-170772][SQL] Correzione degli hint di un set di caratteri valido nel messaggio di errore di INVALID_PARAMETER_VALUE. CHARSET
- [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Salvare e riutilizzare RDD/Broadcast creato da SparkPlan
- [SPARK-49585] [CONNECT] Sostituire il mapping delle esecuzioni in SessionHolder con operationID set
- [SPARK-49211] [SC-174257][SQL] Catalogo V2 può supportare anche origini dati predefinite
- [SPARK-49684] Ridurre al minimo la durata del blocco di ripristino della sessione
- [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Framework di log strutturato sul lato Java
- [SPARK-48857] [SC-170661][SQL] Limitare i set di caratteri in CSVOptions
- [SPARK-49152] [SC-173690][SQL] V2SessionCatalog deve usare V2Command
- [SPARK-42846] [SC-176588][SQL] Rimuovere la condizione di errore _LEGACY_ERROR_TEMP_2011
- [SPARK-48195] [SC-177267][CORE] Salvare e riutilizzare RDD/Broadcast creato da SparkPlan
- [SPARK-49630] [SC-177379][SS] Aggiungere l'opzione flatten per elaborare i tipi di raccolta con lettore origine dati di stato
- [SPARK-49699] [SC-177154][SS] Disabilitare PruneFilters per i carichi di lavoro di streaming
- [SPARK-48781] [SC-175282][SQL] Aggiungere API del catalogo per il caricamento di stored procedure
- [SPARK-49667] [SC-177068][SQL] Non consentire CS_AI collator con espressioni che usano StringSearch
- [SPARK-49737] [SC-177207][SQL] Disabilitare il bucket sulle colonne collate in tipi complessi
- [SPARK-48712] [SC-169794][SQL] Miglioramento delle prestazioni per la codifica con valori vuoti o set di caratteri UTF-8
- [SPARK-49038] [SC-173933][SQL] SQLMetric deve segnalare il valore non elaborato nell'evento di aggiornamento dell'archivio
- [SPARK-48541] [SC-169066][CORE] Aggiungere un nuovo codice di uscita per gli executor uccisi da TaskReaper
- [SPARK-48774] [SC-170138][SQL] Usare SparkSession in SQLImplicits
- [SPARK-49719] [SC-177139][SQL] Creare
UUID
eSHUFFLE
accettare un numero interoseed
- [SPARK-49713] [SC-177135][PYTHON][CONNECT] Rendere la funzione
count_min_sketch
accettare argomenti numerici - [SPARK-47601] [SC-162499][GRAPHX] Graphx: Eseguire la migrazione dei log con variabili al framework di registrazione strutturata
- [SPARK-49738] [SC-177219][SQL] Endswith correzione di bug
- [SPARK-48623] [SC-170822][CORE] Migrazioni di registrazione strutturata [Parte 3]
- [SPARK-49677] [SC-177148][SS] Assicurarsi che anche i file del log delle modifiche vengano scritti in fase di commit e il flag forceSnapshot venga reimpostato
- [SPARK-49684] [SC-177040][CONNECT] Rimuovere blocchi globali dai gestori di sessioni ed esecuzioni
- [SPARK-48302] [SC-168814][PYTHON] Mantenere i valori Null nelle colonne di mapping nelle tabelle PyArrow
- [SPARK-48601] [SC-169025][SQL] Assegnare un messaggio di errore più descrittivo quando si imposta un valore Null per l'opzione JDBC
- [SPARK-48635] [SC-169263][SQL] Assegnare classi agli errori del tipo di join e all'errore di join
- [SPARK-49673] [SC-177032][CONNECT] Aumentare CONNECT_GRPC_ARROW_MAX_BATCH_SIZE a 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
- [SPARK-49693] [SC-177071][PYTHON][CONNECT] Perfezionare la rappresentazione di stringa di
timedelta
- [SPARK-49687] [SC-176901][SQL] Ritarda l'ordinamento in
validateAndMaybeEvolveStateSchema
- [SPARK-49718] [SC-177112][PS] Passare
Scatter
al tracciato ai dati campionati - [SPARK-48472] [SC-169044][SQL] Abilitare le espressioni reflect con stringhe collate
- [SPARK-48484] [SC-167484][SQL] Correzione: V2Write usa lo stesso TaskAttemptId per diversi tentativi di attività
- [SPARK-48341] [SC-166560][CONNECT] Consentire ai plug-in di usare QueryTest nei test
- [SPARK-42252] [SC-168723][CORE] Aggiungere
spark.shuffle.localDisk.file.output.buffer
e deprecarespark.shuffle.unsafe.file.output.buffer
- [SPARK-48314] [SC-166565][SS] Non raddoppiare i file della cache per FileStreamSource usando Trigger.AvailableNow
- [SPARK-49567] [SC-176241][PYTHON] Usare
classic
anzichévanilla
dalla codebase PySpark - [SPARK-48374] [SC-167596][PYTHON] Supporto di altri tipi di colonne di tabella PyArrow
- [SPARK-48300] [SC-166481][SQL] Supporto di Codegen per
from_xml
- [SPARK-49412] [SC-177059][PS] Calcolare tutte le metriche del tracciato box in un singolo processo
- [SPARK-49692] [SC-177031][PYTHON][CONNECT] Ridefinire la rappresentazione di stringa di date e datetime letterali
- [SPARK-49392] [ES-1130351][SC-176705][SQL] Rilevare gli errori quando non è possibile scrivere in un'origine dati esterna
- [SPARK-48306] [SC-166241][SQL] Migliorare il tipo definito dall'utente nel messaggio di errore
- [SPARK-44924] [SC-166379][SS] Aggiungere la configurazione per i file memorizzati nella cache FileStreamSource
- [SPARK-48176] [SC-165644][SQL] Modificare il nome della condizione di errore di FIELD_ALREADY_EXISTS
- [SPARK-49691] [SC-176988][PYTHON][CONNECT] La funzione
substring
deve accettare nomi di colonna - [SPARK-49502] [SC-176077][CORE] Evitare NPE in SparkEnv.get.shuffleManager.unregisterShuffle
- [SPARK-49244] [SC-176703][SQL] Ulteriori miglioramenti delle eccezioni per parser/interprete
- [SPARK-48355] [SC-176684][SQL] Supporto per l'istruzione CASE
- [SPARK-49355] [SC-175121][SQL]
levenshtein
deve verificare se icollation
valori di tutti i tipi di parametro sono uguali - [SPARK-49640] [SC-176953][PS] Applicare il campionamento del serbatoio in
SampledPlotBase
- [SPARK-49678] [SC-176857][CORE] Supporto
spark.test.master
inSparkSubmitArguments
- [SPARK-49680] [SC-176856][PYTHON] Limitare il
Sphinx
parallelismo di compilazione a 4 per impostazione predefinita - [SPARK-49396] Ripristinare "[SC-176030][SQL] Modificare il controllo dei valori Null per l'espressione CaseWhen"
- [SPARK-48419] [SC-167443][SQL] Propagazione piegabile sostituisci colonna piegabile shoul...
- [SPARK-49556] [SC-176757][SQL] Aggiungere la sintassi della pipe SQL per l'operatore SELECT
- [SPARK-49438] [SC-175237][SQL] Correggere il bel nome dell'espressione &
FromAvro
ToAvro
- [SPARK-49659] [SC-1229924][SQL] Aggiungere un errore utile per le sottoquery scalari all'interno della clausola VALUES
- [SPARK-49646] [SC-176778][SQL] Correzione della decorazione della sottoquery per le operazioni union/set quando parentOuterReferences non include riferimenti non trattati in collectedChildOuterReferences
- [SPARK-49354] [SC-175034][SQL]
split_part
deve verificare se icollation
valori di tutti i tipi di parametro sono uguali - [SPARK-49478] [SC-175914][CONNECT] Gestire le metriche null in ConnectProgressExecutionListener
- [SPARK-48358] [SC-176374][SQL] Supporto per l'istruzione REPEAT
- [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable deve rispettare PROP_IS_MANAGED_LOCATION
- [SPARK-49611] [SC-176791][SQL] Introdurre TVF
collations()
e rimuovere ilSHOW COLLATIONS
comando - [SPARK-49261] [SC-176589][SQL] Non sostituire i valori letterali nelle espressioni di aggregazione con espressioni group-by
- [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve rispettare il catalogo di sessioni personalizzato
- [SPARK-49594] [SC-176569][SS] Aggiunta di un controllo per verificare se columnFamilies è stato aggiunto o rimosso per scrivere il file StateSchemaV3
- [SPARK-49578] [SC-176385][SQL] Rimuovere il suggerimento di configurazione ANSI in CAST_INVALID_INPUT e CAST_OVERFLOW
- [SPARK-48882] [SC-174256][SS] Assegnare nomi alle classi di errore correlate alla modalità di output di streaming
- [SPARK-49155] [SC-176506][SQL][SS] Usare un tipo di parametro più appropriato per costruire
GenericArrayData
- [SPARK-49519] [SC-176388][SQL] Unire le opzioni di tabella e relazione durante la costruzione di FileScanBuilder
- [SPARK-49591] [SC-176587][SQL] Aggiungere la colonna Tipo logico al readme variant
- [SPARK-49596] [SC-176423][SQL] Migliorare le prestazioni di
FormatString
- [SPARK-49525] [SC-176044][SS][CONNECT] Miglioramento del log secondario al listener listener del listener di query di streaming lato server
- [SPARK-49583] [SC-176272][SQL] Definire la condizione secondaria
SECONDS_FRACTION
di errore per il modello frazionario di secondi non validi - [SPARK-49536] [SC-176242] Gestire l'errore nel prelettura del record dell'origine dati di streaming Python
- [SPARK-49443] [SC-176273][SQL][PYTHON] Implementare l'espressione to_variant_object e creare espressioni schema_of_variant stampare OBJECT per oggetti Variant
- [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Sostituire il blocco grossolano in SparkConnectExecutionManager con ConcurrentMap
- [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Sostituire il blocco grossolano in SparkConnectSessionManager con ConcurrentMap
- [SPARK-49551] [SC-176218][SS] Migliorare il log di RocksDB per replayChangelog
- [SPARK-49595] [SC-176396][CONNECT][SQL] Correzione
DataFrame.unpivot/melt
in Spark Connect Scala Client - [SPARK-49006] [SC-176162] Implementare l'eliminazione dei file OperatorStateMetadataV2 e StateSchemaV3
- [SPARK-49600] [SC-176426][PYTHON] Rimuovere
Python 3.6 and older
la logica correlata datry_simplify_traceback
- [SPARK-49303] [SC-176013][SS] Implementare TTL per ValueState nell'API transformWithStateInPandas
- [SPARK-49191] [SC-176243][SS] Aggiunta del supporto per la lettura delle variabili di stato della mappa TransformWithState con lettore origine dati di stato
- [SPARK-49593] [SC-176371][SS] Generare un'eccezione RocksDB al chiamante nella chiusura del database se viene visualizzato un errore
- [SPARK-49334] [SC-174803][SQL]
str_to_map
deve verificare se icollation
valori di tutti i tipi di parametro sono uguali - [SPARK-42204] [SC-176126][CORE] Aggiungere l'opzione per disabilitare la registrazione ridondante di TaskMetrics interni nei registri eventi
- [SPARK-49575] [SC-176256][SS] Aggiungere la registrazione per la versione di blocco solo se acquiredThreadInfo non è null
- [SPARK-49539] [SC-176250][SS] Aggiornare l'identificatore iniziale delle famiglie di regole di confronto interne a uno diverso
- [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning deve ereditare HashPartitioningLike
- [SPARK-49396] [SC-176030][SQL] Modificare il controllo dei valori Null per l'espressione CaseWhen
- [SPARK-49476] [SC-175700][SQL] Correzione del valore Nullbility della funzione base64
- [SPARK-47262] [SC-174829][SQL] Assegnare nomi a condizioni di errore per le conversioni parquet
- [SPARK-47247] [SC-158349][SQL] Usare dimensioni di destinazione inferiori durante l'unione di partizioni con join esplodenti
- [SPARK-49501] [SC-176166][SQL] Correzione dell'escape doppio della posizione della tabella
- [SPARK-49083] [SC-173214][CONNECT] Consentire from_xml e from_json di usare in modo nativo gli schemi JSON
- [SPARK-49043] [SC-174673][SQL] Correzione del gruppo codepath interpretato in base alla mappa contenente stringhe con regole di confronto
- [SPARK-48986] [SC-172265][CONNECT][SQL] Aggiungere una rappresentazione intermedia columnnode
- [SPARK-49326] [SC-176016][SS] Classe Classify Error per l'errore della funzione utente sink Foreach
- [SPARK-48348] [SC-175950][SPARK-48376][SQL] Introdurre
LEAVE
istruzioni eITERATE
- [SPARK-49523] [SC-175949][CONNECT] Aumentare il tempo di attesa massimo per il completamento del server di connessione per il test
- [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates - DBR versione 16.x
- [SPARK-49311] [SC-175038][SQL] È possibile eseguire il cast dei valori 'interval second' di grandi dimensioni su decimale
- [SPARK-49200] [SC-173699][SQL] Correzione dell'eccezione di ordinamento non codegen di tipo Null
- [SPARK-49467] [SC-176051][SS] Aggiunta del supporto per il lettore e lo stato dell'elenco dell'origine dati di stato
- [SPARK-47307] [SC-170891][SQL] Aggiungere una configurazione alle stringhe base64 in blocchi facoltativamente
- [SPARK-49391] [SC-176032][PS] Box plot select outliers by distance from fences
- [SPARK-49445] [SC-175845][interfaccia utente] Support show tooltip (Mostra descrizione comando) nella barra di stato dell'interfaccia utente
- [SPARK-49451] [SC-175702] Consenti chiavi duplicate in parse_json.
- [SPARK-49275] [SC-175701][SQL] Correzione dell'nullità del tipo restituito dell'espressione xpath
- [SPARK-49021] [SC-175578][SS] Aggiunta del supporto per la lettura delle variabili di stato del valore transformWithState con lettore origine dati di stato
- [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
- [SPARK-49408] [SC-175932][SQL] Usare IndexedSeq in ProjectingInternalRow
- [SPARK-49509] [SC-175853][CORE] Usare
Platform.allocateDirectBuffer
invece diByteBuffer.allocateDirect
- [SPARK-49382] [SC-175013][PS] Creare un tracciato box frame per eseguire correttamente il rendering dei volantini/outlier
- [SPARK-49002] [SC-172846][SQL] Gestire in modo coerente percorsi non validi in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
- [SPARK-49480] [SC-175699][CORE] Correzione di NullPointerException da
SparkThrowableHelper.isInternalError
- [SPARK-49477] [SC-175828][PYTHON] Miglioramento del messaggio di errore del tipo restituito non valido di pandas udf
- [SPARK-48693] [SC-169492][SQL] Semplificare e unificare toString di Invoke e StaticInvoke
- [SPARK-49441] [SC-175716][ML]
StringIndexer
ordinare matrici in executor - [SPARK-49347] [SC-175004][R] Deprecate SparkR
- [SPARK-49357] [SC-175227][CONNECT][PYTHON] Tronca verticalmente il messaggio protobuf annidato in senso verticale
- [SPARK-41982] [SC-120604][SQL] Le partizioni di tipo string non devono essere considerate come tipi numerici
- [SPARK-48776] [SC-170452][SI COMPORTA-72] Correzione della formattazione del timestamp per json, xml e csv
- [SPARK-49223] [SC-174800][ML] Semplificare StringIndexer.countByValue con funzioni predefinite
- [SPARK-49016] Ripristinare "[SC-174663][SQL] Ripristinare il comportamento non consentito dalle query dai file CSV non elaborati quando includere solo la colonna di record danneggiati e assegnare il nome a
_LEGACY_ERROR_TEMP_1285
" - [SPARK-49041] [SC-172392][PYTHON][CONNECT] Genera un errore appropriato per
dropDuplicates
quando viene specificato un erroresubset
- [SPARK-49050] [SC-175235] Abilitazione dell'operatore deleteIfExists in TWS con famiglie di colonne virtuali
- [SPARK-49216] [SC-173919][CORE]Correzione per non registrare il contesto del messaggio con LogEntry costruito in modo esplicito quando la registrazione strutturata è disattivata
- [SPARK-49252] [SC-175596][CORE] Rendere
TaskSetExcludeList
eHeathTracker
indipendenti - [SPARK-49352] [SC-174971][SQL] Evitare la trasformazione di matrice ridondante per un'espressione identica
- [SPARK-42307] [SC-173863][SQL] Assegnare il nome per l'errore _LEGACY_ERROR_TEMP_2232
- [SPARK-49197] [SC-173732][CORE] Redact output in module (Redact
Spark Command
output in module)launcher
- [SPARK-48913] [SC-173934][SQL] Implementare il rientroXMLStreamWriter
- [SPARK-49306] [SC-175363][PYTHON][SQL] Creare alias di funzione SQL per 'zeroifnull' e 'nullifzero'
- [SPARK-48344] [SQL] Esecuzione di script SQL (incluso Spark Connect)
- [SPARK-49402] [SC-175122][PYTHON] Correzione dell'integrazione di Binder nella documentazione di PySpark
- [SPARK-49017] [SC-174664][SQL] L'istruzione Insert ha esito negativo quando vengono usati più parametri
- [SPARK-49318] [SC-174733][SQL] Preempt low priority error on LCA until end of check analysis to improve error experience (Preempt low priority error on LCA until end of check analysis to improve error experience) (Preempt low priority error on LCA until end of check analysis to improve error
- [SPARK-49016] [SC-174663][SQL] Ripristinare il comportamento che le query dai file CSV non elaborati non sono consentite quando includono solo la colonna record danneggiata e assegnano il nome a
_LEGACY_ERROR_TEMP_1285
- [SPARK-49387] [SC-175124][PYTHON] Correzione dell'hint per
accuracy
il tipo inpercentile_approx
eapprox_percentile
- [SPARK-49131] [SC-174666][SS] TransformWithState deve impostare correttamente le chiavi di raggruppamento implicite anche con iteratori lazy
- [SPARK-49301] [SC-174795][SS] Blocchi di dati freccia passati al ruolo di lavoro Python
- [SPARK-49039] [SC-174651][interfaccia utente] Casella di controllo Reimposta quando le metriche dell'executor vengono caricate nella scheda Fasi
- [SPARK-48428] [SC-169806][SQL]: Fix IllegalStateException in NestedColumnAliasing
- [SPARK-49353] [SC-174830][SQL] Aggiornare la documentazione correlata alla
UTF-32
codifica/decodifica - [SPARK-48613] [SC-170966][SQL] SPJ: supporta lo shuffle automatico di un lato + meno chiavi di join rispetto alle chiavi di partizione
- [SPARK-47473] [SC-160450][SI COMPORTA-127][SQL] Correzione del problema di correzione della conversione dei timestamp postgres INFINITY
- [SPARK-49142] [SC-173658][CONNECT][PYTHON] Completamento per ripristinare il costo delle prestazioni di proto a stringa
- [SPARK-49300] [SC-175008][CORE] Correzione della perdita di token di delega Hadoop quando tokenRenewalInterval non è impostato.
- [SPARK-49367] [SC-175012][PS] Parallelizzare il calcolo DIAPI per più colonne (back-end tracciato)
- [SPARK-49365] [SC-175011][PS] Semplificare l'aggregazione di bucket nel tracciato hist
- [SPARK-49372] [SC-175003][SS] Assicurarsi che latestSnapshot sia impostato su nessuno in prossimità per evitare l'uso successivo
- [SPARK-49341] [SC-174785] Rimuovere
connector/docker
a favore diApache Spark Operator
- [SPARK-49344] [SC-174894][PS] Supporto
json_normalize
per l'API Pandas in Spark - [SPARK-49306] [SC-174794][SQL] Creare nuove funzioni SQL 'zeroifnull' e 'nullifzero'
- [SPARK-48796] [SC-174668][SS] Carica ID famiglia di colonne da RocksDBCheckpointMetadata per VCF al riavvio
- [SPARK-49342] [SC-174899][SQL] Rendere facoltativo TO_AVRO funzione SQL 'jsonFormatSchema'
- [SPARK-48628] [SC-174695][CORE] Aggiungere le metriche di memoria dell'heap on/off delle attività
- [SPARK-47407] [SC-159379][SI COMPORTA-126][SQL] Supporto del mapping di java.sql.Types.NULL a NullType
- [SPARK-48628] [SC-173407][CORE] Aggiungere le metriche di memoria dell'heap on/off delle attività
- [SPARK-49166] [SC-173987][SQL] Supporto di OFFSET nella sottoquery correlata
- [SPARK-49269] [SC-174676][SQL] Elenco Eagerly evaluate VALUES() in AstBuilder
- [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes with getBytesUnsafe per evitare costi di copia
- [SPARK-49113] [SC-174734] Non asserire sui bug di traduzione: ingoiare in modo invisibile all'utente l'eccezione
- [SPARK-49098] [SC-173253][SQL] Aggiungere opzioni di scrittura per INSERT
- [SPARK-48638] [SC-174694][FOLLOW][CONNECT] Correzione della documentazione per ExecutionInfo
- [SPARK-49250] [ES-1222826][SQL] Migliorare il messaggio di errore per UnresolvedWindowExpression annidato in CheckAnalysis
- [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark implementazione di base e supporto di ValueState
- [SPARK-48966] [SC-174329][SQL] Migliorare il messaggio di errore con riferimenti di colonna non risolti non validi nella chiamata UDTF
- [SPARK-46590] [SC-154115][SQL] Correzione dell'unione non riuscita con indeci di partizione imprevista
- [SPARK-49235] [SC-174159][SQL] Eseguire il refactoring della regola ResolveInlineTables in modo che non attraversi l'intero albero
- [SPARK-49060] [SC-173107][CONNECT] Pulire le regole Mima per i controlli di compatibilità binari di SQL-Connect
- [SPARK-48762] [SC-172525][SQL] Introduzione all'API ClusterBy DataFrameWriter per Python
- [SPARK-49207] [SC-173852][SQL] Correzione del mapping di maiuscole e minuscole uno-a-molti in SplitPart e StringSplitSQL
- [SPARK-49204] [SC-173850][SQL] Correggere la gestione delle coppie di surrogati in StringInstr e StringLocate
- [SPARK-36680] [SC-170640][SQL] Supporta opzioni di tabella dinamica per Spark SQL
- [SPARK-49204] [SC-173849][SQL] Correzione della gestione delle coppie di surrogati in SubstringIndex
- [SPARK-49204] [SC-173848][SQL] Correzione della gestione delle coppie di surrogati in StringTrim
- [SPARK-48967] [SC-173993]Correzione del test di SparkConfigOwnershipSuite per OPTIMIZE_INSERT_INTO_VALUES_PARSER
- [SPARK-49204] [SC-173851][SQL] Correggere la gestione delle coppie di surrogati in StringReplace
- [SPARK-48967] [SC-173993][SQL][16.x] Migliorare le prestazioni e il footprint di memoria di "INSERT INTO ... Istruzioni VALUES"
- [SPARK-49099] Ripristinare "[SC-173229][SQL] CatalogManager.setCurrent...
- [SPARK-48347] [SC-173812][SQL] Supporto per l'istruzione WHILE
- [SPARK-49128] [SC-173344][CORE] Supporto del titolo dell'interfaccia utente del server cronologia personalizzato
- [SPARK-49146] [SC-173825][SS] Spostare gli errori di asserzione correlati alla filigrana mancante nelle query di streaming in modalità accodamento nel framework degli errori
- [SPARK-45787] [SC-172197][SQL] Supporto di Catalog.listColumns per le colonne di clustering
- [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve rispettare il catalogo di sessioni personalizzato
- [SPARK-49138] [SC-173483][SQL] Correzione di collationTypeCast di diverse espressioni
- [SPARK-49163] [SC-173666][SQL] Il tentativo di creare una tabella in base ai risultati dei dati della partizione Parquet interrotti deve restituire un errore rivolto all'utente
- [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Tracciato di ripetizione
hist
con Spark SQL - [SPARK-49188] [SC-173682][SQL] Errore interno in concat_ws chiamato su matrice di matrici di stringhe
- [SPARK-49137] [SC-173677][SQL] Quando la condizione booleana in
if statement
non è valida, deve essere generata un'eccezione - [SPARK-49193] [SC-173672][SQL] Migliorare le prestazioni di RowSetUtils.toColumnBasedSet
- [SPARK-49078] [SC-173078][SQL] Supporto mostra la sintassi delle colonne nella tabella v2
- [SPARK-49141] [SC-173388][SQL] Contrassegnare variant come tipo di dati incompatibile hive
- [SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] Passare
SessionHolder.forTesting(...)
al pacchetto di test - [SPARK-49111] [SC-173661][SQL] Sposta conProjectAndFilter nell'oggetto complementare di DataSourceV2Strategy
- [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Tracciato di ripetizione
kde
con Spark SQL - [SPARK-49178] [SC-173673][SQL] Ottimizzare le prestazioni di
Row#getSeq
in modo che corrispondano alle prestazioni quando si usa Spark 3.5 con Scala 2.12 - [SPARK-49093] [SC-172958][SQL] GROUP BY con MapType annidato all'interno di un tipo complesso
- [SPARK-49142] [SC-173469][CONNECT][PYTHON] Livello di log client di Spark Connect inferiore per il debug
- [SPARK-48761] [SC-172048][SQL] Introduzione all'API ClusterBy DataFrameWriter per Scala
- [SPARK-48346] [SC-173083][SQL] Supporto per istruzioni IF ELSE negli script SQL
- [SPARK-48338] [SC-173112][SQL] Migliorare le eccezioni generate dal parser/interprete
- [SPARK-48658] [SC-169474][SQL] Le funzioni Encode/Decode segnalano errori di codifica anziché mojibake per i caratteri non validi
- [SPARK-49071] [SC-172954][SQL] Rimuovere il tratto ArraySortLike
- [SPARK-49107] Ripristina "[SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
supporta RoutineType"" - [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState viene riscritto in modo non corretto per produrre un piano di query non valido
- [SPARK-49114] [SC-173217] La sottocategoria non può caricare gli errori dell'archivio stati
- [SPARK-49107] Ripristinare "[SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
supporta RoutineType" - [SPARK-49048] [SC-173223][SS] Aggiunta del supporto per la lettura dei metadati dell'operatore pertinenti in un ID batch specificato
- [SPARK-49094] [SC-173049][SQL] Correzione ignoreCorruptFiles non funzionante per hive orc impl con mergeSchema disattivato
- [SPARK-49108] [SC-173102][ESEMPIO] Esempio di AGGIUNTA DELL'API
submit_pi.sh
REST - [SPARK-49107] [SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
supporta RoutineType - [SPARK-48997] [SC-172484][SS] Implementare singoli scaricamenti per gli errori del thread del pool di thread di manutenzione
- [SPARK-49063] [SC-173094][SQL] Correzione tra con scalariSubquerie
- [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Aggiungere il supporto per i tipi di intervallo nella specifica variant
- [SPARK-49074] [BEHAVE-110][SC-172815][SQL] Correzione della variante con
df.cache()
- [SPARK-49003] [SC-172613][SQL] Correzione dell'hash del percorso del codice interpretato per essere compatibile con le regole di confronto
- [SPARK-48740] [SC-172430][SQL] Rilevare l'errore di specifica della finestra mancante in anticipo
- [SPARK-48999] [SC-172245][SS] Dividere PythonStreamingDataSourceSimpleSuite
- [SPARK-49031] [SC-172602] Implementare la convalida per l'operatore TransformWithStateExec usando OperatorStateMetadataV2
- [SPARK-49053] [SC-172494][PYTHON][ML] Rendere le funzioni helper di salvataggio/caricamento del modello accettare la sessione Spark
- [SPARK-49032] [Backport][15.x][SS] Aggiungere il percorso dello schema nella voce della tabella di metadati, verificare la versione prevista e aggiungere il test correlato ai metadati dell'operatore per il formato dei metadati dell'operatore v2
- [SPARK-49034] [SC-172306][CORE] Supporto della sostituzione lato
sparkProperties
server nell'API di invio REST - [SPARK-48931] [SC-171895][SS] Ridurre il costo dell'API dell'elenco di cloud store per l'attività di manutenzione dell'archivio stati
- [SPARK-48849] [SC-172068][SS]Creare OperatorStateMetadataV2 per l'operatore TransformWithStateExec
- [SPARK-49013] [SC-172322] Modificare la chiave nelle regole di confrontoMap per i tipi map e array in scala
- [SPARK-48414] [SC-171884][PYTHON] Correzione di una modifica che causa un'interruzione in Python
fromJson
- [SPARK-48910] [SC-171001][SQL] Usare HashSet/HashMap per evitare ricerche lineari in PreprocessTableCreation
- [SPARK-49007] [SC-172204][CORE] Miglioramento
MasterPage
per supportare il titolo personalizzato - [SPARK-49009] [SC-172263][SQL][PYTHON] Rendere le API e le funzioni di colonna accettare enumerazioni
- [SPARK-49033] [SC-172303][CORE] Supporto della sostituzione lato
environmentVariables
server nell'API di invio REST - [SPARK-48363] [SC-166470][SQL] Pulire alcuni codici ridondanti in
from_xml
- [SPARK-46743] [SC-170867][SQL][BEHAVE-84] Bug count after ScalarSubqery is folded if it has an empty relation
- [SPARK-49040] [SC-172351][SQL] Correggere la documentazione
sql-ref-syntax-aux-exec-imm.md
- [SPARK-48998] [SC-172212][ML] Meta algoritmi di salvataggio/caricamento del modello con SparkSession
- [SPARK-48959] [SC-171708][SQL]
NoSuchDatabaseException
EstendereNoSuchNamespaceException
per ripristinare la gestione delle eccezioni - [SPARK-48996] [SC-172130][SQL][PYTHON] Consenti valori letterali bare per e e o di Colonna
- [SPARK-48990] [SC-171936] Completamento di #101759 - Correzione di test
- [SPARK-48338] [SC-171912][SQL] Controllare le dichiarazioni di variabili
- [SPARK-48990] [SC-171936][SQL] Parole chiave della sintassi SQL correlate alle variabili unificate
- [SPARK-48988] [SC-171915][ML] Creare
DefaultParamsReader/Writer
l'handle dei metadati con la sessione Spark - [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Usare
SparkSession.implicits
invece diSQLContext.implicits
- [SPARK-48760] [SC-170870][SQL] Correzione di CatalogV2Util.applyClusterByChanges
- [SPARK-48928] [SC-171956] Avviso del log per la chiamata a .unpersist() nei set di dati RDD con checkpoint locale
- [SPARK-48760] [SC-170139][SQL] Introduzione a ALTER TABLE ... Sintassi CLUSTER BY SQL per modificare le colonne di clustering
- [SPARK-48844] Ripristinare "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION anziché UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando il percorso è vuoto"
- [SPARK-48833] [SC-171914][SQL][VARIANT] Variante di supporto in
InMemoryTableScan
- [SPARK-48975] [SC-171894][PROTOBUF] Rimuovere la definizione non necessaria
ScalaReflectionLock
daprotobuf
- [SPARK-48970] [SC-171800][PYTHON][ML] Evitare di usare SparkSession.getActiveSession in spark ML reader/writer
- [SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION anziché UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando il percorso è vuoto
- [SPARK-48714] [SC-170136] Correzione di test df.mergeInto non riusciti in PySpark e UC
- [SPARK-48957] [SC-171797][SS] Restituisce una classe di errore secondaria classificata sul carico dell'archivio stati per il provider hdfs e rocksdb
- [SPARK-48891] [Backport][15x][SC-171677][SS] Effettuare il refactoring di StateSchemaCompatibilityChecker per unificare tutti i formati dello schema di stato
- [SPARK-48972] [SC-171795][PYTHON] Unificare la gestione delle stringhe letterali nelle funzioni
- [SPARK-48388] [SC-171337][SQL] Correzione del comportamento dell'istruzione SET per gli script SQL
- [SPARK-48743] [SC-170552][SQL][SS] MergeSessionIterator dovrebbe gestire meglio quando getStruct restituisce Null
- [SPARK-48623] [15.x][SC-171322][CORE] Eseguire la migrazione dei log di FileAppender alla registrazione strutturata
- [SPARK-36680] [DBRRM-1123] Ripristinare "[SC-170640][SQL] Supporta opzioni di tabella dinamiche per Spark SQL"
- [SPARK-48841] [SC-170868][SI COMPORTA-83][SQL] Includi
collationName
asql()
diCollate
- [SPARK-48941] [SC-171703][PYTHON][ML] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
- [SPARK-48938] [SC-171577][PYTHON] Migliorare i messaggi di errore durante la registrazione delle funzioni definite dall'utente python
- [SPARK-48350] [SC-171040][SQL] Introduzione di eccezioni personalizzate per lo scripting SQL
- [SPARK-48907] [SC-171158][SQL] Correggere il valore
explicitTypes
inCOLLATION_MISMATCH.EXPLICIT
- [SPARK-48945] [SC-171658][PYTHON] Semplificare le funzioni regex con
lit
- [SPARK-48944] [SC-171576][CONNECT] Unificare la gestione dello schema in formato JSON in Connect Server
- [SPARK-48836] [SC-171569] Integrare lo schema SQL con schema/metadati dello stato
- [SPARK-48946] [SC-171504][SQL] NpE nel metodo redact quando la sessione è Null
- [SPARK-48921] [SC-171412][SQL] I codificatori ScalaUDF nella sottoquery devono essere risolti per MergeInto
- [SPARK-45155] [SC-171048][CONNECT] Aggiungere la documentazione api per JVM Spark Connect/Client Scala
- [SPARK-48900] [SC-171319] Aggiungi
reason
campo percancelJobGroup
ecancelJobsWithTag
- [SPARK-48865] [SC-171154][SQL] Aggiungere try_url_decode funzione
- [SPARK-48851] [SC-170767][SQL] Modificare il valore di
SCHEMA_NOT_FOUND
danamespace
acatalog.namespace
- [SPARK-48510] [SC-170893][2/2] Supportare l'API UDAF
toColumn
in Spark Connect - [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Creare
from_xml
uno schema StructType di supporto - [SPARK-48930] [SC-171304][CORE] Redact by including pattern (Redact
awsAccessKeyId
by includingaccesskey
pattern) - [SPARK-48909] [SC-171080][ML][MLLIB] Usa SparkSession su SparkContext durante la scrittura di metadati
- [SPARK-48883] [SC-171133][ML][R] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
- [SPARK-48924] [SC-171313][PS] Aggiungere una funzione helper simile
make_interval
a pandas - [SPARK-48884] [SC-171051][PYTHON] Rimuovere la funzione helper inutilizzata
PythonSQLUtils.makeInterval
- [SPARK-48817] [SC-170636][SQL] Eseguire con entusiasmo più comandi di unione insieme
- [SPARK-48896] [SC-171079][ML][MLLIB] Evitare la ripartizione durante la scrittura dei metadati
- [SPARK-48892] [SC-171127][ML] Evitare la lettura dei parametri per riga in
Tokenizer
- [SPARK-48927] [SC-171227][CORE] Mostra il numero di RDD memorizzati nella cache in
StoragePage
- [SPARK-48886] [15.x][Backport][SC-171039][SS] Aggiungere informazioni sulla versione al log delle modifiche v2 per semplificare l'evoluzione
- [SPARK-48903] [SC-171136][SS] Impostare correttamente l'ultima versione dello snapshot di RocksDB nel caricamento remoto
- [SPARK-48742] [SC-170538][SS] Famiglia di colonne virtuali per RocksDB
- [SPARK-48726] [15.x][SC-170753][SS] Creare il formato di file StateSchemaV3 e scriverne il codice per l'operatore TransformWithStateExec
- [SPARK-48794] [SC-170882][CONNECT][15.x] Supporto di df.mergeInto per Spark Connect (Scala e Python)
- [SPARK-48714] [SC-170136][PYTHON] Implementare
DataFrame.mergeInto
in PySpark - [SPARK-48772] [SC-170642][SS][SQL] Modalità lettore feed di modifiche origine dati stato
- [SPARK-48666] [SC-170887][SQL] Non eseguire il push del filtro se contiene funzioni definite dall'utente Python
- [SPARK-48845] [SC-170889][SQL] GenericUDF intercetta le eccezioni dagli elementi figlio
- [SPARK-48880] [SC-170974][CORE] Evitare di generare NullPointerException se l'inizializzazione del plug-in del driver non riesce
- [SPARK-48888] [Backport][15x][SC-170973][SS] Rimuovere la creazione di snapshot in base alle dimensioni delle operazioni del log delle modifiche
- [SPARK-48871] [SC-170876] Correzione della convalida INVALID_NON_DETERMINISTIC_EXPRESSIONS in...
- [SPARK-48883] [SC-170894][ML][R] Sostituire la chiamata all'API di lettura/scrittura RDD con l'API di lettura/scrittura del dataframe
- [SPARK-36680] [SC-170640][SQL] Supporta opzioni di tabella dinamica per Spark SQL
- [SPARK-48804] [SC-170558][SQL] Aggiungere classIsLoadable & OutputCommitter.isAssignableFrom verificare la presenza di configurazioni della classe commiter di output
- [SPARK-46738] [SC-170791][PYTHON] Riabilitare un gruppo di documenti
- [SPARK-48858] [SC-170756][PYTHON] Rimuovere la chiamata al metodo deprecata
setDaemon
diThread
inlog_communication.py
- [SPARK-48639] [SC-169801][CONNECT][PYTHON] Aggiungi origine a RelationCommon
- [SPARK-48863] [SC-170770][ES-1133940][SQL] Correzione di ClassCastException quando si analizza JSON con "spark.sql.json.enablePartialResults" abilitato
- [SPARK-48343] [SC-170450][SQL] Introduzione all'interprete di scripting SQL
- [SPARK-48529] [SC-170755][SQL] Introduzione delle etichette negli script SQL
- [SPARK-45292] Ripristinare "[SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader"
- [SPARK-48037] [SC-165330][CORE][3.5] Correzione di SortShuffleWriter non dispone di metriche correlate alla scrittura casuale, causando dati potenzialmente imprecisi
- [SPARK-48720] [SC-170551][SQL] Allineare il comando
ALTER TABLE ... UNSET TBLPROPERTIES ...
in v1 e v2 - [SPARK-48485] [SC-167825][CONNECT][SS] Supporto di interruptTag e interruptAll nelle query di streaming
- [SPARK-45292] [SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader
- [SPARK-48668] [SC-169815][SQL] Supporto di ALTER NAMESPACE ... PROPRIETÀ UNSET nella versione 2
- [SPARK-47914] [SC-165313][SQL] Non visualizzare il parametro splits in Range
- [SPARK-48807] [SC-170643][SQL] Supporto binario per l'origine dati CSV
- [SPARK-48220] [SC-167592][PYTHON][15.X] Consenti il passaggio della tabella PyArrow a createDataFrame()
- [SPARK-48545] [SC-169543][SQL] Creare to_avro e from_avro funzioni SQL in modo che corrispondano agli equivalenti del dataframe
- [SPARK-47577] [SC-168875][SPARK-47579] Correggere l'utilizzo fuorviante della chiave di log TASK_ID
Supporto del driver ODBC/JDBC di Databricks
Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).
Ambiente di sistema
- Sistema operativo: Ubuntu 24.04.1 LTS
- Java: Zulu17.50+19-CA
- Scala: 2.12.18
- Python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.2.1
Librerie Python installate
Library | Versione | Library | Versione | Library | Versione |
---|---|---|---|---|---|
tipi annotati | 0.7.0 | asttoken | 2.0.5 | astunparse | 1.6.3 |
comando automatico | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob | 12.23.0 |
azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 | black | 24.4.2 |
blinker | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
cachetools | 5.3.3 | certifi | 2024.6.2 | cffi | 1.16.0 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.1.7 |
cloudpickle | 2.2.1 | serv | 0.2.1 | contourpy | 1.2.0 |
cryptography | 42.0.5 | cycler | 0.11.0 | Cython | 3.0.11 |
databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
decorator | 5.1.1 | Deprecato | 1.2.14 | distlib | 0.3.8 |
docstring-to-markdown | 0.11 | entrypoints | 0.4 | executing | 0.8.3 |
facet-overview | 1.1.1 | filelock | 3.15.4 | fonttools | 4.51.0 |
gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
google-auth | 2.35.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.18.2 |
google-crc32c | 1.6.0 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
idna | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
flettere | 7.3.1 | ipyflow-core | 0.0.198 | ipykernel | 6.28.0 |
ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.text | 3.12.1 | jedi | 0.19.1 | jmespath | 1.0.1 |
joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
mccabe | 0.7.0 | mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 |
mypy | 1.10.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
nodeenv | 1.9.1 | numpy | 1.26.4 | oauthlib | 3.2.2 |
opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
packaging | 24.1 | pandas | 1.5.3 | parso | 0.8.3 |
pathspec | 0.10.3 | patsy | 0.5.6 | pexpect | 4.8.0 |
pillow | 10.3.0 | pip | 24.2 | platformdirs | 3.10.0 |
plotly | 5.22.0 | pluggy | 1.0.0 | prompt-toolkit | 3.0.43 |
proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pyccolo | 0.0.52 | pycparser | 2.21 | pydantic | 2.8.2 |
pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 |
pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
requests | 2.32.2 | rope | 1.12.0 | rsa | 4.9 |
s3transfer | 0.10.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
seaborn | 0.13.2 | setuptools | 74.0.0 | six | 1.16.0 |
smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
types-PyYAML | 6.0.0 | richieste di tipi | 2.31.0.0 | types-setuptools | 68.0.0.0 |
tipi-sei | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
ujson | 5.10.0 | aggiornamenti automatici | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
whatthepatch | 1.0.2 | wheel | 0.43.0 | wrapt | 1.14.1 |
yapf | 0.33.0 | zipp | 3.17.0 |
Librerie R installate
Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN.
Library | Versione | Library | Versione | Library | Versione |
---|---|---|---|---|---|
freccia | 16.1.0 | askpass | 1.2.0 | assertthat | 0.2.1 |
backports | 1.5.0 | base | 4.4.0 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-8 | blob | 1.2.4 | boot | 1.3-30 |
brew | 1.0-10 | brio | 1.1.5 | Scopa | 1.0.6 |
bslib | 0.8.0 | cachem | 1.1.0 | callr | 3.7.6 |
caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.3 | clipr | 0.8.0 |
clock | 0.7.1 | cluster | 2.1.6 | codetools | 0.2-20 |
colorspace | 2.1-1 | commonmark | 1.9.1 | compilatore | 4.4.0 |
config | 0.3.2 | in conflitto | 1.2.0 | cpp11 | 0.4.7 |
crayon | 1.5.3 | credentials | 2.0.1 | curl | 5.2.1 |
data.table | 1.15.4 | datasets | 4.4.0 | DBI | 1.2.3 |
dbplyr | 2.5.0 | desc | 1.4.3 | devtools | 2.4.5 |
diagramma | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.36 |
downlit | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | puntini di sospensione | 0.3.2 | evaluate | 0.24.0 |
fansi | 1.0.6 | farver | 2.1.2 | fastmap | 1.2.0 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
foreign | 0.8-86 | forge | 0.2.0 | fs | 1.6.4 |
future | 1.34.0 | future.apply | 1.11.2 | gargle | 1.5.2 |
generics | 0.1.3 | gert | 2.1.0 | ggplot2 | 3.5.1 |
gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.3 | glue | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
grafica | 4.4.0 | grDevices | 4.4.0 | grid | 4.4.0 |
gridExtra | 2.3 | gsubfn | 0,7 | gt | 0.11.0 |
gtable | 0.3.5 | hardhat | 1.4.0 | haven | 2.5.4 |
highr | 0.11 | hms | 1.1.3 | htmltools | 0.5.8.1 |
htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
httr2 | 1.0.2 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-15 | isoband | 0.2.7 | Iteratori | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-22 | knitr | 1.48 | Etichettatura | 0.4.3 |
later | 1.3.2 | Lattice | 0.22-5 | Java | 1.8.0 |
lifecycle | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | markdown | 1.13 | MASS | 7.3-60.0.1 |
Matrice | 1.6-5 | memoise | 2.0.1 | methods | 4.4.0 |
mgcv | 1.9-1 | mime | 0.12 | miniUI | 0.1.1.1 |
mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.2.0 | parallel | 4.4.0 |
parallelly | 1.38.0 | Concetto fondamentale | 1.9.0 | pkgbuild | 1.4.4 |
pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
prettyunits | 1.2.0 | Proc | 1.18.5 | processx | 3.8.4 |
prodlim | 2024.06.25 | profvis | 0.3.8 | Avanzamento | 1.2.3 |
progressr | 0.14.0 | promises | 1.3.0 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.7 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.3.2 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reagibile | 0.4.4 |
reactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
ricette | 1.1.0 | rematch | 2.0.0 | rematch2 | 2.1.2 |
remotes | 2.5.0 | reprex | 2.1.1 | reshape2 | 1.4.4 |
rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
rversions | 2.1.2 | rvest | 1.0.4 | sass | 0.4.9 |
Scalabilità | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
Forma | 1.4.6.1 | shiny | 1.9.1 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.6 | spaziale | 7.3-17 | Spline | 4.4.0 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.4.0 |
stats4 | 4.4.0 | stringi | 1.8.4 | stringr | 1.5.1 |
Sopravvivenza | 3.6-4 | Swagger | 5.17.14.1 | sys | 3.4.2 |
systemfonts | 1.1.0 | tcltk | 4.4.0 | testthat | 3.2.1.1 |
textshaping | 0.4.0 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.1 | tidyverse | 2.0.0 | timechange | 0.3.0 |
timeDate | 4032.109 | tinytex | 0,52 | tools | 4.4.0 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 3.0.0 |
UTF8 | 1.2.4 | utils | 4.4.0 | uuid | 1.2-1 |
V8 | 4.4.2 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
withr | 3.0.1 | xfun | 0,46 | xml2 | 1.3.6 |
xopen | 1.0.1 | xtable | 1.8-4 | yaml | 2.3.10 |
zeallot | 0.1.0 | zip | 2.3.1 |
Librerie Java e Scala installate (versione del cluster Scala 2.12)
ID gruppo | ID artefatto | Versione |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-distribuisci-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
com.amazonaws | aws-java-sdk-config | 1.12.638 |
com.amazonaws | aws-java-sdk-core | 1.12.638 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
com.amazonaws | aws-java-sdk-directory | 1.12.638 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
com.amazonaws | aws-java-sdk-efs | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
com.amazonaws | aws-java-sdk-emr | 1.12.638 |
com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
com.amazonaws | aws-java-sdk-glue | 1.12.638 |
com.amazonaws | aws-java-sdk-iam | 1.12.638 |
com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
com.amazonaws | aws-java-sdk-consultas | 1.12.638 |
com.amazonaws | aws-java-sdk-kms | 1.12.638 |
com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
com.amazonaws | aws-java-sdk-logs | 1.12.638 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.638 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
com.amazonaws | aws-java-sdk-rds | 1.12.638 |
com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
com.amazonaws | aws-java-sdk-ses | 1.12.638 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
com.amazonaws | aws-java-sdk-sns | 1.12.638 |
com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
com.amazonaws | aws-java-sdk-sts | 1.12.638 |
com.amazonaws | aws-java-sdk-support | 1.12.638 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
com.amazonaws | jmespath-java | 1.12.638 |
com.clearspring.analytics | stream | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.27.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.mdfsoftware | kryo-shaded | 4.0.2 |
com.mdfsoftware | minlog | 1.3.0 |
com.fasterxml | compagno di classe | 1.3.4 |
com.fasterxml.jackson.core | annotazioni jackson | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeina | caffeina | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guaiava | 15.0 |
com.google.protobuf | protobuf-java | 3.25.1 |
com.helger | profiler | 1.1.1 |
com.ibm.icu | icu4j | 75.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocità-parser | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1,5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.sdk.netlib | arpack | 3.0.3 |
dev.sdk.netlib | blas | 3.0.3 |
dev.sdk.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.27 |
io.delta | delta-sharing-client_2.12 | 1.2.0 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.108.Final |
io.netty | netty-buffer | 4.1.108.Final |
io.netty | netty-codec | 4.1.108.Final |
io.netty | netty-codec-http | 4.1.108.Final |
io.netty | netty-codec-http2 | 4.1.108.Final |
io.netty | netty-codec-socks | 4.1.108.Final |
io.netty | netty-common | 4.1.108.Final |
io.netty | netty-handler | 4.1.108.Final |
io.netty | netty-handler-proxy | 4.1.108.Final |
io.netty | netty-resolver | 4.1.108.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.108.Final |
io.netty | netty-transport-classes-epoll | 4.1.108.Final |
io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.108.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | agente di raccolta | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | sottaceto | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | formato freccia | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | freccia-vettore | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curatore-cliente | 2.13.0 |
org.apache.curator | curatore-framework | 2.13.0 |
org.apache.curator | ricette curatori | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.2 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shim | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | annotazioni del gruppo di destinatari | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.9.2 |
org.apache.zookeeper | zookeeper-jute | 3.9.2 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-all | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | Spessori | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 9.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.16 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatibile con scalatest | 3.2.16 |
org.scalatest | scalatest-core_2.12 | 3.2.16 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
org.scalatest | scalatest_2.12 | 3.2.16 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | treten-extra | 1.7.1 |
org.cortanaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1,5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
stax | stax-api | 1.0.1 |