Condividi tramite

Databricks Runtime 15.4 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.4 LTS, con tecnologia Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nell'agosto 2024.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Modifiche comportamentali

L'uso di come VARIANT tipo di input o output con una funzione definita dall'utente Python, UDAF o UDTF genera un'eccezione

[Modifica di rilievo] In Databricks Runtime 15.3 e versioni successive, chiamando qualsiasi funzione definita dall'utente (UDF) Python, funzione di aggregazione definita dall'utente (UDAF) o funzione di tabella definita dall'utente (UDTF) che usa un VARIANT tipo come argomento o valore restituito genera un'eccezione. Questa modifica viene apportata per evitare problemi che potrebbero verificarsi a causa di un valore non valido restituito da una di queste funzioni. Per altre informazioni sul tipo VARIANT, vedere Usare VARIANT per archiviare dati semistrutturati.

Passare alla modalità di binding dello schema predefinita per le visualizzazioni

Le visualizzazioni si adattano ora alle modifiche dello schema nella query sottostante usando la compensazione dello schema con regole di cast regolari. Si tratta di una modifica rispetto all'impostazione predefinita precedente della modalità BINDING, la quale ha generato errori quando non è stato possibile eseguire un cast sicuro nel fare riferimento alla visualizzazione.

Vedere CREATE VIEW e funzione cast.

Non consentire l'uso della sintassi non documentata ! anziché di NOT espressioni booleane esterne

Con questa versione, l'uso di ! come sinonimo di NOT al di fuori delle espressioni booleane non è più consentito. Ad esempio, istruzioni come le seguenti: CREATE ... IF ! EXISTS, IS ! NULL, una proprietà di colonna o campo ! NULL, ! IN e ! BETWEEN, devono essere sostituite con: CREATE ... IF NOT EXISTS, IS NOT NULL, una proprietà colonna o campo NOT NULL, NOT IN e NOT BETWEEN.

Questa modifica garantisce la coerenza, l'allineamento allo standard SQL e rende SQL più portabile.

L'operatore di prefisso booleano ! (ad esempio, !is_mgr o !(true AND false)) non è interessato da questa modifica.

Non consentire la sintassi della definizione di colonna non documentata nelle visualizzazioni

Databricks supporta CREATE VIEW con colonne denominate e commenti di colonna. In precedenza, la specifica di tipi di colonna, vincoli NOT NULL o DEFAULT è stata consentita. Con questa versione, non è più possibile usare questa sintassi.

Questa modifica garantisce coerenza, si allinea allo standard SQL e supporta miglioramenti futuri.

Gestione degli errori coerente per la decodifica Base64 in Spark e Photon

Questa versione modifica il modo in cui Photon gestisce gli errori di decodifica Base64 in modo che corrispondano alla gestione spark di questi errori. Prima di queste modifiche, il percorso di generazione del codice Photon e Spark talvolta non è riuscito a generare eccezioni di analisi, mentre l'esecuzione interpretata di Spark è stata generata IllegalArgumentException correttamente o ConversionInvalidInputError. Questo aggiornamento garantisce che Photon generi in modo coerente le stesse eccezioni di Spark durante gli errori di decodifica Base64, offrendo una gestione degli errori più prevedibile e affidabile.

L'aggiunta di un CHECK vincolo in una colonna non valida restituisce ora il UNRESOLVED_COLUMN. classe di errore WITH_SUGGESTION

Per fornire messaggi di errore più utili, in Databricks Runtime 15.3 e versioni successive un'istruzione ALTER TABLE ADD CONSTRAINT che include un vincolo che fa riferimento a un nome di colonna CHECK non valido restituisce la classe di errore UNRESOLVED_COLUMN.WITH_SUGGESTION. In precedenza, veniva restituito un oggetto INTERNAL_ERROR.

Miglioramenti e nuove funzionalità

Funzioni di convalida UTF-8

Questa versione introduce le funzioni seguenti per la convalida delle stringhe UTF-8:

  • is_valid_utf8 verifica se una stringa è una stringa UTF-8 valida.
  • make_valid_utf8 converte una stringa UTF-8 potenzialmente non valida in una stringa UTF-8 valida usando caratteri di sostituzione
  • validate_utf8 genera un errore se l'input non è una stringa UTF-8 valida.
  • try_validate_utf8 restituisce NULL se l'input non è una stringa UTF-8 valida.

funzioni to_avro e from_avro

Le funzioni to_avro e from_avro consentono la conversione di tipi SQL in dati binari Avro e indietro.

API del set di dati tipizzato con funzioni definite dall'utente scala

Questa versione include il supporto aggiunto per le API del set di dati tipizzato con funzioni definite dall'utente scala (escluse le funzioni di aggregazione definite dall'utente) nel calcolo abilitato per Unity Catalog con modalità di accesso condiviso. Vedere API del set di dati tipizzato.

Abilitare UniForm Iceberg con ALTER TABLE

È ora possibile abilitare UniForm Iceberg nelle tabelle esistenti senza riscrivere i file di dati. Vedere Abilitare modificando una tabella esistente.

funzione try_url_decode

Questa versione introduce la funzione try_url_decode che decodifica una stringa con codifica URL. Se la stringa non è nel formato corretto, la funzione restituisce NULL anziché generare un errore.

Facoltativamente, consentire all'ottimizzatore di basarsi su vincoli di chiave esterna non attivati

Per migliorare le prestazioni delle query, è ora possibile specificare la parola chiave RELY sui vincoli FOREIGN KEY quando si usano CREATE o ALTER per una tabella.

Esecuzioni di processi parallelizzati per sovrascritture selettive

Le sovrascritture selettive che usano replaceWhere ora eseguono processi che eliminano i dati e inseriscono nuovi dati in parallelo, migliorando le prestazioni delle query e l'utilizzo del cluster.

Miglioramento delle prestazioni per il feed di dati delle modifiche con sovrascritture selettive

Le sovrascritture selettive che usano replaceWhere nelle tabelle con feed di dati delle modifiche non scrivono più file di dati di modifica separati per i dati inseriti. Queste operazioni usano una colonna _change_type nascosta presente nei file di dati Parquet sottostanti per registrare le modifiche senza amplificazione di scrittura.

Miglioramento della latenza delle query per il COPY INTO comando

Questa versione include una modifica che migliora la latenza della query per il comando COPY INTO. Questo miglioramento viene implementato rendendo asincrono il caricamento dello stato dall'archivio stati RocksDB. Con questa modifica, si noterà un miglioramento dei tempi di inizio per le query con stati di grandi dimensioni, ad esempio le query con un numero elevato di file già inseriti.

Supporto per l'eliminazione della funzionalità della tabella dei vincoli check

È ora possibile eliminare la checkConstraints funzionalità tabella da una tabella Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Vedere Disabilitare i vincoli check.

Il calcolo utente singolo supporta il controllo di accesso con granularità fine, le viste materializzate e le tabelle di streaming (anteprima pubblica)

Quando un'area di lavoro è abilitata per il calcolo serverless, Databricks Runtime 15.4 LTS aggiunge il supporto per il controllo di accesso con granularità fine in un ambiente di calcolo singolo utente. Quando una query accede a uno degli oggetti seguenti, la singola risorsa di calcolo utente in Databricks Runtime 15.4 LTS passa la query al calcolo serverless per eseguire il filtro dei dati:

  • Viste definite sulle tabelle in cui l'utente non dispone dei SELECT privilegi.
  • Visualizzazioni dinamiche.
  • Tabelle con filtri di riga o maschere di colonna applicate.
  • Viste materializzate e tabelle di streaming.

Queste query non sono supportate nel calcolo a singolo utente che esegue Databricks Runtime 15.3 e versioni successive.

Per altre informazioni, vedere Controllo di accesso con granularità fine per il calcolo di un singolo utente.

Supporto esteso per le librerie Java e Scala

A partire da Databricks Runtime 15.4 LTS, tutte le librerie Java e Scala in bundle con Databricks Runtime sono disponibili in tutte le modalità di accesso alle risorse di calcolo quando si usa Unity Catalog. Per altre informazioni sul supporto del linguaggio nelle risorse di calcolo abilitate per Unity Catalog, vedere Limitazioni della modalità di accesso alle risorse di calcolo per il catalogo unity.

Supporto espanso per le operazioni del set di dati Scala

Con questa versione, le risorse di calcolo abilitate per Unity Catalog che usano la modalità di accesso condiviso supportano le operazioni Scala Dataset seguenti: map, mapPartitionsforeachPartition, flatMap, reduce e filter.

Scala è disponibile a livello generale nel calcolo condiviso del catalogo unity

Con questa versione Scala è disponibile a livello generale nelle risorse di calcolo abilitate per il catalogo Unity in modalità di accesso condiviso, incluso il supporto per le funzioni definite dall'utente scalari. Le funzioni di aggregazione Structured Streaming, Hive UDF e Hive definite dall’utente non sono supportate. Per un elenco completo delle limitazioni, consultare Limitazioni della modalità di accesso alle risorse di calcolo per il catalogo unity.

Accesso regolamentato dal catalogo Unity ai servizi cloud esterni usando le credenziali del servizio (anteprima pubblica)

Le credenziali del servizio consentono l'autenticazione semplice e sicura con i servizi del tenant cloud usando identità gestite di Azure (MI) e Il catalogo Unity. Vedere Gestire l'accesso ai servizi cloud esterni usando le credenziali del servizio.

Correzioni di bug

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • azure-core da 1.30.1 a 1.30.2
    • google-auth dalla versione 2.29.0 alla versione 2.31.0
    • google-cloud-storage dalla versione 2.16.0 alla versione 2.17.0
    • Google-resumable-media da 2.7.0 a 2.7.1
    • googleapis-common-protos da 1.63.0 a 1.63.2
    • mlflow-skinny da 2.11.3 a 2.11.4
    • proto-plus da 1.23.0 a 1.24.0
    • s3transfer from 0.10.1 to 0.10.2
  • Librerie R aggiornate:
  • Librerie Java aggiornate:
    • com.databricks.databricks-sdk-java da 0.17.1 a 0.27.0
    • com.ibm.icu.icu4j da 72.1 a 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider da 1.6.1-linux-x86_64 a 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.3 e le correzioni e i miglioramenti di bug aggiuntivi seguenti apportati a Spark:

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Consentire il raggruppamento delle espressioni nelle sottoquery scalari, se associate a righe esterne
  • [SPARK-48834] [SI COMPORTA-79][SC-170972][SQL] Disabilitare input/output variant in UDF scalari Python, UDF, funzioni definite dall'utente, funzioni definite dall'utente durante la compilazione delle query
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] Correzione del comportamento stringTrim per regole di confronto non UTF8_BINARY
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] Correzione del comportamento stringTranslate per regole di confronto non UTF8_BINARY
  • [SPARK-48872] [SC-170866][PYTHON] Ridurre il sovraccarico di _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
  • [SPARK-48852] [SC-170837][CONNECT] Correzione della funzione di taglio della stringa in connect
  • [SPARK-48791] [SC-170658][CORE] Correzione della regressione delle prestazioni causata dal sovraccarico di registrazione degli analizzatori tramite CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Supportare la SPARK_SQL_LEGACY_CREATE_HIVE_TABLE variabile env
  • [SPARK-48241] [SC-165811][SQL] Errore di analisi CSV con colonne di tipo char/varchar
  • [SPARK-48168] [SC-166900][SQL] Aggiungere operatori di spostamento bit per bit supportati
  • [SPARK-48148] [SC-165630][CORE] Gli oggetti JSON non devono essere modificati quando vengono letti come STRING
  • [SPARK-46625] [SC-170561] CTE con clausola Identifier come riferimento
  • [SPARK-48771] [SC-170546][SQL] Velocizzare LogicalPlanIntegrity.validateExprIdUniqueness i piani di query di grandi dimensioni
  • [SPARK-48831] [SI COMPORTA-76][SC-170554][CONNECT] Rendere compatibile il nome di colonna predefinito con cast Spark Classic
  • [SPARK-48623] [SC-170544][CORE] Migrazioni di registrazione strutturata [Parte 2]
  • [SPARK-48296] [SC-166138][SQL] Supporto di Codegen per to_xml
  • [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter per il join a più livelli deve controllare il tipo di join figlio
  • [SPARK-48686] [SC-170365][SQL] Migliorare le prestazioni di ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588][PYTHON] Introduzione spark.profile.render alla profilatura basata su SparkSession
  • [SPARK-48048] [SC-169099] Ripristinare "[SC-164846][CONNECT][SS] Aggiunta del supporto del listener lato client per Scala"
  • [SPARK-47910] [SC-168929][CORE] chiudere il flusso quando DiskBlockObjectWriter closeResources per evitare perdite di memoria
  • [SPARK-48816] [SC-170547][SQL] Sintassi abbreviata per i convertitori di intervalli in UnivocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Aggiungere snapshot dell'opzioneStartBatchId e snapshotPartitionId all'origine dati di stato
  • [SPARK-48280] [SC-170293][SQL] Migliorare l'area di attacco di test delle regole di confronto usando l'espressione walking
  • [SPARK-48837] [SC-170540][ML] In CountVectorizer, leggere solo il parametro binario una volta per ogni trasformazione, non una volta per riga
  • [SPARK-48803] [SC-170541][SQL] Generare un errore interno nel serializzatore Orc(De)per allinearsi a ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Filtro dei frame correlati a IPython dallo stack di utenti
  • [SPARK-48818] [SC-170414][PYTHON] Semplificare le percentile funzioni
  • [SPARK-48479] [SC-169079][SQL] Supporto per la creazione di funzioni definite dall'utente sql scalari e di tabella nel parser
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Aggiungere filtri stringa con riconoscimento delle regole di confronto
  • [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Corretto perché la versione per l'alias randomfunc predefinito , , positionmod, cardinality, , session_userchar_lengthcurrent_schemausercharacter_length
  • [SPARK-48638] [SC-169575][CONNECT] Aggiungere il supporto ExecutionInfo per DataFrame
  • [SPARK-48064] [SC-164697][SQL] Aggiornare i messaggi di errore per le classi di errore correlate alla routine
  • [SPARK-48810] [CONNECT] L'API di arresto della sessione () deve essere idempotente e non ha esito negativo se la sessione è già chiusa dal server
  • [SPARK-48650] [15.x][PYTHON] Visualizzare il sito di chiamata corretto da IPython Notebook
  • [SPARK-48271] [SC-166076][SQL] Trasformare l'errore di corrispondenza in RowEncoder in UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Correzione della mancata corrispondenza della risoluzione dei tipi varchar per DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335][SQL] Correzione della regressione per INSERT con elenco di colonne parziale in una tabella con char/varchar
  • [SPARK-48767] [SC-170330][SQL] Correzione di alcune richieste di errore quando variant i dati di tipo non sono validi
  • [SPARK-48719] [SC-170339][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
  • [SPARK-48815] [SC-170334][CONNECT] Aggiornare l'ambiente quando si arresta la sessione di connessione
  • [SPARK-48646] [SC-169020][PYTHON] Ridefinire la documentazione dell'API dell'origine dati Python e gli hint per il tipo
  • [SPARK-48806] [SC-170310][SQL] Passare un'eccezione effettiva quando url_decode ha esito negativo
  • [SPARK-47777] [SC-168818] Correzione del test di connessione dell'origine dati di flusso Python
  • [SPARK-48732] [SC-169793][SQL] Pulizia dell'utilizzo dell'API deprecato correlato a JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Correzione della tabella della cache con colonna collated
  • [SPARK-48623] [SC-169034][CORE] Migrazioni di registrazione strutturata
  • [SPARK-48655] [SC-169542][SQL] SPJ: aggiungere test per ignorare casualmente le query di aggregazione
  • [SPARK-48586] [SC-169808][SS] Rimuovere l'acquisizione del blocco in doMaintenance() eseguendo una copia completa dei mapping di file in RocksDBFileManager in load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Effettuare il refactoring delle versioni per i metadati dell'operatore in lettura/scrittura e chiamanti
  • [SPARK-48808] [SC-170309][SQL] Correggere npe durante la connessione di thriftserver tramite Hive 1.2.1 e lo schema dei risultati è vuoto
  • [SPARK-48715] [SC-170291][SQL] Integrare la convalida UTF8String nelle implementazioni di funzioni stringa in grado di supportare le regole di confronto
  • [SPARK-48747] [SC-170120][SQL] Aggiungere l'iteratore del punto di codice a UTF8String
  • [SPARK-48748] [SC-170115][SQL] Cache numChars in UTF8String
  • [SPARK-48744] [SC-169817][Core] La voce di log deve essere costruita una sola volta
  • [SPARK-46122] [SC-164313][SQL] Impostare su spark.sql.legacy.createHiveTableByDefault false per impostazione predefinita
  • [SPARK-48765] [SC-170119][DEPLOY] Migliorare la valutazione del valore predefinito per SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Aggiungere la documentazione sulla migrazione per CREATE TABLE AS SELECT modifica del comportamento a partire da Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagare lo schema memorizzato nella cache nelle operazioni del frame di dati
  • [SPARK-48766] [SC-170126][PYTHON] Documentare la differenza di comportamento tra extraction element_at e try_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] Non deve memorizzare nella cache explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Passare alla lettura dei metadati dell'operatore una sola volta sul driver per verificare se è possibile trovare informazioni per numColsPrefixKey usato per le query di attivazione/disattivazione della finestra di sessione
  • [SPARK-48656] [SC-169529][CORE] Eseguire un controllo di lunghezza e generare COLLECTION_SIZE_LIMIT_EXCEEDED errore in CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
  • [SPARK-48472] [SC-169044][SQL] Abilitare le espressioni reflect con stringhe collate
  • [SPARK-48699] [SC-169597][SQL] Perfezionare l'API delle regole di confronto
  • [SPARK-48682] [SC-169812][SQL][SI COMPORTA-58] Usare L'ICU nell'espressione InitCap per UTF8_BINARY stringhe
  • [SPARK-48282] [SC-169813][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Abilitare il supporto delle regole di confronto per l'espressione Mode
  • [SPARK-48320] [SPARK-48490] Sincronizzare i test case e i tratti di registrazione più recenti da OSS Spark
  • [SPARK-48629] [SC-169479] Eseguire la migrazione del codice residuo al framework di registrazione strutturato
  • [SPARK-48681] [SC-169469][SQL][SI COMPORTA-58] Usare l'ICU nelle espressioni Lower/Upper per le stringhe UTF8_BINARY
  • [SPARK-48573] [15.x][SC-169582][SQL] Aggiornare la versione di ICU
  • [SPARK-48687] [Backport][15.x][SS] Aggiungere la modifica per eseguire la convalida dello schema di stato e aggiornare il driver per le query con stato
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
  • [SPARK-48008] [SC-167363][1/2] Supportare le funzioni definite dall'utente in Spark Connect
  • [SPARK-48578] [SC-169505][SQL] Aggiungere funzioni correlate alla convalida delle stringhe UTF8
  • [SPARK-48670] [SC-169598][SQL] Fornire un suggerimento come parte del messaggio di errore quando viene assegnato un nome di regole di confronto non valido
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Framework di log strutturato sul lato Java
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Eseguire la migrazione di logWarn con variabili al framework di registrazione strutturata
  • [SPARK-48706] [SC-169589][PYTHON] La funzione definita dall'utente Python in ordine superiore non deve generare un errore interno
  • [SPARK-48498] [SI COMPORTA-38][SC-168060][SQL] Eseguire sempre il riempimento dei caratteri nei predicati
  • [SPARK-48662] [SC-169533][SQL] Correzione dell'espressione StructsToXml con regole di confronto
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates e dropDuplicatesWIthinWatermark devono accettare argomenti di lunghezza variabile
  • [SPARK-48678] [SC-169463][CORE] Ottimizzazioni delle prestazioni per SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Rinominare UTF8_BINARY_LCASE in UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]: Correzione dell'attributo nullbility nel decodificatore UDF
  • [SPARK-47579] [SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturato (nuovo)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal non usare i metodi deprecati
  • [SPARK-48431] [SC-167290][LC-4066][SQL] Non inoltrare predicati sulle colonne collate ai lettori di file
  • [SPARK-47579] Ripristinare "[SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata"
  • [SPARK-47585] [SC-164306][SQL] Sql Core: Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
  • [SPARK-48466] [SC-169042][SQL] Creare un nodo dedicato per EmptyRelation in AQE
  • [SPARK-47579] [SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
  • [SPARK-48410] [SC-168320][SQL] Correzione dell'espressione InitCap per le regole di confronto di UTF8_BINARY_LCASE e ICU
  • [SPARK-48318] [SC-167709][SQL] Abilitare il supporto hash join per tutte le regole di confronto (tipi complessi)
  • [SPARK-48435] [SC-168128][SQL] Le regole di confronto UNICODE non devono supportare l'uguaglianza binaria
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Supporto dell'uso di columns come parametri per diverse funzioni in pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Aggiungere una funzione helper per semplificare Column.py
  • [SPARK-48574] [SC-169043][SQL] Correzione del supporto per StructType con regole di confronto
  • [SPARK-48305] [SC-166390][SQL] Aggiungere il supporto delle regole di confronto per le espressioni CurrentLike
  • [SPARK-48342] [SC-168941][SQL] Introduzione al parser di scripting SQL
  • [SPARK-48649] [SC-169024][SQL] Aggiungere le configurazioni "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" per consentire di ignorare i percorsi di partizione non validi
  • [SPARK-48000] [SC-167194][SQL] Abilitare il supporto hash join per tutte le regole di confronto (StringType)
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implementare DataFrameQueryContext in Spark Connect
  • [SPARK-48602] [SC-168692][SQL] Creare un generatore csv supporta uno stile di output diverso con spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Modificare il confronto tra stringhe per UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830][SQL] refactoring: usare idMap ausiliario anziché OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Evitare l'inizializzazione statica del pool di thread in ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [SC-164658][SQL] Introduce un binaryformatter universale per rendere coerente l'output binario
  • [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError causato dall'eliminazione dell'attività durante la distribuzione
  • [SPARK-48572] [SC-168844][SQL] Correzione di espressioni DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Correzione del cast implicito delle espressioni FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][SQL] Eseguire un controllo di lunghezza e generare COLLECTION_SIZE_LIMIT_EXCEEDED errore in Hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Evitare l'amplificazione dell'archiviazione quando si accede a una variante secondaria
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] Ridefinire il messaggio di errore per YearMonthIntervalType in df.collect
  • [SPARK-48307] [SC-167802][SQL] InlineCTE deve mantenere relazioni non inlined nel nodo WithCTE originale
  • [SPARK-48596] [SC-168581][SQL] Miglioramento delle prestazioni per il calcolo della stringa esadecimale per long
  • [SPARK-48621] [SC-168726][SQL] Correzione della semplificazione like in Optimizer per stringhe collated
  • [SPARK-47148] [SC-164179][SQL] Evitare di materializzare AQE ExchangeQueryStageExec sull'annullamento
  • [SPARK-48584] [SC-168579][SQL] Miglioramento delle prestazioni per unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Sostituzione della sequenza di byte UTF-8 non valida
  • [SPARK-48595] [SC-168580][CORE] Pulizia dell'utilizzo dell'API deprecato correlato a commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ: cache rowOrdering e structType per InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Aggiungere il tratto WriteFilesExecBase per la scrittura v1
  • [SPARK-48551] [SC-168438][SQL] Miglioramento delle prestazioni per escapePathName
  • [SPARK-48565] [SC-168437][interfaccia utente] Correzione della visualizzazione del dump del thread nell'interfaccia utente
  • [SPARK-48364] [SC-166782][SQL] Aggiungere il cast del tipo AbstractMapType e correggere il mapping dei parametri RaiseError per lavorare con stringhe collate
  • [SPARK-48421] [SC-168689][SQL] SPJ: Aggiungere la documentazione
  • [SPARK-48604] [SC-168698][SQL] Sostituire una chiamata al metodo deprecata new ArrowType.Decimal(precision, scale)
  • [SPARK-46947] [SC-157561][CORE] Ritardare l'inizializzazione del gestore della memoria fino al caricamento del plug-in driver
  • [SPARK-48411] [SC-168576][SS][PYTHON] Aggiungere il test E2E per DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Tenere traccia degli errori di convalida delle righe di stato usando la classe di errore esplicita
  • [SPARK-48221] [SC-167143][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Aggiungere il supporto delle regole di confronto per l'espressione Levenshtein
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] Correggere la rappresentazione di stringa della funzione lambda
  • [SPARK-48622] [SC-168710][SQL] ottenere SQLConf una sola volta durante la risoluzione dei nomi di colonna
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] Rinominare parent il campo child in in ColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Correzione delle espressioni Lower & Upper per le regole di confronto UTF8_BINARY_LCASE e ICU
  • [SPARK-48162] [SC-166062][SQL] Aggiungere il supporto delle regole di confronto per le espressioni MISC
  • [SPARK-48518] [SC-167718][CORE] Rendere la compressione LZF in grado di essere eseguita in parallelo
  • [SPARK-48474] [SC-167447][CORE] Correggere il nome della classe del log in SparkSubmitArguments & SparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ: supportare le espressioni transfrom per un lato casuale
  • [SPARK-48552] [SC-168212][SQL] Anche l'inferenza dello schema CSV a più righe deve generare FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] Impostare StreamingQueryListener.spark
  • [SPARK-48569] [SC-168321][SS][CONNECT] Gestire i casi perimetrali in query.name
  • [SPARK-47260] [SC-167323][SQL] Assegnare il nome alla classe di errore _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagare lo schema memorizzato nella cache nelle operazioni set
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation per il join deve verificare se rimanere figlio è solo BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] I nomi brevi del codec di compressione non fanno distinzione tra maiuscole e minuscole, ad eccezione della registrazione degli eventi
  • [SPARK-48447] [SC-167607][SS] Controllare la classe del provider dell'archivio stati prima di richiamare il costruttore
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd non devono generare INTERNAL_ERROR eccezione
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Aggiungere una classe di errore per la compatibilità dello schema di stato e il refactoring secondario
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN con regole di confronto
  • [SPARK-48561] [SC-168250][PS][CONNECT] Generare PandasNotImplementedError un'eccezione per le funzioni di tracciamento non supportate
  • [SPARK-48465] [SC-167531][SQL] Evitare la propagazione delle relazioni vuote senza operazioni
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] Memorizzare nella cache altre proprietà
  • [SPARK-48540] [SC-168069][CORE] Evitare le impostazioni di caricamento dell'output ivy in stdout
  • [SPARK-48535] [SC-168057][SS] Aggiornare la documentazione di configurazione per indicare la possibilità di perdita o danneggiamento dei dati se ignorare i valori Null per la configurazione dei join di flusso di flusso è abilitata
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] Schema specificato dall'utente nella cache in applyInPandas e applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Scrivere stringhe con regole di confronto nel metastore Hive usando il tipo stringa normale
  • [SPARK-48461] [SC-167442][SQL] Sostituire NullPointerExceptions con la classe di errore nell'espressione AssertNotNull
  • [SPARK-47833] [SC-163191][SQL][CORE] Specificare stackstrace del chiamante per checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Porta HIVE-12270: Aggiungere il supporto DBTokenStore al token di delega HS2
  • [SPARK-47578] [SC-167497][R] Eseguire la migrazione di RPackageUtils con variabili al framework di registrazione strutturata
  • [SPARK-47875] [SC-162935][CORE] Togliere spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] Impostare spark.hadoop.fs.s3a.connection.establish.timeout su 30 se mancante
  • [SPARK-47972] [SC-167692][SQL] Limitare l'espressione CAST per le regole di confronto
  • [SPARK-48430] [SC-167489][SQL] Correzione dell'estrazione dei valori della mappa quando la mappa contiene stringhe con regole di confronto
  • [SPARK-47318] [SC-162712][CORE][3.5] Aggiunge il round HKDF alla derivazione della chiave AuthEngine per seguire le procedure KEX standard
  • [SPARK-48503] [SI COMPORTA-29][ES-1135236][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] Schema specificato dall'utente della cache in DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Correzione di un bug in Windows in cui l'avvio di più istanze di Spark all'interno dello stesso secondo causa un errore
  • [SPARK-45891] [SC-167608]Revert " Describe shredding scheme for Variant"
  • [SPARK-48391] [SC-167554][CORE]Uso di addAll invece di aggiungere una funzione daAccumulatorInfos metodo della classe TaskMetrics
  • [SPARK-48496] [SC-167600][CORE] Usare istanze del modello regex statico in JavaUtils.timeStringAs e JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] Correzione del messaggio di errore NPE per csv null delmiter
  • [SPARK-48489] [SC-167598][SQL] Generare un errore migliore per l'utente durante la lettura di uno schema non valido dall'origine dati di testo
  • [SPARK-48471] [SC-167324][CORE] Migliorare la documentazione e la guida all'utilizzo per il server di cronologia
  • [SPARK-45891] [SC-167597] Descrivere lo schema di shredding per Variant
  • [SPARK-47333] [SC-159043][SQL] Usare checkInputDataTypes per controllare i tipi di parametro della funzione to_xml
  • [SPARK-47387] [SC-159310][SQL] Rimuovere alcune classi di errore inutilizzate
  • [SPARK-48265] [ES-1131440][SQL] Infer window group limit batch should do constant folding (Dedur window group limit batch should do constant folding)
  • [SPARK-47716] [SC-167444][SQL] Evitare conflitti di nome visualizzazione nel test case di ordinamento semantico sqlQueryTestSuite
  • [SPARK-48159] [SC-167141][SQL] Estensione del supporto per le stringhe con regole di confronto nelle espressioni datetime
  • [SPARK-48462] [SC-167271][SQL][Test] Usare conSQLConf nei test: Eseguire il refactoring di HiveQuerySuite e HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] spark-defaults.conf Caricare anche quando specificato --properties-file
  • [SPARK-48468] [SC-167417] Aggiungere l'interfaccia LogicalQueryStage in catalyst
  • [SPARK-47578] [SC-164988][CORE] Backport manuale per Spark PR #46309: Eseguire la migrazione del logWarning con variabili al framework di registrazione strutturata
  • [SPARK-48415] [SC-167321]Ripristinare "[PYTHON] Refactoring TypeName per supportare i tipi di dati con parametri"
  • [SPARK-46544] [SC-151361][SQL] Supporto v2 DESCRIBE TABLE EXTENDED con statistiche di tabella
  • [SPARK-48325] [SC-166963][CORE] Specificare sempre i messaggi in ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Aggiungere il supporto delle regole di confronto per le impostazioni locali e gli identificatori delle regole di confronto di ICU
  • [SPARK-47221] [SC-157870][SQL] Usa firme da CsvParser a AbstractParser
  • [SPARK-47246] [SC-158138][SQL] Sostituire InternalRow.fromSeq con new GenericInternalRow per salvare una conversione della raccolta
  • [SPARK-47597] [SC-163932][STREAMING] Backport manuale per Spark PR #46192: Streaming: Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
  • [SPARK-48415] [SC-167130][PYTHON] Effettuare il refactoring TypeName per supportare tipi di dati con parametri
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Usare printSchema lo schema memorizzato nella cache
  • [SPARK-48432] [ES-1097114][SQL] Evitare numeri interi unboxing in UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Usare V2Predicate per eseguire il wrapping dell'espressione con tipo restituito booleano
  • [SPARK-47781] [SC-162293][SQL] Gestire i decimali di scala negativi per le origini dati JDBC
  • [SPARK-48394] [SC-166966][CORE] Cleanup mapIdToMapIndex on mapoutput unregister
  • [SPARK-47072] [SC-156933][SQL] Correzione dei formati di intervallo supportati nei messaggi di errore
  • [SPARK-47001] [SC-162487][SQL] Verifica pushdown in Optimizer
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] Rendere _parse_datatype_string compatibile con Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Abilita spark.sql.sources.v2.bucketing.pushPartValues.enabled per impostazione predefinita
  • [SPARK-48412] [SC-166898][PYTHON] Eseguire il refactoring dell'analisi json del tipo di dati
  • [SPARK-48215] [SC-166781][SQL] Estensione del supporto per le stringhe collate nell'espressione date_format
  • [SPARK-45009] [SC-166873][SQL][COMPLETAMENTO] Aggiungere la classe di errore e i test per la decorrelazione delle sottoquery del predicato nella condizione di join che fanno riferimento a entrambi gli elementi figlio di join
  • [SPARK-47960] [SC-165295][SS][15.x] Consenti il concatenamento di altri operatori con stato dopo l'operatore transformWithState.
  • [SPARK-48340] [SC-166468][PYTHON] Supporto della mancata prefer_timestamp_ntz dello schema di inferi timestampNTZ
  • [SPARK-48157] [SC-165902][SQL] Aggiungere il supporto delle regole di confronto per le espressioni CSV
  • [SPARK-48158] [SC-165652][SQL] Aggiungere il supporto delle regole di confronto per le espressioni XML
  • [SPARK-48160] [SC-166064][SQL] Aggiungere il supporto delle regole di confronto per le espressioni XPATH
  • [SPARK-48229] [SC-165901][SQL] Aggiungere il supporto delle regole di confronto per le espressioni inputFile
  • [SPARK-48367] [SC-166487][CONNECT] Correggere lint-scala per scalafmt per rilevare i file in modo che vengano formattati correttamente
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refactoring della struttura per il contesto di errore del dataframe
  • [SPARK-48370] [SC-166787][CONNECT] Checkpoint e localCheckpoint nel client Scala Spark Connect
  • [SPARK-48247] [SC-166028][PYTHON] Usare tutti i valori in un dict durante l'inferenza dello schema MapType
  • [SPARK-48395] [SC-166794][PYTHON] Correzione StructType.treeString per i tipi con parametri
  • [SPARK-48393] [SC-166784][PYTHON] Spostare un gruppo di costanti in pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementare StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Checkpoint e localCheckpoint in Spark Connect

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.4 LTS.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Librerie Python installate

Library Versione Library Versione Library Versione
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 serv 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facet-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Librerie R installate

Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN.

Library Versione Library Versione Library Versione
freccia 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 Scopa 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compilatore 4.3.2
config 0.3.2 in conflitto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramma 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 puntini di sospensione 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etichettatura 0.4.3
later 1.3.2 Lattice 0.21-8 Java 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Avanzamento 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagibile 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
ricette 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
Scalabilità 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spaziale 7.3-15 Spline 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
Sopravvivenza 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-consultas 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato freccia 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow freccia-vettore 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-all 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Spessori 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1