Condividi tramite

Databricks Runtime 11.1 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.1, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione a luglio 2022.

Miglioramenti e nuove funzionalità

Photon è disponibile a livello generale

Photon è ora disponibile a livello generale, a partire da Databricks Runtime 11.1. Photon è il motore di query vettorizzato nativo di Azure Databricks, scritto per essere direttamente compatibile con le API Apache Spark in modo da funzionare con il codice esistente. È sviluppato in C++ per sfruttare l'hardware moderno e usa le tecniche più recenti nell'elaborazione di query vettorizzate per capitalizzare il parallelismo a livello di dati e di istruzione nelle CPU, migliorando le prestazioni su dati e applicazioni reali, tutto in modo nativo nel data lake.

Photon fa parte di un runtime ad alte prestazioni che esegue più velocemente le chiamate API SQL e DataFrame esistenti e riduce il costo totale per carico di lavoro. Photon viene usato per impostazione predefinita nei warehouse SQL Databricks.

Le nuove funzionalità e i miglioramenti includono:

  • Nuovo operatore di ordinamento vettorializzato
  • Nuove funzioni finestra vettorializzate
  • Nuovi tipi di istanza e dimensioni in tutti i cloud

Limitazioni:

  • Le funzioni definite dall'utente scala/Python non sono supportate da Photon
  • RDD non è supportato da Photon
  • Structured Streaming non è supportato da Photon

Per altre informazioni, vedere gli annunci Photon seguenti.

Photon: Nuovo operatore di ordinamento vettorializzato

Photon supporta ora un ordinamento vettorializzato per quando una query contiene SORT_BY, CLUSTER_BYo una funzione finestra con un oggetto ORDER BY.

Limitazioni: Photon non supporta una clausola globale ORDER BY . Gli ordinamenti per la valutazione della finestra verranno fotonize, ma l'ordinamento globale continuerà a essere eseguito in Spark.

Photon: Nuove funzioni finestra vettorializzate

Photon supporta ora la valutazione della funzione finestra vettorializzata per molti tipi di frame e funzioni. Le nuove funzioni della finestra includono: row_number, rankdense_rank, lag, lead, percent_rank, ntile, e nth_value. Tipi di frame di finestra supportati: esecuzione (UNBOUNDED PRECEDING AND CURRENT ROW), non associato (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), aumento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e compattazione (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitazioni:

  • Photon supporta solo ROWS le versioni di tutti i tipi di frame.
  • Photon non supporta ancora il tipo di fotogramma scorrevole (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: tipi di istanza supportati

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Il feed di dati delle modifiche può ora gestire automaticamente i timestamp non compresi nell'intervallo

Il feed di dati delle modifiche (CDF) ha ora una nuova modalità per fornire timestamp o versioni successive alla versione di un commit più recente senza generare errori. Questa modalità è disabilitata per impostazione predefinita. È possibile abilitarla impostando la configurazione spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled su true.

Descrivere e visualizzare le funzioni SQL ora mostrano i nomi del catalogo Unity nell'output (anteprima pubblica)

I comandi DESC TABLE, DESC DATABASE, DESC SCHEMADESC NAMESPACE, DESC FUNCTION, , EXPLAINe SHOW CREATE TABLE ora mostrano sempre il nome del catalogo nell'output.

Inferenza ed evoluzione dello schema per i file Parquet nel caricatore automatico (anteprima pubblica)

Il caricatore automatico supporta ora l'inferenza dello schema e l'evoluzione per i file Parquet. Proprio come i formati JSON, CSV e Avro, è ora possibile usare la colonna di dati salvata per salvare dati imprevisti che potrebbero essere visualizzati nei file Parquet. Sono inclusi i dati che non possono essere analizzati nel tipo di dati previsto, colonne con maiuscole e minuscole diverse o colonne aggiuntive che non fanno parte dello schema previsto. È possibile configurare il caricatore automatico per evolvere automaticamente lo schema quando si verificano l'aggiunta di nuove colonne nei dati in ingresso. Vedere Configurare l'inferenza e l'evoluzione dello schema in Auto Loader.

Il caricatore automatico supporta ora l'evoluzione dello schema per Avro (GA)

Vedere Configurare l'inferenza e l'evoluzione dello schema in Auto Loader.

Supporto di Delta Lake per sovrascrivere le partizioni dinamiche

Delta Lake consente ora la modalità di sovrascrittura della partizione dinamica per sovrascrivere tutti i dati esistenti in ogni partizione logica per cui la scrittura eseguirà il commit di nuovi dati. Vedere Sovrascrivere i dati in modo selettivo con Delta Lake.

Supporto dello schema delle informazioni per gli oggetti creati nel catalogo unity

Lo schema delle informazioni fornisce un'API basata su SQL, che descrive automaticamente i metadati di vari oggetti di database, tra cui tabelle e viste, vincoli e routine. All'interno dello schema delle informazioni si trova un set di viste che descrivono gli oggetti noti al catalogo dello schema con privilegi. Lo schema delle informazioni del SYSTEM catalogo restituisce informazioni sugli oggetti in tutti i cataloghi all'interno del metastore. Vedere Schema di informazioni.

Vincoli informativi sulle tabelle Delta Lake con Unity Catalog (anteprima pubblica)

È ora possibile definire vincoli di chiave primaria e di chiave esterna informativi nelle tabelle Delta Lake con Il catalogo Unity. I vincoli informativi non vengono applicati. Vedere Clausole dei vincoli di arco.

Unity Catalog è disponibile a livello generale

Unity Catalog è ora disponibile a livello generale a partire da Databricks Runtime 11.1. Vedere Che cos'è Unity Catalog?.

Delta Sharing è disponibile a livello generale

La condivisione differenziale è ora disponibile a livello generale a partire da Databricks Runtime 11.1.

Databricks a Databricks Delta Sharing è completamente gestito senza la necessità di scambiare token. È possibile creare e gestire provider, destinatari e condivisioni nell'interfaccia utente o con LE API SQL e REST.

Alcune funzionalità includono la limitazione dell'accesso dei destinatari, l'esecuzione di query sui dati con gli elenchi di accesso IP e le restrizioni dell'area e la delega della gestione della condivisione delta a utenti non amministratori. È anche possibile eseguire query su modifiche ai dati o condividere versioni incrementali con feed di dati delle modifiche. Si veda Che cos'è Delta Sharing?.

Modifiche del comportamento

Redaction delle proprietà sensibili per DESCRIBE TABLE e SHOW TABLE PROPERTIES

Le proprietà sensibili vengono elaborate nei dataframe e nell'output dei DESCRIBE TABLE comandi e SHOW TABLE PROPERTIES .

Per impostazione predefinita, i cluster di processi hanno la modalità di accesso utente singolo con Databricks Runtime 11.1 e versioni successive

Per essere in grado di supportare Unity Catalog, per impostazione predefinita i cluster di processi che usano Databricks Runtime 11.1 e versioni successive creati tramite l'interfaccia utente o l'API dei processi predefinito sarà la modalità di accesso utente singolo. La modalità accesso utente singolo supporta la maggior parte dei linguaggi di programmazione, delle funzionalità del cluster e delle funzionalità di governance dei dati. È comunque possibile configurare la modalità di accesso condiviso tramite l'interfaccia utente o l'API, ma le lingue o le funzionalità potrebbero essere limitate.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • filelock dalla versione 3.6.0 alla versione 3.7.1
    • tracciato da 5.6.0 a 5.8.2
    • protobuf da 3.20.1 a 4.21.2
  • Librerie R aggiornate:
    • chron da 2.3-56 a 2.3-57
    • DBI da 1.1.2 a 1.1.3
    • dbplyr da 2.1.1 a 2.2.0
    • e1071 da 1.7-9 a 1.7-11
    • futuro da 1.25.0 a 1.26.1
    • globals da 0.14.0 a 0.15.1
    • hardhat da 0.2.0 a 1.1.0
    • ipred da 0.9-12 a 0.9-13
    • openssl dalla versione 2.0.0 alla versione 2.0.2
    • parallelamente da 1.31.1 a 1.32.0
    • processx da 3.5.3 a 3.6.1
    • progressr da 0.10.0 a 0.10.1
    • proxy da 0.4-26 a 0.4-27
    • ps da 1.7.0 a 1.7.1
    • randomForest da 4.7-1 a 4.7-1.1
    • roxygen2 da 7.1.2 a 7.2.0
    • Rserve da 1.8-10 a 1.8-11
    • RSQLite da 2.2.13 a 2.2.14
    • sparklyr da 1.7.5 a 1.7.7
    • tinytex da 0,38 a 0,40
    • usethis from 2.1.5 to 2.1.6
    • xfun da 0.30 a 0.31
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.4.0 a 0.5.0

Apache Spark

Databricks Runtime 11.2 include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-40054] [SQL] Ripristinare la sintassi di gestione degli errori di try_cast()
  • [SPARK-39489] [CORE] Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson invece di Json4s
  • [SPARK-39319] [CORE][SQL] Creare contesti di query come parte di SparkThrowable
  • [SPARK-40085] [SQL] Usare INTERNAL_ERROR classe di errore anziché IllegalStateException per indicare bug
  • [SPARK-40001] [SQL] Eseguire scritture NULL nelle colonne JSON DEFAULT scrivere 'null' nella risorsa di archiviazione
  • [SPARK-39635] [SQL] Supporto delle metriche dei driver nell'API metrica personalizzata DS v2
  • [SPARK-39184] [SQL] Gestire una matrice di risultati sottodimensionata nelle sequenze di data e timestamp
  • [SPARK-40019] [SQL] Refactoring del commento di ArrayType contieneNull e refactoring delle logiche di errore nell'espressione collectionOperator su containsNull
  • [SPARK-39989] [SQL] Supporto delle statistiche delle colonne di stima se è un'espressione piegabile
  • [SPARK-39926] [SQL] Correzione di un bug nel supporto DEFAULT della colonna per le analisi Parquet non vettorializzate
  • [SPARK-40052] [SQL] Gestire buffer di byte diretti in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Correggere il tipo di intervallo di destinazione negli errori di overflow di cast
  • [SPARK-39835] [SQL] Correzione di EliminaSorts rimuovere l'ordinamento globale sotto l'ordinamento locale
  • [SPARK-40002] [SQL] Non spingere il limite verso il basso attraverso la finestra usando ntile
  • [SPARK-39976] [SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
  • [SPARK-39985] [SQL] Abilitare i valori di colonna DEFAULT impliciti negli inserimenti da dataframe
  • [SPARK-39776] [SQL] Join verbose string deve aggiungere il tipo join
  • [SPARK-38901] [SQL] DS V2 supporta le funzioni di push verso il basso
  • [SPARK-40028] [SQL][FollowUp] Migliorare esempi di funzioni stringa
  • [SPARK-39983] [CORE][SQL] Non memorizzare nella cache le relazioni di trasmissione nonrializzate sul driver
  • [SPARK-39812] [SQL] Semplificare il codice con cui creare AggregateExpressiontoAggregateExpression
  • [SPARK-40028] [SQL] Aggiungere esempi binari per le espressioni stringa
  • [SPARK-39981] [SQL] Generare l'eccezione QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
  • [SPARK-40007] [PYTHON][SQL] Aggiungere 'mode' alle funzioni
  • [SPARK-40008] [SQL] Supporto del cast di integrali a intervalli ANSI
  • [SPARK-40003] [PYTHON][SQL] Aggiungere 'median' alle funzioni
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve recachere la relazione di risultato
  • [SPARK-39951] [SQL] Aggiornare il controllo delle colonne parquet V2 per i campi annidati
  • [SPARK-39775] [CORE][AVRO] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro
  • [SPARK-33236] [shuffle] Backport in DBR 11.x: abilitare il servizio shuffle basato su push per archiviare lo stato nel database a livello di NM per il riavvio mantenendo il riavvio
  • [SPARK-39836] [SQL] Semplificare V2ExpressionBuilder tramite l'estrazione di un metodo comune.
  • [SPARK-39867] [SQL] Il limite globale non deve ereditare OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Rimuovi OptimizeLimitZero e unisci in EliminateLimits
  • [SPARK-39961] [SQL] Conversione push-down di DS V2 Cast se il cast è sicuro
  • [SPARK-39872] [SQL] Modificare l'uso con l'API BytePackerForLong#unpack8Values di input della matrice in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Rimuovere le regole non necessarie AliasHelper o PredicateHelper per alcune regole
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
  • [SPARK-39900] [SQL] Indirizzare una condizione parziale o negata nel pushdown del predicato del formato binario
  • [SPARK-39904] [SQL] Rinominare inferDate per preferireDate e chiarire la semantica dell'opzione nell'origine dati CSV
  • [SPARK-39958] [SQL] Aggiungere il log degli avvisi quando non è possibile caricare l'oggetto metrica personalizzato
  • [SPARK-39936] [SQL] Archiviare lo schema nelle proprietà per le viste Spark
  • [SPARK-39932] [SQL] WindowExec deve cancellare il buffer di partizione finale
  • [SPARK-37194] [SQL] Evitare l'ordinamento non necessario nella scrittura v1 se non è una partizione dinamica
  • [SPARK-39902] [SQL] Aggiungere i dettagli dell'analisi al nodo di analisi del piano Spark in SparkUI
  • [SPARK-39865] [SQL] Visualizzare i messaggi di errore corretti sugli errori di overflow dell'inserimento di tabelle
  • [SPARK-39940] [SS] Aggiornare la tabella del catalogo nella query di streaming con sink DSv1
  • [SPARK-39827] [SQL] Usare la classe ARITHMETIC_OVERFLOW di errore in int overflow in add_months()
  • [SPARK-39914] [SQL] Aggiungere il filtro DS V2 alla conversione del filtro V1
  • [SPARK-39857] [SQL] Backport manuale DBR 11.x; V2ExpressionBuilder usa il tipo di dati LiteralValue errato per In predicato #43454
  • [SPARK-39840] [SQL][PYTHON] Factor PythonArrowInput come simmetria per PythonArrowOutput
  • [SPARK-39651] [SQL] La condizione di filtro prune se confrontata con rand è deterministica
  • [SPARK-39877] [PYTHON] Aggiungere unpivot all'API del dataframe PySpark
  • [SPARK-39847] [WARMFIX][SS] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
  • [SPARK-39909] [SQL] Organizzare il controllo delle informazioni di push per JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Includere le statistiche di origine e i vincoli per LogicalRDD se proviene dal dataframe
  • [SPARK-39849] [SQL] Dataset.as(StructType) riempie le nuove colonne mancanti con valore Null
  • [SPARK-39860] [SQL] Più espressioni devono estendere predicato
  • [SPARK-39823] [SQL][PYTHON] Rinominare Dataset.as come Dataset.to e aggiungere DataFrame.to in PySpark
  • [SPARK-39918] [SQL][MINOR] Sostituire la parola "non confrontabile" con "incomparabile" nel messaggio di errore
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa il tipo di dati LiteralValue errato per Il predicato In
  • [SPARK-39862] [SQL] Backport manuale per pr 43654 destinato a DBR 11.x: aggiornare SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS per consentire/negare ALTER TABLE ... Comandi ADD COLUMN separatamente.
  • [SPARK-39844] [SQL] Backport manuale per pr 43652 destinato a DBR 11.x
  • [SPARK-39899] [SQL] Correzione del passaggio di parametri del messaggio a InvalidUDFClassException
  • [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Supporto di CharType in PySpark
  • [SPARK-38864] [SQL] Aggiungere unpivot/melt al set di dati
  • [SPARK-39864] [SQL] Registrare in modo differire ExecutionListenerBus
  • [SPARK-39808] [SQL] Supporto della modalità funzione di aggregazione
  • [SPARK-39839] [SQL] Gestire casi speciali di decimale a lunghezza variabile Null con offset non zeroAndSize nel controllo dell'integrità strutturale UnsafeRow
  • [SPARK-39875] [SQL] Modificare il protected metodo nella classe finale in private o package-visible
  • [SPARK-39731] [SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser di ora FIX
  • [SPARK-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
  • [SPARK-39784] [SQL] Inserire i valori letterali sul lato destro del filtro dell'origine dati dopo la conversione dell'espressione Catalyst nel filtro origine dati
  • [SPARK-39672] [SQL][3.1] Correzione della rimozione del progetto prima del filtro con sottoquery correlata
  • [SPARK-39552] [SQL] Unificare v1 e v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] L'accesso _metadata alla tabella partizionata può arrestare un arresto anomalo di una query
  • [SPARK-39810] [SQL] Catalog.tableExists deve gestire lo spazio dei nomi annidato
  • [SPARK-37287] [SQL] Estrarre la partizione dinamica e l'ordinamento dei bucket da FileFormatWriter
  • [SPARK-39469] [SQL] Inferenza del tipo di data per l'inferenza dello schema CSV
  • [SPARK-39148] [SQL] Il push down aggregato DS V2 può funzionare con OFFSET o LIMIT
  • [SPARK-39818] [SQL] Correzione di bug in ARRAY, STRUCT, tipi MAP con valori DEFAULT con campi NULL
  • [SPARK-39792] [SQL] Aggiungere DecimalDivideWithOverflowCheck per la media decimale
  • [SPARK-39798] [SQL] Replcace toSeq.toArray con .toArray[Any] nel costruttore di GenericArrayData
  • [SPARK-39759] [SQL] Implementare listIndexes in JDBC (dialetto H2)
  • [SPARK-39385] [SQL] Supporta il push verso il basso REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
  • [SPARK-39760] [PYTHON] Supporto di Varchar in PySpark
  • [SPARK-39557] [SQL] Backport manuale in DBR 11.x: supporta ARRAY, STRUCT, tipi MAP come valori DEFAULT
  • [SPARK-39758] [SQL][3.3] Correzione del server dei criteri di rete dalle funzioni regexp in modelli non validi
  • [SPARK-39749] [SQL] Modalità SQL ANSI: usare la rappresentazione di stringa normale per eseguire il cast di decimali in stringhe
  • [SPARK-39704] [SQL] Implementare createIndex & dropIndex & indexExists in JDBC (dialetto H2)
  • [SPARK-39803] [SQL] Usare LevenshteinDistance invece di StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Supporto del tipo TimestampNTZ nell'origine dati JDBC
  • [SPARK-39781] [SS] Aggiunta del supporto per fornire max_open_files al provider dell'archivio stati rocksdb
  • [SPARK-39719] [R] Implementare databaseExists/getDatabase nello spazio dei nomi SparkR supportato da 3L
  • [SPARK-39751] [SQL] Rinominare la metrica dei probe delle chiavi di aggregazione hash
  • [SPARK-39772] Lo spazio dei nomi [SQL] deve essere Null quando il database è Null nei costruttori precedenti
  • [SPARK-39625] [SPARK-38904][SQL] Aggiungere Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilare funzioni di aggregazione di regressione lineare predefinite per il dialetto JDBC
  • [SPARK-39720] [R] Implementare tableExists/getTable in SparkR per lo spazio dei nomi 3L
  • [SPARK-39744] [SQL] Aggiungere la REGEXP_INSTR funzione
  • [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
  • [SPARK-39788] [SQL] Rinomina catalogName in dialectName per JdbcUtils
  • [SPARK-39647] [CORE] Registrare l'executor con ESS prima di registrare BlockManager
  • [SPARK-39754] [CORE][SQL] Rimuovere gli elementi inutilizzati import o non necessari {}
  • [SPARK-39706] [SQL] Impostare la colonna mancante con defaultValue come costante in ParquetColumnVector
  • [SPARK-39699] [SQL] Rendere CollapseProject più intelligente sulle espressioni di creazione della raccolta
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devono supportare il filtro aggregato
  • [SPARK-39579] [SQL] [PYTHON] [R] Rendere ListFunctions/getFunction/functionExists compatibile con lo spazio dei nomi a 3 livelli
  • [SPARK-39627] [SQL] Il pushdown di JDBC V2 deve unificare l'API di compilazione
  • [SPARK-39748] [SQL][SS] Includere il piano logico di origine per LogicalRDD se proviene dal dataframe
  • [SPARK-39385] [SQL] Tradurre funzioni di aggregazione di regressione lineare per il pushdown
  • [SPARK-39695] [SQL] Aggiungere la REGEXP_SUBSTR funzione
  • [SPARK-39667] [SQL] Aggiungere un'altra soluzione alternativa quando la memoria non è sufficiente per compilare e trasmettere la tabella
  • [SPARK-39666] [ES-337834][SQL] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode expressionEncoder
  • [SPARK-39643] [SQL] Non consentire espressioni di sottoquery nei valori DEFAULT
  • [SPARK-38647] [SQL] Aggiungere la combinazione SupportsReportOrdering nell'interfaccia per l'analisi (DataSourceV2)
  • [SPARK-39497] [SQL] Migliorare l'eccezione di analisi della colonna chiave della mappa mancante
  • [SPARK-39661] [SQL] Evitare di creare logger SLF4J non necessari
  • [SPARK-39713] [SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per INVALID_ARRAY_INDEX errore
  • [SPARK-38899] [SQL]DS V2 supporta le funzioni datetime di push
  • [SPARK-39638] [SQL] Modificare l'uso ConstantColumnVector per archiviare le colonne di partizione in OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Eseguire la pulizia ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) da ColumnVectorUtils
  • [SPARK-39231] [SQL] Usare ConstantColumnVector anziché per archiviare le colonne di On/OffHeapColumnVector partizione in VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog non deve generare NoSuchDatabaseException in loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evitare AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN di rielaborazione
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve rispettare l'ordinamento dell'output figlio
  • [SPARK-39606] [SQL] Usare le statistiche figlio per stimare l'operatore order
  • [SPARK-39611] [PYTHON][PS] Correggere gli alias non corretti in array_ufunc
  • [SPARK-39656] [SQL][3.3] Correggere lo spazio dei nomi errato in DescribeNamespaceExec
  • [SPARK-39675] [SQL] Passare alla configurazione di 'spark.sql.codegen.factoryMode' dallo scopo di test allo scopo interno
  • [SPARK-39139] [SQL] DS V2 supporta il push della funzione definita dall'utente DS V2
  • [SPARK-39434] [SQL] Specificare il contesto della query di errore di runtime quando l'indice della matrice non è delimitato
  • [SPARK-39479] [SQL] DS V2 supporta il push delle funzioni matematiche (non ANSI)
  • [SPARK-39618] [SQL] Aggiungere la REGEXP_COUNT funzione
  • [SPARK-39553] [CORE] L'annullamento della registrazione a più thread non deve generare npe quando si usa Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Aggiungere un file per risolvere le funzioni generali pandas mancanti
  • [SPARK-39444] [SQL] Aggiungere OptimizeSubqueries nell'elenco nonExcludableRules
  • [SPARK-39316] [SQL] Merge PromotePrecision e CheckOverflow in aritmetica binaria decimale
  • [SPARK-39505] [interfaccia utente] Rendering del contenuto del log di escape nell'interfaccia utente
  • [SPARK-39448] [SQL] Aggiungi ReplaceCTERefWithRepartition nell'elenco nonExcludableRules
  • [SPARK-37961] [SQL] Eseguire l'override di maxRows/maxRowsPerPartition per alcuni operatori logici
  • [SPARK-35223] Ripristinare l'aggiunta di IssueNavigationLink
  • [SPARK-39633] [SQL] Supporto del timestamp in secondi per TimeFrame con le opzioni del dataframe
  • [SPARK-38796] [SQL] Aggiornare la documentazione per le stringhe di formato numerico con le funzioni {try_}to_number
  • [SPARK-39650] [SS] Correzione dello schema di valore non corretto nella deduplicazione di streaming con compatibilità con le versioni precedenti
  • [SPARK-39636] [CORE][interfaccia utente] Correzione di più bug in JsonProtocol, che influiscono su heap StorageLevels e Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Restituire ELEMENT_AT_BY_INDEX_ZERO da element_at(*, 0)
  • [SPARK-39349] Aggiungere un metodo CheckError centralizzato per qa del percorso di errore
  • [SPARK-39453] [SQL] DS V2 supporta il push delle funzioni non aggregate (non ANSI)
  • [SPARK-38978] [SQL] DS V2 supporta l'operatore OFFSET push down
  • [SPARK-39567] [SQL] Supportare gli intervalli ANSI nelle funzioni percentili
  • [SPARK-39383] [SQL] Supportare le colonne DEFAULT nelle origini dati ALTER TABLE ALTER COLUMNS a V2
  • [SPARK-39396] [SQL] Correzione dell'eccezione di accesso LDAP "codice di errore 49 - credenziali non valide"
  • [SPARK-39548] [SQL] Comando CreateView con una query della clausola window ha raggiunto un problema di definizione di finestra non trovato
  • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
  • [SPARK-39543] L'opzione DataFrameWriterV2 deve essere passata alle proprietà di archiviazione se il fallback a v1
  • [SPARK-39564] [SS] Esporre le informazioni della tabella del catalogo al piano logico nella query di streaming
  • [SPARK-39582] [SQL] Correzione del marcatore "Since" per array_agg
  • [SPARK-39388] [SQL] Riutilizzare orcSchema quando si esegue il push dei predicati orc
  • [SPARK-39511] [SQL] Migliorare il push verso il basso limite locale 1 per il lato destro del semi/anti join sinistro se la condizione di join è vuota
  • [SPARK-38614] [SQL] Non spingere il limite verso il basso attraverso la finestra che usa percent_rank
  • [SPARK-39551] [SQL] Aggiungere un controllo del piano non valido di AQE
  • [SPARK-39383] [SQL] Supportare le colonne DEFAULT in ALTER TABLE ADD COLUMNS to V2 data sources
  • [SPARK-39538] [SQL] Evitare di creare logger SLF4J non necessari
  • [SPARK-39383] [SQL] Backport manuale in DBR 11.x: eseguire il refactoring del supporto della colonna DEFAULT per ignorare il passaggio dell'analizzatore primario
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression per supportare alias con expression
  • [SPARK-39496] [SQL] Gestire lo struct Null in Inline.eval
  • [SPARK-39545] [SQL] Eseguire l'override concat del metodo per ExpressionSet in Scala 2.13 per migliorare le prestazioni
  • [SPARK-39340] [SQL] Il push agg di DS v2 deve consentire punti nel nome delle colonne di primo livello
  • [SPARK-39488] [SQL] Semplificare la gestione degli errori di TempResolvedColumn
  • [SPARK-38846] [SQL] Aggiungere il mapping esplicito dei dati tra tipo numerico Teradata e Spark DecimalType
  • [SPARK-39520] [SQL] Eseguire l'override -- del metodo per ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Supporto del cast di intervalli ANSI a decimali
  • [SPARK-39477] [SQL] Rimuovere le informazioni sul numero di query dai file golden di SQLQueryTestSuite
  • [SPARK-39419] [SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
  • [SPARK-39061] [SQL] Impostare i valori Nullable correttamente per Inline gli attributi di output
  • [SPARK-39320] [SQL] Supporto della funzione di aggregazione MEDIAN
  • [SPARK-39261] [CORE] Migliorare la formattazione di nuova riga per i messaggi di errore
  • [SPARK-39355] [SQL] La colonna singola usa virgolette per costruire UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigire le proprietà
  • [SPARK-37623] [SQL] Supporto della funzione di aggregazione ANSI: regr_intercept
  • [SPARK-39374] [SQL] Migliorare il messaggio di errore per l'elenco di colonne specificato dall'utente
  • [SPARK-39255] [SQL][3.3] Migliorare i messaggi di errore
  • [SPARK-39321] [SQL] Effettuare il refactoring di TryCast per usare RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Accettare una matrice NumPy in createDataFrame
  • [SPARK-39267] [SQL] Pulire il simbolo dsl non necessario
  • [SPARK-39171] [SQL] Unificare l'espressione Cast
  • [SPARK-28330] [SQL] Supporto di ANSI SQL: clausola offset dei risultati nell'espressione di query
  • [SPARK-39203] [SQL] Riscrivere la posizione della tabella nell'URI assoluto in base all'URI del database
  • [SPARK-39313] [SQL] toCatalystOrdering deve avere esito negativo se non è possibile convertire V2Expression
  • [SPARK-39301] [SQL][PYTHON] Sfruttare LocalRelation e rispettare le dimensioni del batch Arrow in createDataFrame con l'ottimizzazione freccia
  • [SPARK-39400] [SQL] spark-sql deve rimuovere il dir della risorsa Hive in tutti i casi

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.1.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 click 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facet-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 packaging 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2.20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
aggiornamenti automatici 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-08-15.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 Scopa 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compilatore 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 puntini di sospensione 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafica 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 Etichettatura 0.4.2 later 1.3.0
Lattice 0.20-45 Java 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrice 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 Concetto fondamentale 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Avanzamento 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
ricette 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
Scalabilità 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spaziale 7.3-11
Spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow freccia-vettore 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shim 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet codifica parquet 1.12.0-databricks-0004
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Spessori 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1