Condividi tramite

Databricks Runtime 9.0 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 9.0 e Databricks Runtime 9.0 Photon, basate su Apache Spark 3.1.2. Databricks ha rilasciato questa versione nell'agosto 2021. Photon è disponibile in anteprima pubblica.

Correzione

Una versione precedente di queste note sulla versione indica erroneamente che le dipendenze di Apache Parquet sono state aggiornate dalla versione 1.10 alla versione 1.12. Le dipendenze Parquet rimangono infatti alla versione 1.10. La nota di rilascio non corretta è stata rimossa.

Miglioramenti e nuove funzionalità

Nuova API per le statistiche di riepilogo dei set di dati (anteprima pubblica)

Il nuovo dbutils.data.summarize comando in Databricks Utilities consente di avviare un processo Spark che calcola automaticamente le statistiche di riepilogo sulle colonne di un dataframe Spark e quindi visualizza i risultati in modo interattivo. Questa funzione è disponibile in Scala e Python. Vedere Utilità dati (dbutils.data).

Configurazione dell'origine dati esterna più semplice per il connettore Azure Synapse

La nuova externalDataSource opzione nel connettore Query data in Azure Synapse Analytics consente di usare un'origine dati esterna con provisioning preliminare per leggere da un database di Azure Synapse. L'opzione externalDataSource rimuove la necessità dell'autorizzazione CONTROL richiesta in precedenza.

Quando si imposta externalDataSource, l'origine dati esterna e l'opzione tempDir usata per configurare l'archiviazione temporanea devono fare riferimento allo stesso contenitore nell'account di archiviazione.

Facoltativamente, limitare la sessione a una durata specificata per il connettore Amazon Redshift

La nuova fs.s3a.assumed.role.session.duration opzione in Query Amazon Redshift con il connettore Azure Databricks consente di impostare facoltativamente una durata per la sessione quando Redshift accede al bucket S3 temporaneo con un ruolo assunto.

Autoloader

Elenco di file ottimizzato

Le ottimizzazioni del caricatore automatico offrono miglioramenti delle prestazioni e risparmi sui costi quando si elencano directory annidate nell'archiviazione cloud, tra cui AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) e Google Cloud Storage (GCS).

Ad esempio, se sono stati caricati file come /some/path/YYYY/MM/DD/HH/fileName, per trovare tutti i file in queste directory, il caricatore automatico usato per eseguire un elenco parallelo di tutte le sottodirectory, causando 365 (al giorno) * 24 (all'ora) = 8760 chiamate api LIST alla risorsa di archiviazione sottostante per ogni directory annuale. Ricevendo una risposta flat da questi sistemi di archiviazione, Il caricatore automatico riduce il numero di chiamate API al numero di file nel sistema di archiviazione diviso per il numero di risultati restituiti da ogni chiamata API (1000 per S3, 5000 per ADLS Gen2 e 1024 per GCS), riducendo notevolmente i costi del cloud.

Archiviazione dei dati immagine ottimizzata

Il caricatore automatico può ora rilevare automaticamente i dati delle immagini inseriti e ottimizzarne l'archiviazione nelle tabelle Delta per migliorare le prestazioni di lettura e scrittura. Vedere Inserire dati immagine o binari in Delta Lake per ML.

Anteprime delle immagini per i file binari (anteprima pubblica)

Le immagini in binaryFile formato caricato o salvato come tabelle Delta che usano il caricatore automatico hanno annotazioni associate in modo che le anteprime dell'immagine vengano visualizzate quando si visualizza la tabella in un notebook di Azure Databricks. Per altre informazioni, vedere Immagini.

DirectoryRename Gli eventi consentono l'elaborazione atomica di più file

I flussi del caricatore automatico creati in Databricks Runtime 9.0 e versioni successive in Azure Data Lake Storage Gen2 configurano le notifiche degli eventi di file per includere le ridenominazione della directory e l'ascolto degli RenameDirectory eventi. È possibile usare le ridenominazione della directory per fare in modo che più file vengano visualizzati in modo atomico nel caricatore automatico.

SQL

Escludere colonne in SELECT * (anteprima pubblica)

SELECT * supporta ora una EXCEPT parola chiave che consente di escludere le colonne di primo livello specificate dall'espansione. Ad esempio, SELECT * EXCEPT (b) FROM tbl da una tabella con schema (a, b, c) si espande in (a, c).

Funzioni scalari SQL (anteprima pubblica)

CREATE FUNCTION supporta ora funzioni scalari SQL. È possibile creare funzioni scalari che accettano un set di argomenti e restituiscono un singolo valore di tipo scalare. Il corpo della funzione SQL può essere qualsiasi espressione. Ad esempio:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Per informazioni dettagliate, vedere CREATE FUNCTION (SQL e Python).

Fare riferimento a alias e colonne precedenti nelle FROM sottoquery (anteprima pubblica)

Le sottoquery nella FROM clausola di una query possono ora essere precedute dalla LATERAL parola chiave che consente di fare riferimento a alias e colonne negli elementi precedenti FROM . Ad esempio:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

La LATERAL parola chiave supporta INNER, CROSSe LEFT (OUTER) JOIN.

Vedere Parametri e parametri.

Supporto di R

Librerie R con ambito notebook (anteprima pubblica)

Le librerie con ambito notebook consentono di installare librerie e creare un ambiente con ambito sessione notebook. Queste librerie non influiscono su altri notebook in esecuzione nello stesso cluster. Le librerie sono disponibili sia nei nodi driver che nei nodi di lavoro, quindi è possibile farvi riferimento nelle funzioni definite dall'utente. Vedere Librerie R con ambito notebook.

Messaggi di avviso nei notebook R

Il valore predefinito dell'opzione warn è ora impostato su 1 all'interno dei notebook R. Di conseguenza, tutti gli avvisi vengono ora esposti come parte del risultato del comando. Per altre informazioni sull'opzione warn , vedere Impostazioni opzioni.

Evitare il rollforward specificando lo stato iniziale per l'elaborazione con stato Structured Streaming

È ora possibile specificare uno stato iniziale definito dall'utente per l'elaborazione con stato di streaming strutturato usando l'operatore [flat]MapGroupsWithState .

Vedere Specificare lo stato iniziale per mapGroupsWithState.

È ora disponibile un'implementazione casuale ridotta del comando Delta MERGE INTO (anteprima pubblica)

Il comando Delta MERGE INTO include una nuova implementazione disponibile che riduce la casualità di righe non modificate. Ciò migliora le prestazioni del comando e consente di mantenere il clustering esistente nella tabella, ad esempio l'ordinamento Z. Per abilitare l'unione casuale bassa, impostare su spark.databricks.delta.merge.enableLowShuffle true. Vedere Merge casuale basso in Azure Databricks.

Correzioni di bug

  • Non è più possibile sovrascrivere una visualizzazione creando una visualizzazione con lo stesso nome.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • certificato dal 2021.5.30 al 2020.12.5
    • chardet da 3.0.4 a 4.0.0
    • Cython da 0.29.21 a 0.29.23
    • decorator da 4.4.2 a 5.0.6
    • ipython da 7.19.0 a 7.22.0
    • joblib da 0.17.0 a 1.0.1
    • jupyter-client dalla versione 6.1.7 alla versione 6.1.12
    • jupyter-core da 4.6.3 a 4.7.1
    • kiwisolver da 1.3.0 a 1.3.1
    • matplotlib da 3.2.2 a 3.4.2
    • pandas da 1.1.5 a 1.2.4
    • pip da 20.2.4 a 21.0.1
    • prompt-toolkit dalla versione 3.0.8 alla versione 3.0.17
    • protobuf da 3.17.3 a 3.17.2
    • ptyprocess da 0.6.0 a 0.7.0
    • pyarrow da 1.0.1 a 4.0.0
    • Pygments dalla versione 2.7.2 alla versione 2.8.1
    • pyzmq da 19.0.2 a 20.0.0
    • richieste dalla versione 2.24.0 alla versione 2.25.1
    • s3transfer from 0.3.6 to 0.3.7
    • scikit-learn dalla versione 0.23.2 alla versione 0.24.1
    • scipy da 1.5.2 a 1.6.2
    • seaborn da 0.10.0 a 0.11.1
    • setuptools da 50.3.1 a 52.0.0
    • statsmodels da 0.12.0 a 0.12.2
    • tornado da 6.0.4 a 6.1
    • virtualenv da 20.2.1 a 20.4.1
    • ruota da 0.35.1 a 0.36.2
  • Librerie R aggiornate:
    • Matrice da 1.3-3 a 1.3-4

Apache Spark

Databricks Runtime 9.0 include Apache Spark 3.1.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 8.4 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision non deve sovrascrivere genCodePromotePrecision non deve sovrascrivere genCode
  • [SPARK-35879] [CORE][SHUFFLE] Correzione della regressione delle prestazioni causata da collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Ripristinare le prestazioni delle query su tabelle Avro estese
  • [SPARK-35841] [SQL] Il cast della stringa al tipo decimale non funziona se il ...
  • [SPARK-35783] [SQL] Impostare l'elenco delle colonne di lettura nella configurazione dell'attività per ridurre la lettura dei dati ORC
  • [SPARK-35576] [SQL][3.1] Redact the sensitive info in the result of Set command
  • [SPARK-35449] [SQL][3.1] Estrarre solo espressioni comuni dai valori CaseWhen se elseValue è impostato
  • [SPARK-35288] [SQL] StaticInvoke dovrebbe trovare il metodo senza la corrispondenza esatta delle classi di argomenti
  • [SPARK-34794] [SQL] Risolvere i problemi relativi al nome della variabile lambda nelle funzioni dataframe annidate
  • [SPARK-35278] [SQL] Invoke dovrebbe trovare il metodo con il numero corretto di parametri
  • [SPARK-35226] [SQL] Supporto dell'opzione refreshKrb5Config nelle origini dati JDBC
  • [SPARK-35244] [SQL] Invoke deve generare l'eccezione originale
  • [SPARK-35213] [SQL] Mantenere l'ordinamento corretto degli struct annidati nelle operazioni concatenati conField
  • [SPARK-35087] [interfaccia utente] Alcune colonne della tabella Metriche aggregate di Executor della pagina dei dettagli della fase vengono visualizzate in modo non corretto.
  • [SPARK-35168] [SQL] mapred.reduce.tasks deve essere shuffle.partitions non adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [interfaccia utente] Quando si passa da una pagina all'altra, l'elemento di immissione nella pagina appena aperta potrebbe essere vuoto
  • [SPARK-35142] [PYTHON][ML] Correzione del tipo restituito non corretto per rawPredictionUDF in OneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning deve rispettare la configurazione spark.sql.caseSensitive
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias non deve creare UnresolvedAlias
  • [SPARK-35080] [SQL] Consentire un subset di predicati di uguaglianza correlati solo quando viene aggregata una sottoquery
  • [SPARK-35117] [interfaccia utente] Modificare l'indicatore di stato in modo da evidenziare il rapporto tra attività in corso
  • [SPARK-35136] Rimuovere il valore Null iniziale di LiveStage.info
  • [SPARK-34834] [RETE] Correzione di una potenziale perdita di memoria Netty in TransportResponseHandler
  • [SPARK-35045] [SQL] Aggiungere un'opzione interna per controllare il buffer di input in univocità
  • [SPARK-35014] Correggere lo schema PhysicalAggregation per non riscrivere le espressioni pieghevoli
  • [SPARK-35019] [PYTHON][SQL] Correzione delle mancate corrispondenze degli hint di tipo in pyspark.sql.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() deve rispettare il valore della partizione è Null
  • [SPARK-34630] [PYTHON] Aggiungere typehint per pyspark.Versione
  • [SPARK-34963] [SQL] Correzione dell'eliminazione della colonna nidificata per l'estrazione del campo struct senza distinzione tra maiuscole e minuscole dalla matrice di struct
  • [SPARK-34988] [CORE][3.1] Upgrade Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Usare una funzione di confronto dei costi relativi nell'oggetto CBO
  • [SPARK-34970] [SQL][SICUREZZA][3.1] Redact map-type options nell'output di explain()
  • [SPARK-34923] [SQL] L'output dei metadati deve essere vuoto per altri piani
  • [SPARK-34949] [CORE] Impedire la ripetizione della registrazione di BlockManager quando l'executor è in fase di arresto
  • [SPARK-34939] [CORE] Generare un'eccezione di errore di recupero quando non è possibile deserializzare gli stati della mappa trasmessi
  • [SPARK-34909] [SQL] Correzione della conversione di un valore negativo in senza segno in conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter non deve restituire metriche procfs parziali
  • [SPARK-34814] [SQL] LikeSimplification deve gestire NULL
  • [SPARK-34876] [SQL] Riempimento defaultResult di aggregazioni non nullable
  • [SPARK-34829] [SQL] Correzione dei risultati della funzione di ordine superiore
  • [SPARK-34840] [SHUFFLE] Corregge i casi di danneggiamento nella sequenza casuale unita...
  • [SPARK-34833] [SQL] Applicare correttamente la spaziatura interna a destra per le sottoquery correlate
  • [SPARK-34630] [PYTHON][SQL] Aggiunta di typehint per pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" e df("name") devono gestire correttamente i nomi di colonna tra virgolette
  • [SPARK-33482] [SPARK-34756] [SQL] Correzione del controllo di uguaglianza fileScan
  • [SPARK-34790] [CORE] Disabilitare il recupero di blocchi casuali in batch quando la crittografia io è abilitata
  • [SPARK-34803] [PYSPARK] Passare l'oggetto ImportError generato se pandas o pyarrow non riescono a importare
  • [SPARK-34225] [CORE] Non codificare ulteriormente quando viene passata una stringa di modulo URI a addFile o addJar
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key come segreto e token
  • [SPARK-34796] [SQL][3.1] Inizializzare la variabile contatore per LIMIT code-gen in doProduce()
  • [SPARK-34128] [SQL] Eliminare gli avvisi TTransportException indesiderati coinvolti in THRIFT-4805
  • [SPARK-34776] [SQL] L'eliminazione della colonna nidificata non deve eliminare gli attributi generati da Window
  • [SPARK-34087] [3.1][SQL] Correzione della perdita di memoria di ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords deve usare classloader Spark anziché il contesto
  • [SPARK-34719] [SQL][3.1] Risolvere correttamente la query di visualizzazione con nomi di colonna duplicati
  • [SPARK-34766] [SQL][3.1] Non acquisire la configurazione maven per le visualizzazioni
  • [SPARK-34731] [CORE] Evitare ConcurrentModificationException quando si redacting delle proprietà in EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Eseguire il cast del float di input su double in TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Semplificare ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Rispettare le dimensioni predefinite del buffer di input in Univocità
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists non dovrebbe avere esito negativo se il database non esiste
  • [SPARK-34504] [SQL] Evitare la risoluzione non necessaria delle viste temporanee SQL per i comandi DDL
  • [SPARK-34727] [SQL] Correzione della discrepanza nel cast float al timestamp
  • [SPARK-34723] [SQL] Tipo di parametro corretto per l'eliminazione della sottoespressione in fase intera
  • [SPARK-34724] [SQL] Correzione della valutazione interpretata usando getMethod anziché getDeclaredMethod
  • [SPARK-34713] [SQL] Correzione del gruppo in base a CreateStruct con ExtractValue
  • [SPARK-34697] [SQL] Allow DESCRIBE FUNCTION and SHOW FUNCTIONS explain about || (operatore di concatenazione di stringhe)
  • [SPARK-34682] [SQL] Usare PrivateMethodTester invece di reflection
  • [SPARK-34682] [SQL] Correzione della regressione nel controllo degli errori di canonizzazione in CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Correzione del bug per il join hash casuale esterno completo durante la compilazione sul lato sinistro con condizione non uguale
  • [SPARK-34545] [SQL] Risolvere i problemi relativi alla funzionalità valueCompare di pirolite
  • [SPARK-34607] [SQL][3.1] Aggiungere Utils.isMemberClass per correggere un errore di nome della classe in formato non valido in jdk8u
  • [SPARK-34596] [SQL] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in NewInstance.doGenCode
  • [SPARK-34613] [SQL] La visualizzazione correzione non acquisisce disabilita la configurazione degli hint
  • [SPARK-32924] [WEBUI] Impostare la colonna duration nell'interfaccia utente master ordinata nell'ordine corretto
  • [SPARK-34482] [SS] Correggere l'evento SparkSession attivo per StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect deve aggiornare anche le metriche
  • [SPARK-34599] [SQL] Correzione del problema per cui INSERT INTO OVERWRITE non supporta le colonne di partizione contenenti il punto per DSv2
  • [SPARK-34577] [SQL] Correzione dell'eliminazione/aggiunta di colonne a un set di dati di DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] La partizione statica deve seguire anche StoreAssignmentPolicy quando si inserisce nelle tabelle v2
  • [SPARK-34555] [SQL] Risolvere l'output dei metadati dal dataframe
  • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi
  • [SPARK-34547] [SQL] Usare solo le colonne di metadati per la risoluzione come ultima risorsa
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap ha esito negativo per il nome della colonna con un punto
  • [SPARK-34561] [SQL] Correzione dell'eliminazione/aggiunta di colonne da/a un set di dati v2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] Il controllo delle colonne di partizione statiche duplicate deve rispettare la distinzione tra maiuscole e minuscole
  • [SPARK-34392] [SQL] Supporto di ZoneOffset +h:mm in DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Ignorare il valore Null di InSet durante il filtro push nel metastore Hive
  • [SPARK-34543] [SQL] Rispettare la configurazione durante la risoluzione della spark.sql.caseSensitive specifica di partizione nella versione 1 SET LOCATION
  • [SPARK-34436] [SQL] Supporto DPP LIKE ANY/ALL expression
  • [SPARK-34531] [CORE] Rimuovere il tag API sperimentale in PrometheusServlet
  • [SPARK-34497] [SQL] Correggere i provider di connessione JDBC predefiniti per ripristinare le modifiche del contesto di sicurezza JVM
  • [SPARK-34515] [SQL] Correzione del server dei criteri di rete se InSet contiene valore Null durante getPartitionsByFilter
  • [SPARK-34490] [SQL] L'analisi deve avere esito negativo se la vista fa riferimento a una tabella eliminata
  • [SPARK-34473] [SQL] Evitare NPE in DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Aggiungere documenti mancanti per le API ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext potrebbe bloccarsi con un problema di race
  • [SPARK-20977] [CORE] Usare un campo non finale per lo stato di CollectionAccumulator
  • [SPARK-34421] [SQL] Risolvere le funzioni temporanee e le visualizzazioni nelle visualizzazioni con le unità di analisi di rete
  • [SPARK-34431] [CORE] Carica hive-site.xml solo una volta
  • [SPARK-34405] [CORE] Correzione del valore medio di timersLabels nella classe PrometheusServlet
  • [SPARK-33438] [SQL] Oggetti eagerly init con sql confs definiti per il comando set -v
  • [SPARK-34158] URL errato dell'unico sviluppatore Matei in pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size impostato da spark.buffer.size eseguirà l'override caricando hive-site.xml accidentalmente può causare regressione delle prestazioni
  • [SPARK-34359] [SQL][3.1] Aggiungere una configurazione legacy per ripristinare lo schema di output di SHOW DATABASES
  • [SPARK-34331] [SQL] Velocizzare la risoluzione dei metadati DS v2
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex deve funzionare con nomi di colonna e qualificatori che contengono nuove righe
  • [SPARK-34326] [CORE][SQL] Correzione delle unità definite dall'utente aggiunte in SPARK-31793 a seconda della lunghezza del percorso temporaneo
  • [SPARK-34319] [SQL] Risolvere gli attributi duplicati per FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE][SQL] Sostituisce la mappa e appiattita con flatMap
  • [SPARK-34083] [SQL][3.1] Uso delle definizioni originali TPCDS per le colume char/varchar
  • [SPARK-34233] [SQL][3.1] CORREZIONe dei criteri di rete per il riempimento dei caratteri nel confronto binario
  • [SPARK-34270] [SS] Combinare StateStoreMetrics non deve eseguire l'override di StateStoreCustomMetric
  • [SPARK-34144] [SQL] Eccezione generata quando si tenta di scrivere valori LocalDate e Instant in una relazione JDBC
  • [SPARK-34273] [CORE] Non ripetere la registrazione di BlockManager quando SparkContext viene arrestato
  • [SPARK-34262] [SQL][3.1] Aggiornare i dati memorizzati nella cache della tabella v1 in ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] Sostituisce il filtro e le dimensioni con conteggio
  • [SPARK-34260] [SQL] Correzione di UnresolvedException durante la creazione di una visualizzazione temporanea due volte
  • [SPARK-33867] [SQL] I valori Instant e LocalDate non vengono gestiti durante la generazione di query SQL
  • [SPARK-34193] [CORE] Correzione della gara di rimozione del gestore di blocchi TorrentBroadcast
  • [SPARK-34221] [WEBUI] Verificare che una fase non riesca nella pagina dell'interfaccia utente, il messaggio di errore corrispondente può essere visualizzato correttamente
  • [SPARK-34236] [SQL] Correzione v2 Sovrascrittura w/ partizione statica null genera non è possibile convertire l'espressione nel filtro di origine: null
  • [SPARK-34212] [SQL] Correzione della lettura decimale errata dai file Parquet
  • [SPARK-34244] [SQL] Rimuovere la versione della funzione Scala di regexp_extract_all
  • [SPARK-34235] [SS] Creare spark.sql.hive come pacchetto privato
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate evento nel log
  • [SPARK-34229] [SQL] Avro deve leggere i valori decimali con lo schema del file
  • [SPARK-34223] [SQL] FIX NPE per la partizione statica con null in InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Spostare il riempimento dei caratteri sul lato scrittura e rimuovere il controllo lunghezza anche sul lato lettura
  • [SPARK-34203] [SQL] Convertire i null valori di __HIVE_DEFAULT_PARTITION__ partizione in nel catalogo v1 In-Memory
  • [SPARK-33726] [SQL] Correzione per i nomi di campo duplicati durante l'aggregazione
  • [SPARK-34133] [AVRO] Rispettare la distinzione tra maiuscole e minuscole durante l'esecuzione della corrispondenza dei campi Catalyst-to-Avro
  • [SPARK-34187] [SS] Usare l'intervallo di offset disponibile ottenuto durante il polling durante il controllo della convalida dell'offset
  • [SPARK-34052] [SQL][3.1] Archiviare il testo SQL per una vista temporanea creata con "CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] Aggiornare i dati memorizzati nella cache della tabella v1 in LOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Aggiungere la digitazione per l'overload UDF
  • [SPARK-34200] [SQL] Riferimento a colonne ambigue deve considerare la disponibilità degli attributi
  • [SPARK-33813] [SQL][3.1] Risolvere il problema per cui l'origine JDBC non è in grado di trattare i tipi spaziali di MS SQL Server
  • [SPARK-34178] [SQL] Copiare i tag per il nuovo nodo creato da MultiInstanceRelation.newInstance
  • [SPARK-34005] [CORE][3.1] Aggiornare le metriche di memoria di picco per ogni executor alla fine dell'attività
  • [SPARK-34115] [CORE] Controllare SPARK_TESTING come val differita per evitare rallentamenti
  • [SPARK-34153] [SQL][3.1][3.0] Rimuovere non usato getRawTable() da HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] Aggiornare la cache in ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Sostituisce java.io.File.toURL con java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Spostare QueryCompilationErrors.scala in org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] Aggiungere UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] Ridurre la chiamata rpc di getFileStatus in SingleFileEventLogFileReader
  • [SPARK-34118] [CORE][SQL][3.1] Sostituisce il filtro e verifica la presenza di vuoto con esiste o forall
  • [SPARK-34114] [SQL] non deve essere tagliato a destra per il controllo della lunghezza dei caratteri di lettura e la spaziatura interna
  • [SPARK-34086] [SQL][3.1] RaiseError genera un numero eccessivo di codice e può avere esito negativo per il controllo della lunghezza del codegen per il tipo di dati char varchar
  • [SPARK-34075] [SQL][CORE] Directory nascoste elencate per l'inferenza della partizione
  • [SPARK-34076] [SQL] SQLContext.dropTempTable ha esito negativo se la cache non è vuota
  • [SPARK-34084] [SQL][3.1] Correzione dell'aggiornamento automatico delle statistiche delle tabelle in ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Risultato di Cache HadoopDelegationTokenManager.isServiceEnabled usato in KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Terminare le attività delle barriere deve rispettare SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Il recupero batch casuale dovrebbe essere in grado di disabilitare dopo che è stato abilitato
  • [SPARK-34059] [SQL][CORE][3.1] Usare for/foreach anziché eseguire il mapping per assicurarsi di eseguirlo eagerly
  • [SPARK-34002] [SQL] Correggere l'utilizzo del codificatore in ScalaUDF
  • [SPARK-34060] [SQL][3.1] Correzione della memorizzazione nella cache delle tabelle Hive durante l'aggiornamento delle statistiche in base a ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Correzione della metrica di perdita di memoria non corretta durante l'aggregazione
  • [SPARK-33591] [SQL][3.1] Riconoscere null nei valori delle specifiche di partizione
  • [SPARK-34055] [SQL][3.1] Aggiornare la cache in ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] ReplaceTable deve invalidare la cache
  • [SPARK-34003] [SQL] Correzione dei conflitti tra PaddingAndLengthCheckForCharVarchar e ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Ottimizzare come qualsiasi/tutto per LikeSimplification
  • [SPARK-34021] [R] Correzione dei collegamenti hyper nella documentazione di SparkR per l'invio a CRAN
  • [SPARK-34011] [SQL][3.1][3.0] Aggiornare la cache in ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Correzione dell'errore CodeGen del metodo MapObjects.doGenCode in Scala 2.13
  • [SPARK-33635] [SS] Modificare l'ordine di archiviazione in KafkaTokenUtil.needTokenUpdate per risolvere la regressione delle prestazioni
  • [SPARK-33029] [CORE][WEBUI] Correggere la pagina dell'executor dell'interfaccia utente contrassegnando erroneamente il driver come escluso
  • [SPARK-34015] [R] Correzione dell'intervallo di input in gapply
  • [SPARK-34012] [SQL] Mantenere il comportamento coerente quando conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere è true con la guida alla migrazione
  • [SPARK-33844] [SQL][3.1] Il comando InsertIntoHiveDir deve controllare anche il nome col
  • [SPARK-33935] [SQL] Correzione della funzione di costo CBO
  • [SPARK-33100] [SQL] Ignorare un punto e virgola all'interno di un commento tra parentesi quadre in spark-sql
  • [SPARK-34000] [CORE] Correzione di stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] eseguire l'override transformUpWithNewOutput per aggiungere allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Modificare la visibilità delle classi di case private in mllib per evitare errori di compilazione di runtime con Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] Aggiornare la cache nella versione 1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Invalidare char/varchar in spark.readStream.schema
  • [SPARK-33945] [SQL][3.1] Gestisce un seme casuale costituito da un albero espr
  • [SPARK-33398] Correzione del caricamento dei modelli ad albero prima di Spark 3.0
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI] Correzione del bug della pagina dell'executor dell'interfaccia utente bloccata a causa di peakMemoryMetrics non definiti
  • [SPARK-33944] [SQL] Registrazione errata per le chiavi del warehouse nelle opzioni SharedState
  • [SPARK-33936] [SQL][3.1] Aggiungere la versione quando sono state aggiunte le interfacce del connettore
  • [SPARK-33916] [CORE] Correzione dell'offset di archiviazione di fallback e miglioramento della copertura dei test del codec di compressione
  • [SPARK-33899] [SQL][3.1] Correzione dell'errore di asserzione nella versione 1 SHOW TABLES/VIEWS on spark_catalog
  • [SPARK-33901] [SQL] Correzione dell'errore di visualizzazione char e varchar dopo gli DDLS
  • [SPARK-33897] [SQL] Impossibile impostare l'opzione 'cross' nel metodo join
  • [SPARK-33907] [SQL][3.1] Elimina solo le colonne di JsonToStructs se le opzioni di analisi sono vuote
  • [SPARK-33621] [SPARK-33784] [SQL][3.1] Aggiungere un modo per inserire regole di riscrittura dell'origine dati
  • [SPARK-33900] [WEBUI] Mostra le dimensioni/record di lettura casuali correttamente quando è disponibile solo remotebytesread
  • [SPARK-33892] [SQL] Visualizzare char/varchar in DESC e SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char e Varchar fail in MetaOperation of ThriftServer
  • [SPARK-33659] [SS] Documentare il comportamento corrente per l'API DataStreamWriter.toTable
  • [SPARK-33893] [CORE] Escludere gestione blocchi di fallback da executorList
  • [SPARK-33277] [PYSPARK][SQL] Usare ContextAwareIterator per interrompere l'utilizzo al termine dell'attività
  • [SPARK-33889] [SQL][3.1] Correzione del server dei criteri di rete da SHOW PARTITIONS nelle tabelle V2
  • [SPARK-33879] [SQL] I valori Varchar char hanno esito negativo w/errore di corrispondenza come colonne di partizione
  • [SPARK-33877] [SQL] Documenti di riferimento SQL per INSERT w/a column list
  • [SPARK-33876] [SQL] Aggiungere il controllo della lunghezza per la lettura di char/varchar dalle tabelle con una posizione esterna
  • [SPARK-33846] [SQL] Includere commenti per uno schema annidato in StructType.toDDL
  • [SPARK-33860] [SQL] Imposta catalystTypeConverters.convertToCatalyst corrisponde a un valore di matrice speciale
  • [SPARK-33834] [SQL] Verificare ALTER TABLE CHANGE COLUMN con Char e Varchar
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest non mostrano il codice della sottoquery
  • [SPARK-33836] [SS][PYTHON] Esporre DataStreamReader.table e DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] La ridenominazione delle tabelle v2 deve ricreare la cache
  • [SPARK-33756] [SQL] Make BytesToBytesMap's MapIterator idempotent
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED non mostra il piano per le sottoquery se AQE è abilitato
  • [SPARK-33841] [CORE][3.1] Correzione del problema relativo alla scomparsa intermittente dei processi da SHS in caso di carico elevato
  • [SPARK-33593] [SQL] Il lettore vettoriale ha ottenuto dati non corretti con valore di partizione binaria
  • [SPARK-26341] [WEBUI] Esporre le metriche di memoria dell'executor a livello di fase, nella scheda Fasi
  • [SPARK-33831] [interfaccia utente] Aggiornamento al molo 9.4.34
  • [SPARK-33822] [SQL] Usare il CastSupport.cast metodo in HashJoin
  • [SPARK-33774] [interfaccia utente][CORE] Torna al master" restituisce l'errore 500 nel cluster autonomo
  • [SPARK-26199] [SPARK-31517] [R] Strategia di correzione per la gestione di ... nomi in muta
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFileFilesFileReader deve essere package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects deve richiedere l'ordinamento delle colonne per impostazione predefinita
  • [SPARK-33752] [SQL][3.1] Evitare che getSimpleMessage of AnalysisException aggiunga ripetutamente punto e virgola
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Ordinare le proprietà della tabella in base alla chiave nel comando DESCRIBE TABLE
  • [SPARK-33786] [SQL] Il livello di archiviazione per una cache deve essere rispettato quando viene modificato un nome di tabella
  • [SPARK-33273] [SQL] Correzione di una race condition nell'esecuzione della sottoquery
  • [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE deve recare la tabella stessa
  • [SPARK-33777] [SQL] Ordinamento dell'output delle PARTIZIONI V2 SHOW PARTITIONS
  • [SPARK-33733] [SQL] PullOutNondeterministic deve controllare e raccogliere un campo deterministico
  • [SPARK-33764] [SS] Impostare l'intervallo di manutenzione dell'archivio stati come configurazione SQL
  • [SPARK-33729] [SQL] Quando si aggiorna la cache, Spark non deve usare il piano memorizzato nella cache durante il ricaching dei dati
  • [SPARK-33742] [SQL][3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Richiedere l'identificatore di partizione completamente specificato in partitionExists()
  • [SPARK-33740] [SQL] configurazioni hadoop in hive-site.xml possono eseguire l'override di quelli hadoop preesistenti
  • [SPARK-33692] [SQL] La vista deve usare il catalogo acquisito e lo spazio dei nomi per la funzione di ricerca
  • [SPARK-33669] Messaggio di errore errato dal monitoraggio dello stato dell'applicazione YARN quando sc.stop in modalità client yarn
  • [SPARK-32110] [SQL] Normalizzare numeri mobili speciali in HyperLogLog++
  • [SPARK-33677] [SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
  • [SPARK-33693] [SQL] deprecate spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Invalidare i nuovi tipi char/varchar nelle API pubbliche che producono risultati non corretti
  • [SPARK-32680] [SQL] Non pre-elaborare CTAS V2 con query non risolte
  • [SPARK-33676] [SQL] Richiedere la corrispondenza esatta della specifica di partizione allo schema nella versione 2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Verificare che il provider di partizioni sia Hive nella versione 1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Non è consigliabile chiamare uncaching in viste temporanee non esistenti
  • [SPARK-33667] [SQL] Rispettare la configurazione durante la risoluzione della spark.sql.caseSensitive specifica di partizione nella versione 1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom deve aggiornare la cache

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 9.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facet-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 Psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
pygobject 3.36.0 pyparsing 2.4.7 API Python 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 Nuovo tentativo in corso… 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-07-28.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
Scopa 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compilatore 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
puntini di sospensione 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 Gower 0.2.2 grafica 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratori 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
Etichettatura 0.4.2 later 1.1.0.1 Lattice 0.20-44
Java 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrice 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 Concetto fondamentale 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Avanzamento 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 ricette 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 Scalabilità 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 Forma 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spaziale 7.3-11 Spline 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
Sopravvivenza 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplace commerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet codifica parquet 1.10.1-databricks9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core maglia-comune 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten treten-extra 1.5.0
org.cortanaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52