Dela via

Databricks Runtime 11.0 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 11.0, som drivs av Apache Spark 3.3.0. Databricks släppte den här versionen i juni 2022.

Nya funktioner och förbättringar

Ny version av Apache Spark

Databricks Runtime 11.0 och Databricks Runtime 11.0 Photon inkluderar Apache Spark 3.3.0. Mer information finns i Apache Spark.

Python-notebook-filer använder nu IPython-kerneln

I Databricks Runtime 11.0 och senare använder Python-notebook-filer IPython-kerneln för att köra Python-kod. Se IPython-kernel.

Stöd för ipywidgets

Nu kan du använda ipywidgets för att göra dina Databricks Python-notebook-filer interaktiva. Se ipywidgets.

Synapse-anslutningsappen skriver nu Parquet-data i icke-äldre läge

Azure Synapse-anslutningsappen skriver nu Parquet-data i icke-äldre läge. Den bevarar tidsstämpelformatet INT96 när du använder PolyBase och COPY kommandon för både batch- och strömningsarbetsbelastningar.

HTTPS-schemat tillämpas nu när ABFS-klienten använder SAS-token

När ABFS-klienten (Azure Blob File System) använder en SAS-token (Signatur för delad åtkomst) tillämpas nu HTTPS-schemat.

SQL: DESC är nu ett alias för DESCRIBE

Du kan nu använda DESC som alias för när du beskriver externa platser eller autentiseringsuppgifter för DESCRIBE lagring. Till exempel:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Ny current_version funktion matar ut versionsinformation

Den nya current_version funktionen matar ut den aktuella Databricks Runtime-versionen om den är tillgänglig, den aktuella Databricks SQL-versionen om den är tillgänglig och annan relaterad versionsinformation. Använd den här nya funktionen för att fråga efter versionsrelaterad information. Se funktionen current_version.

Om du tar bort ett villkor för deltatabellen som saknas uppstår nu ett fel

Om du nu försöker släppa en villkorsbegränsning för Delta-tabellen efter namn, och den begränsningen inte finns, får du ett fel. För att få det tidigare beteendet, som inte utlöser ett fel om villkoret inte finns, måste du nu använda -instruktionen IF EXISTS . Se ALTER TABLE.

SQL: Ny EXCEPT sats i SELECT instruktionen exkluderar kolumner från markeringen

SELECT -instruktioner stöder EXCEPT nu -satsen för att undanta kolumner från markeringen. Returnerar till exempel SELECT * EXCEPT (x) FROM table alla tablekolumner utom x. Kapslade kolumner tillåts också. Returnerar till exempel SELECT * EXCEPT (x.a) FROM table alla tablekolumner men utelämnar fält a från struct x.

Stöd för att ta bort kolumner i Delta-tabeller (offentlig förhandsversion)

Du kan använda ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> eller ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) för att släppa en kolumn eller en lista med kolumner från en Delta-tabell som en åtgärd som endast är metadata. Kolumnerna är i praktiken "mjukt borttagna", eftersom de fortfarande finns i de underliggande Parquet-filerna men inte längre är synliga för Delta-tabellen.

Du kan använda REORG TABLE <table-name> APPLY (PURGE) för att utlösa en filomskrivning på de filer som innehåller mjuk borttagna data, till exempel borttagna kolumner.

Du kan använda VACUUM för att ta bort de borttagna filerna från fysisk lagring, inklusive de gamla filerna som innehåller borttagna kolumner och som har skrivits om av REORG TABLE.

COPY INTO Förbättringar

Nu kan du skapa tomma deltatabeller för platshållare så att schemat senare härleds under ett COPY INTO kommando:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Den föregående SQL-instruktionen är idempotent och kan schemaläggas att köras för att mata in data exakt en gång i en Delta-tabell.

Kommentar

Den tomma Delta-tabellen kan inte användas utanför COPY INTO. Du kan inte använda INSERT INTO och MERGE INTO för att skriva data till schemalösa Delta-tabeller. När data har infogats i tabellen med COPY INTOär tabellen frågebar.

Om de data du matar in inte kan läsas på grund av ett problem med skadade filer kan du hoppa över skadade filer genom att ignoreCorruptFiles ange true i FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Kommandot COPY INTO returnerar antalet filer som hoppades över på grund av skada i num_skipped_corrupt_files kolumnen. Det här måttet visas också i operationMetrics kolumnen under numSkippedCorruptFiles när du har kört DESCRIBE HISTORY deltatabellen.

Skadade filer spåras inte av COPY INTO, så de kan läsas in igen i en efterföljande körning om skadan är åtgärdad. Du kan se vilka filer som är skadade genom att köra COPY INTO i VALIDATE läge.

CONVERT TO DELTA stöds nu i Unity Catalog-aktiverade miljöer (offentlig förhandsversion)

I Unity-Catalog-aktiverade miljöer CONVERT TO DELTA kan du nu:

  • Konvertera Parquet-filer på externa platser till Delta Lake.
  • Konvertera parquet-externa tabeller till Delta-tabeller.

Funktionalitetsförändringar

SQL: lpad och rpad funktioner stöder nu bytesekvenser

Funktionerna lpad och rpad har uppdaterats för att lägga till stöd för bytesekvenser utöver strängar.

Strängformat i format_string och printf tillåter inte längre %0$

Om du anger formatet %0$ i format_string funktionerna och printf utlöser nu ett fel som standard. Den här ändringen är att bevara förväntat beteende med tidigare versioner av Databricks Runtime och vanliga databaser från tredje part. Det första argumentet bör alltid referera %1$ till när du använder ett argumentindex för att ange positionen för argumentet i argumentlistan.

Null-värden i CSV-filer skrivs nu som tomma strängar som standard

Null-värden i CSV-filer har tidigare skrivits som citerade tomma strängar. Med den här versionen skrivs null-värden i CSV-filer nu som ociterade tomma strängar som standard. Om du vill ändra tillbaka till det tidigare beteendet anger du nullValue alternativet till "" för skrivåtgärder.

Tabellegenskapen external är nu reserverad

Egenskapen external är nu en reserverad tabellegenskap som standard. Undantag utlöses nu när du använder external egenskapen med CREATE TABLE ... TBLPROPERTIES - och-satserna ALTER TABLE ... SET TBLPROPERTIES .

Log4j uppgraderas från Log4j 1 till Log4j 2

Log4j 1 uppgraderas till Log4j 2. Äldre Log4j 1-beroenden tas bort.

Om du är beroende av De Log4j 1-klasser som tidigare ingick i Databricks Runtime, finns dessa klasser inte längre. Du bör uppgradera dina beroenden till Log4j 2.

Om du har anpassade plugin-program eller konfigurationsfiler som är beroende av Log4j 2 kanske de inte längre fungerar med versionen av Log4j 2 i den här versionen. Kontakta ditt Azure Databricks-kontoteam om du vill ha hjälp.

Bibliotek som installerats från Maven matchas nu i beräkningsplanet som standard

Maven-biblioteken löses nu som standard i beräkningsplanet när du installerar bibliotek i ett kluster. Klustret måste ha åtkomst till Maven Central. Du kan också återgå till det tidigare beteendet genom att ange spark-konfigurationsegenskapen:

spark.databricks.libraries.enableMavenResolution false

Felkorrigeringar

  • Binär kompatibilitet för LeafNode, UnaryNodeoch BinaryNode mellan Apache Spark och Databricks Runtime har åtgärdats och klasserna är nu kompatibla med Apache Spark 3.3.0 och senare. Om du får följande eller ett liknande meddelande när du använder ett tredjepartspaket med Databricks Runtime återskapar du paketet med Apache Spark 3.3.0 eller senare: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • platformdirs från 2.5.1 till 2.5.2
    • protobuf från 3.20.0 till 3.20.1
  • Uppgraderade R-bibliotek:
    • blob från 1.2.2 till 1.2.3
    • kvast från 0.7.12 till 0.8.0
    • caret från 6.0-91 till 6.0-92
    • cli från 3.2.0 till 3.3.0
    • dplyr från 1.0.8 till 1.0.9
    • från 1.24.0 till 1.25.0
    • future.apply från 1.8.1 till 1.9.0
    • gert från 1.5.0 till 1.6.0
    • ggplot2 från 3.3.5 till 3.3.6
    • glmnet från 4.1-3 till 4.1-4
    • haven från 2.4.3 till 2.5.0
    • httr från 1.4.2 till 1.4.3
    • stickning från 1,38 till 1,39
    • magrittr från 2.0.2 till 2.0.3
    • parallellt från 1.30.0 till 1.31.1
    • ps från 1.6.0 till 1.7.0
    • RColorBrewer från 1.1-2 till 1.1-3
    • RcppEigen från 0.3.3.9.1 till 0.3.3.9.2
    • readxl från 1.3.1 till 1.4.0
    • rmarkdown från 2.13 till 2.14
    • rprojroot från 2.0.2 till 2.0.3
    • RSQLite från 2.2.11 till 2.2.13
    • skalar från 1.1.1 till 1.2.0
    • testthat från 3.1.2 till 3.1.4
    • tibble från 3.1.6 till 3.1.7
    • tinytex från 0,37 till 0,38
    • tzdb från 0.2.0 till 0.3.0
    • uuid från 1.0-4 till 1.1-0
    • vctrs från 0.3.8 till 0.4.1
  • Uppgraderade Java-bibliotek:
    • com.fasterxml.jackson.core.jackson-anteckningar från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.core.jackson-core från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.core.jackson-databind från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer från 2.13.0 till 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.13.0 till 2.13.3
    • com.google.crypto.tink.tink från 1.6.0 till 1.6.1
    • com.ning.compress-lzf från 1.0.3 till 1.1
    • dev.ludovic.netlib.arpack från 2.2.0 till 2.2.1
    • dev.ludovic.netlib.blas från 2.2.0 till 2.2.1
    • dev.ludovic.netlib.lapack från 2.2.0 till 2.2.1
    • io.netty.netty-all från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-buffert från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-codec från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-common från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-handler från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-resolver från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-tcnative-classes från 2.0.46.Final till 2.0.48.Final
    • io.netty.netty-transport från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-classes-epoll från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 från 4.1.73.Final till 4.1.74.Final
    • io.netty.netty-transport-native-unix-common från 4.1.73.Final till 4.1.74.Final
    • joda-time.joda-time från 2.10.12 till 2.10.13
    • org.apache.commons.commons-math3 från 3.4.1 till 3.6.1
    • org.apache.httpcomponents.httpcore från 4.4.12 till 4.4.14
    • org.apache.orc.orc-core från 1.7.3 till 1.7.4
    • org.apache.orc.orc-mapreduce från 1.7.3 till 1.7.4
    • org.apache.orc.orc-shims från 1.7.3 till 1.7.4
    • org.eclipse.jetty.jetty-client från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets från 9.4.43.v20210629 till 9.4.46.v2020331
    • org.eclipse.jetty.jetty-util från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax från 9.4.43.v20210629 till 9.4.46.v2020331
    • org.eclipse.jetty.jetty-webapp från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet från 9.4.43.v20210629 till 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client från 2.2.5 till 2.7.4
    • org.postgresql.postgresql från 42.2.19 till 42.3.3
    • org.roaringbitmap.RoaringBitmap från 0.9.23 till 0.9.25
    • org.roaringbitmap.shims från 0.9.23 till 0.9.25
    • org.rocksdb.rocksdbjni från 6.20.3 till 6.24.2
    • org.slf4j.jcl-over-slf4j från 1.7.32 till 1.7.36
    • org.slf4j.jul-to-slf4j från 1.7.32 till 1.7.36
    • org.slf4j.slf4j-api från 1.7.30 till 1.7.36

Apache Spark

Databricks Runtime 11.0 innehåller Apache Spark 3.3.0.

I detta avsnitt:

Spark SQL och Core

ANSI-läge

  • Nya explicita regler för gjuten syntax i ANSI-läge (SPARK-33354)
  • Elt() ska returnera null om indexet är null under ANSI-läge (SPARK-38304)
  • Du kan också returnera nullresultat om elementet inte finns i matrisen/kartan (SPARK-37750)
  • Tillåt gjutning mellan numerisk typ och tidsstämpeltyp (SPARK-37714)
  • Inaktivera reserverade ANSI-nyckelord som standard (SPARK-37724)
  • Använda lagringstilldelningsregler för att lösa funktionsanrop (SPARK-37438)
  • Lägg till en konfiguration för att tillåta gjutning mellan Datetime och Numerisk (SPARK-37179)
  • Lägg till en konfiguration för att eventuellt framtvinga reserverade ANSI-nyckelord (SPARK-37133)
  • Tillåt inte binära åtgärder mellan intervall och strängliteral (SPARK-36508)

Funktionsförbättringar

  • Stöd för ANSI SQL INTERVAL-typer (SPARK-27790)
  • Förbättringar av felmeddelanden (SPARK-38781)
  • Stöd för dolda filmetadata för Spark SQL (SPARK-37273)
  • Stöd för rå strängliteral (SPARK-36371)
  • Hjälpklass för batch Dataset.observe() (SPARK-34806)
  • Stöd för att ange inledande partitionsnummer för ombalansering (SPARK-38410)
  • Stöd för kaskadläge för dropNamespace API (SPARK-37929)
  • Tillåt lagringstilldelning och implicit gjutning mellan datetime-typer (SPARK-37707)
  • Samla in, först och sist ska vara deterministiska aggregeringsfunktioner (SPARK-32940)
  • Lägg till ExpressionBuilder för funktioner med komplexa överlagringar (SPARK-37164)
  • Lägga till matrisstöd till union efter namn (SPARK-36546)
  • Lägg till df.withMetadata: ett syntaxsocker för att uppdatera metadata för en dataram (SPARK-36642)
  • Stöd för rå strängliteral (SPARK-36371)
  • Använd CAST vid parsning av datum/tidsstämplar med standardmönster (SPARK-36418)
  • Stöd för värdeklass i kapslat schema för datauppsättning (SPARK-20384)
  • Lägg till AS OF-syntaxstöd (SPARK-37219)
  • Lägg till REPEATABLE i TABLESAMPLE för att ange seed (SPARK-37165)
  • Lägg till ansi-syntax set catalog xxx för att ändra den aktuella katalogen (SPARK-36841)
  • Stöd för ILIKE (ALLA | ANY | VISSA) – skiftlägesokänsligt LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Stöd för frågesteg visar körningsstatistik i formaterat förklaringsläge (SPARK-38322)
  • Lägga till mått för spillstorlek för sorteringskoppling (SPARK-37726)
  • Uppdatera SQL-syntaxen för SHOW FUNCTIONS (SPARK-37777)
  • Stöd DROP COLUMN [IF EXISTS] syntax (SPARK-38939)
  • Nya inbyggda funktioner och deras tillägg (SPARK-38783)
    • Datetime
    • AES-funktioner (SPARK-12567)
      • Lägg till aes_encrypt- och aes_decrypt inbyggda funktioner (SPARK-12567)
      • Stöd för GCM-läget av aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Ange GCM som standardläge i aes\_encrypt()/aes\_decrypt()(SPARK-37666)
      • mode Lägg till args och padding i aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • ANSI-sammansättningsfunktion (SPARK-37671)
    • Samlingar
    • Format
    • Sträng/binär
      • Lägg till funktionen CONTAINS()-sträng (SPARK-37508)
      • Lägg till funktionerna och startswith() strängen endswith() (SPARK-37520)
      • Lägga till lpad- och rpad-funktioner för binära strängar (SPARK-37047)
      • Stöd för split_part funktion (SPARK-38063)
    • Lägg till skalningsparameter till funktionerna floor och ceil (SPARK-37475)
    • Nya SQL-funktioner: try_subtract och try_multiply (SPARK-38164)
    • Implementerar histogram_numeric sammansättningsfunktion som stöder partiell aggregering (SPARK-16280)
    • Lägg till max_by/min_by i sql.functions (SPARK-36963)
    • Lägg till nya inbyggda SQL-funktioner: SEC och CSC (SPARK-36683)
    • array_intersect hanterar duplicerade Double.NaN och Float.NaN (SPARK-36754)
    • Lägg till barnsäng som Scala- och Python-funktioner (SPARK-36660)

Prestandaförbättringar

  • Kodgenerering i hela fasen
    • Lägg till kod-gen för sorteringsaggregat utan grupperingsnycklar (SPARK-37564)
    • Lägg till kod-gen för fullständig yttre sorteringskoppling (SPARK-35352)
    • Lägg till kod-gen för fullständig yttre blandad hashkoppling (SPARK-32567)
    • Lägg till kod-gen för existenssorteringskoppling (SPARK-37316)
  • Push-ned (filter)
    • Push-ned filter via RebalancePartitions (SPARK-37828)
    • Tryck ned booleskt kolumnfilter (SPARK-36644)
    • Tryck ned gränsen 1 för höger sida av vänster halv/anti koppling om kopplingsvillkoret är tomt (SPARK-37917)
    • Översätt fler standardaggregeringsfunktioner för pushdown (SPARK-37527)
    • Stöd för spridning av tom relation via aggregering/union (SPARK-35442)
    • Körningsfiltrering på radnivå (SPARK-32268)
    • Stöd för vänster halvkoppling i körningsfilter på radnivå (SPARK-38565)
    • Stöd för predicate pushdown och kolumnrensning för avduplicerade CTE:er (SPARK-37670)
  • Vektorisering
    • Implementera en ConstantColumnVector och förbättra prestanda för dolda filmetadata (SPARK-37896)
    • Aktivera vektoriserad läsning för VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Kombinera/ta bort/ersätta noder
    • Kombinera fackföreningar om det finns ett projekt mellan dem (SPARK-37915)
    • Kombinera till en gjuten om vi på ett säkert sätt kan ställa upp två kast (SPARK-37922)
    • Ta bort sorteringen om den är underordnad RepartitionByExpression (SPARK-36703)
    • Tar bort yttre koppling om den bara har DISTINCT på strömmad sida med alias (SPARK-37292)
    • Ersätt hash med sorteringsaggregat om underordnad redan är sorterad (SPARK-37455)
    • Dölj bara projekt om vi inte duplicerar dyra uttryck (SPARK-36718)
    • Ta bort redundanta alias efter RewritePredicateSubquery (SPARK-36280)
    • Sammanfoga icke-korrelerade skalära underfrågor (SPARK-34079)
  • Partitionering
    • Lägg inte till dynamisk partitionsrensning om det finns statisk partitionsrensning (SPARK-38148)
    • Förbättra ombalanseringPartitioner i regler för Optimizer (SPARK-37904)
    • Lägg till liten partitionsfaktor för ombalanseringspartitioner (SPARK-37357)
  • Ansluta
    • Finjustera logik för att degradera Broadcast-hashkoppling i DynamicJoinSelection (SPARK-37753)
    • Ignorera duplicerade kopplingsnycklar när du skapar en relation för SEMI/ANTI-blandad hashkoppling (SPARK-36794)
    • Stöd för att optimera skev koppling även om du introducerar extra shuffle (SPARK-33832)
  • AQE
    • Stöd för att eliminera gränser i AQE Optimizer (SPARK-36424)
    • Optimera en radplan i normal och AQE Optimizer (SPARK-38162)
  • Aggregate.groupOnly stöder vikbara uttryck (SPARK-38489)
  • ByteArrayMethods-matrisEquals bör snabbt hoppa över kontrollen av justering med en icke-justerad plattform (SPARK-37796)
  • Lägg till trädmönsterrensning i CTESubstitution-regeln (SPARK-37379)
  • Lägg till fler förenklingar av operatorn Inte (SPARK-36665)
  • Stöd för BooleanType i UnwrapCastInBinaryComparison (SPARK-36607)
  • Sammansvärja släpp alla uttryck efter det första icke-nullbara uttrycket (SPARK-36359)
  • Lägg till en logisk planbesökare för att sprida de distinkta attributen (SPARK-36194)

Inbyggda anslutningsförbättringar

  • Allmänt
    • Övergående serialisering av datetime från datakälla (SPARK-38437)
    • Behandla tabellplatsen som absolut när den första bokstaven i sökvägen är snedstreck i tabellen create/alter (SPARK-38236)
    • Ta bort inledande nollor från en tom partition av statisk nummertyp (SPARK-35561)
    • Stöd ignoreCorruptFiles och ignoreMissingFiles alternativ för datakälla (SPARK-38767)
    • Lägg till kommando SHOW CATALOGS (SPARK-35973)
  • Parkettgolv
    • Aktivera matchande schemakolumnnamn efter fält-ID (SPARK-38094)
    • Ta bort kontrollfältets namn när du läser/skriver data i parquet (SPARK-27442)
    • Stöd för vektoriserade läs booleska värden använder RLE-kodning med Parquet DataPage V2 (SPARK-37864)
    • Stöd för Parquet v2-kodning av datasidor (DELTA_BINARY_PACKED) för den vektoriserade sökvägen (SPARK-36879)
    • Ombasering av tidsstämplar i sessionstidszonen som sparats i Parquet/Avro-metadata (SPARK-37705)
    • Push-ned gruppera efter partitionskolumn för aggregering (SPARK-36646)
    • Aggregerad (min/max/antal) push-ned för Parquet (SPARK-36645)
    • Parquet: aktivera matchande schemakolumner efter fält-ID (SPARK-38094)
    • Minska standardstorleken för sidor med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används (SPARK-37593)
    • Implementera vektoriserade DELTA_BYTE_ARRAY och DELTA_LENGTH_BYTE_ARRAY kodningar för Stöd för Parquet V2 (SPARK-37974)
    • Stöd för komplexa typer för parquetvektoriserad läsare (SPARK-34863)
  • ORCH
    • Ta bort namn på kontrollfält när du läser/skriver befintliga data i Orc (SPARK-37965)
    • Aggregerad push-överföring för ORC (SPARK-34960)
    • Stöd för läsning och skrivning av ANSI-intervall från/till ORC-datakällor (SPARK-36931)
    • Stöd för kolumnnamn med endast nummer i ORC-datakällor (SPARK-36663)
  • JSON
    • Respektera allowNonNumericNumbers vid parsning av citerade NaN- och Infinity-värden i JSON-läsare (SPARK-38060)
    • Använd CAST för datetime i CSV/JSON som standard (SPARK-36536)
    • Justera felmeddelandet för nyckeltyper som inte stöds i MapType i Json-läsare (SPARK-35320)
  • CSV
    • Korrigering som refererar till den skadade postkolumnen från CSV (SPARK-38534)
    • null-värden ska sparas som ingenting i stället för tomma strängar som standard (SPARK-37575)
  • JDBC
    • Lägg till instruktionen IMMEDIATE i implementeringen av DB2-dialektens trunkering (SPARK-30062)
  • Bikupa
    • Stöd för att skriva Hive-bucketad tabell (Hive-filformat med Hive-hash) (SPARK-32712)
    • Använda uttryck för att filtrera Hive-partitioner på klientsidan (SPARK-35437)
    • Stöd för dynamisk partitionsrensning för HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir bör använda datakällan om den är konvertibel (SPARK-38215)
    • Stöd för att skriva Hive-bucketad tabell (Parquet/ORC-format med Hive-hash) (SPARK-32709)

Nodavstängning

  • FallbackStorage bör inte försöka lösa godtyckliga "fjärranslutna" värdnamn (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved ska hantera ExecutorDecommission som färdig (SPARK-38023)

Andra viktiga ändringar

  • Lägg till detaljerad låsning i BlockInfoManager (SPARK-37356)
  • Stöd för att mappa Spark gpu/fpga-resurstyper till anpassad YARN-resurstyp (SPARK-37208)
  • Rapportera korrekt blandningsblockstorlek om den är skev (SPARK-36967)
  • Stöd för Netty-loggning på nätverksskiktet (SPARK-36719)

Strukturerad direktuppspelning

Viktiga funktioner

  • Introducera Trigger.AvailableNow för att köra strömmande frågor som Trigger.Once i flera batchar (SPARK-36533)

Andra viktiga ändringar

  • Använd StatefulOpClusteredDistribution för tillståndskänsliga operatorer med avseende på bakåtkompatibilitet (SPARK-38204)
  • Åtgärda flatMapGroupsWithState-timeout i batch med data för nyckel (SPARK-38320)
  • Åtgärda problem med korrekthet vid strömströmmens yttre koppling med RocksDB-tillståndslagerprovidern (SPARK-38684)
  • Support Trigger.AvailableNow på Kafka-datakällan (SPARK-36649)
  • Optimera skrivsökvägen på RocksDB-tillståndslagerprovidern (SPARK-37224)
  • Introducera en ny datakälla för att tillhandahålla en konsekvent uppsättning rader per mikrobatch (SPARK-37062)
  • Använd HashClusteredDistribution för tillståndskänsliga operatorer med avseende på bakåtkompatibilitet (SPARK-38204)

PySpark

Pandas API on Spark

Större förbättringar
  • Indexoptimering med distribuerad sekvens med standardvärdet (SPARK-36559, SPARK-36338)
    • Stöd för att ange indextyp och namn i Pandas API på Spark (SPARK-36709)
    • Visa standardindextyp i SQL-planer för Pandas API på Spark (SPARK-38654)
Viktiga funktioner
  • Implementera inbyggda SparkSQL-ps.merge_asof (SPARK-36813)
  • Stöd för TimedeltaIndex i Pandas API på Spark (SPARK-37525)
  • Stöd för Pythons timedelta (SPARK-37275, SPARK-37510)
  • Implementera funktioner i CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Använder Pythons standardsträngformaterare för SQL API i Pandas API på Spark (SPARK-37436)
  • Stöd för grundläggande åtgärder för timedelta Series/Index (SPARK-37510)
  • Support ps. MultiIndex.dtypes (SPARK-36930)
  • Implementera Index.map (SPARK-36469)
  • Implementera serie.xor och serie.rxor (SPARK-36653)
  • Implementera unary operator för invert integral ps. Serie/index (SPARK-36003)
  • Implementera DataFrame.cov (SPARK-36396)
  • Stöd för str och tidsstämpel för (Series|DataFrame).describe() (SPARK-37657)
  • Stöd för lambda-parametern columnDataFrame.renameför (SPARK-38763)

Andra viktiga ändringar

Icke-bakåtkompatibla ändringar
  • Ta bort referenser till Python 3.6-stöd i dokument och python/docs (SPARK-36977)
  • Ta bort namedtuple hack genom att ersätta inbyggd pickle till cloudpickle (SPARK-32079)
  • Öka lägsta Pandas-version till 1.0.5 (SPARK-37465)
  • Större förbättringar
    • Ange en profilerare för Python/Pandas UDF:er (SPARK-37443)
    • Använder Pythons standardsträngformaterare för SQL API i PySpark (SPARK-37516)
    • Exponera SQL-tillstånd och felklass i PySpark-undantag (SPARK-36953)
    • Försök att fånga faulthanlder när en Python-arbetare kraschar (SPARK-36062)
Viktiga funktioner
  • Implementera DataFrame.mapInArrow i Python (SPARK-37228)
  • Använder Pythons standardsträngformaterare för SQL API i PySpark (SPARK-37516)
  • Lägg till df.withMetadata pyspark API (SPARK-36642)
  • Stöd för Pythons timedelta (SPARK-37275)
  • Exponera tableExists i pyspark.sql.catalog (SPARK-36176)
  • Exponera databaseExists i pyspark.sql.catalog (SPARK-36207)
  • Exponera functionExists i pyspark sql catalog (SPARK-36258)
  • Lägg till Dataframe.observation i PySpark (SPARK-36263)
  • Lägg till max_by/min_by API i PySpark (SPARK-36972)
  • Stöd för att härleda kapslad dikt som en struct när du skapar en DataFrame (SPARK-35929)
  • Lägga till bit-/octet_length-API:er i Scala, Python och R (SPARK-36751)
  • Stöd för ILIKE API i Python (SPARK-36882)
  • Lägg till isEmpty-metod för Python DataFrame API (SPARK-37207)
  • Lägga till flera kolumner som lägger till stöd (SPARK-35173)
  • Lägg till SparkContext.addArchive i PySpark (SPARK-38278)
  • Gör sql type reprs eval-able (SPARK-18621)
  • Tips för infogad typ för fpm.py i python/pyspark/mllib (SPARK-37396)
  • Implementera dropna parametern SeriesGroupBy.value_counts för (SPARK-38837)

MLLIB

Viktiga funktioner

  • Lägg till distanceMeasure param till trainKMeansModel (SPARK-37118)
  • Exponera LogisticRegression.setInitialModel, som KMeans et al do (SPARK-36481)
  • Stöd för CrossValidatorModel få standardavvikelse för mått för varje paramMap (SPARK-36425)

Större förbättringar

  • Optimera vissa treeAggregates i MLlib genom att fördröja allokeringar (SPARK-35848)
  • Skriv om _shared_params_code_gen.py till infogade tips för ml/param/shared.py (SPARK-37419)

Andra viktiga ändringar

SparkR

UI

  • Sammanfattning av spekulationsmått på stegnivå (SPARK-36038)
  • Enhetlig läsblockstid för blandning av läshämtningsväntetid i StagePage (SPARK-37469)
  • Lägga till ändrade konfigurationer för SQL-körning i användargränssnittet (SPARK-34735)
  • Gör ThriftServer igen spark.sql.redaction.string.regex (SPARK-36400)
  • Koppla och starta hanteraren efter att programmet startats i användargränssnittet (SPARK-36237)
  • Lägg till varaktighet för incheckning i SQL-flikens grafnod (SPARK-34399)
  • Stöd för RocksDB-serverdelen i Spark History Server (SPARK-37680)
  • Visa alternativ för Pandas API på Spark i användargränssnittet (SPARK-38656)
  • Byt namn på "SQL" till "SQL/DataFrame" på SQL UI-sidan (SPARK-38657)

Skapa

Underhållsuppdateringar

Se Databricks Runtime 11.0 (EoS).

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta lake: 1.2.1

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
blekmedel 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cyklist 0.10.0 Cython 0.29.24
dbus-python 1.2.16 felsökning 1.4.1 dekoratör 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notebook-fil 6.4.5
numpy 1.20.3 emballage 21,0 Pandas 1.3.4
pandocfilter 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Kudde 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 begäranden 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 sex 1.16.0 ssh-import-id 5,10
statsmodels 0.12.2 orubblighet 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tromb 6.1
traitlets 5.1.0 obevakade uppgraderingar 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
hjul 0.37.0 widgetsnbextension 3.6.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-05-06.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1,1 assertthat 0.2.1 backportar 1.4.1
bas 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 start 1.3-28
brygga 1.0-7 Brio 1.1.3 kvast 0.8.0
bslib 0.3.1 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-92 cellranger 1.1.0 Chron 2.3-56
klass 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 färgområde 2.0-3
commonmark 1.8.0 kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 krita 1.5.1 autentiseringsuppgifter 1.3.2
hårlock 4.3.2 data.table 1.14.2 datauppsättningar 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 smälta 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
ellips 0.3.2 evaluate (utvärdera) 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 främmande 0.8-82
smida 0.2.0 Fs 1.5.2 framtid 1.25.0
future.apply 1.9.0 gurgla 1.2.0 Generika 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafik 4.1.3 grDevices 4.1.3
gitter 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 hamn 2.5.0
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
Id 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 stickning 1.39
Märkning 0.4.2 senare 1.3.0 Galler 0.20-45
lava 1.6.10 livscykel 1.0.1 lyssna 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1,1
MASSA 7.3-56 Matris 1.4-1 pmise 2.0.1
metoder 4.1.3 mgcv 1.8-40 MIME 0,12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallellt 1.31.1
pelare 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
berömma 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.5.3 prodlim 2019.11.13 Förlopp 1.2.2
progressr 0.10.0 Löften 1.2.0.1 Proto 1.0.0
proxyserver 0.4-26 PS 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recept 0.2.0 Returmatch 1.0.1
rematch2 2.1.2 Fjärrkontroller 2.4.2 reprex 2.0.1
omforma2 1.4.4 rlang 1.0.2 rmarkdown 2,14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversioner 2.1.1 rvest 1.0.2
Sass 0.4.1 våg 1.2.0 väljare 0.4-2
sessioninfo 1.2.2 form 1.4.6 skinande 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
rumslig 7.3-11 Splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 statistik 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 överlevnad 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 avmarkera 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
verktyg 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 verktyg 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 morrhår 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffert 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pilvektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy murgröna 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kodning 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-fortsättning 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty brygga-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty brygga plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty brygga-server 9.4.46.v20220331
org.eclipse.jetty brygga-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty brygga-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark oanvänd 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1