Databricks Runtime 11.3 LTS
Följande viktig information innehåller information om Databricks Runtime 11.3 LTS, som drivs av Apache Spark 3.3.0. Databricks släppte den här versionen i oktober 2022.
Kommentar
LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.
Dricks
Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.
Förändringar i beteende
[Icke-bakåtkompatibel ändring] Ny Python-version kräver uppdatering av Databricks Connect V1 Python-klienter
För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 11.3 LTS från 3.9.5 till 3.9.19. Eftersom dessa ändringar kan orsaka fel i klienter som använder specifika PySpark-funktioner måste alla klienter som använder Databricks Connect V1 för Python med Databricks Runtime 11.3 LTS uppdateras till Python 3.9.7 eller senare.
Nya funktioner och förbättringar
- Strukturerad direktuppspelningsutlösare när den är inaktuell
- Ändra källsökväg för automatisk inläsning
- Databricks Kinesis-anslutningsprogrammet stöder nu läsning från Kinesis-dataströmmar i EFO-läge
- Nya geospatiala H3-funktioner och stöd för foton har lagts till för alla H3-funktioner
- Nya funktioner för förutsägande I/O
- Öka inledande partitioner för att söka efter selektiva frågor
- Visualisering av nya AQE-planversioner
- Nya lägen för asynkron förloppsspårning och loggrensning
- Strukturerad direktuppspelning i Unity Catalog har nu stöd för
display()
- Pipelinehändelser loggas nu i JSON-format
- Godtycklig tillståndskänslig bearbetning i strukturerad direktuppspelning med Python
- Datuminferens i CSV-filer
- Klonstöd för Apache Parquet- och Apache Iceberg-tabeller (offentlig förhandsversion)
- Använd SQL för att ange lagringsplatser på schema- och katalognivå för hanterade Unity Catalog-tabeller
Strukturerad direktuppspelningsutlösare när den är inaktuell
Inställningen Trigger.Once
är inaktuell. Databricks rekommenderar att du använder Trigger.AvailableNow
. Se Konfigurera utlösarintervall för strukturerad direktuppspelning.
Ändra källsökväg för automatisk inläsning
Du kan nu ändra sökvägen för katalogindata för Automatisk inläsning som konfigurerats med kataloglistningsläge utan att behöva välja en ny kontrollpunktskatalog. Se Ändra källsökväg för Automatisk inläsning.
Databricks Kinesis-anslutningsprogrammet stöder nu läsning från Kinesis-dataströmmar i EFO-läge
Nu kan du använda databricks Kinesis strukturerade strömningskälla i Databricks Runtime 11.3 LTS för att köra frågor som läser från Kinesis Dataströmmar i förbättrat utbläst läge. Detta möjliggör dedikerat dataflöde per shard, per konsument och postleverans i push-läge.
Nya geospatiala H3-funktioner och stöd för foton har lagts till för alla H3-funktioner
Introduktion till 4 nya H3-funktioner, h3_maxchild
, h3_minchild
, h3_pointash3
och h3_pointash3string
. Dessa funktioner är tillgängliga i SQL, Scala och Python. Alla H3-uttryck stöds nu i Photon. Se geospatiala H3-funktioner.
Nya funktioner för förutsägande I/O
Photon stöder intervallläge för att köra ramar med hjälp av RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
. Photon har också stöd för intervallläge för att odla ramar med hjälp av RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }
.
Öka inledande partitioner för att söka efter selektiva frågor
Värdet för inledande partitioner som ska genomsökas har ökats till 10 för selektiva frågor med take/tail/limit
i Photon-aktiverade kluster och LIMIT
i Databricks SQL. Med 10 partitioner kan du undvika att starta flera små jobb och en långsam uppskalning. Du kan också konfigurera detta via spark.sql.limit.selectiveInitialNumPartitions
.
Visualisering av nya AQE-planversioner
Introduktion till AQE-planversioner som gör att du kan visualisera dina uppdateringar av körningsplanen från adaptiv frågekörning (AQE).
Nya lägen för asynkron förloppsspårning och loggrensning
Introduktion till strukturerade strömningslägen som kallas asynkron förloppsspårning och asynkron loggrensning. Asynkront loggrensningsläge sänker svarstiden för strömmande frågor genom att ta bort loggar som används för förloppsspårning i bakgrunden.
Strukturerad direktuppspelning i Unity Catalog har nu stöd för display()
Nu kan du använda display()
när du använder Structured Streaming för att arbeta med tabeller som är registrerade i Unity Catalog.
Pipelinehändelser loggas nu i JSON-format
Azure Databricks skriver nu pipelinehändelser till drivrutinsloggen i JSON-format. Varje händelse är JSON-parsningsbar, men stora händelser kanske inte innehåller alla fält eller så kan fälten trunkeras. Varje händelse loggas på en enda rad med prefixet Event received:
. Följande är en exempelhändelse.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Godtycklig tillståndskänslig bearbetning i strukturerad direktuppspelning med Python
Introduktion till funktionen applyInPandasWithState
som kan användas för att utföra godtycklig tillståndskänslig bearbetning i PySpark. Detta motsvarar flatMapGroupsWithState
funktionen i Java-API:et.
Datuminferens i CSV-filer
Introduktion till förbättrad slutsatsdragning av datumtypskolumner i CSV-filer. När datumformatet är konsekvent mellan posterna för en kolumn kan dessa kolumner härledas som DateType
. Du kan också ha en kombination av datumformat i olika kolumner. Azure Databricks kan automatiskt härleda datumformatet för varje kolumn. Datumkolumner i CSV-filer före Databricks Runtime 11.3 LTS lämnas som StringType
.
Klonstöd för Apache Parquet- och Apache Iceberg-tabeller (offentlig förhandsversion)
Klon kan nu användas för att skapa och stegvis uppdatera Delta-tabeller som speglar Apache Parquet- och Apache Iceberg-tabeller. Du kan uppdatera parquet-källtabellen och stegvis tillämpa ändringarna på deras klonade Delta-tabell med klonkommandot. Se Stegvis klona parquet- och isbergstabeller till Delta Lake.
Använd SQL för att ange lagringsplatser på schema- och katalognivå för hanterade Unity Catalog-tabeller
Du kan nu använda MANAGED LOCATION
SQL-kommandot för att ange en molnlagringsplats för hanterade tabeller på katalog- och schemanivå. Se SKAPA KATALOG och SKAPA SCHEMA.
Funktionalitetsförändringar
Databricks Connect 11.3.2
Databricks Connect-klientuppdatering 11.3.2 stöds nu. Se Viktig information om Databricks Connect och Databricks Connect.
Azure Databricks Snowflake-anslutningsprogrammet har uppdaterats
Azure Databricks Snowflake-anslutningsappen har uppdaterats till den senaste versionen av koden från lagringsplatsen med öppen källkod, Snowflake Data Source för Apache Spark. Det är nu helt kompatibelt med Databricks Runtime 11.3 LTS, inklusive predikat-pushdown och intern frågeplans-pushdown samtidigt som alla funktioner i versionen med öppen källkod bibehålls.
Hadoop-cachen för S3A är nu inaktiverad
Hadoop-cachen (FileSystem Apache Hadoop Main 3.3.4 API) för S3A är nu inaktiverad. Detta är för att anpassa till andra molnlagringsanslutningar. För arbetsbelastningar som förlitar sig på cachelagring av filsystem kontrollerar du att de nyligen skapade filsystemen levereras med rätt Hadoop-konfigurationer, inklusive leverantörer av autentiseringsuppgifter.
Delta Lake Stats-samlingsschema matchar nu kolumnordningen i tabellschemadefinitionen
Den här ändringen åtgärdar en bugg i Delta Lake-protokollet där statistik inte samlades in för kolumner på grund av ett matchningsfel i DataFrame- och tabellkolumnordningen. I vissa fall kan det uppstå försämring av skrivprestanda på grund av statistikinsamling på tidigare ospårade fält. Se Hoppa över data för Delta Lake.
applyInPandasWithState utlöser ett fel om frågan har en shuffle efter operatorn
Operatorn applyInPandasWithState
utlöser ett fel om frågan har shuffle
efter operatorn. Detta inträffar när användaren lägger till shuffle
efter åtgärden, eller om optimeraren eller mottagaren lägger till shuffle
implicit.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- distlib från 0.3.5 till 0.3.6
- Uppgraderade R-bibliotek:
- kvast från 1.0.0 till 1.0.1
- uppringare från 3.7.1 till 3.7.2
- dplyr från 1.0.9 till 1.0.10
- dtplyr från 1.2.1 till 1.2.2
- forcats från 0.5.1 till 0.5.2
- från 1.27.0 till 1.28.0
- future.apply från 1.9.0 till 1.9.1
- gert från 1.7.0 till 1.8.0
- globals från 0.16.0 till 0.16.1
- gtable från 0.3.0 till 0.3.1
- haven från 2.5.0 till 2.5.1
- hms från 1.1.1 till 1.1.2
- httr från 1.4.3 till 1.4.4
- stickning från 1,39 till 1,40
- modell från 0.1.8 till 0.1.9
- pelare från 1.8.0 till 1.8.1
- progressr från 0.10.1 till 0.11.0
- readxl från 1.4.0 till 1.4.1
- reprex från 2.0.1 till 2.0.2
- rlang från 1.0.4 till 1.0.5
- rmarkdown från 2.14 till 2.16
- RSQLite från 2.2.15 till 2.2.16
- rstudioapi från 0,13 till 0,14
- rversioner från 2.1.1 till 2.1.2
- rvest från 1.0.2 till 1.0.3
- skalar från 1.2.0 till 1.2.1
- sparklyr från 1.7.7 till 1.7.8
- stringr från 1.4.0 till 1.4.1
- överlevnad från 3,2-13 till 3,4-0
- tinytex från 0,40 till 0,41
- viridisLite från 0.4.0 till 0.4.1
- Uppgraderade Java-bibliotek:
- com.fasterxml.jackson.core.jackson-anteckningar från 2.13.3 till 2.13.4
- com.fasterxml.jackson.core.jackson-core från 2.13.3 till 2.13.4
- com.fasterxml.jackson.core.jackson-databind från 2.13.3 till 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.13.3 till 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.13.3 till 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.13.3 till 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer från 2.13.3 till 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.13.3 till 2.13.4
- org.apache.hadoop.hadoop-client-api från 3.3.2-databricks till 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime från 3.3.2 till 3.3.4
- org.apache.orc.orc-core från 1.7.5 till 1.7.6
- org.apache.orc.orc-mapreduce från 1.7.5 till 1.7.6
- org.apache.orc.orc-shims från 1.7.5 till 1.7.6
- org.apache.parquet.parquet-column från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.apache.parquet.parquet-common från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet från 2.34 till 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core från 2.34 till 2.36
- org.glassfish.jersey.core.jersey-client från 2.34 till 2.36
- org.glassfish.jersey.core.jersey-common från 2.34 till 2.36
- org.glassfish.jersey.core.jersey-server från 2.34 till 2.36
- org.glassfish.jersey.inject.jersey-hk2 från 2.34 till 2.36
Apache Spark
Databricks Runtime 11.3 LTS innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-39957] [WARMFIX][SC-111425][CORE] Delay onDisconnected för att aktivera drivrutinen tar emot ExecutorExitCode
- [SPARK-39955] [WARMFIX][SC-111424][CORE] Förbättra LaunchTask-processen för att undvika scenfel som orsakas av att LaunchTask-meddelanden inte skickas
- [SPARK-40474] [SC-106248][Cherry-Pick] Korrigera CSV-schemainferensbeteende för datetime-kolumner och introducera automatisk identifiering för datumfält
- [SPARK-40535] [SC-111243][SQL] Åtgärda att bufferten i AggregatingAccumulator inte skapas om indataraderna är tomma
- [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implementera applyInPandasWithState i PySpark
- [SPARK-40460] [SC-110832][SS] Åtgärda strömningsmått när du väljer
_metadata
- [SPARK-40324] [SC-109943][SQL] Ange en frågekontext för
ParseException
- [SPARK-40466] [SC-110899][SS] Förbättra felmeddelandet när DSv2 är inaktiverat medan DSv1 inte är tillgängligt
- [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext bör vara billigt att anropa upprepade gånger
- [SPARK-40169] [SC-110772][SQL] Push-överför inte Parquet-filter utan referens till dataschemat
- [SPARK-40467] [SC-110759][SS] Dela upp FlatMapGroupsWithState till flera testsviter
- [SPARK-40468] [SC-110813][SQL] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
- [SPARK-40291] [SC-110085][SQL] Förbättra meddelandet för kolumnen som inte finns i grupp efter satsfel
- [SPARK-40398] [SC-110762][CORE][SQL] Använda Loop i stället för Arrays.stream api
- [SPARK-40433] [SC-110684][SS][PYTHON] Lägg till toJVMRow i PythonSQLUtils för att konvertera inlagd PySpark-rad till JVM-rad
- [SPARK-40414] [SC-110568][SQL][PYTHON] Mer allmän typ på PythonArrowInput och PythonArrowOutput
- [SPARK-40352] [SC-109945][SQL] Lägg till funktionsalias: len, datepart, dateadd, date_diff och curdate
- [SPARK-40470] [SC-110761][SQL] Hantera GetArrayStructFields och GetMapValue i funktionen "arrays_zip"
- [SPARK-40387] [SC-110685][SQL] Förbättra implementeringen av Spark Decimal
- [SPARK-40429] [SC-110675][SQL] Ange endast KeyGroupedPartitioning när den refererade kolumnen finns i utdata
- [SPARK-40432] [SC-110716][SS][PYTHON] Introducera GroupStateImpl och GroupStateTimeout i PySpark
- [SPARK-39915] [SC-110496][SQL] Kontrollera att utdatapartitioneringen är användardefinerad i AQE
- [SPARK-29260] [SQL] Stöd
ALTER DATABASE SET LOCATION
om HMS stöder - [SPARK-40185] [SC-110056][SQL] Ta bort kolumnförslag när kandidatlistan är tom
- [SPARK-40362] [SC-110401][SQL] Åtgärda canonicalization binaryComparison
- [SPARK-40411] [SC-110381][SS] Omstrukturera FlatMapGroupsWithStateExec för att ha ett överordnat drag
- [SPARK-40293] [SC-110084][SQL] Gör V2-tabellfelmeddelandet mer meningsfullt
- [SPARK-38734] [SC-110383][SQL] Ta bort felklassen
INDEX_OUT_OF_BOUNDS
- [SPARK-40292] [SC-110300][SQL] Åtgärda kolumnnamn i funktionen "arrays_zip" när matriser refereras från kapslade structs
- [SPARK-40276] [SC-109674][CORE] Minska resultatstorleken för RDD.takeOrdered
- [SPARK-40197] [SC-109176][SQL] Ersätt frågeplan med kontext för MULTI_VALUE_SUBQUERY_ERROR
- [SPARK-40300] [SC-109942][SQL] Migrera till felklassen
DATATYPE_MISMATCH
- [SPARK-40149] [SC-110055][SQL] Sprida metadatakolumner via Project
- [SPARK-40280] [SC-110146][SQL] Lägg till stöd för parquet-push-nedtryckning för kommenterad int och long
- [SPARK-40220] [SC-110143][SC-109175][SQL] Mata inte ut den tomma kartan över felmeddelandeparametrar
- [SPARK-40295] [SC-110070][SQL] Tillåt v2-funktioner med literal args i skrivdistribution/ordning
- [SPARK-40156] [SC-109264][SQL]
url_decode()
ska returnera en felklass - [SPARK-39195] [SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
- [SPARK-40260] [SC-109424][SQL] Använda felklasser i kompileringsfelen för GROUP BY en position
- [SPARK-40205] [SC-110144][SC-109082][SQL] Ange en frågekontext för ELEMENT_AT_BY_INDEX_ZERO
- [SPARK-40112] [SC-109676][SQL] Förbättra funktionen TO_BINARY()
- [SPARK-40209] [SC-109081][SQL] Ändra inte intervallvärdet för Decimal i
changePrecision()
vid fel - [SPARK-40319] [SC-109873][SQL] Ta bort duplicerad felmetod för frågekörning för PARSE_DATETIME_BY_NEW_PARSER
- [SPARK-40222] [SC-109209][SQL] Numeriska try_add/try_divide/try_subtract/try_multiply bör utlösa fel från sina underordnade
- [SPARK-40183] [SC-108907][SQL] Använd felklass NUMERIC_VALUE_OUT_OF_RANGE för spill i decimalkonvertering
- [SPARK-40180] [SC-109069][SQL] Formatera felmeddelanden efter
spark-sql
- [SPARK-40153] [SC-109165][SQL] Förena lösa funktioner och tabellvärdesfunktioner
- [SPARK-40308] [SC-109880][SQL] Tillåt att icke-vikbara avgränsarargument
str_to_map
fungerar - [SPARK-40219] [SC-110052][SC-109663][SQL] Den lösta logiska vyns logiska plan ska innehålla schemat för att undvika redundant sökning
- [SPARK-40098] [SC-109939][SC-108693][SQL] Formatera felmeddelanden på Thrift-servern
- [SPARK-39917] [SC-109038][SQL] Använda olika felklasser för numeriskt/intervall-aritmetiskt spill
- [SPARK-40033] [SC-109875][SQL] Stöd för kapslad schemarensning via element_at
- [SPARK-40194] [SC-109660][SQL] Funktionen SPLIT på tom regex ska trunkera avslutande tom sträng.
- [SPARK-40228] [SC-109835][SQL] Förenkla inte multiLike om barn inte är ett billigt uttryck
- [SPARK-40039] [SC-109896][SC-109260][SS] Introduktion till en filhanterare för kontrollpunkter för direktuppspelning baserat på Hadoops avbrutna gränssnitt
- [SPARK-40285] [SC-109679][SQL]
roundTo[Numeric]
Förenkla för SparkDecimal
- [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison bör fungera när literalen för In/InSet downcast misslyckades
- [SPARK-40040] [SC-109662][SQL] Push-överför lokal gräns till båda sidor om kopplingsvillkoret är tomt
- [SPARK-40055] [SC-109075][SQL] listCatalogs bör också returnera spark_catalog även när spark_catalog implementering är standardSessionCatalog
- [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) kanske inte skapar N-partitioner som inte är en AQE-del
- [SPARK-40207] [SC-109401][SQL] Ange kolumnnamnet när datatypen inte stöds av datakällan
- [SPARK-40245] [SC-109295][SQL] Åtgärda FileScan-likhetskontroll när partitions- eller datafilterkolumner inte läss
- [SPARK-40113] [SC-109405][SQL] Implementeringar av gränssnittet Reactor ParquetScanBuilder DataSourceV2
- [SPARK-40211] [SC-109226][CORE][SQL] Tillåt anpassa inledande partitionsnummer i take()-beteende
- [SPARK-40252] [SC-109379][SQL] Ersätt
Stream.collect(Collectors.joining)
medStringJoiner
API - [SPARK-40247] [SC-109272][SQL] Åtgärda bituppsättningsjämlikhetskontroll
- [SPARK-40067] [SQL] Använd Table#name() i stället för Scan#name() för att fylla i tabellnamnet i BatchScan-noden i SparkUI
- [SPARK-39966] [SQL] Använda V2-filter i SupportsDelete
- [SPARK-39607] [SC-109268][SQL][DSV2] Distribution och beställning stöder V2-funktionen skriftligen
- [SPARK-40224] [SC-109271][SQL] Gör ObjectHashAggregateExec frigöra minne ivrigt när återställning till sorteringsbaserad
- [SPARK-40013] [SQL] DS V2-uttryck bör ha standardvärdet
toString
- [SPARK-40214] [SC-109079][PYTHON][SQL] lägg till "get" i funktioner
- [SPARK-40192] [SC-109089][SQL][ML] Ta bort redundant groupby
- [SPARK-40146] [SC-108694][SQL] Helt enkelt kodgen för att hämta kartvärde
- [SPARK-40109] [SQL] Ny SQL-funktion: get()
- [SPARK-39929] [SQL] DS V2 har stöd för nedtryckningssträngsfunktioner (ej ANSI)
- [SPARK-39819] [SQL] DS V2-aggregerad push-nedtryckning kan fungera med top N eller växling (sortera med uttryck)
- [SPARK-40213] [SC-109077][SQL] Stöd för ASCII-värdekonvertering för latinska-1 tecken
- [SPARK-39887] [SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
- [SPARK-39764] [SQL] Gör PhysicalOperation till samma som ScanOperation
- [SPARK-39964] [SQL] DS V2-pushdown bör förena översättningssökvägen
- [SPARK-39528] [SQL] Använda V2-filter i SupportsRuntimeFiltering
- [SPARK-40066] [SQL] ANSI-läge: returnera alltid null vid ogiltig åtkomst till mappningskolumnen
- [SPARK-39912] [SPARK-39828][SQL] Förfina CatalogImpl
- [SPARK-39833] [SC-108736][SQL] Inaktivera Parquet-kolumnindex i DSv1 för att åtgärda ett korrekthetsproblem vid överlappande partitions- och datakolumner
- [SPARK-39880] [SQL] Kommandot V2 SHOW FUNCTIONS bör skriva ut ett kvalificerat funktionsnamn som v1
- [SPARK-39767] [SQL] Ta bort UnresolvedDBObjectName och lägg till UnresolvedIdentifier
- [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
- [SPARK-40136] [SQL] Åtgärda fragmentet med SQL-frågekontexter
- [SPARK-40107] [SC-108689][SQL] Hämta tom2nullkonvertering från FileFormatWriter
- [SPARK-40121] [PYTHON][SQL] Initiera projektion som används för Python UDF
- [SPARK-40128] [SQL] Gör så att VectorizedColumnReader identifierar DELTA_LENGTH_BYTE_ARRAY som en fristående kolumnkodning
- [SPARK-40132] [ML] Återställ rawPredictionCol till MultilayerPerceptronClassifier.setParams
- [SPARK-40050] [SC-108696][SQL] Förbättra
EliminateSorts
för att stödja borttagning av sorter viaLocalLimit
- [SPARK-39629] [SQL] Stöd för v2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][SQL] Lägg till överlagring av array_sort(kolumn, jämförelse) i DataFrame-åtgärder
- [SPARK-40117] [PYTHON][SQL] Konvertera villkor till java i DataFrameWriterV2.overwrite
- [SPARK-40105] [SQL] Förbättra ompartitionen i ReplaceCTERefWithRepartition
- [SPARK-39503] [SQL] Lägg till sessionskatalognamn för v1-databastabell och -funktion
- [SPARK-39889] [SQL] Använd olika felklasser för numeriskt/intervall dividerat med 0
- [SPARK-39741] [SQL] Stöd för URL-koda/avkoda som inbyggd funktion och städa upp URL-relaterade funktioner
- [SPARK-40102] [SQL] Använda SparkException i stället för IllegalStateException i SparkPlan
- [SPARK-40014] [SQL] Stöd för decimaler till ANSI-intervall
- [SPARK-39776] [SQL][FÖLJ] Uppdatera UT för PlanStabilitySuite i ANSI-läge
- [SPARK-39963] [SQL] Förenkla
SimplifyCasts.isWiderCast
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 11.3.
Systemmiljö
- Operativsystem: Ubuntu 20.04.5 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.19
- R: 4.1.3
- Delta Lake: 2.1.0
Installerade Python-bibliotek
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
argon2-cffi | 20.1.0 | async-generator | 1.10 | attrs | 21.2.0 |
backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | svart | 22.3.0 |
blekmedel | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | klicka | 8.0.3 | kryptografi | 3.4.8 |
cyklist | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
felsökning | 1.4.1 | dekoratör | 5.1.0 | defusedxml | 0.7.1 |
distlib | 0.3.6 | entrypoints | 0,3 | facets-overview | 1.0.0 |
filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
nest-asyncio | 1.5.1 | notebook-fil | 6.4.5 | numpy | 1.20.3 |
emballage | 21,0 | Pandas | 1.3.4 | pandocfilter | 1.4.3 |
parso | 0.8.2 | pathspec | 0.9.0 | Patsy | 0.5.2 |
pexpect | 4.8.0 | pickleshare | 0.7.5 | Kudde | 8.4.0 |
pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pyarrow | 7.0.0 | pycparser | 2,20 | Pygments | 2.10.0 |
PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
pyzmq | 22.2.1 | begäranden | 2.26.0 | requests-unixsocket | 0.2.0 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
sex | 1.16.0 | ssh-import-id | 5,10 | statsmodels | 0.12.2 |
orubblighet | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tromb | 6.1 | traitlets | 5.1.0 | skriva tillägg | 3.10.0.2 |
obevakade uppgraderingar | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | hjul | 0.37.0 |
widgetsnbextension | 3.6.0 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-09-08.
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
askpass | 1,1 | assertthat | 0.2.1 | backportar | 1.4.1 |
bas | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.3 | start | 1.3-28 |
brygga | 1.0-7 | Brio | 1.1.3 | kvast | 1.0.1 |
bslib | 0.4.0 | cachem | 1.0.6 | anropare | 3.7.2 |
textmarkör | 6.0-93 | cellranger | 1.1.0 | Chron | 2.3-57 |
klass | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
cluster | 2.1.3 | codetools | 0.2-18 | färgområde | 2.0-3 |
commonmark | 1.8.0 | kompilator | 4.1.3 | config | 0.3.1 |
cpp11 | 0.4.2 | krita | 1.5.1 | autentiseringsuppgifter | 1.3.2 |
hårlock | 4.3.2 | data.table | 1.14.2 | datauppsättningar | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | Desc | 1.4.1 |
devtools | 2.4.4 | diffobj | 0.3.5 | smälta | 0.6.29 |
downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
e1071 | 1.7-11 | ellips | 0.3.2 | evaluate (utvärdera) | 0,16 |
fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
främmande | 0.8-82 | smida | 0.2.0 | Fs | 1.5.2 |
framtid | 1.28.0 | future.apply | 1.9.1 | gurgla | 1.2.0 |
Generika | 0.1.3 | Gert | 1.8.0 | ggplot2 | 3.3.6 |
Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
globals | 0.16.1 | lim | 1.6.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.1 | Gower | 1.0.0 | grafik | 4.1.3 |
grDevices | 4.1.3 | gitter | 4.1.3 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.1 | hardhat | 1.2.0 |
hamn | 2.5.1 | highr | 0,9 | Hms | 1.1.2 |
htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
httr | 1.4.4 | Id | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-13 | isoband | 0.2.5 | Iteratorer | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
stickning | 1,40 | Märkning | 0.4.2 | senare | 1.3.0 |
Galler | 0.20-45 | lava | 1.6.10 | livscykel | 1.0.1 |
lyssna | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
Markdown | 1,1 | MASSA | 7.3-56 | Matris | 1.4-1 |
pmise | 2.0.1 | metoder | 4.1.3 | mgcv | 1.8-40 |
MIME | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
parallel | 4.1.3 | parallellt | 1.32.1 | pelare | 1.8.1 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
berömma | 1.0.0 | prettyunits | 1.1.1 | Proc | 1.18.0 |
processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
Förlopp | 1.2.2 | progressr | 0.11.0 | Löften | 1.2.0.1 |
Proto | 1.0.0 | proxyserver | 0.4-27 | PS | 1.7.1 |
purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
recept | 1.0.1 | Returmatch | 1.0.1 | rematch2 | 2.1.2 |
Fjärrkontroller | 2.4.2 | reprex | 2.0.2 | omforma2 | 1.4.4 |
rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0,14 |
rversioner | 2.1.2 | rvest | 1.0.3 | Sass | 0.4.2 |
våg | 1.2.1 | väljare | 0.4-2 | sessioninfo | 1.2.2 |
form | 1.4.6 | skinande | 1.7.2 | sourcetools | 0.1.7 |
sparklyr | 1.7.8 | SparkR | 3.3.0 | rumslig | 7.3-11 |
Splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
statistik | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
stringr | 1.4.1 | överlevnad | 3.4-0 | sys | 3.4 |
systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
avmarkera | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
tinytex | 0.41 | verktyg | 4.1.3 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
verktyg | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
viridisLite | 0.4.1 | Vroom | 1.5.7 | Waldo | 0.4.0 |
morrhår | 0,4 | withr | 2.5.0 | xfun | 0.32 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.5 | Zip | 2.2.0 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
Grupp-ID | Artefakt-ID | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | ström | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-skuggad | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasskamrat | 1.3.4 |
com.fasterxml.jackson.core | jackson-anteckningar | 2.13.4 |
com.fasterxml.jackson.core | jackson-core | 2.13.4 |
com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.koffein | koffein | 2.3.4 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | kärna | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natives | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natives | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | Tingeling | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profilerare | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1,1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2,6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | Blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.5.1 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffert | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | samlare | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktivering | 1.1.1 |
javax.annotation | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | ättikslag | 1.2 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | Ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pilformat | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | pilvektor | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1,9 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recept | 2.13.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | murgröna | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | orc-shims | 1.7.6 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-kodning | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.20 |
org.apache.yetus | åhörarkommentarer | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-fortsättning | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | brygga-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | brygga plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | brygga-server | 9.4.46.v20220331 |
org.eclipse.jetty | brygga-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | brygga-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Anteckningar | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | Shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | oanvänd | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |