Dela via

Databricks Runtime 14.3 LTS

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 14.3 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i februari 2024.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Nya funktioner och förbättringar

Stöd för arbetsytefilsystem i PySpark Användardefinierade funktioner (UDF: er) på delade kluster

PySpark-UDF:er på delade kluster kan nu importera Python-moduler från Git-mappar, arbetsytefilereller UC-volumes.

Mer information om hur du arbetar med moduler i Git-mappar eller arbetsytefiler finns i Arbeta med Python- och R-moduler.

Stöd för borttagning av vektoroptimeringar MERGE utan Photon

Foton krävs inte längre för åtgärder för MERGE att utnyttja optimering av borttagningsvektorer. Se Vad är borttagningsvektorer?.

Spark catalog API:er stöds nu fullt ut i läget för delad åtkomst

Nu kan du använda alla funktioner i API:et spark.catalog i både Python och Scala vid beräkning som konfigurerats med läget för delad åtkomst.

Delta UniForm är nu allmänt tillgängligt

UniForm är nu allmänt tillgängligt och använder funktionen IcebergCompatV2table. Nu kan du aktivera eller uppgradera UniForm på befintliga tables. Se Läs Delta tables med Iceberg-klienter.

Ny SQL-funktion EXECUTE IMMEDIATE

Nu kan du använda syntaxen för EXECUTE IMMEDIATE för att stödja parametriserade frågor i SQL. Se EXECUTE IMMEDIATE.

Omkomputera data som hoppar över statistik för Delta tables

Nu kan du omkomputera statistik som lagras i Delta-loggen när du har ändrat columns som används för datahopp. Se Ange deltastatistik columns.

Fråga tillståndsinformation för tillståndskänsliga strömningsfrågor

Nu kan du fråga structured streaming state data och metadata. Se Läsa information om status för strukturerad direktuppspelning.

Använda Microsoft Entra-ID för Kafka-autentisering i delade kluster

Nu kan du autentisera Event Hubs-tjänster via OAuth med Microsoft Entra-ID vid beräkning som konfigurerats med läget för delad åtkomst. Se Autentisering med tjänstens huvudnamn med Microsoft Entra-ID och Azure Event Hubs.

Stöd har lagts till för fil- och partition-trimning för att förbättra frågeprestanda

För att påskynda vissa sökfrågor som förlitar sig på null-tolerant likvärdighet inom JOIN-villkor, stöder vi nu DynamicFilePruning och DynamicPartitionPruning för EqualNullSafe operatorn i JOIN.

Deklarera tillfälliga variabler i en SQL-session

Den här versionen introducerar möjligheten att deklarera tillfälliga variabler i en session, vilket kan vara i formatet set och sedan refereras till från inifrån frågor. Se Variabler.

Thriftserver uppdaterar remove oanvända funktioner

Thriftserver-koden har uppdaterats till remove kod för föråldrade funktioner. På grund av dessa ändringar stöds inte längre följande konfigurationer:

  • Hive-hjälp-JAR:erna, som konfigurerats med egenskapen hive.aux.jars.path, stöds inte längre för hive-thriftserverconnections.
  • Hive global init-filen (.hiverc), vars plats har konfigurerats med egenskapen hive.server2.global.init.file.location eller HIVE_CONF_DIR miljövariabeln, stöds inte längre för hive-thriftserverconnections.

Använda truststore- och keystore-filer i Unity Catalogvolumes

Nu kan du använda säkerhetsarkiv- och nyckelarkivfiler i Unity Catalogvolumes för att autentisera till ett Confluent-Schema-register för avro- eller protokollbuffertdata. Se dokumentationen för avro - eller protokollbuffertar.

Stöd för internt XML-filformat (offentlig förhandsversion)

Stöd för internt XML-filformat finns nu i offentlig förhandsversion. Stöd för XML-filformat möjliggör inmatning, frågor och parsning av XML-data för batchbearbetning eller strömning. Den kan automatiskt härleda och utveckla schema och datatyper, stöder SQL-uttryck som from_xmloch kan generate XML-dokument. Det kräver inte externa burkar och fungerar sömlöst med Auto Loader, read_files, COPY INTOoch Delta Live Tables. Se Läsa och skriva XML-filer.

Stöd för Cloudflare R2-lagring (offentlig förhandsversion)

Nu kan du använda Cloudflare R2 som molnlagring för data som registrerats i Unity Catalog. Cloudflare R2 är främst avsett för användningsfall för deltadelning där du vill undvika de avgifter för utgående data som debiteras av moln providers när data korsar regioner. R2 Storage stöder alla Databricks-data och AI-tillgångar som stöds i AWS S3, Azure Data Lake Storage Gen2 och Google Cloud Storage. Se Använda Cloudflare R2-repliker eller migrera lagring till R2 och Skapa en lagringsautentiseringsuppgift för att ansluta till Cloudflare R2.

Åtkomst till arbetsytefiler med Spark och dbutils på Unity Catalog-kluster med delad åtkomst

Spark- och dbutils-läs- och skrivåtkomst till arbetsytefiler stöds nu i Unity Catalog-kluster i -läge för delad åtkomst. Se Arbeta med arbetsytefiler.

Stöd för Init-skript och klusterbibliotek i Unity Catalog-kluster med delad åtkomst

Installation av klusteromfattande init-skript och Python- och JAR-bibliotek på Unity Catalog-kluster i läge för delad åtkomst, inklusive installation med klusterprinciper, är nu allmänt tillgänglig. Databricks rekommenderar att du installerar init-skript och -bibliotek från Unity Catalogvolumes.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • fastjsonschema från 2.19.0 till 2.19.1
    • filelock från 3.12.4 till 3.13.1
    • googleapis-common-protos från 1.61.0 till 1.62.0
    • förpackning från 22.0 till 23.2
  • Uppgraderade R-bibliotek:
    • utländsk från 0,8-82 till 0,8-85
    • nlme från 3.1-162 till 3.1-163
    • rpart från 4.1.19 till 4.1.21
  • Uppgraderade Java-bibliotek:
    • com.databricks.databricks-sdk-java från 0.7.0 till 0.13.0
    • org.apache.orc.orc-core från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims från 1.9.1 till 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 från 2.9.0 till 2.11.0

Apache Spark

Databricks Runtime 14.3 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Åtgärda den tvetydiga egenreferensen column i join
  • [SPARK-45433] Återställ "[SC-145163][SQL] Fix CSV/JSON schema härleda…
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][ANSLUT][SCALA] Gör addArtifact återförsöksbar
  • [SPARK-46660] [SC-153391][ANSLUT] ReattachExecute begär uppdateringar av sessionshållarens livskraft
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Gör DataSourceManager själv klonad genom att separera statiska python-datakällor och körningsdatakällor
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Omstrukturera Python-datakälla så att den överensstämmer med andra inbyggda DSv2-datakällor
  • [SPARK-46684] [SC-153275][PYTHON][ANSLUT] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Utlösa fel på flera XML-datakällor
  • [SPARK-46382] [SC-151881][SQL]XML: Standard ignoreSurroundingSpaces till true
  • [SPARK-46382] [SC-153178][SQL] XML: Update dokument för ignoreSurroundingSpaces
  • [SPARK-45292] Återställ "[SC-151609][SQL][HIVE] Remove Guava från delade klasser från IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][SQL][HIVE] Remove Guava från delade klasser från IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Logga det slutliga tillståndet för drivrutiner under Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Verifiera returnType för Arrow Python UDF
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Åtgärda Avro-läsare för att hantera block med noll längd
  • [SPARK-46537] [SC-151286][SQL] Konvertera NPE och hävdar från kommandon till interna fel
  • [SPARK-46179] [SC-151678][SQL] Lägg till CrossDbmsQueryTestSuites, som kör andra DBMS mot gyllene filer med andra DBMS, från och med Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Lägg till alternativ för att tillåta att protobuf-välkända omslutningstyper packas upp
  • [SPARK-40876] [SC-151786][SQL] Breddning av typhöjning för decimaler med större skala i Parquet-läsare
  • [SPARK-46605] [SC-151769][ANSLUT] Stöd för att skapa lit/typedLit funktion i connect-modulen s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][SQL] literalverifiering bör inte öka detaljnivån till null-fält
  • [SPARK-37039] [SC-153094][PS] Korrigering Series.astype för att fungera korrekt med värde som saknas
  • [SPARK-46312] [SC-150163][CORE] Använd lower_camel_case i store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: Verifiera XML-elementnamnet vid skrivning
  • [SPARK-46627] [SC-152981][SS][Användargränssnitt] Åtgärda knappbeskrivningsinnehåll för tidslinjen i direktuppspelningsgränssnittet
  • [SPARK-46248] [SC-151774][SQL] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
  • [SPARK-46386] [SC-150766][PYTHON] Förbättra observationens försäkran (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Update kommentera isZero i AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Åtgärda loggfel i handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Gör Python-datakällans alternativ till en skiftlägeskänslig ordlista
  • [SPARK-46611] [SC-151783][CORE] Remove ThreadLocal genom att ersätta SimpleDateFormat med DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Skapa Literal.apply support s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.user och session_user
  • [SPARK-46621] [SC-151794][PYTHON] Adress null från Exception.getMessage i Py4J-infångade undantag
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader bör respektera minnesläget när du skapar column vektorer för saknade column
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Logga fullständigt undantag när det inte gick att söka efter Python-datakällor
  • [SPARK-46559] [SC-151364][MLLIB] Omsluta export i paketnamnet med backticks
  • [SPARK-46522] [SC-151784][PYTHON] Blockera registrering av Python-datakälla med namnkonflikter
  • [SPARK-45580] [SC-149956][SQL] Hantera fallet where en kapslad underfråga uttrycks som en existensfråga join
  • [SPARK-46609] [SC-151714][SQL] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Åtgärda NPE vid beskrivning av en utökad column utan kolstatsdata
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll
  • [SPARK-40876] [SC-151129][SQL] Breddning typ kampanjer i Parquet läsare
  • [SPARK-46179] [SC-151069][SQL] Hämta kod till återanvändbara funktioner i SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Support s.c.immutable.ArraySeq som customCollectionCls i MapObjects
  • [SPARK-46585] [SC-151622][CORE] Direkt konstruerad metricPeaks som en immutable.ArraySeq i stället för att användas mutable.ArraySeq.toSeq i Executor
  • [SPARK-46488] [SC-151173][SQL] Hoppar över trimAlla anrop under tidsstämpelparsning
  • [SPARK-46231] [SC-149724][PYTHON] Migrera alla återstående NotImplementedError & TypeError till PySpark-felramverket
  • [SPARK-46348] [SC-150281][CORE] Stöd spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Varaktighet för loggåterställning Spark HA
  • [SPARK-46358] [SC-150307][ANSLUT] Förenkla villkorskontrollen i ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL]Ersätt aktuell tid/datum innan du utvärderar infogade table uttryck.
  • [SPARK-46563] [SC-151441][SQL] Visa simpleString följer inte conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Minska stackdjupet genom att ersätta (string|array).size med (string|array).length
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(alla fält från en Struct) resulterar i ett assertfel
  • [SPARK-46565] [SC-151414][PYTHON] Förfina felklasser och felmeddelanden för Python-datakällor
  • [SPARK-46576] [SC-151614][SQL] Förbättra felmeddelanden för sparandeläge för datakällor som inte stöds
  • [SPARK-46540] [SC-151355][PYTHON] Respektera column namn när Python-datakällan läser funktionsutdata med namnet Radobjekt
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite läcker Hive's SessionState
  • [SPARK-44556] [SC-151562][SQL] Återanvänd när OrcTail du aktiverar vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: Åtgärda XSD-konvertering av stora heltal
  • [SPARK-46382] [SC-151297][SQL] XML: Fånga values spridda mellan element
  • [SPARK-46567] [SC-151447][CORE] Remove ThreadLocal för ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Automatisk registrering av Python-datakälla vid start
  • [SPARK-28386] [SC-151014][SQL] Kan inte lösa ORDER BYcolumns med GROUP BY och HAVING
  • [SPARK-46524] [SC-151446][SQL] Förbättra felmeddelanden för ogiltigt spara-läge
  • [SPARK-46294] [SC-150672][SQL] Rensa semantik för init jämfört med nollvärde
  • [SPARK-46301] [SC-150100][CORE] Stöd spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Remove kontrollen av c>=0 från ExternalCatalogUtils#needsEscaping eftersom det alltid är sant
  • [SPARK-46553] [SC-151360][PS] FutureWarning för interpolate med objekt-dtype
  • [SPARK-45914] [SC-151312][PYTHON] Stöd för incheckning och avbruten API för skrivning av Python-datakälla
  • [SPARK-46543] [SC-151350][PYTHON][ANSLUT] Gör json_tuple kasta PySparkValueError för tomma fält
  • [SPARK-46520] [SC-151227][PYTHON] Stöd för överskrivningsläge för skrivning av Python-datakälla
  • [SPARK-46502] [SC-151235][SQL] Stöd för tidsstämpeltyper i UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Skicka meddelande parameters i metadata för ErrorInfo
  • [SPARK-46397] Återställ "[SC-151311][PYTHON][CONNECT] Funktionen sha2 bör höjas PySparkValueError för ogiltig numBits"
  • [SPARK-46170] [SC-149472][SQL] Stöd för att mata in anpassningsbara strategiregler för frågehanteraren i SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable ska inte ladda table
  • [SPARK-46397] [SC-151311][PYTHON][ANSLUT] Funktionen sha2 bör höjas PySparkValueError för ogiltig numBits
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables utlöser inte undantag när table eller vyn inte hittas
  • [SPARK-46272] [SC-151012][SQL] Stöd för CTAS med DSv2-källor
  • [SPARK-46480] [SC-151127][CORE][SQL] Åtgärda NPE när table cacheuppgiftsförsök
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Minska stackdjupet genom att ersätta (string|array).size med (string|array).length
  • [SPARK-45795] [SC-150764][SQL] DS V2 stöder nedtryckningsläge
  • [SPARK-46485] [SC-151133][SQL] V1Write bör inte lägga till Sortera när det inte behövs
  • [SPARK-46468] [SC-151121] [SQL] Hantera COUNT-bugg för EXISTS-underfrågor med aggregering utan grupperingsnycklar
  • [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL-stöd
  • [SPARK-46498] [SC-151199][CORE] RemoveshuffleServiceEnabled från o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Set ombaseringskonfigurationerna till CORRECTED läge som standard
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Stöd för skrivning av Python-datakälla med DSv2
  • [SPARK-46505] [SC-151187][ANSLUT] Gör bytetröskeln konfigurerbar i ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Remove den äldre omställningen av datum och tid för SQL-konfigurationerna
  • [SPARK-46443] [SC-151123][SQL] Decimalprecision och skala bör bestämmas med H2-dialekt.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][Användargränssnitt] Åtgärda stackdiagram för åtgärdsvaraktighet på sidan Strukturerad direktuppspelning
  • [SPARK-46207] [SC-151068][SQL] Stöd för MergeInto i DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Lägga till ett nytt API i DataWriter för att skriva en iterator med poster
  • [SPARK-46273] [SC-150313][SQL] Stöd INSERT INTO/OVERWRITE med DSv2-källor
  • [SPARK-46344] [SC-150267][CORE] Varna korrekt när en drivrutin finns men huvudservern är frånkopplad
  • [SPARK-46284] [SC-149944][PYTHON][ANSLUT] Lägg till session_user funktion i Python
  • [SPARK-46043] [SC-149786][SQL] Stöd för att skapa table med DSv2-källor
  • [SPARK-46323] [SC-150191][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][PYTHON][ANSLUT] Lägg till Column.isNaN i PySpark
  • [SPARK-46456] [SC-151050][CORE] Lägg till spark.ui.jettyStopTimeout till set Jetty-serverns tidsgräns för att avblockera SparkContext-avstängning
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: tillåt uppsändning av osignerade heltalstyper
  • [SPARK-46399] [SC-151013][14.x][Kärna] Lägg till avslutningsstatus i programsluthändelsen för användning av Spark-lyssnaren
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Gör Python Data Source-instansen till DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Stöd för Python-mått i Python-datakälla
  • [SPARK-46330] [SC-151015] Inläsning av Spark-gränssnittsblock under en lång tid när HybridStore är aktiverat
  • [SPARK-46378] [SC-150397][SQL] Fortfarande remove Sortera efter konvertering av aggregering till Project
  • [SPARK-45506] [SC-146959][ANSLUT] Lägga till stöd för ivy-URI i SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][ANSLUT][SQL]Gör ArrowConverters.createEmptyArrowBatch-anropsstängning() för att undvika minnesläcka
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Ändra Beskrivningen av Python-datakällan så att den är snygg i explain
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Stöd för att skapa table med hjälp av en Python-datakälla i SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][PYTHON] Lägga till getMessageParameters och getQueryContext-stöd
  • [SPARK-46453] [SC-150897][ANSLUT] Generera undantag från internalError() i SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Introducera en mapper för hadoop-komprimeringskodexer
  • [SPARK-46213] [PYTHON] Introduktion för PySparkImportError felramverk
  • [SPARK-46230] [SC-149960][PYTHON] Migrera RetriesExceeded till PySpark-fel
  • [SPARK-45035] [SC-145887][SQL] Åtgärda ignoreCorruptFiles/ignoreMissingFiles med flera csv/JSON rapporterar fel
  • [SPARK-46289] [SC-150846][SQL] Stöd för att beställa UDT i tolkat läge
  • [SPARK-46229] [SC-150798][PYTHON][ANSLUT] Lägg till applyInArrow i groupBy och cogroup i Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Remove oanvänd transport i SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrera alla återstående RuntimeError till PySpark-felramverket
  • [SPARK-45796] [SC-150613][SQL] Stöd för MODE() INOM GRUPP (ORDER BY kol)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Lägg till applyInArrow i groupBy och cogroup
  • [SPARK-46069] [SC-149672][SQL] Stöd för att packa upp tidsstämpeltypen hittills
  • [SPARK-46406] [SC-150770][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Konvertera IllegalStateException till internalError i sessions iteratorer
  • [SPARK-45807] [SC-150751][SQL] Förbättra ViewCatalog API
  • [SPARK-46009] [SC-149771][SQL][ANSLUT] Sammanfoga parsningsregeln för PercentileCont och PercentileDisc till functionCall
  • [SPARK-46403] [SC-150756][SQL] Avkoda parquet-binär med getBytesUnsafe-metod
  • [SPARK-46389] [SC-150779][CORE] Stäng instansen RocksDB/LevelDB manuellt när checkVersion du genererar undantag
  • [SPARK-46360] [SC-150376][PYTHON] Förbättra felsökning av felmeddelanden med nytt getMessage API
  • [SPARK-46233] [SC-149766][PYTHON] Migrera alla återstående AttributeError till PySpark-felramverket
  • [SPARK-46394] [SC-150599][SQL] Fix spark.catalog.listDatabases() problem med scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchemaset till true
  • [SPARK-45964] [SC-148484][SQL] Remove privat SQL-accessor i XML- och JSON-paketet under katalysatorpaketet
  • [SPARK-45856] [SC-148691] Flytta ArtifactManager från Spark Connect till SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][ANSLUT] Åtgärda spark-connect-scala-client launch-script
  • [SPARK-46416] [SC-150699][CORE] Lägg till i @tailrecHadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Begränsa teckenuppsättningar i encode()
  • [SPARK-46253] [SC-150416][PYTHON] Planera läsning av Python-datakälla med MapInArrow
  • [SPARK-46339] [SC-150266][SS] Katalog med batchnummernamn ska inte behandlas som metadatalogg
  • [SPARK-46353] [SC-150396][CORE] Omstrukturera för att förbättra RegisterWorker enhetens testtäckning
  • [SPARK-45826] [SC-149061][SQL] Lägga till en SQL-konfiguration för stackspårningar i DataFrame-frågekontext
  • [SPARK-45649] [SC-150300][SQL] Förena förberedelseramverket för OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Fix Master update arbetare från UNKNOWN till ALIVE på RegisterWorker msg
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis missar mönsterskyddet för query.resolved
  • [SPARK-46401] [SC-150609][CORE] Använd !isEmpty() på RoaringBitmap i stället för getCardinality() > 0 i RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Klassificera undantag i JDBC-tablecatalog
  • [SPARK-45798] [SC-150513][ANSLUT] Uppföljning: lägg till serverSessionId i SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Lägg till stöd för TimestampNTZType
  • [SPARK-46075] [SC-150393][ANSLUT] Förbättringar av SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Ersätt felaktig dokumentationsanvändning av setConf med conf.set
  • [SPARK-46202] [SC-150420][ANSLUT] Exponera nya ArtifactManager-API:er för att stödja anpassade målkataloger
  • [SPARK-45824] [SC-147648][SQL] Framtvinga felklassen i ParseException
  • [SPARK-45845] [SC-148163][SS][Användargränssnitt] Lägga till antal borttagna tillståndsrader i direktuppspelningsgränssnittet
  • [SPARK-46316] [SC-150181][CORE] Aktivera buf-lint-action i core modulen
  • [SPARK-45816] [SC-147656][SQL] Returnera NULL vid spill under gjutning från tidsstämpel till heltal
  • [SPARK-46333] [SC-150263][SQL] Ersätt med IllegalStateExceptionSparkException.internalError i katalysator
  • [SPARK-45762] [SC-148486][CORE] Stöd för shuffle-chefer som definierats i användarburkar genom att ändra startordning
  • [SPARK-46239] [SC-149752][CORE] Dölj Jetty information
  • [SPARK-45886] [SC-148089][SQL] Utdata för fullständig stackspårning i callSite DataFrame-kontext
  • [SPARK-46290] [SC-150059][PYTHON] Ändra saveMode till en boolesk flagga för DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Set errorClass in errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Exponera stackspårning efter DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Stöd killall i REST Submission API
  • [SPARK-46234] [SC-149711][PYTHON] Introduktion för PySparkKeyError PySpark-felramverk
  • [SPARK-45606] [SC-147655][SQL] Versionsbegränsningar för körningsfilter i flera lager
  • [SPARK-45725] [SC-147006][SQL] Remove IN-underfrågans icke-standard körfilter
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Rensa inaktuell API-användning View.force och ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Gör mer withOrigin allmänt
  • [SPARK-46292] [SC-150086][CORE][Användargränssnitt] Visa en sammanfattning av arbetare i MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Använd LazyList i stället för Stream
  • [SPARK-45888] [SC-149945][SS] Tillämpa ramverk för felklass på tillståndsdatakälla (metadata)
  • [SPARK-46261] [SC-150111][ANSLUT] DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][Användargränssnitt] Rensa SeqOps.view och ArrayOps.view konvertera
  • [SPARK-46029] [SC-149255][SQL] Undvik det enkla citatet _ och % för DS V2-pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Returnera null i tillåtande läge när deserialiseringen misslyckas.
  • [SPARK-46320] [SC-150187][CORE] Stöd spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Tryck inte ned Parquet-radgruppfilter som spills över
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Matcha mindre beteendematchning i Column med fullständig testtäckning
  • Matcha utfasningsvarning, testfall och fel för [SPARK-46298] [SC-150092][PYTHON][CONNECT] och Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Rensa den inaktuella API-användningen som är relaterad till StringContext/StringOps/RightProjection/LeftProjection/Either och typanvändning av BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Support SHOW TABLE EXTENDED in v2
  • [SPARK-45737] [SC-147011][SQL] Remove onödiga .toArray[InternalRow] i SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed bör respektera dikteringsordningen
  • [SPARK-46274] [SC-150043] [SQL] Åtgärda rangeoperatorn computeStats() för att kontrollera lång giltighet innan du konverterar
  • [SPARK-46040] [SC-149767][SQL][Python] Update UDTF API för 'analysera' partitionering/ordning columns för att stödja allmänna uttryck
  • [SPARK-46287] [SC-149949][PYTHON][ANSLUT] DataFrame.isEmpty bör fungera med alla datatyper
  • [SPARK-45678] [SC-146825][CORE] Cover BufferReleasingInputStream.available/reset under tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][ANSLUT] Rensa den inaktuella API-användningen som är relaterad till IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] introducerar select * except syntax
  • [SPARK-46269] [SC-149816][PS] Aktivera fler NumPy-kompatibilitetsfunktionstester
  • [SPARK-45807] [SC-149851][SQL] Lägg till createOrReplaceView(..) / replaceView(..) i ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][ANSLUT][MLLIB][PYTHON] Introducera en implicit funktion för Scala-matrisen som ska omslutas till immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][CORE] Förbättra PersistenceEngine prestanda med KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Returnera specifika felmeddelanden om UDTF-metoden "analysera" eller "eval" accepterar eller returnerar fel values
  • [SPARK-46186] [SC-149707][ANSLUT] Åtgärda olaglig tillståndsövergång när ExecuteThreadRunner avbröts innan den startades
  • [SPARK-46262] [SC-149803][PS] Aktivera test för np.left_shift Pandas-on-Spark-objekt.
  • [SPARK-45093] [SC-149679][ANSLUT][PYTHON] Korrekt stöd för felhantering och konvertering för AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Åtgärda CSS-stil för Spark-dokumentets genererade tables
  • [SPARK-45940] [SC-149549][PYTHON] Lägg till InputPartition i DataSourceReader-gränssnittet
  • [SPARK-43393] [SC-148301][SQL] Fel vid spill av adresssekvensuttryck.
  • [SPARK-46144] [SC-149466][SQL] Fail INSERT INTO ... REPLACE-instruktion om villkoret innehåller underfrågor
  • [SPARK-46118] [SC-149096][SQL][SS][ANSLUT] Använd SparkSession.sessionState.conf i stället för SQLContext.conf och markera SQLContext.conf som inaktuell
  • [SPARK-45760] [SC-147550][SQL] Lägg till med uttryck för att undvika duplicering av uttryck
  • [SPARK-43228] [SC-149670][SQL] Join nycklar matchar också PartitioningCollection i CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] Testa SparkPandasNotImplementedError med rensning av oanvänd kod
  • [SPARK-46119] [SC-149205][SQL] Åsidosättningsmetod toString för UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Använda ett smalare omfångsfel för SQL-processor
  • [SPARK-46191] [SC-149565][CORE] Förbättra FileSystemPersistenceEngine.persist felet msg i händelse av den befintliga filen
  • [SPARK-46036] [SC-149356][SQL] Ta bort felklass från funktionen raise_error
  • [SPARK-46055] [SC-149254][SQL] Omskriv Catalog implementation av databas-API:er
  • [SPARK-46152] [SC-149454][SQL] XML: Lägg till DecimalType-stöd i XML-schema slutsatsdragning
  • [SPARK-45943] [SC-149452][SQL] Flytta DetermineTableStats till lösningsregler
  • [SPARK-45887] [SC-148994][SQL] Justera codegen- och icke-codegen-implementering av Encode
  • [SPARK-45022] [SC-147158][SQL] Ange kontext för API-fel för datauppsättning
  • [SPARK-45469] [SC-145135][CORE][SQL][ANSLUT][PYTHON] Ersätt toIterator med iterator för IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Ersätt IterableOnceOps#aggregate med IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Återanvänd Literal-objekt i ComputeCurrentTime-regeln
  • [SPARK-45803] [SC-147489][CORE] Remove som inte längre används RpcAbortException
  • [SPARK-46148] [SC-149350][PS] Åtgärda pyspark.pandas.mlflow.load_model test (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Använd felklasser i modulerna catalog, conf, connect, observation, pandas
  • [SPARK-45827] [SC-149203][SQL] Variantkorrigeringar med kodgen och vektoriserad läsare inaktiverad
  • [SPARK-46080] Återställ "[SC-149012][PYTHON] Uppgradera Cloudpickle till 3.0.0"
  • [SPARK-45460] [SC-144852][SQL] Ersätt scala.collection.convert.ImplicitConversions till scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Remove den särskilda upplösningen av UnresolvedNamespace för vissa kommandon
  • [SPARK-45600] [SC-148976][PYTHON] Gör Python-datakällans registreringssessionsnivå
  • [SPARK-46074] [SC-149063][ANSLUT][SCALA] Otillräcklig information i felmeddelandet om UDF-fel
  • [SPARK-46114] [SC-149076][PYTHON] Lägg till PySparkIndexError för felramverk
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Remove hjälpfunktion DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Update sökvägshantering för Python-datakälla
  • [SPARK-46062] [14.x][SC-148991][SQL] Sync flaggan isStreaming mellan CTE-definitioner och referens
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Rensa den inaktuella API-användningen som är relaterad till Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Flytta ut EliminateEventTimeWatermark till analysatorn och ändra så att den endast börjar gälla för löst underordnad
  • [SPARK-45922] [SC-149038][ANSLUT][KLIENT] Mindre återförsök vid refaktorisering (uppföljning av flera principer)
  • [SPARK-45851] [SC-148419][ANSLUT][SCALA] Stöd för flera principer i scala-klienten
  • [SPARK-45974] [SC-149062][SQL] Lägg till scan.filterAttributes icke-tom dom för RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][ANSLUT] Dataset.groupingSets i Scala Spark Connect-klienten
  • [SPARK-45136] [SC-146607][ANSLUT] Förbättra ClosureCleaner med Stöd för Ammonite
  • [SPARK-46084] [SC-149020][PS] Refaktorisering av datatyp för kategorisk typ.
  • [SPARK-46083] [SC-149018][PYTHON] Gör SparkNoSuchElementException till ett kanoniskt fel-API
  • [SPARK-46048] [SC-148982][PYTHON][ANSLUT] Stöd för DataFrame.groupingSets i Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Uppgradera Cloudpickle till 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][ANSLUT] Åtgärda protobuf-strängrepresentation för Pandas Functions API med Spark Connect
  • [SPARK-46065] [SC-148985][PS] Omstrukturera för (DataFrame|Series).factorize() att använda create_map.
  • [SPARK-46070] [SC-148993][SQL] Kompilera regex-mönster i SparkDateTimeUtils.getZoneId utanför den heta loopen
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Förbättra felmeddelanden relaterade till argumenttyper i cube, rollup, groupby och pivot
  • [SPARK-44442] [SC-144120][MESOS] Remove Stöd för Mesos
  • [SPARK-45555] [SC-147620][PYTHON] Innehåller ett felsökningsbart objekt för misslyckad kontroll
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Stöd för DataFrame.groupingSets i PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Gör felhandler till en körningskonfiguration för Python-körning i SQL
  • [SPARK-45996] [SC-148586][PYTHON][ANSLUT] Visa meddelanden om rätt beroendekrav för Spark Connect
  • [SPARK-45681] [SC-146893][Användargränssnitt] Klona en js-version av UIUtils.errorMessageCell för konsekvent felåtergivning i användargränssnittet
  • [SPARK-45767] [SC-147225][CORE] Ta bort TimeStampedHashMap och dess UT
  • [SPARK-45696] [SC-148864][CORE] Fix method tryCompleteWith in trait Promise is deprecated
  • [SPARK-45503] [SC-146338][SS] Lägg till konfiguration i Set RocksDB-komprimering
  • [SPARK-45338] [SC-143934][CORE][SQL] Ersätt scala.collection.JavaConverters till scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Åtgärda ArrayIndexOutOfBoundsException i conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet
  • [SPARK-45819] [SC-147570][CORE] Stöd clear i REST Submission API
  • [SPARK-45552] [14.x][SC-146874][PS] Introducera flexibla parameters till assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Ange ett gränssnitt för andra strömningskällor att lägga till _metadatacolumns
  • [SPARK-45929] [SC-148692][SQL] Stöd för groupingSets-åtgärd i api för dataram
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader bör inte läsa rullande loggar om appstatusfilen saknas
  • [SPARK-45965] [SC-148575][SQL] Flytta DSv2-partitioneringsuttryck till functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Korrigera paketnamnet för SparkCollectionUtils till org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Rensa den inaktuella API-användningen som är relaterad till MapOps & Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] RemovetreatEmptyValuesAsNulls och använd nullValue i stället i XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Åtgärda typehints för att hantera list GenericAlias i Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Använda dedikerad PandasProduct i cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Korrigering pyspark.ml.torch.tests.test_distributor i Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Ändra description-file till description_file
  • [SPARK-45575] [SC-146713][SQL] Stöd för tidsresor för DF Read API
  • [SPARK-45747] [SC-148404][SS] Använd prefixnyckelinformation i tillståndsmetadata för att hantera läsningstillståndet för session window aggregering
  • [SPARK-45898] [SC-148213][SQL] Skriv om catalogtable API:er för att använda olöst logisk plan
  • [SPARK-45828] [SC-147663][SQL] Remove inaktuell metod i dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][ANSLUT] Uppgradera protobuf till 4.25.1 för att stödja Python 3.11
  • [SPARK-45911] [SC-148226][CORE] Gör TLS1.3 till standard för RPC SSL
  • [SPARK-45955] [SC-148429][Användargränssnitt] Dölj stöd för information om flamegraph och tråddumpar
  • [SPARK-45936] [SC-148392][PS] OptimizeIndex.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Rätt MetaException-matchningsregel för att få partition metadata
  • [SPARK-45655] [SC-148085][SQL][SS] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Åtgärda användningen av inaktuell FileUtils-skrivning för att skicka standardteckenuppsättningen i RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Tillståndsdatakälla – läsare
  • [SPARK-45918] [SC-148293][PS] OptimizeMultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][ANSLUT][PYTHON] Returnera de observerade måtten från kommandon
  • [SPARK-45867] [SC-147916][CORE] Stöd spark.worker.idPattern
  • [SPARK-45945] [SC-148418][ANSLUT] Lägga till en hjälpfunktion för parser
  • [SPARK-45930] [SC-148399][SQL] Stöd för icke-deterministiska UDF:er i MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Skapa Python UDTF API för att sluta använda rader från indata table
  • [SPARK-45731] [SC-147929][SQL] updatepartition även statistik med kommandot ANALYZE TABLE
  • [SPARK-45868] [SC-148355][ANSLUT] Se till att spark.table använda samma parser med vaniljgnistor
  • [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec-spridningspartitionering bör respektera CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][SQL] Tilldela namn till fel _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][SQL] Behandla decimaler(x, 0) samma som IntegralType i PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Åtgärda felaktiga multiplikations- och divisionsresultat för decimaler
  • [SPARK-45871] [SC-148084][ANSLUT] Optimeringssamlingskonvertering relaterad till .toBuffer i modulerna connect
  • [SPARK-45822] [SC-147546][ANSLUT] SparkConnectSessionManager kan slå upp en stoppad sparkcontext
  • [SPARK-45913] [SC-148289][PYTHON] Gör de interna attributen privata från PySpark-fel.
  • [SPARK-45827] [SC-148201][SQL] Lägg till datatypen Variant i Spark.
  • [SPARK-44886] [SC-147876][SQL] Introducera CLUSTER BY-sats för CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Stöd spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][ANSLUT] Bekräfta sessions-ID på serversidan
  • [SPARK-45896] [SC-148091][SQL] Skapa ValidateExternalType med rätt förväntad typ
  • [SPARK-45902] [SC-148123][SQL] Remove oanvänd funktion resolvePartitionColumns från DataSource
  • [SPARK-45909] [SC-148137][SQL] RemoveNumericType gjutna om det på ett säkert sätt kan uppgjutas i IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Remove oanvänd parameters i metoder för splitFiles
  • [SPARK-45875] [SC-148088][CORE] RemoveMissingStageTableRowData från modulen core
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Förbättra felmeddelanden när Spark Connect-läget är aktiverat men fjärr-URL:en inte set
  • [SPARK-45804] [SC-147529][Användargränssnitt] Lägg till spark.ui.threadDump.flamegraphEnabled config för att slå på/av flamdiagram
  • [SPARK-45664] [SC-146878][SQL] Introducera en mappare för orc-komprimeringskodex
  • [SPARK-45481] [SC-146715][SQL] Introducera en mapper för parquet-komprimerings codecs
  • [SPARK-45752] [SC-148005][SQL] Förenkla koden för att kontrollera Ouppnåeliga CTE-relationer
  • [SPARK-44752] [SC-146262][SQL] XML: Update Spark Docs
  • [SPARK-45752] [SC-147869][SQL] Ouppnåelig CTE bör kontrolleras av CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] Omstrukturera Catalog funktions-API:er för att använda analyzer
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Stöd för inläsning av Python-datakällor i DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Problem med korrekthet i AQE med InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Introducera tillståndsmetadatakälla för att fråga informationen om metadata för strömmande tillstånd
  • [SPARK-45739] [SC-147059][PYTHON] Fånga IOException i stället för enbart EOFException för felhandler
  • [SPARK-45677] [SC-146700] Bättre felloggning för observations-API
  • [SPARK-45544] [SC-146873][CORE] Integrera SSL-stöd i TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Lägg till skriv-API för Python-datakälla
  • [SPARK-45771] [SC-147270][CORE] Aktivera spark.eventLog.rolling.enabled som standard
  • [SPARK-45713] [SC-146986][PYTHON] Stöd för registrering av Python-datakällor
  • [SPARK-45656] [SC-146488][SQL] Åtgärda observation vid namngivna observationer med samma namn på olika datauppsättningar
  • [SPARK-45808] [SC-147571][ANSLUT][PYTHON] Bättre felhantering för SQL-undantag
  • [SPARK-45774] [SC-147353][CORE][Användargränssnitt] Support spark.master.ui.historyServerUrl i ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Remove den defensiva nullkontrollen för MapOutputTrackerMaster#unregisterShuffle som lagts till i SPARK-39553
  • [SPARK-45780] [SC-147410][ANSLUT] Sprida alla Spark Connect-klienttrådar i InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Stöd spark.deploy.appNumberModulo för att rotera appnummer
  • [SPARK-45793] [SC-147456][CORE] Förbättra de inbyggda komprimeringskodcerna
  • [SPARK-45757] [SC-147282][ML] Undvik beräkning av NNZ i Binarizer
  • [SPARK-45209] [SC-146490][CORE][Användargränssnitt] Stöd för Flame Graph för dumpsidan för körtråd
  • [SPARK-45777] [SC-147319][CORE] Support spark.test.appId i LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Omstrukturera null-kontrollen för att ha genvägar
  • [SPARK-45711] [SC-146854][SQL] Introducera en mapper för avro-komprimerings codecs
  • [SPARK-45523] [SC-146077][Python] Returnera användbart felmeddelande om UDTF returnerar None för någon inte-nullbar column
  • [SPARK-45614] [SC-146729][SQL] Tilldela namn till fel _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Förbättra Dataset.isEmpty() genom att använda globala limit1
  • [SPARK-45569] [SC-145915][SQL] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Korrigera Spark History Server för att sortera Durationcolumn korrekt
  • [SPARK-45754] [SC-147169][CORE] Stöd spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Förenkla DataFrameStatFunctions.countMinSketch med CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Stöd spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] Förbättra MasterPage för att visa Resourcecolumn endast när den finns
  • [SPARK-45112] [SC-143259][SQL] Använda unresolvedFunction-baserad lösning i SQL Dataset-funktioner

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 14.3.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta lake: 3.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Comm 0.1.2
contourpy 1.0.5 kryptografi 39.0.1 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
Verkställande 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 nyckelring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook-fil 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 emballage 23.2 Pandas 1.5.3
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantisk 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 rep 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sex 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
orubblighet 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tromb 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
hjul 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 askpass 1,1 assertthat 0.2.1
backportar 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 brygga 1.0-8 Brio 1.1.3
kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 klocka 0.7.0 cluster 2.1.4
codetools 0.2-19 färgområde 2.1-0 commonmark 1.9.0
kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 krita 1.5.2 credentials 1.3.2
hårlock 5.0.1 data.table 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
smälta 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
evaluate (utvärdera) 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 främmande 0.8-85 smida 0.2.0
Fs 1.6.2 framtid 1.33.0 future.apply 1.11.0
gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 gitter 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 hamn 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 stickning 1,43
Märkning 0.4.2 senare 1.3.1 Galler 0.21-8
lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matris 1.5-4.1 pmise 2.0.1
metoder 4.3.1 mgcv 1.8-42 MIME 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 berömma 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 våg 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 form 1.4.6
skinande 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
rumslig 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 statistik 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 överlevnad 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 avmarkera 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
verktyg 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 verktyg 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 morrhår 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1