Dela via

Databricks Runtime 14.3 LTS

  • Artikel

Följande versionsinformation ger information om Databricks Runtime 14.3 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i februari 2024.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Tips

Information om versionsanteckningar för Databricks Runtime-versioner som har nått slutet av sin support (EoS) finns i Versionsanteckningar för Databricks Runtime utan support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Nya funktioner och förbättringar

Stöd för filsystem i arbetsyta i PySpark User-Defined Functions (UDFs) på kluster med standardåtkomstläge (tidigare delat åtkomstläge)

PySpark-UDF:er på standardkluster kan nu importera Python-moduler från Git-mappar, arbetsytefilereller UC-volymer.

Mer information om hur du arbetar med moduler i Git-mappar eller arbetsytefiler finns i Arbeta med Python- och R-moduler.

Stöd för borttagning av vektoroptimeringar MERGE utan Photon

Foton krävs inte längre för MERGE-åtgärder att utnyttja optimeringar av borttagningsvektorer. Se Vad är borttagningsvektorer?.

Spark-katalog-API:er stöds nu fullt ut i standardåtkomstläge

Nu kan du använda alla funktioner i spark.catalog-API:et i både Python och Scala vid beräkning som konfigurerats med standardåtkomstläge.

Delta UniForm är nu allmänt tillgängligt

UniForm är nu allmänt tillgängligt och använder IcebergCompatV2 tabellfunktionen. Nu kan du aktivera eller uppgradera UniForm i befintliga tabeller. Se Läs Delta-tabeller med Iceberg-klienter.

Ny SQL-funktion EXECUTE IMMEDIATE

Nu kan du använda syntaxen för EXECUTE IMMEDIATE för att stödja parametriserade frågor i SQL. Se EXECUTE IMMEDIATE.

Omkomputera data som hoppar över statistik för Delta-tabeller

Nu kan du omkomputera statistik som lagras i Delta-loggen när du har ändrat kolumner som används för datahopp. Se även Ange deltastatistikkolumner.

Förfråga statusinformation för tillståndskänsliga strömningsfrågor

Nu kan du fråga strukturerad streamingtillståndsinformation och metadata. Se Läsa information om status för strukturerad direktuppspelning.

Använda Microsoft Entra-ID för Kafka-autentisering i standardkluster

Nu kan du autentisera Event Hubs-tjänster via OAuth med Microsoft Entra-ID vid beräkning som konfigurerats med standardåtkomstläge. Se Autentisering av tjänsthuvudnamn med Microsoft Entra-ID och Azure Event Hubs.

Stöd har lagts till för fil- och partitionsrensning för att förbättra frågeprestanda

För att påskynda vissa sökfrågor som förlitar sig på null-tolerant likvärdighet inom JOIN-villkor, stöder vi nu DynamicFilePruning och DynamicPartitionPruning för EqualNullSafe operatorn i JOIN.

Deklarera tillfälliga variabler i en SQL-session

Den här versionen introducerar möjligheten att deklarera tillfälliga variabler i en session som kan anges och sedan refereras till inifrån frågor. Se även Variabler.

Thriftserver-uppdateringar för att ta bort oanvända funktioner

Thriftserver-koden har uppdaterats för att ta bort kod för föråldrade funktioner. På grund av dessa ändringar stöds inte längre följande konfigurationer:

  • Hive-hjälp-JAR:erna, som konfigurerats med egenskapen hive.aux.jars.path, stöds inte längre för hive-thriftserver anslutningar.
  • Hive global init-filen (.hiverc), vars plats har konfigurerats med egenskapen hive.server2.global.init.file.location eller HIVE_CONF_DIR miljövariabeln, stöds inte längre för hive-thriftserver anslutningar.

Använda truststore- och keystore-filer i Unity Catalog-volymer

Nu kan du använda truststore- och keystore-filer i Unity Catalog-volymer för att autentisera mot ett Confluent Schema Registry för avro- eller protokollbuffertdata. Se dokumentationen för avro - eller protokollbuffertar.

Stöd för internt XML-filformat (offentlig förhandsversion)

Stöd för internt XML-filformat finns nu i offentlig förhandsversion. Stöd för XML-filformat möjliggör inmatning, frågor och parsning av XML-data för batchbearbetning eller strömning. Den kan automatiskt härleda och utveckla schema- och datatyper, stöder SQL-uttryck som from_xmloch kan generera XML-dokument. Det kräver inte externa burkar och fungerar sömlöst med Auto Loader, read_files, COPY INTOoch DLT. Se Läsa och skriva XML-filer.

Stöd för Cloudflare R2-lagring (offentlig förhandsversion)

Nu kan du använda Cloudflare R2 som molnlagring för data som registrerats i Unity Catalog. Cloudflare R2 är främst avsett för användningsfall för deltadelning där du vill undvika de avgifter för utgående data som debiteras av molnleverantörer när data korsar regioner. R2 Storage stöder alla Databricks-data och AI-tillgångar som stöds i AWS S3, Azure Data Lake Storage Gen2 och Google Cloud Storage. Se Använda Cloudflare R2-repliker eller migrera lagring till R2 och Skapa en lagringsautentiseringsuppgift för att ansluta till Cloudflare R2.

Stöd för Spark- och dbutils-åtkomst till arbetsytefiler på Unity Catalog-kluster med standardåtkomst.

Spark- och dbutils-läs- och skrivåtkomst till arbetsytefiler stöds nu för Unity Catalog-kluster i standardåtkomstläge. Se Arbeta med arbetsytefiler.

Stöd för Init-skript och klusterbibliotek på Unity Catalog-kluster med standardåtkomst

Installation av klusteromfattande init-skript och Python- och JAR-bibliotek på Unity Catalog-kluster i standardåtkomstläge, inklusive installation med klusterprinciper, är nu allmänt tillgänglig. Databricks rekommenderar att du installerar init-skript och bibliotek från Unity Catalog-volymer.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • fastjsonschema från 2.19.0 till 2.19.1
    • filelock från 3.12.4 till 3.13.1
    • googleapis-common-protos från 1.61.0 till 1.62.0
    • förpackning från 22.0 till 23.2
  • Uppgraderade R-bibliotek:
    • utländsk från 0,8-82 till 0,8-85
    • nlme från 3.1-162 till 3.1-163
    • rpart från 4.1.19 till 4.1.21
  • Uppgraderade Java-bibliotek:
    • com.databricks.databricks-sdk-java från 0.7.0 till 0.13.0
    • org.apache.orc.orc-core från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims från 1.9.1 till 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 från 2.9.0 till 2.11.0

Apache Spark

Databricks Runtime 14.3 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-46541] [SC-153546][sql][CONNECT] Åtgärda den tvetydiga kolumnreferensen i självkoppling
  • [SPARK-45433] Revert "[SC-145163][sql] Fix CSV/JSON schema infer...
  • [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Gör addArtifact återförsökbart
  • [SPARK-46660] [SC-153391][connect] ReattachExecute begär uppdateringar för att hålla SessionHolder aktiv
  • [SPARK-46670] [SC-153273][python][SQL] Gör DataSourceManager själv klonbar genom att separera statiska och körningsdatakällor i Python
  • [SPARK-46720] [SC-153410][sql][PYTHON] Omstrukturera Python-datakälla så att den överensstämmer med andra inbyggda DSv2-datakällor
  • [SPARK-46684] [SC-153275][python][CONNECT] Fix CoGroup.applyInPandas/Arrow för att skicka argumenten korrekt
  • [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Kasta fel på flera XML-datakällor
  • [SPARK-46382] [SC-151881][sql]XML: Standardvärde ignoreSurroundingSpaces till true
  • [SPARK-46382] [SC-153178][sql] XML: Update doc for ignoreSurroundingSpaces
  • [SPARK-45292] Revert "[SC-151609][sql][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][sql][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader
  • [SPARK-46311] [SC-150137][core] Logga det slutliga tillståndet för drivrutiner under Master.removeDriver
  • [SPARK-46413] [SC-151052][python] Validera returnType för Arrow Python UDF
  • [SPARK-46633] [WARMFIX][sc-153092][SQL] Fixa Avro-läsare för att hantera nollängdsblock
  • [SPARK-46537] [SC-151286][sql] Konvertera NPE och assertioner från kommandon till interna fel
  • [SPARK-46179] [SC-151678][sql] Lägg till CrossDbmsQueryTestSuites, som kör andra DBMS mot gyllene filer med andra DBMS, från och med Postgres
  • [SPARK-44001] [SC-151413][protobuf] Lägg till alternativ för att tillåta avskrivning av protobuf välkända omslutningstyper
  • [SPARK-40876] [SC-151786][sql] Utvidga typhöjning för decimaler med större skala i Parquet-läsare
  • [SPARK-46605] [SC-151769][connect] Gör så att lit/typedLit-funktionen i anslutningsmodulen stödja s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][sql] literalverifiering bör inte öka detaljnivån till null-fält
  • [SPARK-37039] [SC-153094][ps] Åtgärda Series.astype så att den fungerar korrekt vid saknade värden
  • [SPARK-46312] [SC-150163][core] Använd lower_camel_case i store_types.proto
  • [SPARK-46630] [SC-153084][sql] XML: Verifiera XML-elementnamnet vid skrivning
  • [SPARK-46627] [SC-152981][ss][UI] Åtgärda tidslinjens verktygstipsinnehåll på strömmande användargränssnittet
  • [SPARK-46248] [SC-151774][sql] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
  • [SPARK-46386] [SC-150766][python] Förbättra kontroll av observationer (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][core] Uppdateringskommentar på isZero i AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Åtgärda loggfel i handleStatusMessage
  • [SPARK-46568] [SC-151685][python] Gör Python-datakällalternativ till en skiftlägesokänslig ordlista
  • [SPARK-46611] [SC-151783][core] Ta bort ThreadLocal genom att ersätta SimpleDateFormat med DateTimeFormatter
  • [SPARK-46604] [SC-151768][sql] Ge Literal.apply stöd för s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][sql][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.user och session_user
  • [SPARK-46621] [SC-151794][python] Åtgärda null från Exception.getMessage i undantag fångat av Py4J
  • [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader bör respektera minnesläget när du skapar kolumnvektorer för kolumnen som saknas
  • [SPARK-46613] [SC-151778][sql][PYTHON] Logga fullständigt undantag när det inte gick att söka efter Python-datakällor
  • [SPARK-46559] [SC-151364][mllib] Sätt in export i paketnamnet med backticks
  • [SPARK-46522] [SC-151784][python] Blockera registrering av Python-datakällor med namnkonflikter
  • [SPARK-45580] [SC-149956][sql] Referensfall där en kapslad underfråga blir en existenskoppling
  • [SPARK-46609] [SC-151714][sql] Undvik exponentiell tillväxt i PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][sql] Åtgärda NPE när du beskriver utökad kolumn utan kolstatistik
  • [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll
  • [SPARK-40876] [SC-151129][sql] Breddning av typkampanjer i Parquet-läsare
  • [SPARK-46179] [SC-151069][sql] Hämta kod till återanvändbara funktioner i SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][sql] Stöd s.c.immutable.ArraySeq som customCollectionCls i MapObjects
  • [SPARK-46585] [SC-151622][core] Direkt konstruerad metricPeaks som en immutable.ArraySeq i stället för att använda mutable.ArraySeq.toSeq i Executor
  • [SPARK-46488] [SC-151173][sql] Hoppar över trimAll-anrop under tidsstämpelparsning
  • [SPARK-46231] [SC-149724][python] Migrera alla återstående NotImplementedError & TypeError till PySpark-felramverket
  • [SPARK-46348] [SC-150281][core] Stöd spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][core] Logga Spark HA återställningsvaraktighet
  • [SPARK-46358] [SC-150307][connect] Förenkla villkorskontrollen i ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][sql]Ersätt aktuell tid/datum innan du utvärderar infogade tabelluttryck.
  • [SPARK-46563] [SC-151441][sql] Visa simpleString följer inte konfigurationen spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Minska stackdjupet genom att ersätta (sträng|matris).storlek med (sträng|matris).längd
  • [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(alla fält från en struktur) resulterar i ett assertionsfel
  • [SPARK-46565] [SC-151414][python] Förfina felklasser och felmeddelanden för Python-datakällor
  • [SPARK-46576] [SC-151614][sql] Förbättra felmeddelanden för sparande av datakälla som inte stöds
  • [SPARK-46540] [SC-151355][python] Respektera kolumnnamn när Python-datakällans läsfunktion matar ut Radobjekt med namn.
  • [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite läcker Hive:s SessionState
  • [SPARK-44556] [SC-151562][sql] Återanvänd OrcTail när du aktiverar vectorizedReader
  • [SPARK-46587] [SC-151618][sql] XML: Åtgärda XSD-konvertering av stora heltal
  • [SPARK-46382] [SC-151297][sql] XML: Fånga värden insprängda mellan element
  • [SPARK-46567] [SC-151447][core] Ta bort ThreadLocal för ReadAheadInputStream
  • [SPARK-45917] [SC-151269][python][SQL] Automatisk registrering av Python Data Source vid start
  • [SPARK-28386] [SC-151014][sql] Kan inte matcha ORDER BY kolumner med GROUP BY och HAVING
  • [SPARK-46524] [SC-151446][sql] Förbättra felmeddelanden för ogiltigt spara-läge
  • [SPARK-46294] [SC-150672][sql] Rensa semantik av init jämfört med nollvärde
  • [SPARK-46301] [SC-150100][core] Support spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][sql] Ta bort kontrollen för c>=0 från ExternalCatalogUtils#needsEscaping eftersom det alltid är sant
  • [SPARK-46553] [SC-151360][ps] FutureWarning för interpolate med objekt-datatyp
  • [SPARK-45914] [SC-151312][python] Stöd för commit och abort API för Python-datakälleskrivning
  • [SPARK-46543] [SC-151350][python][CONNECT] Gör json_tuple kasta PySparkValueError för tomma fält
  • [SPARK-46520] [SC-151227][python] Stöd för skrivning i överskrivningsläge för datakälla i Python
  • [SPARK-46502] [SC-151235][sql] Stöd för tidsstämpeltyper i UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][connect] Skicka meddelandeparametrar i metadata för ErrorInfo
  • [SPARK-46397] Revert "[SC-151311][python][CONNECT] Funktion sha2 bör höja PySparkValueError för ogiltig numBits"
  • [SPARK-46170] [SC-149472][sql] Stöd för att införa adaptiva frågepostplaneringsstrategiregler i SparkSessionExtensions
  • [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable bör inte läsa in tabellen
  • [SPARK-46397] [SC-151311][python][CONNECT] Funktion sha2 bör generera PySparkValueError för ogiltig numBits
  • [SPARK-46145] [SC-149471][sql] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas
  • [SPARK-46272] [SC-151012][sql] Stöd för CTAS med DSv2-källor
  • [SPARK-46480] [SC-151127][core][SQL] Åtgärda NPE när tabellcache-uppgiften försöks
  • [SPARK-46100] [SC-149051][core][PYTHON] Minska stackdjupet genom att ersätta (sträng|matris).storlek med (sträng|matris).längd
  • [SPARK-45795] [SC-150764][sql] DS V2 stöder nedrullningsläge
  • [SPARK-46485] [SC-151133][sql] V1Write bör inte lägga till Sortera när det inte behövs
  • [SPARK-46468] [SC-151121] [SQL] Hantera COUNT-bugg för EXISTS-underfrågor med aggregering utan grupperingsnycklar
  • [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL-stöd
  • [SPARK-46498] [SC-151199][core] Ta bort shuffleServiceEnabled från o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][sql] Ange ombaseringskonfigurationerna till CORRECTED läge som standard
  • [SPARK-45525] [SC-151120][sql][PYTHON] Stöd för skrivning av Python-datakälla med DSv2
  • [SPARK-46505] [SC-151187][connect] Gör bytetröskeln konfigurerbar i ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][sql] Ta bort äldre ombasering av datetime i SQL-konfigurationer
  • [SPARK-46443] [SC-151123][sql] Decimalprecision och skala bör bestämmas med H2-dialekt.
  • [SPARK-46384] [SC-150694][spark-46404][SS][ui] Åtgärda Stapeldiagrammet för Operationens Varaktighet på sidan för Strukturerad Streaming
  • [SPARK-46207] [SC-151068][sql] Stödjer MergeInto i DataFrameWriterV2
  • [SPARK-46452] [SC-151018][sql] Lägg till ett nytt API i DataWriter för att skriva en iterator med poster
  • [SPARK-46273] [SC-150313][sql] Stöd INSERT INTO/OVERWRITE med DSv2-källor
  • [SPARK-46344] [SC-150267][core] Varna korrekt när en drivrutin finns men mastern är frånkopplad
  • [SPARK-46284] [SC-149944][python][CONNECT] Lägg till session_user funktion i Python
  • [SPARK-46043] [SC-149786][sql] Stöd för att skapa tabell med DSv2-källor
  • [SPARK-46323] [SC-150191][python] Åtgärda utdatanamnet för pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][python][CONNECT] Lägg till Column.isNaN i PySpark
  • [SPARK-46456] [SC-151050][core] Lägg till spark.ui.jettyStopTimeout för att ställa in Jetty-serverns tidsgräns för stopp, för att avblockera SparkContext-avstängning
  • [SPARK-43427] [SC-150356][protobuf] spark protobuf: tillåt upcasting av osignerade heltalstyper
  • [SPARK-46399] [SC-151013][14.x][Kärna] Lägg till avslutningsstatus i programsluthändelsen för användning av Spark-lyssnaren
  • [SPARK-46423] [SC-150752][python][SQL] Gör Python Data Source-instansen till DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][python][SQL] Stöder Python-mått i Python Data Source
  • [SPARK-46330] [SC-151015] Inläsning av Spark-gränssnittsblock under en lång tid när HybridStore är aktiverat
  • [SPARK-46378] [SC-150397][sql] Ta fortfarande bort Sort efter konvertering av Aggregate till Project
  • [SPARK-45506] [SC-146959][connect] Lägg till ivy URI-stöd i SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() för att undvika minnesläckage
  • [SPARK-46427] [SC-150759][python][SQL] Ändra Python-datakällans beskrivning så att den är ganska förklarande
  • [SPARK-45597] [SC-150730][python][SQL] Stöd för att skapa en tabell med hjälp av en Python-datakälla i SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][python] Lägg till getMessageParameters och getQueryContext-stöd
  • [SPARK-46453] [SC-150897][connect] Kasta undantag från internalError() i SessionHolder
  • [SPARK-45758] [SC-147454][sql] Introducera en mappare för hadoop-komprimeringskod
  • [SPARK-46213] [PYTHON] Inför PySparkImportError för felramverk
  • [SPARK-46230] [SC-149960][python] Migrera RetriesExceeded som en PySpark-felmeddelande
  • [SPARK-45035] [SC-145887][sql] Åtgärda ignoreCorruptFiles/ignoreMissingFiles med flerradiga CSV/JSON kommer att rapportera fel
  • [SPARK-46289] [SC-150846][sql] Stöd för sortering av UDTs i tolkat läge
  • [SPARK-46229] [SC-150798][python][CONNECT] Lägg till applyInArrow i groupBy och cogroup i Spark Connect
  • [SPARK-46420] [SC-150847][sql] Ta bort oanvänd transport i SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrera alla återstående RuntimeError till PySpark-felramverket
  • [SPARK-45796] [SC-150613][sql] Stödja MODE() INOM GRUPP (ORDER BY kol)
  • [SPARK-40559] [SC-149686][python][14.X] Lägg till applyInArrow till groupBy och cogroup
  • [SPARK-46069] [SC-149672][sql] Stöd för att omvandla tidsstämpeltypen till datumtyp
  • [SPARK-46406] [SC-150770][sql] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][ss] Konvertera IllegalStateException till internalError i sessionsiteratorer
  • [SPARK-45807] [SC-150751][sql] Förbättra ViewCatalog API
  • [SPARK-46009] [SC-149771][sql][CONNECT] Slå samman parsningsregeln för PercentileCont och PercentileDisc till functionCall
  • [SPARK-46403] [SC-150756][sql] Avkoda parquet binary med getBytesUnsafe-metoden
  • [SPARK-46389] [SC-150779][core] Stäng RocksDB/LevelDB-instansen manuellt när checkVersion utlöser undantag
  • [SPARK-46360] [SC-150376][python] Förbättra felsökning av felmeddelanden med nytt getMessage API
  • [SPARK-46233] [SC-149766][python] Migrera alla återstående AttributeError till PySparks felramverk
  • [SPARK-46394] [SC-150599][sql] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema är inställt på sant
  • [SPARK-45964] [SC-148484][sql] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet
  • [SPARK-45856] [SC-148691] Flytta ArtifactManager från Spark Connect till SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][connect] Åtgärda spark-connect-scala-client startskript
  • [SPARK-46416] [SC-150699][core] Lägg till @tailrec i HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][sql] Begränsa teckenuppsättningar i encode()
  • [SPARK-46253] [SC-150416][python] Planera att läsa in Python-datakällan med MapInArrow
  • [SPARK-46339] [SC-150266][ss] Katalog med batchnummernamn ska inte behandlas som metadatalogg
  • [SPARK-46353] [SC-150396][core] Omstrukturera för att förbättra RegisterWorker enhetstesttäckning
  • [SPARK-45826] [SC-149061][sql] Lägg till en SQL-konfiguration för stackspårningar i DataFrame-frågekontext
  • [SPARK-45649] [SC-150300][sql] Ena förberedelse-ramverket för OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][core] Åtgärda Master så att den uppdaterar en worker från UNKNOWN till ALIVE på RegisterWorker msg
  • [SPARK-46388] [SC-150496][sql] HiveAnalysis missar mönsterskyddet för query.resolved
  • [SPARK-46401] [SC-150609][core] Använd !isEmpty() på RoaringBitmap i stället för getCardinality() > 0 i RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][sql] Klassificera undantag i JDBC-tabellkatalogen
  • [SPARK-45798] [SC-150513][connect] Uppföljning: lägg till serverSessionId i SessionHolderInfo
  • [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Lägg till timestampNTZType-stöd
  • [SPARK-46075] [SC-150393][connect] Förbättringar av SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Ersätt felaktig dokumentationsanvändning av setConf med conf.set
  • [SPARK-46202] [SC-150420][connect] Exponera nya ArtifactManager-API:er för att stödja anpassade målkataloger
  • [SPARK-45824] [SC-147648][sql] Framtvinga felklassen i ParseException
  • [SPARK-45845] [SC-148163][ss][UI] Lägg till antal borttagna tillståndsrader i strömmande användargränssnitt
  • [SPARK-46316] [SC-150181][core] Aktivera buf-lint-action på core modul
  • [SPARK-45816] [SC-147656][sql] Returnera NULL vid spill under gjutning från tidsstämpel till heltal
  • [SPARK-46333] [SC-150263][sql] Ersätt IllegalStateException med SparkException.internalError i katalysator
  • [SPARK-45762] [SC-148486][core] Stöd för shufflehanterare definierade i användar-järn genom att ändra startordning
  • [SPARK-46239] [SC-149752][core] Dölj Jetty info
  • [SPARK-45886] [SC-148089][sql] Visa full stacktrace i callSite för DataFrame-kontext
  • [SPARK-46290] [SC-150059][python] Ändra saveMode till en boolesk flagga för DataSourceWriter
  • [SPARK-45899] [SC-148097][connect] Ange errorClass i errorInfoToThrowable
  • [SPARK-45841] [SC-147657][sql] Exponera stackspår genom DataFrameQueryContext
  • [SPARK-45843] [SC-147721][core] Stöd killall i REST Submission API
  • [SPARK-46234] [SC-149711][python] Introducera PySparkKeyError för PySpark-felramverk
  • [SPARK-45606] [SC-147655][sql] Ta bort begränsningar för körningsfilter i flera lager
  • [SPARK-45725] [SC-147006][sql] Ta bort IN-delkörningsfiltret som inte är standard
  • [SPARK-45694] [SC-147314][spark-45695][SQL] Rensa den inaktuella API-användningen View.force och ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][sql] Gör withOrigin mer generisk
  • [SPARK-46292] [SC-150086][core][UI] Visa en sammanfattning av arbetare i MasterPage
  • [SPARK-45685] [SC-146881][core][SQL] Använd LazyList i stället för Stream
  • [SPARK-45888] [SC-149945][ss] Tillämpa felklassramverk på tillståndsdatakälla (metadata)
  • [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed bör behålla dict/map-ordningen
  • [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Rensa SeqOps.view och ArrayOps.view konverteringar
  • [SPARK-46029] [SC-149255][sql] Flytta enkelfnutt, _ och % för DS V2 pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Returnera null i tillåtande läge när deserialiseringen misslyckas.
  • [SPARK-46320] [SC-150187][core] Support spark.master.rest.host
  • [SPARK-46092] [SC-149658][sql] Tryck inte ned Parquet-radgruppfilter som spills över
  • [SPARK-46300] [SC-150097][python][CONNECT] Matcha mindre beteendematchning i Kolumn med fullständig testtäckning
  • [SPARK-46298] [SC-150092][python][CONNECT] Match utfasningsvarning, testfall och fel för Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Rensa den inaktuella API-användningen relaterad till StringContext/StringOps/RightProjection/LeftProjection/Either och typanvändning av BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][sql] Support SHOW TABLE EXTENDED i v2
  • [SPARK-45737] [SC-147011][sql] Ta bort onödiga .toArray[InternalRow] i SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][ss] Kräv instanslås för att hämta RocksDB-mått för att förhindra kapplöpning med bakgrundsoperationer
  • [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed bör respektera dikteringsordningen
  • [SPARK-46274] [SC-150043] [SQL] Åtgärda rangeoperatorn computeStats() för att kontrollera lång giltighet innan du konverterar
  • [SPARK-46040] [SC-149767][sql][Python] Uppdatera UDTF API för att analysera partitionerings-/ordningskolumner för att stödja allmänna uttryck
  • [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty bör fungera med alla datatyper
  • [SPARK-45678] [SC-146825][core] Behandla BufferReleasingInputStream.tillgänglig/reset under tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][core][SQL][connect] Rensa den inaktuella API-användningen relaterad till IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][sql] som introducerar select * except syntax
  • [SPARK-46269] [SC-149816][ps] Aktivera fler NumPy-kompatibilitetsfunktionstester
  • [SPARK-45807] [SC-149851][sql] Lägg till createOrReplaceView(..) / replaceView(..) i ViewCatalog
  • [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introducera en implicit funktion för Scala Array att omsluta till immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][core] Förbättra PersistenceEngine prestanda med KryoSerializer
  • [SPARK-45746] [SC-149359][python] Returnera specifika felmeddelanden om UDTF-metoden "analysera" eller "eval" accepterar eller returnerar fel värden
  • [SPARK-46186] [SC-149707][connect] Åtgärda olaglig tillståndsövergång när ExecuteThreadRunner avbröts innan den startades
  • [SPARK-46262] [SC-149803][ps] Aktivera test för np.left_shift för Pandas-on-Spark-objekt.
  • [SPARK-45093] [SC-149679][connect][PYTHON] Har korrekt stöd för felhantering och konvertering för AddArtifactHandler
  • [SPARK-46188] [SC-149571][doc][3.5] Åtgärda CSS för Spark Docs genererade tabeller
  • [SPARK-45940] [SC-149549][python] Lägg till InputPartition i DataSourceReader-gränssnittet
  • [SPARK-43393] [SC-148301][sql] Åtgärda buggen med översvämning i sekvensuttryck.
  • [SPARK-46144] [SC-149466][sql] Misslyckades INSERT INTO ... REPLACE-sats om villkoret innehåller en underfråga
  • [SPARK-46118] [SC-149096][sql][SS][connect] Använd SparkSession.sessionState.conf i stället för SQLContext.conf och markera SQLContext.conf som inaktuell
  • [SPARK-45760] [SC-147550][sql] Lägg till with-uttryck för att undvika duplicering av uttryck
  • [SPARK-43228] [SC-149670][sql] Kopplingsnycklar matchar också PartitioningCollection i CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][ps] Testa SparkPandasNotImplementedError med rensning av oanvänd kod
  • [SPARK-46119] [SC-149205][sql] Åsidosätt toString metod för UnresolvedAlias
  • [SPARK-46206] [SC-149674][ps] Använd ett smalare omfångsundantag för SQL-processor
  • [SPARK-46191] [SC-149565][core] Förbättra FileSystemPersistenceEngine.persist felmeddelande om en befintlig fil existerar
  • [SPARK-46036] [SC-149356][sql] Ta bort felklassen från funktionen raise_error
  • [SPARK-46055] [SC-149254][sql] Omskrivning av katalogdatabas-API:er
  • [SPARK-46152] [SC-149454][sql] XML: Lägg till DecimalType-stöd i XML-schemainferens
  • [SPARK-45943] [SC-149452][sql] Flytta DetermineTableStats till lösningsregler
  • [SPARK-45887] [SC-148994][sql] Justera codegen och icke-codegen-implementering av Encode
  • [SPARK-45022] [SC-147158][sql] Ange kontext för datamängds-API-fel
  • [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Ersätt toIterator med iterator för IterableOnce
  • [SPARK-46141] [SC-149357][sql] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED
  • [SPARK-45663] [SC-146617][core][MLLIB] Ersätt IterableOnceOps#aggregate med IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][sql] Återanvänd Literal-objekt i ComputeCurrentTime-regeln
  • [SPARK-45803] [SC-147489][core] Ta bort den som inte längre används RpcAbortException
  • [SPARK-46148] [SC-149350][ps] Åtgärda pyspark.pandas.mlflow.load_model-test (Python 3.12)
  • [SPARK-46110] [SC-149090][python] Använd felklasser i modulerna catalog, conf, connect, observation, pandas
  • [SPARK-45827] [SC-149203][sql] Variantkorrigeringar med kodgen och vektoriserad läsare inaktiverad
  • [SPARK-46080] Återställ "[SC-149012][python] Uppgradera Cloudpickle till 3.0.0"
  • [SPARK-45460] [SC-144852][sql] Ersätt scala.collection.convert.ImplicitConversions till scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][sql] Ta bort den särskilda upplösningen för UnresolvedNamespace för vissa kommandon
  • [SPARK-45600] [SC-148976][python] Gör Python-datakällans registrering sessionsnivå
  • [SPARK-46074] [SC-149063][connect][SCALA] Otillräcklig information i felmeddelandet om UDF-fel
  • [SPARK-46114] [SC-149076][python] Lägg till PySparkIndexError för felramverk
  • [SPARK-46120] [SC-149083][connect][PYTHON] Ta bort hjälpfunktionen DataFrame.withPlan
  • [SPARK-45927] [SC-148660][python] Uppdateringssökvägshantering för Python-datakälla
  • [SPARK-46062] [14.x][sc-148991][SQL] Synkronisera flaggan isStreaming mellan CTE-definition och referens
  • [SPARK-45698] [SC-146736][core][SQL][ss] Rensa den inaktuella API-användningen relaterad till Buffer
  • [SPARK-46064] [SC-148984][sql][SS] Flytta ut EliminateEventTimeWatermark till analysatorn och ändra så att den endast börjar gälla när beroendet är löst.
  • [SPARK-45922] [SC-149038][connect][CLIENT] Mindre refaktorisering av återförsök (uppföljning till flera återförsökspolicyer)
  • [SPARK-45851] [SC-148419][connect][SCALA] Har stöd för flera principer i scala-klienten
  • [SPARK-45974] [SC-149062][sql] Inkludera ej tom kontroll av scan.filterAttributes för RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][connect] Dataset.groupingSets i klienten för Scala Spark Connect
  • [SPARK-45136] [SC-146607][connect] Förbättra ClosureCleaner med stöd för Ammonite
  • [SPARK-46084] [SC-149020][ps] Refaktorera datatypsgjutningsåtgärden för den kategoriska typen.
  • [SPARK-46083] [SC-149018][python] Gör SparkNoSuchElementException som ett kanoniskt fel-API
  • [SPARK-46048] [SC-148982][python][CONNECT] Stödjer DataFrame.groupingSets i Python Spark Connect
  • [SPARK-46080] [SC-149012][python] Uppgradera Cloudpickle till 3.0.0
  • [SPARK-46082] [SC-149015][python][CONNECT] Åtgärda protobuf-strängrepresentation för Pandas Functions API med Spark Connect
  • [SPARK-46065] [SC-148985][ps] Bearbeta (DataFrame|Series).factorize() för att använda create_map.
  • [SPARK-46070] [SC-148993][sql] Kompilera regexmönster i SparkDateTimeUtils.getZoneId utanför snabbslingan
  • [SPARK-46063] [SC-148981][python][CONNECT] Förbättra felmeddelanden relaterade till argumenttyper i cute, rollup, groupby och pivot
  • [SPARK-44442] [SC-144120][mesos] Ta bort Stöd för Mesos
  • [SPARK-45555] [SC-147620][python] Innehåller ett felsökningsbart objekt för misslyckad sats
  • [SPARK-46048] [SC-148871][python][SQL] Stöder DataFrame.groupingSets i PySpark
  • [SPARK-45768] [SC-147304][sql][PYTHON] Gör faulthandler till en körningskonfiguration för Python-körning i SQL
  • [SPARK-45996] [SC-148586][python][CONNECT] Visa meddelanden om rätt beroendekrav för Spark Connect
  • [SPARK-45681] [SC-146893][ui] Klona en js-version av UIUtils.errorMessageCell för konsekvent felåtergivning i användargränssnittet
  • [SPARK-45767] [SC-147225][core] Ta bort TimeStampedHashMap och dess UT
  • [SPARK-45696] [SC-148864][kärna] Fixa metoden tryCompleteWith i traiten Promise är föråldrad
  • [SPARK-45503] [SC-146338][ss] Lägg till konfiguration för att ange RocksDB-komprimering
  • [SPARK-45338] [SC-143934][core][SQL] Ersätt scala.collection.JavaConverters till scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][sql] Åtgärda ArrayIndexOutOfBoundsException i conv()
  • [SPARK-45912] [SC-144982][sc-148467][SQL] Förbättring av XSDToSchema API: Ändring till HDFS API för åtkomst till molnlagring
  • [SPARK-45819] [SC-147570][core] Support clear i REST Submission API
  • [SPARK-45552] [14.x][sc-146874][PS] Introducera flexibla parametrar för assertDataFrameEqual
  • [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Ange ett gränssnitt för andra strömningskällor för att lägga till _metadata kolumner
  • [SPARK-45929] [SC-148692][sql] Stöd för groupingSets-operation i dataframe-API:et
  • [SPARK-46012] [SC-148693][core] EventLogFileReader bör inte läsa rullande loggar om appstatusfilen saknas
  • [SPARK-45965] [SC-148575][sql] Flytta DSv2-partitioneringsuttryck till functions.partitioning
  • [SPARK-45971] [SC-148541][core][SQL] Korrigera paketnamnet på SparkCollectionUtils till org.apache.spark.util
  • [SPARK-45688] [SC-147356][spark-45693][CORE] Rensa den inaktuella API-användningen relaterad till MapOps & Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][sc-148497][SQL] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML
  • [SPARK-45988] [SC-148580][spark-45989][PYTHON] Åtgärda typindikationer för att hantera list GenericAlias i Python 3.11+
  • [SPARK-45999] [SC-148595][ps] Använd dedikerade PandasProduct i cumprod
  • [SPARK-45986] [SC-148583][ml][PYTHON] Åtgärda pyspark.ml.torch.tests.test_distributor i Python 3.11
  • [SPARK-45994] [SC-148581][python] Ändra description-file till description_file
  • [SPARK-45575] [SC-146713][sql] Stöd tidsresalternativ för df läs-API
  • [SPARK-45747] [SC-148404][ss] Använd information om prefixnycklar i tillståndsmetadata för att hantera lästillstånd för aggregat av sessionsfönster
  • [SPARK-45898] [SC-148213][sql] Skriv om katalogtabell-API:er för att använda ouppklarad logisk plan
  • [SPARK-45828] [SC-147663][sql] Ta bort inaktuell metod i dsl
  • [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Uppgradera protobuf till 4.25.1 för att stödja Python 3.11
  • [SPARK-45911] [SC-148226][core] Gör TLS1.3 till standard för RPC SSL
  • [SPARK-45955] [SC-148429][ui] Dölj stöd för flamdiagram och tråddumpningsdetaljer
  • [SPARK-45936] [SC-148392][ps] Optimera Index.symmetric_difference
  • [SPARK-45389] [SC-144834][sql][3.5] Rätt metaundantagsmatchningsregel för att hämta partitionsmetadata
  • [SPARK-45655] [SC-148085][sql][SS] Tillåt icke-deterministiska uttryck inuti AggregateFunctions i CollectMetrics
  • [SPARK-45946] [SC-148448][ss] Åtgärda användningen av inaktuell FileUtils-skrivning för att skicka standardteckenuppsättningen i RocksDBSuite
  • [SPARK-45511] [SC-148285][ss] Statusdatakälla – Läsare
  • [SPARK-45918] [SC-148293][ps] Optimera MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][connect][PYTHON] Returnera de observerade måtten från kommandon
  • [SPARK-45867] [SC-147916][core] Support spark.worker.idPattern
  • [SPARK-45945] [SC-148418][connect] Lägg till en hjälpfunktion för parser
  • [SPARK-45930] [SC-148399][sql] Stöder icke-deterministiska UDF:er i MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][python] Skapa Python UDTF API för att sluta använda rader från indatatabellen
  • [SPARK-45731] [SC-147929][sql] Uppdatera även partitionsstatistik med kommandot ANALYZE TABLE
  • [SPARK-45868] [SC-148355][connect] Kontrollera att spark.table använder samma parser som vanilla Spark
  • [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec sprida partitionering bör respektera CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][sql] Tilldela namn till fel _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][sql] Behandla decimal(x, 0) på samma sätt som IntegralType i PromoteStrings
  • [SPARK-45786] [SC-147552][sql] Åtgärda felaktiga decimal multiplikationer och divisionsresultat
  • [SPARK-45871] [SC-148084][connect] Konvertering av optimeringssamlingar relaterade till .toBuffer i connect moduler
  • [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager kan kontrollera en stoppad SparkContext
  • [SPARK-45913] [SC-148289][python] Gör de interna attributen privata från PySpark-fel.
  • [SPARK-45827] [SC-148201][sql] Lägg till variantdatatyp i Spark.
  • [SPARK-44886] [SC-147876][sql] Inför CLUSTER BY sats för CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][core] Stöd spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][connect] Kontrollera server-sidans sessions-ID
  • [SPARK-45896] [SC-148091][sql] Skapa ValidateExternalType med rätt förväntad typ
  • [SPARK-45902] [SC-148123][sql] Ta bort oanvänd funktion resolvePartitionColumns från DataSource
  • [SPARK-45909] [SC-148137][sql] Ta bort NumericType cast om den kan up-castas säkert i IsNotNull
  • [SPARK-42821] [SC-147715][sql] Ta bort oanvända parametrar i splitFiles-metoder
  • [SPARK-45875] [SC-148088][core] Ta bort MissingStageTableRowData från modulen core
  • [SPARK-45783] [SC-148120][python][CONNECT] Förbättra felmeddelanden när Spark Connect-läget är aktiverat men fjärr-URL:en inte har angetts
  • [SPARK-45804] [SC-147529][ui] Lägg till spark.ui.threadDump.flamegraphEnabled config för att slå på/av flamdiagram
  • [SPARK-45664] [SC-146878][sql] Introducera en mappare för orc compression codecs
  • [SPARK-45481] [SC-146715][sql] Introducera en mapper för parquet-komprimeringskodekar
  • [SPARK-45752] [SC-148005][sql] Förenkla koden för att kontrollera orefererade CTE-relationer
  • [SPARK-44752] [SC-146262][sql] XML: Uppdatera Spark Docs
  • [SPARK-45752] [SC-147869][sql] Alla oreferenserade CTE:er bör kontrolleras av CheckAnalysis0
  • [SPARK-45842] [SC-147853][sql] Refaktorera Katalogfunktionens API:er för att använda analyserare
  • [SPARK-45639] [SC-147676][sql][PYTHON] Stöder inläsning av Python-datakällor i DataFrameReader
  • [SPARK-45592] [SC-146977][sql] Problem med korrekthet i AQE med InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][ss] Introducera tillståndsmetadatakälla för förfrågan om metadata för strömmande tillståndsinformation
  • [SPARK-45739] [SC-147059][python] Catch IOException i stället för enbart EOFException för felhanterare
  • [SPARK-45677] [SC-146700] Bättre felloggning för observations-API
  • [SPARK-45544] [SC-146873][core] Integrera SSL-stöd i TransportContext
  • [SPARK-45654] [SC-147152][python] Lägg till Skriv-API för Python-datakälla
  • [SPARK-45771] [SC-147270][core] Aktivera spark.eventLog.rolling.enabled som standard
  • [SPARK-45713] [SC-146986][python] Stöd för registrering av Python-datakällor
  • [SPARK-45656] [SC-146488][sql] Åtgärda observation vid namngivna observationer med samma namn på olika datauppsättningar
  • [SPARK-45808] [SC-147571][connect][PYTHON] Bättre felhantering för SQL-undantag
  • [SPARK-45774] [SC-147353][core][UI] Stöd spark.master.ui.historyServerUrl i ApplicationPage
  • [SPARK-45776] [SC-147327][core] Ta bort den defensiva null-kontrollen för MapOutputTrackerMaster#unregisterShuffle som lagts till i SPARK-39553
  • [SPARK-45780] [SC-147410][connect] Sprid alla Spark Connect-klienttrådar i InheritableThread
  • [SPARK-45785] [SC-147419][core] Stöd spark.deploy.appNumberModulo för att rotera appnummer
  • [SPARK-45793] [SC-147456][core] Förbättra de inbyggda komprimeringskodexen
  • [SPARK-45757] [SC-147282][ml] Undvik beräkning av NNZ i Binarizer
  • [SPARK-45209] [SC-146490][core][UI] Flame Graph-stöd för körtrådsutmatningssida
  • [SPARK-45777] [SC-147319][core] Support spark.test.appId i LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][python] Omstrukturera null-kontrollen för att ha genvägar
  • [SPARK-45711] [SC-146854][sql] Introducera en mappare för avro-komprimeringskodex
  • [SPARK-45523] [SC-146077][python] Ge ett användbart felmeddelande om UDTF returnerar None för en icke-nullbar kolumn
  • [SPARK-45614] [SC-146729][sql] Tilldela namn till fel _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][sql] Förbättra Dataset.isEmpty() genom att använda global gräns 1
  • [SPARK-45569] [SC-145915][sql] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][core][WEBUI] Korrigera Spark History Server för att sortera kolumn Duration korrekt
  • [SPARK-45754] [SC-147169][core] Support spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][sql] Förenkla DataFrameStatFunctions.countMinSketch med CountMinSketchAgg
  • [SPARK-45753] [SC-147167][kärna] Stöd spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][core][UI] Förbättra MasterPage om du bara vill visa Resource kolumn när den finns
  • [SPARK-45112] [SC-143259][sql] Använd unresolvedFunction-baserad upplösning i SQL Dataset-funktioner

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 14.3.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta lake: 3.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 återuppringning 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Kommunikation 0.1.2
contourpy 1.0.5 kryptografi 39.0.1 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 ingångspunkter 0,4
Utför 0.8.3 översikt över aspekter 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 nyckelring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
felstämd 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
anteckningsbok 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 emballage 23.2 Pandas 1.5.3
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantisk 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 rep 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sex 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
ihärdighet 8.1.0 färdig 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tromb 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
hjul 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshot från den 2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 askpass 1,1 bekräftaatt 0.2.1
backportar 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 brygga 1.0-8 Brio 1.1.3
kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 klocka 0.7.0 kluster 2.1.4
codetools 0.2-19 färgrymd 2.1-0 commonmark 1.9.0
kompilator 4.3.1 config 0.3.1 kluven 1.2.0
cpp11 0.4.4 krita 1.5.2 Autentiseringsuppgifter 1.3.2
curl 5.0.1 datatabell 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 beskrivning 1.4.2
devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
smälta 0.6.33 nedåtbelysning 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
utvärdera 0.21 fan 1.0.4 färger 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 främmande 0.8-85 smida 0.2.0
Fs 1.6.2 framtid 1.33.0 future.apply 1.11.0
gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 rutnät 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
skyddshjälm 1.3.0 hamn 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 ini 0.3.1 IPRED 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Märkning 0.4.2 senare 1.3.1 Galler 0.21-8
lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matris 1.5-4.1 memorera 2.0.1
metoder 4.3.1 mgcv 1.8-42 mim 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 berömma 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reproducerbart exempel 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 våg 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 form 1.4.6
glänsande 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
rumslig 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 statistik 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 överlevnad 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
tidsändring 0.2.0 tidDatum 4022.108 tinytex 0,45
verktyg 4.3.1 tzdb 0.4.0 URL-kontrollerare 1.0.1
användadetta 2.2.2 utf8 1.2.3 verktyg 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 morrhår 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware skuggad av kyla 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-infödda
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-infödda
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone felbenägna annoteringar 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
gemensam-filuppladdning commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool gemensam resurs-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics mätvärdes-annotering 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics mätvärden-hälsokontroller 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrik-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaktions-API 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-minne-kärna 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator kuratorsrecept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper djurskötare 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty Jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Brygga Plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty Jetty-server 9.4.52.v20230823
org.eclipse.jetty Jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-webapplikation 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1