Dela via

Databricks Runtime 15.4 LTS

  • Artikel

Följande versionsanteckningar ger information om Databricks Runtime 15.4 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i augusti 2024.

Anteckning

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Tips

Information om versionsinformationen för Databricks Runtime-versioner som har uppnått slutet på supporten hittar du i Versionsinformation om Databricks Runtime utan support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Förändringar i beteende

Om du använder en VARIANT som indata- eller utdatatyp med en Python UDF, UDAF eller UDTF genereras ett undantag

[Icke-bakåtkompatibel ändring] I Databricks Runtime 15.3 och senare anropar du en Python-användardefinierad funktion (UDF), användardefinierad aggregeringsfunktion (UDAF) eller användardefinierad tabellfunktion (UDTF) som använder en VARIANT typ som argument eller returvärde genererar ett undantag. Den här ändringen görs för att förhindra problem som kan uppstå på grund av ett ogiltigt värde som returneras av någon av dessa funktioner. Mer information om typen finns i VARIANT Använda VARIANT för att lagra halvstrukturerade data.

Ändra till standardschemabindningsläget för vyer

Vyerna anpassas nu till schemaändringar i den underliggande frågan med hjälp av schemakompensation med vanliga regler för gjutning. Det här är en ändring från det tidigare standardläget BINDING , vilket gav upphov till fel när en säker gjutning inte kunde utföras när vyn refererades till.

Se CREATE VIEW och -anrop för funktionen.

Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck

Med den här versionen tillåts inte längre användning av ! som synonym för NOT utanför booleska uttryck. Till exempel instruktioner som följande: CREATE ... IF ! EXISTS, IS ! NULL, en ! NULL kolumn- eller fältegenskap ! IN och ! BETWEEN måste ersättas med: CREATE ... IF NOT EXISTS, IS NOT NULL, en NOT NULL kolumn- eller fältegenskap NOT IN och NOT BETWEEN.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och gör din SQL mer portabel.

Den booleska prefixoperatorn! (till exempel !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

Tillåt inte syntax för odokumenterad kolumndefinition i vyer

Databricks stöder CREATE VIEW med namngivna kolumner och kolumnkommenterar. Tidigare har specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT tillåtits. Med den här versionen kan du inte längre använda den här syntaxen.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och stöder framtida förbättringar.

Konsekvent felhantering för Base64-avkodning i Spark och Photon

Den här versionen ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Spark-hanteringen av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland misslyckas med att orsaka parsningsundantag, medan Spark tolkad körning korrekt orsakade IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass

För att ge mer informativa felmeddelanden i Databricks Runtime 15.3 och senare, returnerar en ALTER TABLE ADD CONSTRAINT-instruktion som innehåller en CHECK-begränsning som refererar till ett ogiltigt kolumnnamn, felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION. Tidigare returnerades en INTERNAL_ERROR.

pyodbc uppdateras från 4.0.38 till 4.0.39

Pyodbc-paketet uppdateras från version 4.0.38 till version 4.0.39. Den här ändringen krävs eftersom en bugg hittades i version 4.0.38 och den versionen har tagits bort från PyPI.

Nya funktioner och förbättringar

UTF-8-valideringsfunktioner

Den här versionen introducerar följande funktioner för validering av UTF-8-strängar:

  • is_valid_utf8 verifierat om en sträng är en giltig UTF-8-sträng.
  • make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med ersättningstecken
  • validate_utf8 genererar ett fel om indata inte är en giltig UTF-8-sträng.
  • try_validate_utf8 returnerar NULL om indata inte är en giltig UTF-8-sträng.

Api:er för typade datauppsättningar med Scala-UDF:er

Den här versionen innehåller stöd för typsatta API:er för datauppsättningar med användardefinierade funktioner för Scala (exklusive användardefinierade aggregeringsfunktioner) på beräkning aktiverad med Unity Catalog med standardåtkomstläge (tidigare delat åtkomstläge). Se API:er för typade datauppsättningar.

Aktivera UniForm Iceberg med hjälp av ALTER TABLE

Nu kan du aktivera UniForm Iceberg på befintliga tabeller utan att skriva om datafiler. Se Aktivera Iceberg-läsningar på en redan befintlig tabell.

try_url_decode-funktion

Den här versionen introducerar funktionen try_url_decode , som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.

Om du vill kan du tillåta att optimeraren förlitar sig på icke-genomdrivna begränsningar för externnyckel.

För att förbättra frågeprestandan kan du nu ange nyckelordet RELY för FOREIGN KEY begränsningar när du skapar eller ändrar en tabell.

Parallelliserade jobbkörningar för selektiva överlagringar

Selektiva överskrivningar med replaceWhere kör nu jobb som tar bort och infogar nya data parallellt, vilket förbättrar sökfrågeprestanda och klusteranvändning.

Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar

Selektiva överskrivningar av replaceWhere på tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för infogade data. Dessa operationer använder en gömd _change_type kolumn, som finns i de underliggande Parquet-datafilerna, för att registrera ändringar utan skrivamplifiering.

Förbättrad frågesvarstid för COPY INTO kommandot

Den här versionen innehåller en ändring som förbättrar frågesvarstiden för COPY INTO kommandot. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.

Stöd för att ta bort tabellfunktionen för kontrollbegränsningar

Nu kan du släppa checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Inaktivera kontrollbegränsningar.

Dedikerad beräkning (tidigare beräkning av en enskild användare) stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)

När en arbetsyta är aktiverad för serverlös beräkning lägger Databricks Runtime 15.4 LTS till stöd för detaljerad åtkomstkontroll vid dedikerad beräkning. När en fråga kommer åt något av följande objekt skickar den dedikerade beräkningsresursen på Databricks Runtime 15.4 LTS frågan till den serverlösa beräkningen för att köra datafiltrering:

  • Vyer som definierats över tabeller där användaren inte har privilegiet SELECT.
  • Dynamiska vyer.
  • Tabeller med radfilter eller kolumnmasker tillämpade.
  • Materialiserade vyer och strömmande tabeller.

Dessa frågor stöds inte på dedikerad beräkning som kör Databricks Runtime 15.3 och nedan.

Mer information finns i Detaljerad åtkomstkontroll för dedikerad beräkning (tidigare beräkning av en enskild användare).

Utökat stöd för Java- och Scala-bibliotek

Från och med Databricks Runtime 15.4 LTS är alla Java- och Scala-bibliotek som paketeras med Databricks Runtime tillgängliga i alla beräkningsåtkomstlägen när du använder Unity Catalog. Mer information om språkstöd för Unity Catalog-aktiverad beräkning finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Utökat stöd för Scala Dataset-åtgärder

Med den här versionen stöder Unity Catalog-aktiverade beräkningsresurser som använder standardåtkomstläge följande Scala-Dataset åtgärder: map, mapPartitions, foreachPartition, flatMap, reduce och filter.

Scala är allmänt tillgängligt inom Unity Catalogs standardberäkning

Med den här versionen är Scala allmänt tillgängligt i standardåtkomstläge Unity Catalog-aktiverad beräkning, inklusive stöd för skalära användardefinierade funktioner (UDF: er). Strukturerad direktuppspelning, Hive UDF:er och användardefinierade Hive-aggregeringsfunktioner stöds inte. En fullständig lista över begränsningar finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter (offentlig förhandsversion)

Tjänstautentiseringsuppgifter möjliggör enkel och säker autentisering med molnklientens tjänster med hjälp av Azure-hanterade identiteter (MI) och Unity Catalog. Se Hantera åtkomst till externa molntjänster med autentiseringsuppgifter för tjänsten.

Felkorrigeringar

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • azure-core från 1.30.1 till 1.30.2
    • google-auth från 2.29.0 till 2.31.0
    • google-cloud-storage från 2.16.0 till 2.17.0
    • google-resumable-media från 2.7.0 till 2.7.1
    • googleapis-common-protos från 1.63.0 till 1.63.2
    • mlflow-skinny från 2.11.3 till 2.11.4
    • proto-plus från 1.23.0 till 1.24.0
    • s3transfer från 0.10.1 till 0.10.2
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • com.databricks.databricks-sdk-java från 0.17.1 till 0.27.0
    • com.ibm.icu.icu4j från 72.1 till 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.3 (EoS)och följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Tillåt gruppering av uttryck i skalär underfrågor, om de är bundna till yttre rader
  • [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Inaktivera variantindata/utdata till python-skalära UDF:er, UDTF:er, UDAF:er under frågekompilering
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] Åtgärda StringTrim-beteende för icke-UTF8_BINARY sortering
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] Åtgärda StringTranslate-beteende för icke-UTF8_BINARY sortering
  • [SPARK-48872] [SC-170866][PYTHON] Minska kostnaderna för _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
  • [SPARK-48852] [SC-170837][CONNECT] Åtgärda strängtrimningsfunktionen i CONNECT
  • [SPARK-48791] [SC-170658][CORE] Åtgärda perf-regression som orsakas av ackumulatorernas registreringskostnader med hjälp av CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Stöd SPARK_SQL_LEGACY_CREATE_HIVE_TABLE för env-variabel
  • [SPARK-48241] [SC-165811][SQL] CSV-parsningsfel med kolumner av typen char/varchar
  • [SPARK-48168] [SC-166900][SQL] Lägg till stöd för bitvis skiftoperatorer
  • [SPARK-48148] [SC-165630][CORE] JSON-objekt bör inte ändras när de läses som STRING
  • [SPARK-46625] [SC-170561] CTE med Identifier-klausulen som referens
  • [SPARK-48771] [SC-170546][SQL] Snabba upp LogicalPlanIntegrity.validateExprIdUniqueness för stora frågeplaner
  • [SPARK-48831] [BEHAVE-76][SC-170554][ANSLUT] Gör standardkolumnnamnet cast kompatibelt med Spark Classic
  • [SPARK-48623] [SC-170544][CORE] Strukturerade loggningsmigreringar [del 2]
  • [SPARK-48296] [SC-166138][SQL] Codegen-stöd för to_xml
  • [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter för anslutning på flera nivåer bör kontrollera den underordnade kopplingstypen
  • [SPARK-48686] [SC-170365][SQL] Förbättra prestanda för ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588][PYTHON] Introduktion spark.profile.render för SparkSession-baserad profilering
  • [SPARK-48048] [SC-169099] Återställ "[SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala"
  • [SPARK-47910] [SC-168929][CORE] stäng strömmen när DiskBlockObjectWriter stängerResurser för att undvika minnesläckage
  • [SPARK-48816] [SC-170547][SQL] Förkortning för intervallkonverterare i UnivocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Lägg till alternativet snapshotStartBatchId och snapshotPartitionId till tillståndsdatakällan
  • [SPARK-48280] [SC-170293][SQL] Förbättra sorteringstestytan med hjälp av uttrycksvandring
  • [SPARK-48837] [SC-170540][ML] I CountVectorizer läser du bara binär parameter en gång per transformering, inte en gång per rad
  • [SPARK-48803] [SC-170541][SQL] Generera internt fel i Orc(De)serialiserare för att överensstämma med ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Filtrera bort IPython-relaterade ramar från användarstacken
  • [SPARK-48818] [SC-170414][PYTHON] Förenkla percentile funktioner
  • [SPARK-48479] [SC-169079][SQL] Stöd för att skapa skalär- och tabell-SQL-UDF:er i parser
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Lägga till sorteringsmedvetna strängfilter
  • [SPARK-48800] [SC-170409][ANSLUT][SS] Deflake ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Korrigera sedan version för inbyggda funktionsaliasen random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [SPARK-48638] [SC-169575][ANSLUT] Lägga till ExecutionInfo-stöd för DataFrame
  • [SPARK-48064] [SC-164697][SQL] Uppdatera felmeddelanden för rutinrelaterade felklasser
  • [SPARK-48810] [ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
  • [SPARK-48650] [15.x][PYTHON] Visa rätt anropswebbplats från IPython Notebook
  • [SPARK-48271] [SC-166076][SQL] Omvandla matchningsfel i RowEncoder till UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Åtgärda matchningsfel för varchar-typmatchning för DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335][SQL] Åtgärda regression för INSERT med en partiell kolumnlista i en tabell med char/varchar
  • [SPARK-48767] [SC-170330][SQL] Åtgärda vissa felmeddelanden när variant typdata är ogiltiga
  • [SPARK-48719] [SC-170339][SQL] Åtgärda beräkningsfelet RegrSlope för & RegrIntercept när den första parametern är null
  • [SPARK-48815] [SC-170334][ANSLUT] Uppdatera miljön när anslutningssessionen stoppas
  • [SPARK-48646] [SC-169020][PYTHON] Förfina API-docstring och typtips för Python-datakälla
  • [SPARK-48806] [SC-170310][SQL] Skicka verkligt undantag när url_decode misslyckas
  • [SPARK-47777] [SC-168818] åtgärda python-strömmande datakällans anslutningstest
  • [SPARK-48732] [SC-169793][SQL] Rensa inaktuell API-användning relaterad till JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Åtgärda cachetabell med sorterad kolumn
  • [SPARK-48623] [SC-169034][CORE] Strukturerad loggningsmigrering
  • [SPARK-48655] [SC-169542][SQL] SPJ: Lägg till tester för att hoppa över omfördelning i aggregerade frågor
  • [SPARK-48586] [SC-169808][SS] Ta bort låsförvärv i doMaintenance() genom att göra en djup kopia av filmappningar i RocksDBFileManager i load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Omstrukturera versionshantering för läsning och skrivning av operatörmetadata samt deras anropare.
  • [SPARK-48808] [SC-170309][SQL] Åtgärda NPE när du ansluter thriftserver via Hive 1.2.1 och resultatschemat är tomt
  • [SPARK-48715] [SC-170291][SQL] Integrera UTF8String-validering i implementeringar av sorteringsmedvetna strängfunktioner
  • [SPARK-48747] [SC-170120][SQL] Lägga till iterator för kodpunkt i UTF8String
  • [SPARK-48748] [SC-170115][SQL] cache numChars i UTF8String
  • [SPARK-48744] [SC-169817][Kärna] Loggposten ska bara konstrueras en gång
  • [SPARK-46122] [SC-164313][SQL] Ange spark.sql.legacy.createHiveTableByDefault till false som standard
  • [SPARK-48765] [SC-170119][DISTRIBUERA] Förbättra standardvärdeutvärderingen för SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Lägg till migreringsdokument för CREATE TABLE AS SELECT beteendeförändring sedan Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Vidarebefordra cachelagrat schema i dataframeoperationer
  • [SPARK-48766] [SC-170126][PYTHON] Dokumentera beteendeskillnaden extraction mellan element_at och try_element_at
  • [SPARK-48768] [SC-170124][PYTHON][ANSLUT] Ska inte cachelagras explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Ändra till att läsa operatormetadata en gång på drivrutinen för att kontrollera om vi kan hitta information om numColsPrefixKey som används för sessionsfönster-agg-frågor
  • [SPARK-48656] [SC-169529][CORE] Gör en längdkontroll och utlösa COLLECTION_SIZE_LIMIT_EXCEEDED felmeddelande i CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
  • [SPARK-48472] [SC-169044][SQL] Aktivera reflekterande uttryck med sorterade strängar
  • [SPARK-48699] [SC-169597][SQL] Förfina sorterings-API
  • [SPARK-48682] [SC-169812][SQL][BEHAVE-58] Att använda ICU i InitCap-uttryck för UTF8_BINARY-strängar
  • [SPARK-48282] [SC-169813][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Aktivera sorteringsstöd för modeuttrycket
  • [SPARK-48320] [SPARK-48490] Synkronisera de senaste Logging-funktionerna och testfallen från OSS Spark
  • [SPARK-48629] [SC-169479] Migrera residualkoden till ett strukturerat loggningsramverk
  • [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Använda ICU i lägre/övre uttryck för UTF8_BINARY strängar
  • [SPARK-48573] [15.x][SC-169582][SQL] Uppgradera ICU-version
  • [SPARK-48687] [Backport][15.x][SS] Lägg till ändring för att utföra tillståndsschemavalidering och uppdatering av drivrutinen för tillståndskänsliga frågor
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4] Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48008] [SC-167363][1/2] Stöd för UDAF:er i Spark Connect
  • [SPARK-48578] [SC-169505][SQL] lägg till UTF8-strängvalideringsrelaterade funktioner
  • [SPARK-48670] [SC-169598][SQL] Ge förslag som en del av felmeddelandet när ogiltigt sorteringsnamn anges
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Strukturerat loggramverk på Java-sidan
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Migrera logWarn med variabler till ett strukturerat loggningsramverk
  • [SPARK-48706] [SC-169589][PYTHON] Python UDF i högre ordningens funktioner ska inte framkalla interna fel
  • [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Gör alltid utfyllnad av tecken i predikat
  • [SPARK-48662] [SC-169533][SQL] Åtgärda StructsToXml-uttryck med sortering
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates och dropDuplicatesWithinWatermark bör acceptera argument med variabel längd
  • [SPARK-48678] [SC-169463][CORE] Prestandaoptimeringar för SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Byt namn på UTF8_BINARY_LCASE till UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]: Åtgärda nullatribut i UDF-avkodaren
  • [SPARK-47579] [SC-165297][CORE][PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk (nytt)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal inte använda de inaktuella metoderna
  • [SPARK-48431] [SC-167290][LC-4066][SQL] Vidarebefordra inte predikat för sorterade kolumner till filläsare
  • [SPARK-47579] Återställ "[SC-165297][CORE][PART1] Migrera logInfo med variabler till strukturerat loggningsramverk"
  • [SPARK-47585] [SC-164306][SQL] SQL Core: Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48466] [SC-169042][SQL] Skapa en dedikerad nod för EmptyRelation i AQE
  • [SPARK-47579] [SC-165297][CORE][PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48410] [SC-168320][SQL] Åtgärda InitCap expression för UTF8_BINARY_LCASE och ICU-kollationer
  • [SPARK-48318] [SC-167709][SQL] Aktivera stöd för hashkoppling för alla sorteringar (komplexa typer)
  • [SPARK-48435] [SC-168128][SQL] UNICODE-sortering bör inte stödja binär likhet
  • [SPARK-48555] [SC-169041][SQL][PYTHON][ANSLUT] Stöd för att använda Kolumner som parametrar för flera funktioner i pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Lägga till en hjälpfunktion för att förenkla Column.py
  • [SPARK-48574] [SC-169043][SQL] Åtgärda stöd för StructTypes med sortering
  • [SPARK-48305] [SC-166390][SQL] Lägga till sorteringsstöd för CurrentLike-uttryck
  • [SPARK-48342] [SC-168941][SQL] Introduktion av SQL Scripting Parser
  • [SPARK-48649] [SC-169024][SQL] Lägg till konfigurationerna "ignoreInvalidPartitionPaths" och "spark.sql.files.ignoreInvalidPartitionPaths" för att tillåta att ogiltiga partitionssökvägar ignoreras
  • [SPARK-48000] [SC-167194][SQL] Aktivera stöd för hashkoppling för alla sorteringar (StringType)
  • [SPARK-48459] [SC-168947][Connect][PYTHON] Implementera DataFrameQueryContext i systemet Spark Connect
  • [SPARK-48602] [SC-168692][SQL] Få csv-generatorn att ha stöd för olika utdataformat med spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Ändra strängjämförelse för UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830][SQL]-refaktor: använd extra idMap i stället för OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Undvik att initialisera trådpoolen statiskt i ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [SC-164658][SQL] Introducerar en universell BinaryFormatter för att göra binära utdata konsekventa
  • [SPARK-48642] [SC-168889][CORE] Falsk SparkOutOfMemoryError orsakad av avslutande uppgift vid spill
  • [SPARK-48572] [SC-168844][SQL] Korrigera uttrycken DateSub, DateAdd, WindowTime, TimeWindow och SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Åtgärda implicit gjutning av FrameLessOffsetWindowFunction-uttryck
  • [SPARK-48644] [SC-168933][SQL] Gör en längdkontroll och generera COLLECTION_SIZE_LIMIT_EXCEEDED felmeddelande i funktionen Hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Undvik lagringsförstärkning vid åtkomst till en undervariant
  • [SPARK-48647] [SC-168936][PYTHON][ANSLUT] Förfina felmeddelandet för YearMonthIntervalType i df.collect
  • [SPARK-48307] [SC-167802][SQL] InlineCTE bör behålla icke-infogade relationer i den ursprungliga WithCTE-noden
  • [SPARK-48596] [SC-168581][SQL] Förbättring av perf för beräkning av hexsträng under lång tid
  • [SPARK-48621] [SC-168726][SQL] Korrigera förenkling av Like i Optimizer för kollationsbaserade strängar
  • [SPARK-47148] [SC-164179][SQL] Undvik att materialisera AQE ExchangeQueryStageExec vid annulleringen
  • [SPARK-48584] [SC-168579][SQL] Förbättring av perf för unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Ogiltig ersättning av UTF-8 byte-sekvens
  • [SPARK-48595] [SC-168580][CORE] Rensa inaktuell API-användning relaterad till commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ: cache radordning och strukturtyp för InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Lägg till WriteFilesExecBase-drag för v1-skrivning
  • [SPARK-48551] [SC-168438][SQL] Förbättring av prestanda för escapePathName
  • [SPARK-48565] [SC-168437][Användargränssnitt] Åtgärda tråddumpningsvisning i användargränssnittet
  • [SPARK-48364] [SC-166782][SQL] Lägg till AbstractMapType-typgjutning och korrigera RaiseError-parameterkarta för att arbeta med sorterade strängar
  • [SPARK-48421] [SC-168689][SQL] SPJ: Lägg till dokumentation
  • [SPARK-48604] [SC-168698][SQL] Ersätt inaktuellt new ArrowType.Decimal(precision, scale) metodanrop
  • [SPARK-46947] [SC-157561][CORE] Fördröj minneshanterarens initiering tills plugin-programmet driver läses in
  • [SPARK-48411] [SC-168576][SS][PYTHON] Lägg till E2E-test för DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Spåra fel vid validering av tillståndsrad med hjälp av en explicit felklass
  • [SPARK-48221] [SC-167143][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE-kollation (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Lägga till sorteringsstöd för Levenshtein-uttryck
  • [SPARK-48593] [SC-168719][PYTHON][ANSLUT] Åtgärda strängrepresentationen av lambda-funktionen
  • [SPARK-48622] [SC-168710][SQL] hämta SQLConf en gång när du löser kolumnnamn
  • [SPARK-48594] [SC-168685][PYTHON][ANSLUT] Byt parent namn på fältet till child i ColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Åtgärda lägre och övre uttryck för UTF8_BINARY_LCASE och ICU-sortering
  • [SPARK-48162] [SC-166062][SQL] Lägga till sorteringsstöd för MISC-uttryck
  • [SPARK-48518] [SC-167718][CORE] Gör så att LZF-komprimering kan köras parallellt
  • [SPARK-48474] [SC-167447][CORE] Åtgärda klassnamnet för loggen i SparkSubmitArguments & SparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ: Stöd för transformationsuttryck för enkelriktad omfördelning
  • [SPARK-48552] [SC-168212][SQL] CSV-schemainferens med flera rader bör också utlösa FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] Gör det möjligt att ställa in StreamingQueryListener.spark
  • [SPARK-48569] [SC-168321][SS][CONNECT] Hantera udda fall i query.name
  • [SPARK-47260] [SC-167323][SQL] Tilldela namn till felklass _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Förmedla cachelagrat schema i uppsättningsåtgärder
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation för sammanfogning bör kontrollera om den återstående noden är bara BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] Kortnamn för komprimeringskod är skiftlägesokänsliga förutom händelseloggning
  • [SPARK-48447] [SC-167607][SS] Kontrollera tillståndslagringsleverantörsklassen innan du anropar konstruktorn
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff och DateTimeUtils.timestampAdd bör inte utlösa INTERNAL_ERROR undantag
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Lägg till felklass för tillståndsschemakompatibilitet och mindre refaktorisering
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN med sökordning
  • [SPARK-48561] [SC-168250][PS][CONNECT] Kasta PandasNotImplementedError för plottningsfunktioner som inte stöds
  • [SPARK-48465] [SC-167531][SQL] Undvik icke-operativa spridning av tomma relationer
  • [SPARK-48553] [SC-168166][PYTHON][ANSLUTNING] Cachar ytterligare egenskaper
  • [SPARK-48540] [SC-168069][CORE] Undvik inställningar för inläsning av ivy-utdata till stdout
  • [SPARK-48535] [SC-168057][SS] Uppdatera konfigurationsdokument för att ange risken för problem med dataförlust/skada om hoppa över null-värden för konfiguration av stream-stream-kopplingar är aktiverat
  • [SPARK-48536] [SC-168059][PYTHON][ANSLUT] Cachea det användarspecificerade schemat i applyInPandas och applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Skriva sorterade strängar till Hive-metaarkivet med hjälp av den vanliga strängtypen
  • [SPARK-48461] [SC-167442][SQL] Ersätt NullPointerExceptions med felklassen i AssertNotNull-uttrycket
  • [SPARK-47833] [SC-163191][SQL][CORE] Supply caller stacktrace för checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Port HIVE-12270: Lägg till DBTokenStore-stöd till HS2-delegeringstoken
  • [SPARK-47578] [SC-167497][R] Migrera RPackageUtils med variabler till ett strukturerat loggningsramverk
  • [SPARK-47875] [SC-162935][CORE] Avlägsna spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] Ange spark.hadoop.fs.s3a.connection.establish.timeout till 30 sekunder om det saknas
  • [SPARK-47972] [SC-167692][SQL] Begränsa CAST-uttryck för sortering
  • [SPARK-48430] [SC-167489][SQL] Åtgärda extrahering av kartvärde när kartan innehåller sorterade strängar
  • [SPARK-47318] [SC-162712][CORE][3.5] Lägger till HKDF-avrundning till AuthEngine-nyckelhärledning för att följa standardmetoderna för KEX
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Åtgärda ogiltiga skalära underfrågor med att gruppera efter icke-likvärdiga kolumner som var oriktigt tillåtna
  • [SPARK-48508] [SC-167695][ANSLUT][PYTHON] Cachea användarens angivna schema i DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Åtgärda bugg i Windows där start av flera Spark-instanser inom samma sekund orsakar ett fel
  • [SPARK-45891] [SC-167608]Återställ " Beskriv fragmenteringsschemat för Variant"
  • [SPARK-48391] [SC-167554][CORE]Använda addAll i stället för att lägga till funktion i frånAccumulatorInfos-metoden för TaskMetrics-klass
  • [SPARK-48496] [SC-167600][CORE] Använda statiska regex Pattern-instanser i JavaUtils.timeStringAs och JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] åtgärda NPE-felmeddelande för null delmiter csv
  • [SPARK-48489] [SC-167598][SQL] Generera ett bättre, användarorienterat felmeddelande när man läser ett ogiltigt schema från en textdatakälla.
  • [SPARK-48471] [SC-167324][CORE] Förbättra dokumentationen och användningsguiden för historikservern
  • [SPARK-45891] [SC-167597] Beskriva fragmenteringsschema för variant
  • [SPARK-47333] [SC-159043][SQL] Använd checkInputDataTypes för att kontrollera parametertyperna för funktionen to_xml
  • [SPARK-47387] [SC-159310][SQL] Ta bort några felklasser som inte används
  • [SPARK-48265] [ES-1131440][SQL] Bestämma gräns för fönstergrupper i batch bör utföra konstant förenkling
  • [SPARK-47716] [SC-167444][SQL] Undvik konflikt med visningsnamn i SQLQueryTestSuite semantisk sorteringstestfall
  • [SPARK-48159] [SC-167141][SQL] Utöka stöd för sorterade strängar i datetime-uttryck
  • [SPARK-48462] [SC-167271][SQL][Tester] Använd withSQLConf i tester: Refactor HiveQuerySuite och HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] Läs även in spark-defaults.conf när --properties-file tillhandahålls
  • [SPARK-48468] [SC-167417] Lägg till LogicalQueryStage-gränssnittet i katalysator
  • [SPARK-47578] [SC-164988][CORE] Manuell backport för Spark PR #46309: Migrera logWarning med variabler till strukturerat loggningsramverk
  • [SPARK-48415] [SC-167321]Återställ "[PYTHON] refaktorisera Typnamn för att stödja parametriserade datatyper"
  • [SPARK-46544] [SC-151361][SQL] Stöd för v2 DESCRIBE TABLE EXTENDED med tabellstatistik
  • [SPARK-48325] [SC-166963][CORE] Ange alltid meddelanden i ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Lägg till sorteringsstöd för ICU-språk och sorteringsspecificerare
  • [SPARK-47221] [SC-157870][SQL] Använder signaturer från CsvParser till AbstractParser
  • [SPARK-47246] [SC-158138][SQL] Ersätt InternalRow.fromSeq med new GenericInternalRow för att spara en samlingskonvertering
  • [SPARK-47597] [SC-163932][STREAMING] Manuell backport för Spark PR #46192: Direktuppspelning: Migrera logInfo med variabler till strukturerat loggningsramverk
  • [SPARK-48415] [SC-167130][PYTHON] Omstrukturera för TypeName att stödja parametriserade datatyper
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Använd printSchema det cachelagrade schemat
  • [SPARK-48432] [ES-1097114][SQL] Undvik att ta bort heltal i UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
  • [SPARK-47781] [SC-162293][SQL] Hantera decimaler med negativ skalning för JDBC-datakällor
  • [SPARK-48394] [SC-166966][CORE] Rensa mapIdToMapIndex vid avregistrering av mapoutput
  • [SPARK-47072] [SC-156933][SQL] Åtgärda intervallformat som stöds i felmeddelanden
  • [SPARK-47001] [SC-162487][SQL] Pushdown-verifiering i optimerare
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] Gör _parse_datatype_string kompatibel med Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Aktivera spark.sql.sources.v2.bucketing.pushPartValues.enabled som standard
  • [SPARK-48412] [SC-166898][PYTHON] Omstrukturering av datatypens JSON-tolkning
  • [SPARK-48215] [SC-166781][SQL] Utöka stöd för sorterade strängar i date_format uttryck
  • [SPARK-45009] [SC-166873][SQL][UPPFÖLJNING] Lägg till felklass och tester för dekorrelation av predikatunderfrågor i kopplingsvillkor som refererar till båda kopplingspartnerna
  • [SPARK-47960] [SC-165295][SS][15.x] Tillåt länkning av andra tillståndskänsliga operatorer efter transformWithState-operatorn.
  • [SPARK-48340] [SC-166468][PYTHON] Stöd för TimestampNTZ-härledningsschema missar prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL] Lägga till sorteringsstöd för CSV-uttryck
  • [SPARK-48158] [SC-165652][SQL] Lägga till sorteringsstöd för XML-uttryck
  • [SPARK-48160] [SC-166064][SQL] Lägga till sorteringsstöd för XPATH-uttryck
  • [SPARK-48229] [SC-165901][SQL] Lägga till sorteringsstöd för inputFile-uttryck
  • [SPARK-48367] [SC-166487][ANSLUT] Åtgärda lint-scala för scalafmt för att identifiera filer som ska formateras korrekt
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Omstrukturera strukturen för DataFrame-felkontext
  • [SPARK-48370] [SC-166787][ANSLUT] Kontrollpunkt och localCheckpoint i Scala Spark Connect-klienten
  • [SPARK-48247] [SC-166028][PYTHON] Använd alla värden i en diktering när du härleder MapType-schema
  • [SPARK-48395] [SC-166794][PYTHON] Korrigering StructType.treeString för parametriserade typer
  • [SPARK-48393] [SC-166784][PYTHON] Flytta en grupp konstanter till pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementera StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Checkpoint och localCheckpoint i Spark Connect

Se Underhållsuppdateringar för Databricks Runtime 15.4 LTS.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta lake: 3.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 återuppringning 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratör 5.1.1 distlib 0.3.8
ingångspunkter 0,4 Utförande 0.8.3 översikt över aspekter 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 Google Molnlagring 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 En jeepney (en typ av kollektivtrafikfordon i Filippinerna) 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantisk 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.39
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
begäranden 2.31.0 RSA 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sex 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 uthållighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.38.4 blixtlås 3.11.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Managers CRAN-snapshot den 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 starta upp 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 cli 3.6.2 clipr 0.8.0
klocka 0.7.0 cluster 2.1.4 codetools 0.2-19
färgrymd 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 Konfliktfylld 1.2.0 cpp11 0.4.7
krita 1.5.2 autentiseringsuppgifter 2.0.1 curl 5.2.0
data.table 1.15.0 datauppsättningar 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Beskrivning 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 sammanfattning 0.6.34
nedåtriktad belysning 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 utvärdera 0.23
fans 1.0.6 färger 2.1.1 snabbkarta 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smedja 0.2.0 fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 rutnät 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 byggarhjälm 1.3.1 hamn 2.5.4
högre 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
IPRED 0.9-14 isoband 0.2.7 Iteratörer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 memorera 2.0.1 metoder 4.3.2
mgcv 1.8-42 pantomim 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023-08-28 profvis 0.3.8 Förlopp 1.2.3
progressr 0.14.0 löften 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagerbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reproucibelt exempel 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 glänsande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rymdmässig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
överlevnad 3.5-5 självsäkerhet 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 tidsändring 0.3.0
timeDate 4032.109 tinytex 0,49 verktyg 4.3.2
tzdb 0.4.0 URL-kontrollverktyg 1.0.1 usethis 2.2.2
utf8 1.2.4 verktyg 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-klient 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier (en mjukvarusats som används för att interagera med Amazon Glacier) 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-maskininlärning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws AWS Java SDK för Redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryogent skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-infödda
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-ursprungsbefolkning
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-infödda
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone felbenägna_kommentarer 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-filuppladdning 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics måttannotering 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics mått-hälsokontroller 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common (only if it is a product name or technical term without a Swedish equivalent) 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaktions-API 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator kurator-ramverk 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-klient-körmiljö 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper djurvårdare 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-säkerhet 9.4.52.v20230823
org.eclipse.jetty Jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-verktyg 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap spånskivor 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1