Dela via

Databricks Runtime 16.1

  • Artikel

Följande versionsanteckningar innehåller information om Databricks Runtime 16.1, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i december 2024.

Tips

För att se versionsinformation för Databricks Runtime-versioner som har nått slutet av support (EoS), se Versionsinformation för Databricks Runtime med avslutad support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Beteendeändringar

Icke-bakåtkompatibel ändring: Photon-reguljära uttryck hanteras nu konsekvent med Apache Spark

I Databricks Runtime 15.4 och senare uppdateras hantering av reguljära uttryck i Photon för att matcha beteendet för hantering av reguljära Apache Spark-uttryck. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split() och regexp_extract(), vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas för reguljära uttryck som Spark anser ogiltiga.

På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{'), som innehåller en omatchad klammerparentes och som tidigare accepterades av Photon, fungerar inte nu. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{').

Photon- och Sparks beteende skilde sig också åt för viss regelbunden uttrycksmatchning av icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.

Den VARIANT datatypen kan inte längre användas med åtgärder som kräver jämförelser

I Databricks Runtime 16.1 och senare kan du inte använda följande satser eller operatorer i frågor som innehåller en VARIANT datatyp:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Dessutom kan du inte använda dessa DataFrame-funktioner:

  • df.dropDuplicates()
  • df.repartition()

Dessa åtgärder utför jämförelser och jämförelser som använder datatypen VARIANT ger odefinierade resultat och stöds inte i Databricks. Om du använder varianttypen i dina Azure Databricks-arbetsbelastningar eller -tabeller rekommenderar Databricks följande ändringar:

  • Uppdatera frågor eller uttryck för att uttryckligen omvandla VARIANT värden till icke-VARIANT datatyper.
  • Om du har fält som måste användas med någon av ovanstående åtgärder extraherar du dessa fält från VARIANT datatypen och lagrar dem med hjälp av icke-VARIANT datatyper.

Mer information finns i Frågevariantdata.

Nya funktioner och förbättringar

Stöd för sortering i Apache Spark finns i offentlig förhandsversion

Nu kan du tilldela språkkänsliga, skiftlägesokänsliga och åtkomstkänsliga sorteringar till STRING kolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se sortering.

Stöd för sortering i Delta Lake finns i offentlig förhandsversion

Du kan nu definiera sortering för kolumner när du skapar eller ändrar en Delta-tabell. Se sorteringsstöd för Delta Lake.

LITE läge för vakuum finns i offentlig förhandsversion

Nu kan du använda VACUUM table_name LITE för att utföra en vakuumåtgärd med lägre vikt som utnyttjar metadata i Delta-transaktionsloggen. Se Fullt kontra lite-läge och VACUUM.

Stöd för parameterisering av USE CATALOG with IDENTIFIER-satsen

I Databricks Runtime 16.1 och senare stöds klausulen IDENTIFIER för uttalandet USE CATALOG. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.

COMMENT ON COLUMN stöd för tabeller och vyer

I Databricks Runtime 16.1 och senare har COMMENT ON-instruktionen stöd för att ändra kommentarer för vy- och tabellkolumner.

Nya SQL-funktioner

I Databricks Runtime 16.1 och senare är följande nya inbyggda SQL-funktioner tillgängliga:

  • dagnamn (expr) returnerar den engelska förkortningen med tre bokstäver för veckodagen för det angivna datumet.
  • uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt distribuerade värden inom det angivna intervallet med tal.
  • randstr(längd) returnerar en slumpmässig sträng med length alfanumeriska tecken.

Namngivna parameteranrop för fler funktioner

I Databricks Runtime 16.1 och senare stöder följande funktioner namngivna parameteranrop:

Parametern SYNC METADATA till kommandot REPAIR TABLE stöds med Hive-metaarkivet

I Databricks Runtime 16.1 och senare kan du använda parametern SYNC METADATA med kommandot REPAIR TABLE för att uppdatera metadata för en hanterad Hive-metaarkivtabell. Se REPAIR TABLE.

Förbättrad dataintegritet för komprimerade Apache Arrow-batchar

I Databricks Runtime 16.1 och senare, för att ytterligare skydda mot skadade data, innehåller varje LZ4 komprimerad pilbatch nu LZ4 innehåll och blockkontrollsummor. Se beskrivning av LZ4-ramformat .

Stöd har lagts till för Scala-metoder för beräkning av delat åtkomstläge i Unity Catalog

I Databricks Runtime 16.1 och senare, i Unity Catalogs delade åtkomstlägesberäkning, läggs stöd till för följande Scala-metoder: Dataset.flatMapGroups(), Dataset.mapGroups()och DataStreamWriter.foreach().

Inbyggd Teradata JDBC-drivrutin

I Databricks Runtime 16.1 och senare är Teradata JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.

StreamingQueryListener-stöd för Scala

Nu kan du använda StreamingQueryListener i Scala vid beräkning som konfigurerats med läget för delad åtkomst.

Inbyggd Oracle JDBC-drivrutin

I Databricks Runtime 16.1 och senare är Oracle JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.

Mer detaljerade fel för Delta-tabeller som nås med sökvägar

En ny felmeddelandeupplevelse för Delta-tabeller som används med hjälp av sökvägar är nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget DELTA_MISSING_DELTA_TABLE är nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.

Andra ändringar

Namnändringar har gjorts för felkoderna i cloudFiles-källan för strukturerad strömning

Den här versionen innehåller en ändring för att byta namn på följande felkoder:

  • _LEGACY_ERROR_TEMP_DBR_0143 har bytt namn till CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 har bytt namn till CF_INCORRECT_BATCH_USAGE .

Felkorrigeringar

Kapslade typer accepterar nu null-begränsningar korrekt

Den här versionen åtgärdar en bugg som påverkar vissa Delta-genererade kolumner av kapslade typer, till exempel STRUCT. Dessa kolumner avvisar ibland felaktigt uttryck baserat på NULL eller NOT NULL begränsningar för kapslade fält. Detta har åtgärdats.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • ipyflow-core från 0.0.198 till 0.0.201
    • pyccolo från 0.0.52 till 0.0.65
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • io.delta.delta-sharing-client_2.12 från 1.2.1 till 1.2.2
    • org.lz4.lz4-java från 1.8.0 till 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.2-linux-x86_64 till 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 16.0, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-50482] [SC-182879][CORE] Föråldrad no-op spark.shuffle.spill konfiguration
  • [SPARK-50032] [SC-182706][SQL][16.x] Tillåt användning av fullständigt kvalificerade sorteringsnamn
  • [SPARK-50467] [SC-182823][PYTHON] Lägg till __all__ för inbyggda funktioner
  • [SPARK-48898] [SC-182828][SQL] Fix Variant shredding bug
  • [SPARK-50441] [SC-182668][SQL] Åtgärda att parametriserade identifierare inte fungerar när du refererar till CTE:er
  • [SPARK-50446] [SC-182639][PYTHON] Samtidig nivå i Piloptimerad Python UDF
  • [SPARK-50430] [SC-182536][CORE] Använd standarden Properties.clone i stället för manuell kloning
  • [SPARK-50471] [SC-182790][PYTHON] Stöd för Arrow-baserad Python Data Source Writer
  • [SPARK-50466] [SC-182791][PYTHON] Förfina dokumentationssträngen för strängfunktioner – del 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrering av API för ny timer och API för initialt tillstånd med Timer
  • [SPARK-50437] [SC-182586][SS] Minska kostnaderna för att skapa deserialiserare i TransformWithStateExec
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Lägg till stöd för kedjning o...
  • [SPARK-49294] [SC-182730][UI] Lägg till breddattribut för kryssrutan shuffle-write-time.
  • [SPARK-50426] [SC-182540][PYTHON] Undvik statisk Python-datakällsökning när du använder inbyggda datakällor eller Java-datakällor
  • [SPARK-48356] [SC-182603][SQL] Stöd för FOR-instruktion
  • [SPARK-50333] [SC-182136][SQL] Kodgenereringsstöd för CsvToStructs (genom att anropa & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Metrik för åtaganden till StagedTable-instanser
  • [SPARK-50081] [SC-182344][SQL] Codegen-stöd för XPath*(genom att anropa & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refaktorisera AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][SQL] Codegen-stöd för SchemaOfCsv(genom att anropa & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][SQL] åtgärda misslyckande efter sammanslagning vid feltestning
  • [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
  • [SPARK-49873] [SC-178577][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][CORE] Stöd spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] Lägg till funktionen DAYNAME
  • [SPARK-50270] [SC-181179][SS][PYTHON] Lade till anpassade tillståndsmått för TransformWithStateInPandas
  • [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Lägg till DataFrame-API:er för tabellvärdesfunktioner
  • [SPARK-49470] [SC-175736][UI] Uppdatera dataTables-formatmallar och javascript från 1.13.5 till 1.13.11
  • [SPARK-50235] Återställ "[SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec"
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] Se till att createDataFrame TRIGGA Config RPC högst en gång
  • [SPARK-50387] [SC-182441][SS] Uppdateringsvillkor för timerns giltighetstid och relevant test
  • [SPARK-50287] [SC-182400][SQL] Sammanslagningsalternativ för tabell och relation när du skapar WriteBuilder i FileTable
  • [SPARK-50066] [SC-181484][SQL] Codegenerering stöd för SchemaOfXml (genom att anropa & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][SQL] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
  • [SPARK-50318] [SC-181641][SQL] Lägg till IntervalUtils.makeYearMonthInterval för att deduplicera kod mellan tolkad och codegen
  • [SPARK-50312] [SC-181646][SQL] Parameteröverföringsfel för SparkThriftServer createServer när kerberos är sant
  • [SPARK-50246] [SC-181468][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] Från json/xml bör inte ändra kollationeringar i det angivna schemat
  • [SPARK-50250] [SC-181466][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
  • [SPARK-50235] [SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec
  • [SPARK-50156] [SC-180781][SQL] Integrera _LEGACY_ERROR_TEMP_2113 i UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][SQL] Integrera _LEGACY_ERROR_TEMP_0028 i UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] Codegen Support for StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][SQL] Lägg till TryMakeInterval-alternativ
  • [SPARK-50397] [SC-182367][CORE] Ta bort inaktuella --ip och -i argument från Master/Worker
  • [SPARK-50238] [SC-181434][PYTHON] Lägg till variantstöd i PySpark UDFs/UDTFs/UDAFs och Python UC UDF:er
  • [SPARK-50079] [SC-179830][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][EXEMPEL] Lägg till submit-sql.sh REST API-exempel
  • [SPARK-49966] [SC-179501][SQL] Använd Invoke för att implementera JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][SS] Se till att sekundära indexstorlekar är lika med primära indexstorlekar för TransformWithState tillståndskänsliga variabler med TTL
  • [SPARK-50301] [SC-182241][SS][16.x] Få TransformWithState-mått att återspegla deras intuitiva betydelser
  • [SPARK-50175] [SC-182140][SQL] Ändra sorteringsprioriseringsberäkning
  • [SPARK-50148] [SC-180292][SQL] Gör StaticInvoke kompatibel med metoden som deklarerar undantag för utkast
  • [SPARK-50280] [SC-181214][PYTHON] Refaktorera resultatsortering och tom platsfyllning i compute_hist
  • [SPARK-50190] [SC-182458][PYTHON] Ta bort direkt beroende av Numpy från Histogram
  • [SPARK-50382] [SC-182368][CONNECT] Lägg till dokumentation för allmän information om programutveckling med/utöka Spark Connect
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Undvik att använda en klassegenskaper i trådpoolen för Python Connect-klienten
  • [SPARK-49566] [SC-182239][SQL] Lägg till SQL-rörsyntax för EXTEND-operatorn
  • [SPARK-50036] [SC-179533][CORE][PYTHON] Inkludera SPARK_LOG_SCHEMA i samband med REPL-gränssnittet
  • [SPARK-49859] [SC-178259][CONNECT] Ersätt multiprocessing.ThreadPool med ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] Gör lpad och rpad acceptera argument av kolumntyp
  • [SPARK-50379] [SC-182142][SQL] Åtgärda hanteringen av DayTimeIntervalType i WindowExecBase
  • [SPARK-49954] [SC-179110][SQL] Codegen Support for SchemaOfJson (by Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][CORE] Använd ExitCode 0 för --help bruk i Spark-skript
  • [SPARK-50377] [SC-182238][SQL] Tillåt att utvärdera vikbar RuntimeReplaceable
  • [SPARK-50241] [SC-181444][SQL] Ersätt NullIntolerant Mixin med Expression.nullIntolerant-metoden
  • [SPARK-50084] [SC-179672][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] Integrera _LEGACY_ERROR_TEMP_0039 i UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][SS] Lägg till ett anpassat mätvärde för att spåra resursanvändning för initialt processläge i transformWithState
  • [SPARK-50029] [SC-179531][SQL] Gör StaticInvoke kompatibel med metoden som returnerar Any
  • [SPARK-49990] [SC-179497][SQL] Förbättra prestanda för randStr
  • [SPARK-50048] [SC-179528][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] Förvandla _LEGACY_ERROR_TEMP_2104 till INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] Trimsorteringsstöd för strängfunktioner
  • [SPARK-48549] [SC-176472][SQL][PYTHON] Förbättra SQL-funktionen sentences
  • [SPARK-50022] [SC-179503][CORE][UI] Åtgärda MasterPage för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat
  • [SPARK-50087] [SC-182152] Robust hantering av booleska uttryck i CASE WHEN för MsSqlServer och framtida anslutningsappar
  • [SPARK-49991] [SC-179481][SQL] Gör HadoopMapReduceCommitProtocol respekt "mapreduce.output.basename" för att generera filnamn
  • [SPARK-50038] [SC-179521][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] Åtgärda ApplicationPage för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat
  • [SPARK-49911] [SC-179111][SQL] Åtgärda semantiken för binär likhet
  • [SPARK-50025] [SC-179496][SQL] Integrera _LEGACY_ERROR_TEMP_1253 i EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][SS] Åtgärda felet vid optimeringen när indata läggs till i tillståndsarkivet i stream-stream-anslutning
  • [SPARK-50004] [SC-179499][SQL] Integrera _LEGACY_ERROR_TEMP_3327 i FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator bör respektera kontraktet i ConstantFolding
  • [SPARK-50340] [SC-181859][SQL] Packa upp UDT i INSERT indatafråga
  • [SPARK-50237] [SC-181660][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] Åtgärda problem med att kolumnordningen för utdata ändrades efter AQE-optimering
  • [SPARK-49773] [SC-178369][SQL] Oupplöst Javaundantag från make_timestamp() med fel tidszon
  • [SPARK-49977] [SC-179265][SQL] Använd stackbaserad iterativ beräkning för att undvika att skapa många Scala List-objekt för djuputtrycksträd
  • [SPARK-50153] [SC-181591][SQL] Lägg till name i RuleExecutor för att göra utskrifter av QueryExecutionMetrics:s loggar tydligare
  • [SPARK-50320] [SC-181668][CORE] Gör --remote ett officiellt alternativ genom att ta bort experimental varning
  • [SPARK-49909] [SC-179492]Återställ "[SQL] Åtgärda det vackra namnet på vissa uttryck"
  • [SPARK-50330] [SC-180720][SC-181764][SQL] Lägg till ledtrådar i sorterings- och fönsternoderna
  • [SPARK-50364] [SC-182003][SQL] Implementera serialisering för LocalDateTime-typ i Row.jsonValue
  • [SPARK-50016] [SC-182139][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] Stöd deleteIfExists för TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][SQL] Stöd för IDENTIFIER-uttryck i SETCATALOG-kommandon
  • [SPARK-50315] [SC-181886][SQL] Stöd för anpassade mått för V1Fallback-skrivningar
  • [SPARK-42838] [SC-181509][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][SQL] Förbered SQL-skript för tillägg av Execution Framework
  • [SPARK-49345] [SC-174786][CONNECT] Kontrollera att du använder den aktuella Spark-sessionen som körs
  • [SPARK-49925] [SC-178882][SQL] Lägg till tester för ordning efter med sorterade strängar
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] Förbättra felmeddelanden och importer i PySpark-plotting
  • [SPARK-49368] [SC-174999][CONNECT] Undvik att komma åt protobuf lite-klasser direkt
  • [SPARK-50056] [SC-181378][SQL] Codegen Support for ParseUrl (by Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][SS][PYTHON] Stöder initial tillståndshantering för TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][SS] Åtgärda begränsningen av måttberäkning med DSv1-strömmande källor
  • [SPARK-49874] [SC-178303][SQL] Ta bort trim- och ltrim-sorteringsspecificerare.
  • [SPARK-49513] [SC-180339][SS] Lägg till stöd för timer i transformWithStateInPandas API
  • [SPARK-49119] [SC-175607][SQL] Åtgärda inkonsekvensen i syntaxen show columns mellan v1 och v2
  • [SPARK-49206] [SC-173704][CORE][UI] Lägg till Environment Variables tabell i Master EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] Lägg till implicit cast för åtkomst till sorterad karta med literal
  • [SPARK-50049] [SC-181659][SQL] Stödjer anpassade drivrutinsmått för att skriva till v2-tabell
  • [SPARK-50171] [SC-180295][PYTHON] Gör numpy valfritt för KDE-ritning
  • [SPARK-49962] [SC-179320][SQL] Förenkla AbstractStringTypes-klasshierarkin
  • [SPARK-50226] [SC-181483][SQL] Korrekt MakeDTInterval och MakeYMInterval för att fånga Java-undantag
  • [SPARK-48775] [SC-170801][SQL][STS] Ersätt SQLContext med SparkSession i STS
  • [SPARK-49015] [SC-175688][CORE] Connect Server bör respektera spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][SQL][16.x] Utvinna funktionslösning för att återanvändas i enkelpass-analysatorn
  • [SPARK-49995] [SC-180762][SQL] Lägg till stöd för namngivna argument i fler TVF:er
  • [SPARK-49268] [SC-174903][CORE] Registrera I/O-undantag i historiktjänsten för SHS
  • [SPARK-48123] [SC-164989][Core] Ange ett konstant tabellschema för att fråga efter strukturerade loggar
  • [SPARK-49217] [SC-174904][CORE] Stöd för separat konfiguration av buffertstorlek i UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][SQL][16.x] Extrahera aliasupplösning för att återanvändas i enkelpassanalysatorn
  • [SPARK-50322] [SC-181665][SQL] Åtgärda parameterstyrd identifierare i en delfråga
  • [SPARK-48400] [SC-175283][CORE] Höj upp PrometheusServlet till DeveloperApi
  • [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Stödjer Python 3.13 i Spark Connect
  • [SPARK-50152] [SC-181264][SS] Support handleInitialState med tillståndsdatakällläsare
  • [SPARK-50260] [SC-181271][CONNECT] Omstrukturera och optimera Spark C...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrera logInfo med variabler till strukturerat loggningsramverk
  • [SPARK-49312] [SC-174672][PYTHON] Förbättra felmeddelandet för assertSchemaEqual
  • [SPARK-49439] [SC-175236][SQL] Åtgärda det snygga namnet på FromProtobuf & ToProtobuf-uttrycket
  • [SPARK-50092] [ES-1258521] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
  • [SPARK-49913] [SC-181565][SQL] Lägg till kontroll av unika etikettnamn i kapslade etiketterade omfång
  • [SPARK-49563] [SC-181465][SQL] Lägg till SQL-rörsyntax för operatorn WINDOW
  • [SPARK-49661] [SC-179021][SQL] Implementera trimsorteringsordningshashing och jämförelse.
  • [SPARK-38912] [SC-181543][PYTHON] Ta bort kommentaren som rör classmethod och egenskapen
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Förbättra RocksDB SST-filhantering och lösa problemet med att läsa in samma version med en befintlig ögonblicksbild
  • [SPARK-49002] Återställ "[SC-172846][SQL] Hanterar konsekvent ogiltiga platser i WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49668] [SC-178268][SQL] Implementera sorteringsnyckelstöd för trimsortering
  • [SPARK-50262] [SC-181193][SQL] Förbjud specifikation av komplexa typer vid ändring av sortering
  • [SPARK-48898] [SC-181435][SQL] Lägg till funktioner för variantstrimling
  • [SPARK-48273] [SC-181381]Återställ "[SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][CORE] Support spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] Support spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] Ersättningarna för IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 ska vara intoleranta mot null-värden
  • [SPARK-50247] [SC-180962][CORE] Definiera BLOCK_MANAGER_REREGISTRATION_FAILED som ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] Förenkla TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] Som gör att TransformWithState-operatorn kan använda Avro-kodning
  • [SPARK-50267] [SC-181180][ML] Förbättra TargetEncoder.fit med DataFrame-API:er
  • [SPARK-37178] [SC-180939][ML] Lägg till målkodning i ml.feature
  • [SPARK-50118] [SC-181259][CONNECT] Återställ isolerad tillstånds-cache när aktiviteter körs
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Få lit(ndarray) med np.int8 att respektera numpy-datatypen
  • [SPARK-50256] [SC-181048][SQL] Lägg till enkel validering för att kontrollera om en logisk plan blir olöst efter varje optimerarregel
  • [SPARK-50196] [SC-180932][CONNECT] Åtgärda Python-felkontexten för att använda en korrekt kontext
  • [SPARK-50274] [SC-181181][CORE] Skydda mot användning efter stängning i DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] Stöd för valfri "kolumn"-parameter i rut-, kde- och histogramdiagram
  • [SPARK-50273] [SC-181178][SS] Förbättra loggning för RocksDB-lås för att hämta/släppa ärenden
  • [SPARK-50033] [SC-180720][SC-180659][SQL] Lägg till en ledtråd till logiskt Aggregate() Node
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Åtgärda extra frigivning av acquireLock i RocksDB på grund av slutförandelyssnaren
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join bör inte hämta kontrollpunkts-ID om det inte stöds.
  • [SPARK-50255] [SC-180964][PYTHON] Undvik onödig gjutning i compute_hist
  • [SPARK-50228] [SC-180780][SQL] Flytta RewriteCollationJoin-regeln till FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Justera "precision" så att den ingår i kwargs för lådritningar
  • [SPARK-49637] [SC-180160][SQL] Ändrat felmeddelande för INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][PYTHON] Hämta aktiv session från dataramar
  • [SPARK-50195] [SC-180654][CORE] Åtgärda StandaloneRestServer för att sprida spark.app.name till SparkSubmit korrekt
  • [SPARK-50229] [SC-180773] Minska minnesanvändningen på drivrutinen för breda scheman genom att minska livslängden för AttributReferensobjekt som skapas under logisk planering
  • [SPARK-50231] [SC-180815][PYTHON] Låt funktionen instr acceptera kolumnen substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Klona artefakthanteraren under kloning av session
  • [SPARK-50219] [SC-180694][SQL] Refaktorisera ApplyCharTypePadding så att hjälpmetoder kan användas i enpasslösare
  • [SPARK-50077] [SC-179827][SQL] Introducera ett nytt mönsterobjekt för LogicalRelation för att undvika standardmönstret för fullständiga params
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Lägg till tillståndskänsliga API:er för processorhandtag med implicita kodare i Scala
  • [SPARK-50061] [SC-179961][SQL] Aktivera analystabell för sorterade kolumner
  • [SPARK-49993] [SC-180084][SQL] Förbättra felmeddelanden för summa och medelvärde
  • [SPARK-49638] [SC-179665][SQL] Ta bort ANSI-konfigurationsförslaget i INVALID_URL
  • [SPARK-50204] [SC-180660][SQL] Bryt ut HiveTableRelation läsvägsupplösning
  • [SPARK-50193] [SC-180651][SS] Åtgärda undantagshantering för validering av tidslägen
  • [SPARK-50179] [SC-180342][CORE] Gör egenskapen spark.app.name valfri i REST API
  • [SPARK-50068] [SC-180300][SQL] Omstrukturera TypeCoercion och AnsiTypeCoercion för att separera transformeringar för enskilda noder
  • [SPARK-49411] [SC-179483][SS] Kommunicera kontrollpunkts-ID för tillståndslager mellan drivrutins- och tillståndskänsliga operatorer
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET bör bevara dataordningen
  • [SPARK-49506] [SC-180165][SQL] Optimera ArrayBinarySearch för vikbar matris
  • [SPARK-50097] [SC-179908][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] Lägg till try_make_timestamp(_ltz och _ntz) och relaterade tester
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] Stöd för histogramritningar
  • [SPARK-50015] [SC-179964][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Flytta scala- och java-filer till standardmapparna
  • [SPARK-49980] [SC-180353][CORE][SQL] Åtgärda potentiella filströmsläckor som orsakas av avbrott i avbrutna processer
  • [SPARK-49010] [SC-172304][SQL][XML] Lägg till enhetstester för skiftlägeskänslighet vid XML-schemas inferens
  • [SPARK-49562] [SC-180211][SQL] Lägg till SQL-rörsyntax för aggregering
  • [SPARK-49663] [SC-180239][SQL] Aktivera RTRIM-förslag i sorteringsuttryck
  • [SPARK-48965] [SC-175926][SQL] Använd rätt schema i Dataset#toJSON
  • [SPARK-48493] [SC-175893][PYTHON] Förbättra Python Datasource Reader med direkt Arrow Batch-stöd för bättre prestanda
  • [SPARK-49734] [SC-180226][PYTHON] Lägg till seed argument för funktion shuffle
  • [SPARK-50174] [16.x][SC-180253][SQL] Utdela UnresolvedCatalogRelation resolution
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] Stöd för kde/densitetsritningar
  • [SPARK-49805] [SC-180218][SQL][ML] Ta bort privata[xxx] funktioner från function.scala
  • [SPARK-49808] [SC-179490][SQL] Åtgärda ett dödläge i underförfrågan på grund av lata värden
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] Stöd för låddiagram
  • [SPARK-50008] [SC-179290][PS][CONNECT] Undvik onödiga åtgärder i attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][PS][CONNECT] Omstrukturera intern funktionsanrop
  • [SPARK-49683] [SC-178341][SQL] Block trim kollation
  • [SPARK-49939] [SC-178941][SQL] Kodgenereringsstöd för json_object_keys (genom Invoke & RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][SQL] Lägg till uttrycket TryParseUrl
  • [SPARK-49766] [SC-178933][SQL] Codegen Support för json_array_length (av Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][SS] Använd stabil ordning på EventTimeWatermark-noden för att beräkna vattenstämpeln
  • [SPARK-49540] [SC-180145][PS] Förena användningen av distributed_sequence_id
  • [SPARK-50060] [SC-179965][SQL] Inaktiverad konvertering mellan olika sorterade typer i TypeCoercion och AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][CONNECT] Använd separat register för interna funktioner för kolumn-API:et
  • [SPARK-49811] [SC-177888][SQL]Byt namn på StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] Tillämpa ArrayBinarySearch för histogram
  • [SPARK-49203] [SC-175734][SQL] Lägg till uttryck för java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][CORE] Åtgärda felrapportering av allvarliga fel som oavsiktliga undantag i SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][SQL] Sortering som använder ICU bör ha versionen av det använda ICU-biblioteket
  • [SPARK-49985] [SC-179644][SQL] Ta bort stöd för intervalltyper i Variant
  • [SPARK-49103] [SC-173066][CORE] Stöd spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Omstrukturera ResolveBinaryArithmetic till separat transformering med en nod
  • [SPARK-49902] [SC-179650][SQL] Fånga underliggande körningsfel i RegExpReplace
  • [SPARK-49126] [SC-173342][CORE] Flytta spark.history.ui.maxApplications konfigurationsdefinition till History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] Bättre felmeddelande när du använder minnesprofilerare i redigeringsprogram utan radnummer
  • [SPARK-50062] [SC-179835][SQL] Stödsortering efter InSet
  • [SPARK-50035] [Backport][16x][SC-179530][SS] Lägg till stöd för explicit handleExpiredTimer-funktionsdel av den tillståndskänsliga processorn
  • [SPARK-49982] [SC-179814][SQL] Åtgärda negativ cachelagring i InMemoryRelation
  • [SPARK-49082] [SC-173350][SQL] Breddning av typhöjningar i AvroDeserializer
  • [SPARK-50088] [SC-179680][SQL] Refaktor UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] Lägg till stöd för ändringsflödesläsning för kart- och listtyper som används i tillståndsprocessorer.
  • [SPARK-49846] [SC-179506][SS] Lägg till numUpdatedStateRows och numRemovedStateRows-mått för användning med transformWithState-operatorn
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Gör så att lit accepterar str och bool typer av numpy ndarray
  • [SPARK-49821] [SC-179527][SS][PYTHON] Implementera MapState- och TTL-stöd för TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][SQL] Lägg till SQL-rörsyntax för LIMIT/OFFSET och ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][LC-4080][SQL] Åtgärda canPlanAsBroadcastHashJoin för att respektera shuffle join-tips
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] Göra lit att fungera med tom numpy ndarray
  • [SPARK-50018] [SC-179488][SQL] Gör AbstractStringType serieklar
  • [SPARK-50016] [SC-179491][SQL] Förbättra explicit sorteringsfel
  • [SPARK-50010] [SC-179487][SQL] Utöka implicit fel vid kollationsmissanpassning
  • [SPARK-48749] [SC-170116][SQL] Förenkla UnaryPositive och eliminera dess Katalysatorregler med RuntimeReplaceable
  • [SPARK-49857] [SC-178576][SQL] Lägg till storageLevel till Dataset localCheckpoint API
  • [SPARK-50058] [SC-179538][SQL] Faktorisera ut plannormaliseringsfunktioner för att senare använda dessa i enkel-pass Analyzer-tester
  • [SPARK-50052] [SC-179535][PYTHON][16.X] Gör så att NumpyArrayConverter stöder tomma str ndarray
  • [SPARK-47261] [SC-173665][SQL] Tilldela bättre namn för fel _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 och _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][CORE] Markera KryoRegistrator med DeveloperApi-gränssnittet
  • [SPARK-48949] [SC-173070][SQL] SPJ: Körningspartitionsfiltrering
  • [SPARK-50044] [SC-179523][PYTHON] Förfina docstring av flera matematiska funktioner
  • [SPARK-48757] [SC-170113][CORE] Gör IndexShuffleBlockResolver att ha explicita konstruktorer
  • [SPARK-50037] [SQL] RefaktorattributSeq.resolve(...)
  • [SPARK-48782] [SC-177056][SQL] Lägg till stöd för att köra procedurer i kataloger
  • [SPARK-49057] [SC-173081][SQL] Blockera inte AQE-loopen när du skickar frågesteg
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Lägg till SQL-syntax för identitetskolumn
  • [SPARK-48773] [SC-170773] Dokumentera konfigurationen "spark.default.parallelism" genom konfigurationsbyggarramverket
  • [SPARK-48735] [SC-169810][SQL] Prestandaförbättring för BIN-funktionen
  • [SPARK-48900] [SC-172433] Lägg till fältet reason för alla interna anrop för uppsägning av jobb/fas
  • [SPARK-48488] [SC-167605][CORE] Åtgärda metoder log[info|warning|error] i SparkSubmit
  • [SPARK-48708] [SC-169809][CORE] Ta bort tre onödiga typregistreringar från KryoSerializer
  • [SPARK-49958] [SC-179312][PYTHON] Python API för strängverifieringsfunktioner
  • [SPARK-49979] [SC-179264][SQL] Åtgärda AQE-hängningsproblem när du samlar in data två gånger på en misslyckad plan
  • [SPARK-48729] [SC-169795][SQL] Lägg till ett UserDefinedFunction-gränssnitt för att representera en SQL-funktion
  • [SPARK-49997] [SC-179279][SQL] Integrera _LEGACY_ERROR_TEMP_2165 i MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][SS]Skapa storleksbaserad partition vid kafka-läsning
  • [SPARK-48129] [SC-165006][PYTHON] Ange ett konstant tabellschema i PySpark för att fråga efter strukturerade loggar
  • [SPARK-49951] [SC-179259][SQL] Tilldela rätt felvillkor för LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][SQL] Integrera _LEGACY_ERROR_TEMP_1252 i EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][CONNECT] Bli av med globala lås från Spark Connect Service
  • [SPARK-49957] [SC-179202][SQL] Scala API för strängverifieringsfunktioner
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener bör inte påverkas av spark.interrupt()
  • [SPARK-49643] [SC-179239][SQL] Slå samman _LEGACY_ERROR_TEMP_2042 till ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][SQL] Fix ColumnarArray.copy() för att läsa null-värden från rätt offset
  • [SPARK-49956] Återställ "[SC-179070] Inaktiverade sorteringar med collect_set uttryck"
  • [SPARK-49987] [SC-179180][SQL] Åtgärda felmeddelandet när seedExpression inte kan vikas i randstr
  • [SPARK-49948] [SC-179158][PS][CONNECT] Lägg till parametern "precision" i Pandas på Spark-boxdiagram
  • [SPARK-49970] [SC-179167][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][SQL] Kasta lämpligt undantag för typkonflikt mellan ColumnType och datatyp i vissa rader
  • [SPARK-49956] [SC-179070] Inaktiverade sorteringar med uttrycket collect_set
  • [SPARK-49974] [16.x][SC-179071][SQL] Flytta resolveRelations(...) från Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] Tilldela namn till felvillkor för intervallfel
  • [SPARK-47430] [SC-173679][SQL] Omarbeta grupp efter karttyp för att åtgärda bindningsreferensfel
  • [SPARK-49067] [SC-172616][SQL] Flytta utf-8-literal till interna metoder i UrlCodec-klassen
  • [SPARK-49955] [SC-178989][SQL] null-värde betyder inte skadad fil vid parsning av JSON-sträng RDD
  • [SPARK-49393] [SC-175212][SQL] Misslyckas som standard i inaktuella API:er för katalog-plugin-program
  • [SPARK-49952] [SC-178985][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][SQL] Begränsa teckenuppsättningar i JsonOptions
  • [SPARK-49892] [SC-178975][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][SQL] Tilldela namn till felklasserna _LEGACY_ERROR_TEMP_105[3-4] och _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] Hantera nollor och ettor i ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][CORE] Använd skrivskyddad åtkomst till konfigurationsfilen i SparkContext när det är lämpligt
  • [SPARK-49666] [SC-177891][SQL] Lägg till funktionsflagga för trimcollationsfunktionen
  • [SPARK-48885] [SC-171050][SQL] Göra så att vissa underklasser av RuntimeReplaceable skriver över replacement till lazy val
  • [SPARK-49932] [SC-178931][CORE] Använd tryWithResource frigjorda JsonUtils#toJsonString resurser för att undvika minnesläckor
  • [SPARK-49949] [SC-178978][PS] Undvik onödig analys i attach_sequence_column
  • [SPARK-49924] [SC-178935][SQL] Behåll containsNull efter ersättning av ArrayCompact
  • [SPARK-49121] [SC-174787][SQL] Stöd from_protobuf och to_protobuf för SQL-funktioner
  • [SPARK-47496] [SC-160529][SQL] Java SPI-stöd för dynamisk JDBC-dialektregistrering
  • [SPARK-49359] [SC-174895][SQL] Tillåt att StagedTableCatalog-implementeringar återgår till icke-atomisk skrivning
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] Förbättra felmeddelandet vid efterföljande kommatecken i SELECT-sats
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer: Document Mapping Spark SQL Data Types from Microsoft SQL Server och lägg till tester
  • [SPARK-46037] [SC-175495][SQL] Korrigering av korrekthet för shuffled hash join build left without codegen
  • [SPARK-47813] [SC-162615][SQL] Ersätt getArrayDimension med updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] Fel vid utvärdering av partitionstransformationsundantag
  • [SPARK-47172] [SC-169537][CORE] Lägg till stöd för AES-GCM för RPC-kryptering
  • [SPARK-47666] [SC-161476][SQL] Åtgärda NPE vid läsning av mysql-bitmatris som LongType
  • [SPARK-48947] [SC-174239][SQL] Använd lägre teckenuppsättningsnamn för att minska cachen som saknas i Charset.forName
  • [SPARK-49909] [SC-178552][SQL] Åtgärda det vackra namnet på vissa uttryck
  • [SPARK-47647] [SC-161377][SQL] Gör MySQL-datakällan kunna läsa bit(n>1) som BinaryType som Postgres
  • [SPARK-46622] [SC-153004][CORE] Åsidosätt toString metod för o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][PYTHON] Gör parameternamngivningen för PySparkException konsekvent med JVM
  • [SPARK-49889] [SC-178474][PYTHON] Lägg till argument trim för funktionertrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] Korrigera feldatatypmappning på MySQL Connector/J
  • [SPARK-47628] [SC-161257][SQL] Åtgärda problem med Postgres-bitmatrisen "Det går inte att casta till booleskt värde"
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] Korrigera ändringskommentar för char/varchar-kolumner
  • [SPARK-49549] [SC-178764][SQL] Tilldela ett namn till felvillkoren _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] Gör DelegatingCatalogExtension mer utökningsbar
  • [SPARK-49559] [SC-178551][SQL] Lägg till SQL pipe-syntax för uppsättningsåtgärder
  • [SPARK-49906] [SC-178536][SQL] Introducera och använda CONFLICTING_DIRECTORY_STRUCTURES fel för PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] Ändra funktionssignaturen för classifyException: lägg till isRuntime-argument
  • [SPARK-47501] [SC-160532][SQL] Lägg till convertDateToDate likt den befintliga convertTimestampToTimestamp för JdbcDialect
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType bör returnera underordnad vid fel
  • [SPARK-47462] [SC-160460][SQL] Justera mappningar för andra osignerade numeriska typer med TINYINT i MySQLDialect
  • [SPARK-47435] [SC-160129][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT som orsakas av SPARK-45561
  • [SPARK-49398] [SC-176377][SQL] Förbättra felet för parametrar i frågan om CACHE TABLE och CREATE VIEW
  • [SPARK-47263] [SC-177012][SQL] Tilldela namn till äldre villkor _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] Åtgärda meddelandet när ascendingOrder är DataTypeMismatch i SortArray
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Ta bort redundanta blank space efter show i Scala och Connect klienter
  • [SPARK-47258] [SC-175032][SQL] Tilldela namn till felklasser _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] Lägg till SQL-rörsyntax för operatorn JOIN
  • [SPARK-49836] [SC-178339][SQL][SS] Åtgärda eventuellt trasig fråga när ett fönster tillhandahålls till funktionen window/session_window
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Hantera SQL-tidsstämplar för Postgres och MySQL
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] Stöd för cirkeldiagram
  • [SPARK-49824] [SC-178251][SS][CONNECT] Förbättra loggningen i SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] Förfina strängrepresentationen av kolumnfältsåtgärder
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] Stödområdesritningar
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] Stöd för punktdiagram
  • [SPARK-49744] [SC-178363][SS][PYTHON] Implementera TTL-stöd för ListState i TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][CORE] Flytta TransportCipherUtil till en separat fil för att eliminera Java-kompileringsvarningar
  • [SPARK-49866] [SC-178353][SQL] Förbättra felmeddelandet för beskriv tabell med partitionskolumner
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][PYTHON] Uppdatera samplingsmetoden för exempelbaserade diagram
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Stöd för vågräta och lodräta stapeldiagram
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] Stöd för linjediagram med Plotly-backend
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] Modifierad UnivocityParser så att den kastar körningsexceptioner orsakade av ArrayIndexOutOfBounds med mer användarinriktade meddelanden.
  • [SPARK-49870] [SC-178262][PYTHON] Lägg till Python 3.13-stöd i Spark Classic
  • [SPARK-49560] [SC-178121][SQL] Lägg till SQL-rörsyntax för operatorn TABLESAMPLE
  • [SPARK-49864] [SC-178305][SQL] Förbättra meddelandet om BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][SQL] Gör NamedParametersSupport-fel mer generiska för att hantera funktioner och procedurer
  • [SPARK-49358] [SC-178158][SQL] Lägesuttryck för karttyper med sorterade strängar
  • [SPARK-47341] [SC-178157][SQL] Åtgärda felaktig dokumentation om RuntimeConfig#get
  • [SPARK-48357] [SC-178153][SQL] Stöd för LOOP-instruktion
  • [SPARK-49845] [SC-178059][CORE] Gör appArgs och environmentVariables valfria i REST API
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable bör ange om den ska skrivas
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala
  • [SPARK-48700] [SC-177978][SQL] Lägesuttryck för komplexa typer (alla sorteringar)
  • [SPARK-48196] [SC-177899][SQL] Förvandla QueryExecution lazy val plans till LazyTry
  • [SPARK-49749] [16.x][SC-177877][CORE] Ändra loggnivå för felsökning i BlockManagerInfo
  • [SPARK-49561] [SC-177897][SQL] Lägg till SQL-rörsyntax för operatorerna PIVOT och UNPIVOT
  • [SPARK-49823] [SC-177885][SS] Undvik tömning under avstängning i rocksdb close path
  • [SPARK-49820] [SC-177855] [PYTHON] Ändra raise IOError till raise OSError
  • [SPARK-49653] [SC-177266][SQL] Enkel koppling för korrelerade skalära underfrågor
  • [SPARK-49552] [SC-177477][PYTHON] Lägg till Stöd för DataFrame API för nya SQL-funktioner "randstr" och "uniform"
  • [SPARK-48303] [16.x][SC-166251][CORE] Omorganisera LogKeys
  • [SPARK-49656] [16x][Backport][SS] Lägg till stöd för tillståndsvariabler med samlingstyper för tillståndsvärden och alternativ för att läsa ändringsflöde
  • [SPARK-48112] [SC-165129][CONNECT] Exponera session i SparkConnectPlanner för plugin-program
  • [SPARK-48126] [16.x][SC-165309][Core] Gör spark.log.structuredLogging.enabled fungerande
  • [SPARK-49505] [SC-176873][SQL] Skapa nya SQL-funktioner "randstr" och "uniform" för att generera slumpmässiga strängar eller tal inom intervall
  • [SPARK-49463] [SC-177474] Stöd ListState för TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][Core] Enhetliga MDC-nyckel mdc.taskName och task_name
  • [SPARK-49557] [SC-177227][SQL] Lägg till SQL-rörsyntax för operatorn WHERE
  • [SPARK-49323] [16.x][SC-174689][CONNECT] Flytta MockObserver från Spark Connect Server-testmappen till serverns huvudmapp
  • [SPARK-49745] [SC-177501][SS] Lägg till ändring för att läsa registrerade timers via tillståndsdatakällläsare
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Ta bort ColumnFamilyOptions och lägg till konfigurationer direkt i dbOptions i RocksDB

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • operativsystem: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
annoterade typer 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autokommandon 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 svart 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 klicka 8.1.7
cloudpickle 2.2.1 Kommun 0.2.1 contourpy 1.2.0
kryptografi 42.0.5 cyklist 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
dekoratör 5.1.1 Föråldrad 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 inträdespunkter 0.4 Utförande 0.8.3
översikt över facetter 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
böja 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantiska-konventioner 0.48b0
emballage 24.1 Pandor 1.5.3 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.6 pexpect 4.8.0
kudde 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantisk 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Förfrågningar 2.32.2 rep 1.12.0 RSA 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 sex 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 orubblighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeskydd 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typer av förfrågningar 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 obevakade uppgraderingar 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 hjul 0.43.0 wrapt 1.14.1
yapf 0.33.0 blixtlås 3.17.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshoten den 4 augusti 2024.

Bibliotek Version Bibliotek Version Bibliotek Version
pil 16.1.0 askpass 1.2.0 assertthat 0.2.1
backportar 1.5.0 bas 4.4.0 base64enc 0.1-3
bigD 0.2.0 lite 4.0.5 bit64 4.0.5
bitops 1.0-8 klump 1.2.4 stövel 1.3-30
brygga 1.0-10 Brio 1.1.5 kvast 1.0.6
bslib 0.8.0 cachem 1.1.0 anropare 3.7.6
Karet 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 Cli 3.6.3 clipr 0.8.0
klocka 0.7.1 kluster 2.1.6 codetools 0.2-20
färgrymd 2.1-1 commonmark 1.9.1 kompilator 4.4.0
konfiguration 0.3.2 kluven 1.2.0 cpp11 0.4.7
krita 1.5.3 Autentiseringsuppgifter 2.0.1 hårlock 5.2.1
data.table 1.15.4 Datamängder 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Beskrivning 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.36
nedåtlysande 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluera 0.24.0
fan 1.0.6 färger 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-86 forma 0.2.0 Fs 1.6.4
framtid 1.34.0 future.apply 1.11.2 gurgla 1.5.2
Generika 0.1.3 Gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.4.0 grDevices 4.4.0 rutnät 4.4.0
gridExtra 2.3 gsubfn 0.7 Gt 0.11.0
gtable 0.3.5 skyddshjälm 1.4.0 hamn 2.5.4
högre 0.11 HMS 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Idn 1.0.1 ini 0.3.1
Ipred-direktivet 0.9-15 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 Märkning 0.4.3
senare 1.3.2 Galler 0.22-5 lava 1.8.0
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MASSA 7.3-60.0.1
Matris 1.6-5 memorera 2.0.1 metoder 4.4.0
mgcv 1.9-1 MIME 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallell 4.4.0
parallellt 1.38.0 pelare 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 framsteg 1.2.3
progressr 0.14.0 Löften 1.3.0 Proto 1.0.0
proxy 0.4-27 PS 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reagerbar 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recept 1.1.0 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.5.0 reproducerbart exempel 2.1.1 omforma2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversioner 2.1.2 rvest 1.0.4 Sass 0.4.9
våg 1.3.0 selectr 0.4-2 sessionsinfo 1.2.2
form 1.4.6.1 skinande 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 rumslig 7.3-17 Splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.4.0
stats4 4.4.0 sträng 1.8.4 stringr 1.5.1
överlevnad 3.6-4 Självsäkert sätt 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 tidsändring 0.3.0
tidDatum 4032.109 tinytex 0.52 arbetsredskap 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 använd detta 3.0.0
utf8 1.2.4 verktyg 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryoskuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguration 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
filuppladdning på commons filuppladdning på commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics hälsokontroller av metrik 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffert 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr strängmall 3.2.1
org.apache.ant myra 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator kurerade recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-allmänn 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper djurvårdare 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty Jetty-säkerhet 9.4.52.v20230823
org.eclipse.jetty Jetty-server 9.4.52.v20230823
org.eclipse.jetty Jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi_resource_locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap brickor 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1