Dela via

Databricks Runtime 15.2 (EoS)

  • Artikel

Not

Stödet för den här Databricks Runtime-versionen har upphört. Information om supportens slut finns i historik för supportens slut. Se alla stödda Databricks Runtime-versioner i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande versionsanteckningar innehåller information om Databricks Runtime 15.2, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i maj 2024.

Tips

Information om hur du ser versionsinformation för Databricks Runtime-versioner som har nått slut på support (EoS), se Versionsinformation om Databricks Runtime. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Beteendeändringar

Vacuum rensar upp COPY INTO metadatafiler

Om du kör VACUUM på en table som skrivits med COPY INTO rensas nu orefererad metadata som har med spårning av importerade filer att göra. Det finns ingen inverkan på driftssemantiken för COPY INTO.

Lakehouse Federation är allmänt tillgänglig (GA)

I Databricks Runtime 15.2 och senare är Lakehouse Federation kontakter för följande databastyper generellt tillgängliga (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snöflinga
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Den här versionen introducerar också följande förbättringar:

  • Stöd för autentisering med enkel inloggning (SSO) i Snowflake- och Microsoft SQL Server-anslutning.

  • Stöd för Azure Private Link för SQL Server-anslutningsappen från serverlösa beräkningsmiljöer. Se steg 3: Skapa privata slutpunktsregler.

  • Stöd för fler typer av pushdowns (sträng-, matematik- och diverse funktioner).

  • Förbättrad framgångsfrekvens för pushdown över olika frågeformat.

  • Ytterligare funktioner för felsökning av pushdown:

    • I EXPLAIN FORMATTED-utdata visas den nedtryckta frågetexten.
    • Användargränssnittet för frågeprofilen visar den nedtryckta frågetexten, federerade nodidentifierare och JDBC-frågekörningstider (i utförligt läge). Se Visa systemgenererade federerade frågor.

BY POSITION för column-mappning med COPY INTO utan rubriker i CSV-filer

I Databricks Runtime 15.2 och senare kan du använda BY POSITION-nyckelord (eller alternativ syntax ( col_name [ , <col_name> ... ] )) med COPY INTO för CSV-filer utan rubrik för att förenkla mappningen från källa column till mål tablecolumn. Se Parameters.

Minska minnesförbrukningen när Spark-uppdrag får ett Resubmitted-fel

I Databricks Runtime 15.2 och senare är returvärdet för Spark TaskInfo.accumulables()-metoden tomt när aktiviteter misslyckas med ett Resubmitted fel. Tidigare returnerade metoden values av ett tidigare lyckat uppgiftsförsök. Den här beteendeändringen påverkar följande konsumenter:

  • Spark-uppgifter som använder klassen EventLoggingListener.
  • Anpassade Spark-lyssnare.

För att restore det tidigare beteendet, setspark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled till false.

Visning av versioner av adaptiv(a) frågekörningsplan(er) är inaktiverad

För att minska minnesförbrukningen inaktiveras nu AQE-planversioner (adaptiv frågekörning) som standard i Spark-användargränssnittet. För att möjliggöra visning av AQE-planversioner i Spark-användargränssnittet, setspark.databricks.sql.aqe.showPlanChangesInUI.enabled till true.

Limit för sparade förfrågningar sänks för att minska minnesanvändningen i Spark UI

I Databricks Runtime 15.2 och senare, för att minska det minne som förbrukas av Spark-användargränssnittet i Azure Databricks-beräkningen, sänks limit på antalet frågor som visas i användargränssnittet från 1000 till 100. Om du vill ändra limitset ett nytt värde med hjälp av spark.sql.ui.retainedExecutions Spark-konfigurationen.

DESCRIBE HISTORY visar nu klustring columns för tables som använder vätskeklustering

När du kör en DESCRIBE HISTORY fråga visar operationParameterscolumn som standard ett clusterBy fält för CREATE OR REPLACE och OPTIMIZE åtgärder. För en Delta-table som använder flytande klustring fylls fältet clusterBy med tableklustring columns. Om table inte använder flytande klustring är fältet tomt.

Nya funktioner och förbättringar

Stöd för primära och utländska nycklar är nu allmänt tillgängligt

Stöd för primära och externa nycklar i Databricks Runtime är allmänt tillgängligt. Ga-versionen innehåller följande ändringar av de behörigheter som krävs för att använda primära och externa nycklar:

  • Om du vill definiera en sekundärnyckel måste du ha SELECT behörighet på table med den primärnyckel som sekundärnyckeln refererar till. Du behöver inte ha table med den primära nyckeln, vilket tidigare krävdes.
  • Att ta bort en primärnyckel med hjälp av CASCADE-satsen kräver inte behörigheter för tables som definierar främmande nycklar som refererar till primärnyckeln. Tidigare behövde du äga referensen tables.
  • Att ta bort en table som innehåller begränsningar kräver nu samma behörigheter som att släppa tables som inte innehåller begränsningar.

Information om hur du använder primära och externa nycklar med tables eller viewsfinns i CONSTRAINT-satsen, ADD CONSTRAINT-satsenoch DROP CONSTRAINT-satsen.

Flytande klustring är GA

Stöd för flytande klustring är nu allmänt tillgängligt med Databricks Runtime 15.2 och senare. Se Använd flytande klustring för Delta tables.

Typbreddning är tillgänglig i offentlig förhandsversion

Nu kan du aktivera typbreddning på tables som stöds av Delta Lake. Tables med typbreddning aktiverat kan du ändra typen av columns till en bredare datatyp utan att skriva om underliggande datafiler. Se Typbreddning.

Schema evolutionssatsen har lagts till i SQL-sammanslagningssyntaxen

Nu kan du lägga till WITH SCHEMA EVOLUTION-satsen i en SQL-kopplingsinstruktion för att möjliggöra schema-utveckling för åtgärden. Se Schema evolutionssyntax för sammanslagning.

Anpassade PySpark-datakällor är tillgängliga i offentlig förhandsversion

En PySpark DataSource kan skapas med hjälp av Python-API:et (PySpark) DataSource, som gör det möjligt att läsa från anpassade datakällor och skriva till anpassade datamottagare i Apache Spark med python. Se anpassade datakällor i PySpark

applyInPandas och mapInPandas är nu tillgängliga i Unity Catalog beräkningsmiljö med delad åtkomstläge.

Som en del av en underhållsversion av Databricks Runtime 14.3 LTS stöds nu applyInPandas och mapInPandas UDF-typer i beräkningsläge för delad åtkomst som kör Databricks Runtime 14.3 och senare.

Använd dbutils.widgets.getAll() för att get alla widgetar i en notebook-fil

Använd dbutils.widgets.getAll() för att get alla widgetar values i en anteckningsbok. Detta är särskilt användbart när du skickar flera widgetar values till en Spark SQL-fråga.

Vacuum inventeringsstöd

Du kan nu ange en inventering av filer att tänka på när du kör kommandot VACUUM på en Delta-table. Se OSS Delta-dokument.

Stöd för Zstandard-komprimeringsfunktioner

Nu kan du använda funktionerna zst_compress, zstd_decompressoch try_zstd_decompress för att komprimera och dekomprimera BINARY data.

Felkorrigeringar

I SQL-användargränssnittet visas frågeplanerna nu korrekt som PhotonWriteStage.

Vid visning i SQL-användargränssnittet visade write-kommandon i frågeplanen felaktigt PhotonWriteStage som operator. Med den här versionen uppdateras användargränssnittet för att visa PhotonWriteStage som en fas. Detta är endast en ändring av användargränssnittet och påverkar inte hur frågor körs.

Ray har uppdaterats för att åtgärda problem med att starta Ray-kluster

Den här versionen innehåller en korrigerad version av Ray som åtgärdar en icke-bakåtkompatibel ändring som hindrar Ray-kluster från att starta med Databricks Runtime för Machine Learning. Den här ändringen säkerställer att Ray-funktionerna är identiska med versioner av Databricks Runtime tidigare än 15.2.

Felklassen korrigerades för funktionerna DataFrame.sort() och DataFrame.sortWithinPartitions()

Den här versionen innehåller en update till funktionerna PySpark DataFrame.sort() och DataFrame.sortWithinPartitions() för att säkerställa att ZERO_INDEX felklass genereras när 0 skickas som indexargument. Tidigare kastades felklassen INDEX_NOT_POSITIVE.

ipywidgets nedgraderas från 8.0.4 till 7.7.2

För att åtgärda fel som introduceras genom en uppgradering av ipywidgets till 8.0.4 i Databricks Runtime 15.0 nedgraderas ipywidgets till 7.7.2 i Databricks Runtime 15.2. Det här är samma version som ingår i tidigare Databricks Runtime-versioner.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • GitPython från 3.1.42 till 3.1.43
    • google-api-core från 2.17.1 till 2.18.0
    • google-auth från 2.28.1 till 2.29.0
    • google-cloud-storage från 2.15.0 till 2.16.0
    • googleapis-common-protos från 1.62.0 till 1.63.0
    • ipywidgets från 8.0.4 till 7.7.2
    • mlflow-skinny från 2.11.1 till 2.11.3
    • s3transfer från 0.10.0 till 0.10.1
    • sqlparse från 0.4.4 till 0.5.0
    • typing_extensions från 4.7.1 till 4.10.0
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • com.amazonaws.aws-java-sdk-autoscaling från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-config från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-core från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-directory från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ecs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-efs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-emr från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-glacier från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-glue från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-iam från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-importexport från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-kms från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-lambda från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-logs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-rds från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-redshift från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-route53 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-s3 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ses från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sns från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sqs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ssm från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sts från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-support från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces från 1.12.390 till 1.12.610
    • com.amazonaws.jmespath-java från 1.12.390 till 1.12.610

Apache Spark

Databricks Runtime 15.2 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.1 (EoS)samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Vidarebefordra initieringsfel för ForeachBatch-arbetare till PySpark-användare
  • [SPARK-47412] [SC-163455][SQL] Lägg till sorteringsstöd för LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Lägg till en markering i en konfiguration
  • [SPARK-46820] [SC-157093][PYTHON] Åtgärda regression av felmeddelanden genom att återställa new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Managers: strukturerad loggningsmigrering
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Lägg till variantfunktioner i Scala och Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Lägg till Environment sida i huvudgränssnittet
  • [SPARK-47805] [SC-163459][SS] Implementera TTL för MapState
  • [SPARK-47900] [SC-163326] Korrigeringskontroll för implicit sortering (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Göra Compute Current Time* uttryck vikbara
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Stöd för Column-datatyp i split-funktionen för Scala och Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Stöd för läsning av flerdimensionella matriser
  • [SPARK-47416] [SC-163001][SQL] Lägg till nya funktioner i CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Åtgärda aggregeringsfel i RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementera uttrycket is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Gör CollectTailExec.doExecute lat med RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect skiljer TIMESTAMP från TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Lägg till en FELSÖKNINGslogg i DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Åtgärda prestandaförsämring i ExpressionSet i scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] PySpark kraschåterhämtningsförmåga för arbetspool
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Gör pyspark.resource kompatibel med pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Remove oanvänd import spark/connect/common.proto från spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Gör pyspark.worker_utils kompatibel med pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Stöd för flerdimensionell matris på skrivsidan
  • [SPARK-47617] [SC-162513][SQL] Lägg till TPC-DS testinfrastruktur för sortering
  • [SPARK-47356] [SC-162858][SQL] Lägg till stöd för ConcatWs & Elt (alla kollationer)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Härleda dict som MapType från Pandas DataFrame för att möjliggöra skapandet av en DataFrame
  • [SPARK-47863] [SC-162974][SQL] Fix startsWith & endsWith collation-aware implementation for ICU
  • [SPARK-47867] [SC-162966][SQL] Stödvariant i JSON-genomsökning.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Lägg till VariantVal för PySpark
  • [SPARK-47803] [SC-162726][SQL] Stöd för cast till variant.
  • [SPARK-47769] [SC-162841][SQL] Lägg till schema_of_variant_agg uttryck.
  • [SPARK-47420] [SC-162842][SQL] Åtgärda testutdata
  • [SPARK-47430] [SC-161178][SQL] Support GROUP BY för MapType
  • [SPARK-47357] [SC-162751][SQL] Lägg till stöd för Upper, Lower, InitCap (alla sorteringar)
  • [SPARK-47788] [SC-162729][SS] Se till att samma hashpartitionering för tillståndskänsliga strömningsfunktioner
  • [SPARK-47776] [SC-162291][SS] Förbjud att binär ojämlikhetssortering används i nyckeln schema hos tillståndskänsliga operatorn
  • [SPARK-47673] [SC-162824][SS] Implementera TTL för ListState
  • [SPARK-47818] [SC-162845][CONNECT] Introducera cache för planer i SparkConnectPlanner för att förbättra prestanda för analysera-förfrågningar
  • [SPARK-47694] [SC-162783][CONNECT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
  • [SPARK-47274] Återställ "[SC-162479][PYTHON][SQL] Ge mer användbar information...
  • [SPARK-47616] [SC-161193][SQL] Lägg till användardokument för att mappa Spark SQL-datatyper från MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT] Åtgärda generering av protofiler
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Ändra versionsskript för att släppa pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Omstrukturera UTF8String och CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Gör pyspark.ml kompatibel med pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Specialhantering av JSON-typ för MySQL Connector/J 5.x
  • [SPARK-47765] Återställ "[SC-162636][SQL] Lägg till SET sorteringsordning i pars…
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Förbättra förloppshanterarens användbarhet
  • [SPARK-47289] [SC-161877][SQL] Tillåt tillägg att logga utökad information i explain plan
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Ge mer användbar kontext för PySpark DataFrame API-fel
  • [SPARK-47765] [SC-162636][SQL] Lägg till SET COLLATION till parsningsregler
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
  • [SPARK-47812] [SC-162696][CONNECT] Stöder serialisering av SparkSession för ForEachBatch-arbetare
  • [SPARK-47253] [SC-162698][CORE] Tillåt att LiveEventBus stoppas utan att händelsekön töms helt
  • [SPARK-47827] [SC-162625][PYTHON] Saknade varningar för inaktuella funktioner
  • [SPARK-47733] [SC-162628][SS] Lägg till anpassade mått för transformWithState-operatordelen av frågeförloppet
  • [SPARK-47784] [SC-162623][SS] Slå samman TTLMode och TimeoutMode till en enda TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Har stöd för återstående skalära typer i variantspecifikationen.
  • [SPARK-47736] [SC-162503][SQL] Lägg till stöd för AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Stöd frågaexekveringsprogress
  • [SPARK-47682] [SC-162138][SQL] Stöd för cast från variant.
  • [SPARK-47802] [SC-162478][SQL] Återställ () från mening struct() tillbaka till innebörden *
  • [SPARK-47680] [SC-162318][SQL] Lägg till variant_explode uttryck.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression bör kontrollera felet för varje codegen-läge
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementera SQLStringFormatter med WithRelations
  • [SPARK-47693] [SC-162326][SQL] Lägg till optimering för jämförelse av gemener för UTF8String som används i UTF8_BINARY_LCASE kollation
  • [SPARK-47541] [SC-162006][SQL] Kollationerade strängar i komplexa typer som stöder operationer som omvändning, array_join, konkatenering, karta
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Gör så att mapInPandas/mapInArrow stöder ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Gör SparkConf till rotnivå för både SparkSession och SparkContext
  • [SPARK-47406] [SC-159376][SQL] Hantera TIMESTAMP och DATETIME i MYSQLDialect
  • [SPARK-47081] Återställ "[SC-161758][CONNECT] Stödfrågegenomförande…
  • [SPARK-47681] [SC-162043][SQL] Lägg till schema_of_variant uttryck.
  • [SPARK-47783] [SC-162222] Lägg till några saknade SQLSTATEs och rensa YY000 för att använda...
  • [SPARK-47634] [SC-161558][SQL] Lägg till äldre stöd för att inaktivera kartnyckelnormalisering
  • [SPARK-47746] [SC-162022] Implementera ordningsbaserad intervallkodning i RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec bör alltid använda context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Lägg till pyspark-test för python-strömningskälla
  • [SPARK-47582] [SC-161943][SQL] Migrera Catalyst logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-47558] [SC-162007][SS] State TTL-stöd för ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Förbättra stödet för upprepade uttryck för att returnera rätt datatyp
  • [SPARK-47504] [SC-162044][SQL] Resolve AbstractDataType simpleStrings for StringTypeCollated
  • [SPARK-47719] Återställ "[SC-161909][SQL] Ändra spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementera stöd för kollationsfilter för push-down per filkälla
  • [SPARK-47081] [SC-161758][CONNECT] Stöd frågaexekveringsprogress
  • [SPARK-47744] [SC-161999] Lägg till stöd för negativt värderade byte i intervallkodare
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Åtgärda ettjoin fel
  • [SPARK-47310] [SC-161930][SS] Lägg till mikromått för sammanslagningsåtgärder för flera values i värdedelen av tillståndslagret
  • [SPARK-47700] [SC-161774][SQL] Korrigera formatering av felmeddelanden med treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Gör pyspark.pandas kompatibel med pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementera logWarning/logInfo API i strukturerat loggningsramverk
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementera partition läsare för python-strömmande datakälla
  • [SPARK-47553] [SC-161772][SS] Lägg till Java-stöd för transformWithState-operator-API:er
  • [SPARK-47719] [SC-161909][SQL] Ändra spark.sql.legacy.timeParserPolicy som standard till CORRECTED
  • [SPARK-47655] [SC-161761][SS] Integrera timer med initial tillståndshantering för state-v2
  • [SPARK-47665] [SC-161550][SQL] Använd SMALLINT för att skriva ShortType till MYSQL
  • [SPARK-47210] [SC-161777][SQL] Tillägg av implicit gjutning utan obestämt stöd
  • [SPARK-47653] [SC-161767][SS] Lägg till stöd för negativa numeriska typer och nyckelkodare för intervallgenomsökning
  • [SPARK-46743] [SC-160777][SQL] Räkna bugg efter konstantvikning
  • [SPARK-47525] [SC-154568][SQL] Stöd för korrelerad anslutning av underfrågor på kartattribut
  • [SPARK-46366] [SC-151277][SQL] Använd WITH-uttryck i BETWEEN för att undvika duplicerade uttryck
  • [SPARK-47563] [SC-161183][SQL] Lägg till kartnormalisering när du skapar
  • [SPARK-42040] [SC-161171][SQL] SPJ: Introducera ett nytt API för V2-indata partition för att rapportera partition statistik
  • [SPARK-47679] [SC-161549][SQL] Använd HiveConf.getConfVars- eller Hive-konfigurationsnamn direkt
  • [SPARK-47685] [SC-161566][SQL] Restore stöd för Stream typ i Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Gör att try_to_number returnerar NULL för felaktiga indata
  • [SPARK-47366] [SC-161324][PYTHON] Lägg till pyspark- och dataramsalias parse_json
  • [SPARK-47491] [SC-161176][CORE] Lägg till slf4j-api jar till klasssökvägen först före de andra i jars katalog
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projects CommandResults lokalt
  • [SPARK-47364] [SC-158927][CORE] Se till att PluginEndpoint varnar när plugin-program svarar på enkelriktad meddelandeförmedling
  • [SPARK-47280] [SC-158350][SQL] Removetimezone begränsning för ORACLE TIMESTAMP MED TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Lägg till variant_get uttryck.
  • [SPARK-47559] [SC-161255][SQL] Codegen-stöd för variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Säkerställa att Window partitionSpec kan ordnas.
  • [SPARK-47546] [SC-161241][SQL] Förbättra valideringen när du läser Variant från Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Härleda dict som MapType från Pandas DataFrame för att möjliggöra skapandet av en DataFrame
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Skapa column med sortering i DATAFRAME API
  • [SPARK-47641] [SC-161376][SQL] Förbättra prestanda för UnaryMinus och Abs
  • [SPARK-47631] [SC-161325][SQL] Remove oanvänd SQLConf.parquetOutputCommitterClass metod
  • [SPARK-47674] [SC-161504][CORE] Aktivera spark.metrics.appStatusSource.enabled som standard
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementerar Python-dataströmsskrivarens gränssnitt.
  • [SPARK-47637] [SC-161408][SQL] Använd errorCapturingIdentifier på fler platser
  • [SPARK-47497] Återställ "Återställ "[SC-160724][SQL] Gör så att to_csv stöder utdata av matris/struktur/karta/binär som lättlästa strängar""
  • [SPARK-47492] [SC-161316][SQL] Utöka reglerna för blanksteg i lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Verifiera column namnet med det cachelagrade schema
  • [SPARK-47638] [SC-161339][PS][CONNECT] Hoppa över column namnverifiering i PS
  • [SPARK-47363] [SC-161247][SS] Inledande tillstånd utan implementering av tillståndsläsare för State API v2.
  • [SPARK-47447] [SC-160448][SQL] Tillåt läsning av Parquet TimestampLTZ som TimestampNTZ
  • [SPARK-47497] Återställ "[SC-160724][SQL] Få to_csv att stödja utdata från array/struct/map/binary som snyggt formaterade strängar"
  • [SPARK-47434] [SC-160122][WEBUI] Åtgärda statistics länk i StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Citerade strängar i en JSON-sökväg bör stödja "?" Tecken
  • [SPARK-46915] [SC-155729][SQL] Förenkla UnaryMinusAbs och justera felklassen
  • [SPARK-47431] [SC-160919][SQL] Lägg till standardsortering på sessionsnivå
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Lägg till en hjälpfunktion för att sortera columns
  • [SPARK-47570] [SC-161165][SS] Integrera ändringar i intervallskanningskodare med timerimplementering
  • [SPARK-47497] [SC-160724][SQL] Gör to_csv stöder utdata från array/struct/map/binary som vackra strängar
  • [SPARK-47562] [SC-161166][CONNECT] Separera hantering av bokstavliga uttryck från plan.py
  • [SPARK-47509] [SC-160902][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
  • [SPARK-47539] [SC-160750][SQL] Gör returvärdet för metoden castToString vara Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Lägg till stöd för en kodare av nyckeltillstånd baserad på intervallgenomsökning för användning med tillståndslagerleverantören
  • [SPARK-47517] [SC-160642][CORE][SQL] Föredrar Utils.bytesToString för storleksvisning
  • [SPARK-47243] [SC-158059][SS] Korrigera paketnamnet för StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Stöder Python-datakällor med Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Använd Utils.tryWithResource när du läser shuffle-data från extern lagring
  • [SPARK-47474] [SC-160522][CORE] Återställ SPARK-47461 och lägg till några kommentarer
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Undvik att använda RPC för att verifiera namn med cachelagrad information columnschema
  • [SPARK-47451] [SC-160749][SQL] Stöd till to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Lägg till UserDefinedType-stöd för DataTypeUtils.canWrite
  • [SPARK-44708] Återställ "[SC-160734][PYTHON] Migrera test_reset_index assert_eq för att använda assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Lägg till stöd för alla filkällformat för sorterade datatyper
  • [SPARK-47256] [SC-160784][SQL] Tilldela namn till felklasser _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Åtgärda att systemresurs-jarfilen lades till i spark.jars två gånger i k8s klustermode
  • [SPARK-47398] [SC-160572][SQL] Extrahera ett drag för InMemoryTableScanExec för att möjliggöra utökade funktioner
  • [SPARK-47479] [SC-160623][SQL] Optimize kan inte skriva data till relationer med flera sökvägar fellogg
  • [SPARK-47483] [SC-160629][SQL] Lägg till stöd för aggregering och join åtgärder på matriser med sorterade strängar
  • [SPARK-47458] [SC-160237][CORE] Åtgärda problemet med att beräkna maximalt antal samtidiga uppgifter för barriärsteget
  • [SPARK-47534] [SC-160737][SQL] Flytta o.a.s.variant till o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Lägg till en allmän mappning för TIME WITHOUT TIME ZONE till TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrera test_reset_index assert_eq för att använda assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Lägg till schema slutsatsdragningstester för värdetaggar
  • [SPARK-47007] [SC-160630][SQL] Lägg till uttrycket MapSort
  • [SPARK-47523] [SC-160645][SQL] Ersätt inaktuella JsonParser#getCurrentName med JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Åtgärda push-överföring av syntax som inte stöds till MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Taggåtgärdstyp som används med RocksDB-tillståndslagerinstansens låsförvärv/lansering
  • [SPARK-47346] [SC-159425][PYTHON] Gör daemonläget konfigurerbart när du skapar Python Planner-arbetare
  • [SPARK-47446] [SC-160163][CORE] Varna BlockManager innan removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Stöd LIMIT över korrelerade underfrågor where predikat refererar endast till yttre table
  • [SPARK-47461] [SC-160297][CORE] Remove privat funktion totalRunningTasksPerResourceProfile från ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Stöd för sorterade strängar i matrisåtgärder
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Dela upp column namnhantering från plan.py
  • [SPARK-47383] [SC-160144][CORE] Stöd spark.shutdown.timeout config
  • [SPARK-47342] [SC-159049] Återställ “[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE”
  • [SPARK-47486] [SC-160491][CONNECT] Remove oanvänd privat ArrowDeserializers.getString metod
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Klient & Serverlogik för klientens strömningsfrågelyssnare
  • [SPARK-47487] [SC-160534][SQL] Förenkla koden i AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Window Sammanställt stöd för sortering
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Misslyckas med att stödja funktioner för icke-binära sorteringar
  • [SPARK-47380] [SC-160164][CONNECT] Kontrollera på serversidan att SparkSession är samma
  • [SPARK-47327] [SC-160069][SQL] Flytta samtidighetstest av sorteringsnycklar till CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Lägg till migreringsdokument för beteendeändring av Parquet-tidsstämpelinferens sedan Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Omstrukturera och dela list/test av timerenheter
  • [SPARK-46473] [SC-155663][SQL] Återanvänd getPartitionedFile-metod
  • [SPARK-47423] [SC-160068][SQL] Sorteringsordningar – Set operativt stöd för strängar med sorteringsordningar
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentera Python Data Source API på API-referenssidan
  • [SPARK-47457] [SC-160234][SQL] Åtgärda IsolatedClientLoader.supportsHadoopShadedClient för att hantera Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementera parse_json.
  • [SPARK-46331] [SC-152982][SQL] Ta bort CodegenFallback från delmängden av DateTime-uttryck och version() uttryck
  • [SPARK-47395] [SC-159404] Lägg till sortering och sorteringsordning till andra API:er
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Korrigera felklassen för DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Server side SparkConnectListenerBusListener för strömmande frågelyssnare på klientsidan
  • [SPARK-47324] [SC-158720][SQL] Lägg till tidsstämpelkonvertering som saknas för JDBC-kapslade typer
  • [SPARK-46962] [SC-158834][SS][PYTHON] Lägg till gränssnitt för PYTHON-strömmande datakäll-API och implementera Python Worker för att köra python-strömmande datakälla
  • [SPARK-45827] [SC-158498][SQL] Flytta datatypkontroller till CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Inaktivera genererad columns på uttryck med sortering
  • [SPARK-47146] [SC-158247][CORE] Möjlig trådläcka vid sorteringssammanslagning join
  • [SPARK-46913] [SC-159149][SS] Lägg till stöd för bearbetnings-/händelsetidsbaserade timers med transformWithState-operatorn
  • [SPARK-47375] [SC-159063][SQL] Lägg till riktlinjer för tidsstämpelmappning i JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Stöder TIMESTAMP MED TIDSZON för H2Dialect
  • [SPARK-45827] Återställ "[SC-158498][SQL] Flytta datatypkontroller till ...
  • [SPARK-47208] [SC-159279][CORE] Tillåt att åsidosätta det grundläggande overheadminnet
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Stöder Oracle TIMESTAMP MED LOKAL TIDSZON
  • [SPARK-47055] [SC-156916][PYTHON] Upgrade MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Lägg till en kontroll för tillståndskänsliga operatorändringar för direktuppspelning
  • [SPARK-47391] [SC-159283][SQL] Remove testfallslösningen för JDK 8
  • [SPARK-47272] [SC-158960][SS] Lägg till MapState-implementering för State API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Åtgärda ett misstag i dokumentationen för JDBC:s alternativ preferTimestampNTZ.
  • [SPARK-42328] [SC-157363][SQL] Remove _LEGACY_ERROR_TEMP_1175 från felklasser
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Korrigera alternativbeskrivningen preferTimestampNTZ i JDBC-dokumentet
  • [SPARK-47344] [SC-159146] Utöka INVALID_IDENTIFIER fel utöver att fånga '-' i en ociterad identifier och åtgärda "IS ! NULL" m.fl.
  • [SPARK-47340] [SC-159039][SQL] Ändra "collate" i 'StringType'-typnamn till gemener
  • [SPARK-47087] [SC-157077][SQL] Upphöj Spark-undantag med en felklass vid kontroll av konfigurationsvärde
  • [SPARK-47327] [SC-158824][SQL] Åtgärda trådsäkerhetsproblem i ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Åtgärda gränsöverskridande fel
  • [SPARK-47331] [SC-158719][SS] Serialisering med hjälp av case-klasser/primitiver/POJO baserat på SQL-kodare för Arbitrary State API v2.
  • [SPARK-47250] [SC-158840][SS] Lägg till ytterligare valideringar och NERF-ändringar för RocksDB-tillståndsprovidern och användning av column familjer
  • [SPARK-47328] [SC-158745][SQL] Ändra namn på UCS_BASIC sortering till UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Stöd spark.driver.timeout och DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Lägg till migreringsdokument: TidsstämpelNTZ-typinferens på Parquet-filer
  • [SPARK-47309] [SC-158827][SQL][XML] Lägg till schema slutsatsdragningsenhetstester
  • [SPARK-47295] [SC-158850][SQL] Lade till ICU StringSearch för funktionerna startsWith och endsWith
  • [SPARK-47343] [SC-158851][SQL] Åtgärda NPE när sqlString variabelvärde är null-sträng vid "execute immediate"-kommandot
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Använd protobuf transitivt beroende
  • [SPARK-46795] [SC-154143][SQL] Ersätt UnsupportedOperationException med SparkUnsupportedOperationException i sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sync PySpark-beroenden i dokument- och utvecklingskrav
  • [SPARK-47169] [SC-158848][SQL] Inaktivera bucketing på sorterade columns
  • [SPARK-42332] [SC-153996][SQL] Ändra krav till en SparkException i ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Flytta datatypkontroller till CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Ersätt kommandon med relationer i några tester i SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2020 med ett internt fel
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Förbättrat stöd för strängfunktionen: innehåller
  • [SPARK-47334] [SC-158716][SQL] Gör withColumnRenamed återanvända implementeringen av withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 stöder nedtryckning av PERCENTILE_CONT och PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Tillagd hantering av scala.MatchError i QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Lägg till variant singleton-typ för Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Uppgradera DB2 docker-avbildningsversion till 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Kollationera nyckelord som identifier
  • [SPARK-46817] [SC-154196][CORE] Åtgärda spark-daemon.sh användning genom att lägga till kommandot decommission
  • [SPARK-46739] [SC-153553][SQL] Lägg till felklassen UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Lägg till konfigurationsflaggan COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Använd mapreduce.output.fileoutputformat.compress i stället för inaktuell mapred.output.compress i Avro-skrivjobb
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Timeout om arbetaren inte ansluter tillbaka.
  • [SPARK-46835] [SC-158355][SQL][Sorteringar] Join stöd för icke-binära sortering
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Stöd för strängfunktionen: innehåller, börjar med, slutar med
  • [SPARK-46077] [SC-157839][SQL] Överväg den typ som genereras av TimestampNTZConverter i JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Utelämna Python-undantag where PySpark inte finns i Python-sökvägen
  • [SPARK-47319] [SC-158599][SQL] Förbättra beräkningen av saknadInmatning
  • [SPARK-47316] [SC-158606][SQL] Åtgärda TimestampNTZ i Postgres Array
  • [SPARK-47268] [SC-158158][SQL][Sorteringar] Stöd för ompartitionering med sorteringar
  • [SPARK-47191] [SC-157831][SQL] Undvik onödiga relationssökningar när du tar bort table/view
  • [SPARK-47168] [SC-158257][SQL] Inaktivera pushdown för parquetfilter när du arbetar med icke-standardkollationerade strängar
  • [SPARK-47236] [SC-158015][CORE] Åtgärda deleteRecursivelyUsingJavaIO för att hoppa över icke-befintliga filindata
  • [SPARK-47238] [SC-158466][SQL] Minska användningen av körminne genom att göra genererad kod i WSCG till en sändningsvariabel
  • [SPARK-47249] [SC-158133][CONNECT] Åtgärda fel where alla anslutningskörningar anses vara övergivna oavsett deras faktiska status
  • [SPARK-47202] [SC-157828][PYTHON] Rätta till stavfel som påverkar datetimes med tzinfo
  • [SPARK-46834] [SC-158139][SQL][Sorteringar] Stöd för aggregeringar
  • [SPARK-47277] [SC-158351][3.5] PySpark util function assertDataFrameEqual bör inte stödja direktuppspelning av DF
  • [SPARK-47155] [SC-158473][PYTHON] Åtgärda Felklassproblem
  • [SPARK-47245] [SC-158163][SQL] Förbättra felkoden för INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Lägg till en varnings msg i Dependency när ett för stort antal shuffle-block ska skapas.
  • [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual bör inte stödja direktuppspelning av DF
  • [SPARK-47293] [SC-158356][CORE] Skapa batchSchema med sparkSchema i stället för att lägga till ett i taget
  • [SPARK-46732] [SC-153517][CONNECT]Gör så att Subquery/Broadcast-tråden fungerar med Connects hantering av artefakter
  • [SPARK-44746] [SC-158332][PYTHON] Lägg till mer Python UDTF-dokumentation för funktioner som accepterar indata tables
  • [SPARK-47120] [SC-157517][SQL] Nulljämförelse trycker ner datafilter från underfråga vilket leder till NPE i Parquet-filter
  • [SPARK-47251] [SC-158291][PYTHON] Blockera ogiltiga typer från argumentet args för kommandot sql
  • [SPARK-47251] Revert "[SC-158121][PYTHON] Blockera ogiltiga typer från argumentet args för sql kommando"
  • [SPARK-47015] [SC-157900][SQL] Inaktivera partitionering på kollationerade columns
  • [SPARK-46846] [SC-154308][CORE] Gör WorkerResourceInfo utöka Serializable explicit
  • [SPARK-46641] [SC-156314][SS] Lägg till maxBytesPerTrigger-tröskelvärde
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner göra interna funktioner privata
  • [SPARK-47266] [SC-158146][CONNECT] Se till att ProtoUtils.abbreviate returnera samma typ som indata
  • [SPARK-46961] [SC-158183][SS] Med ProcessorContext för att lagra och hämta handtag
  • [SPARK-46862] [SC-154548][SQL] Inaktivera CSV-column rensning i flerradsläge
  • [SPARK-46950] [SC-155803][CORE][SQL] Synkronisera not available codec felklass
  • [SPARK-46368] [SC-153236][CORE] Support readyz i REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Förbättra felmeddelandet för spark.table när argumenttypen är fel
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Åtgärda ignorerad PySpark Connect-strängsortering
  • [SPARK-46552] [SC-151366][SQL] Ersätt UnsupportedOperationException med SparkUnsupportedOperationException i catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Åtgärda PySpark fel vid konvertering av sorterade strängar
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Åtgärda Spark Connect-sorteringsfel genom att lägga till collateId protobuf-fält
  • [SPARK-46575] [SC-153200][SQL][HIVE] Gör HiveThriftServer2.startWithContext DevelopApi återförsöksbar och åtgärda instabiliteten hos ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] I ResourceProfileManager bör funktionsanrop utföras efter variabeldeklarationer
  • [SPARK-47214] [SC-157862][Python] Skapa UDTF API för "analysera"-metoden för att särskilja konstanta NULL-argument och andra typer av argument
  • [SPARK-46766] [SC-153909][SQL][AVRO] ZSTD-buffertpoolstöd för AVRO-datakälla
  • [SPARK-47192] [SC-157819] Konvertera några _LEGACY_ERROR_TEMP_0035-fel
  • [SPARK-46928] [SC-157341][SS] Lägg till stöd för ListState i Godtyckligt tillstånd API v2.
  • [SPARK-46881] [SC-154612][CORE] Stöd spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Stöd spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Åtgärda felet som använder felaktig parquetkomprimeringskod lz4raw
  • [SPARK-46791] [SC-154018][SQL] Stöd för Java Set i JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrera CatalogNotFoundException till felklassen CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Gör standardvärdet av en bredare typ till en smalare literal av v2 så att det beter sig på samma sätt som i v1
  • [SPARK-46664] [SC-153181][CORE] Förbättra Master för att snabbt återställa vid noll arbetare och appar
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz och zstandard har stöd för komprimeringsnivå för avro-filer

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Se underhållsuppdateringar för Databricks Runtime 15.2 .

Systemmiljö

  • operativsystem: Ubuntu 22.04.4 LTS
  • Java-: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Kommunikation 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratör 5.1.1 distlib 0.3.8
inmatningspunkter 0.4 Verkställande 0.8.3 facetter-översikt 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandor 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantisk 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
Förfrågningar 2.31.0 RSA 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sex 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 uthållighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 obevakade uppgraderingar 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.38.4 blixtlås 3.11.0

Installerade R-Bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshoten.

Bibliotek Version Bibliotek Version Bibliotek Version
pil 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blobb 1.2.4 stövel 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 Cli 3.6.2 clipr 0.8.0
klocka 0.7.0 kluster 2.1.4 codetools 0.2-19
färgrymd 2.1-0 commonmark 1.9.1 kompilator 4.3.2
konfiguration 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
krita 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 Datamängder 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Beskrivning 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.34
nedåtriktat ljus 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluera 0.23
fans 1.0.6 färger 2.1.1 Snabbkarta 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smida 0.2.0 Fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 nät 4.3.2
gridExtra 2.3 gsubfn 0.7 Gt 0.10.1
gtable 0.3.4 skyddshjälm 1.3.1 hamn 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
IPRED 0.9-14 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 memorera 2.0.1 metoder 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallell 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 framsteg 1.2.3
progressr 0.14.0 löften 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagerbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reproducerbart exempel 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessionsinformation 1.2.2
form 1.4.6 glänsande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rumslig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 strängar 1.8.3 stringr 1.5.1
överlevnad 3.5-5 Självsäker stil 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 tidsomställning 0.3.0
tidDatum 4032.109 tinytex 0.49 arbetsredskap 4.3.2
tzdb 0.4.0 URL-kontrollverktyg 1.0.1 använd detta 2.2.2
utf8 1.2.4 verktyg 4.3.2 UUID (Universellt unikt identifierare) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-infödda
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-infödda
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-infödda
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-infödda
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguration 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-filuppladdning commons-filuppladdning 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics mätvärdes-annotering 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrik-hälsokontroller 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant myra 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator kurerade recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus publikens kommentarer 0.13.0
org.apache.zookeeper djurskötare 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (resurslokaliserare) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap brickor 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1