Dela via

Underhållsuppdateringar för Databricks Runtime

  • Artikel

Den här artikeln innehåller underhållsuppdateringar för Databricks Runtime-versioner som stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster. Underhållsuppdateringar för Databricks Runtime-versioner som inte stöds finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).

Kommentar

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.

Databricks Runtime-versioner

Underhållsuppdateringar efter lansering:

Databricks Runtime 15.4

Se Databricks Runtime 15.4 LTS.

  • den 5 november 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49443][SQL][PYTHON] Implementera to_variant_object uttryck och gör schema_of_variant uttryck skriva ut OBJEKT för variantobjekt
    • [SPARK-49615] Bugfix: Gör ml-kolumnschemaverifieringen överensstämmer med spark-konfigurationen spark.sql.caseSensitive.
  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49443][SQL][PYTHON] Implementera to_variant_object uttryck och gör schema_of_variant uttryck skriva ut OBJEKT för variantobjekt
    • [SPARK-49615] Bugfix: Gör ml-kolumnschemaverifieringen överensstämmer med spark-konfigurationen spark.sql.caseSensitive.
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • [SPARK-49458][ANSLUT][PYTHON] Ange sessions-ID på serversidan via ReattachExecute
    • [SPARK-49017][SQL] Insert-instruktionen misslyckas när flera parametrar används
    • [SPARK-49451] Tillåt duplicerade nycklar i parse_json.
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][ANSLUT][HOTFIX-15.4.2] Stöd för Sökvägar i Windows-stil i ArtifactManager
    • Återställ "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark should accept variable length args"
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49366][ANSLUT] Behandla Union-noden som löv i dataramens kolumnupplösning
    • [SPARK-49018][SQL] Åtgärda approx_count_distinct fungerar inte korrekt med sortering
    • [SPARK-49460][SQL] Ta bort cleanupResource() från EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49336][ANSLUT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
  • den 29 augusti 2024

Databricks Runtime 15.3

Se Databricks Runtime 15.3.

  • den 5 november 2024
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [SPARK-49688][ANSLUT] Åtgärda ett datarace mellan avbrott och körningsplan
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49458][ANSLUT][PYTHON] Ange sessions-ID på serversidan via ReattachExecute
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet RegrSlope för & RegrIntercept när den första parametern är null
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][ANSLUT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-49526][ANSLUT][15.3.5] Stöd för Sökvägar i Windows-stil i ArtifactManager
    • [SPARK-49366][ANSLUT] Behandla Union-noden som löv i dataramens kolumnupplösning
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48862][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i direktuppspelningsfrågor i tilläggsläge till felramverk
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-48954] try_mod() ersätter try_remainder()
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-49047][PYTHON][ANSLUT] Trunkera meddelandet för loggning
    • [SPARK-48740][SQL] Fel vid fel vid fel i fönstrets specifikation saknas tidigt
  • 1 augusti 2024
    • [Icke-bakåtkompatibel ändring] I Databricks Runtime 15.3 och senare utlöser anrop av en Användardefinierad Python-funktion (UDF), användardefinierad aggregeringsfunktion (UDAF) eller användardefinierad tabellfunktion (UDTF) som använder en VARIANT typ som argument eller returvärde ett undantag. Den här ändringen görs för att förhindra problem som kan uppstå på grund av ett ogiltigt värde som returneras av någon av dessa funktioner. Mer information om typen finns i VARIANT Använda VARIANT för att lagra halvstrukturerade data.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Vid beräkning som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och skrivningar nu samma begränsningar som de som dokumenteras för strukturerad direktuppspelning. Se Begränsningar och krav för direktuppspelning för enhetskatalogens läge för delad åtkomst.
    • Utdata från en SHOW CREATE TABLE instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se VISA SKAPA TABELL. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-46957][CORE] Inaktivera migrerade shuffle-filer bör kunna rensas från executor
    • [SPARK-48648][PYTHON][ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48713][SQL] Lägg till indexintervallkontroll för UnsafeRow.pointTo när baseObject är bytematris
    • [SPARK-48834][SQL] Inaktivera variantindata/utdata till python-skalära UDF:er, UDF:er, UDAF:er under frågekompilering
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-48544][SQL] Minska minnestrycket för tomma TreeNode BitSets
    • [SPARK-48889][SS] testStream för att ta bort tillståndslager innan du slutför
    • [SPARK-49054][SQL] Standardvärdet för kolumner bör ha stöd för current_* funktioner
    • [SPARK-48653][PYTHON] Åtgärda ogiltiga felklassreferenser för Python-datakälla
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • [SPARK-48810][ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
    • [SPARK-48873][SQL] Använd UnsafeRow i JSON-parser.
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-47463][SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48286] Åtgärda analys av kolumnen med finns som standarduttryck – Lägg till användaranslutet fel
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • Återställ "[SPARK-47406][SQL] Hantera TIMESTAMP och DATETIME i MYSQLDialect"
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48503][14.3-15.3][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48273][huvud][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Åtgärda bugg där partitionsindex är felaktiga när UDTF analyze() använder både select och partitionColumns
    • [SPARK-48556][SQL] Åtgärda fel felmeddelande som pekar på UNSUPPORTED_GROUPING_EXPRESSION
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 15.2

Se Databricks Runtime 15.2.

  • den 5 november 2024
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-48843][15.3,15.2] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-48843][15.3,15.2] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • [SPARK-49688][ANSLUT] Åtgärda ett datarace mellan avbrott och körningsplan
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrSlope & RegrIntercept när den första parametern är null
    • [SPARK-49458][ANSLUT][PYTHON] Ange sessions-ID på serversidan via ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][ANSLUT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-49366][ANSLUT] Behandla Union-noden som löv i dataramens kolumnupplösning
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48862][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i direktuppspelningsfrågor i tilläggsläge till felramverk
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48050][SS] Logga logisk plan vid frågestart
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-48740][SQL] Fel vid fel vid fel i fönstrets specifikation saknas tidigt
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-49047][PYTHON][ANSLUT] Trunkera meddelandet för loggning
  • 1 augusti 2024
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • På serverlösa notebook-filer och jobb aktiveras ANSI SQL-läget som standard och har stöd för korta namn
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48286] Åtgärda analys av kolumnen med finns som standarduttryck – Lägg till användaranslutet fel
    • [SPARK-48294][SQL] Hantera gemener i nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Åtgärda fel felmeddelande som pekar på UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48566][PYTHON] Åtgärda bugg där partitionsindex är felaktiga när UDTF analyze() använder både select och partitionColumns
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-47463][SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • applyInPandasWithState() är tillgängligt i delade kluster.
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • Ett fel har åtgärdats i funktionen try_divide() där indata som innehåller decimaler resulterade i oväntade undantag.
    • [SPARK-48197][SQL] Undvik kontrollfel för ogiltig lambda-funktion
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48014][SQL] Ändra felet makeFromJava i EvaluatePython till ett användaranslutet fel
    • [SPARK-48016][SQL] Åtgärda en bugg i try_divide funktion när med decimaler
    • [SPARK-47986][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48056][ANSLUT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND fel utlöses och inget partiellt svar togs emot
    • [SPARK-48172][SQL] Åtgärda problem med att fly i JDBCDialects-backporten till 15.2
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • [SPARK-48288] Lägg till källdatatyp för kopplingsuttryck
    • [SPARK-48310][PYTHON][ANSLUT] Cachelagrade egenskaper måste returnera kopior
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • Återställ "[SPARK-47406][SQL] Hantera TIMESTAMP och DATETIME i MYSQLDialect"
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • [SPARK-47764][CORE][SQL] Rensning av shuffle-beroenden baserat på ShuffleCleanupMode
    • [SPARK-47921][ANSLUT] Åtgärda skapandet av ExecuteJobTag i ExecuteHolder
    • [SPARK-48010][SQL] Undvik upprepade anrop till conf.resolver i resolveExpression
    • [SPARK-48146][SQL] Åtgärda aggregerad funktion i Underordnad uttryckskontroll
    • [SPARK-48180][SQL] Förbättra felet när UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY-uttr
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.3

Se Databricks Runtime 14.3 LTS.

  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error (Klassificera felklass för användarfunktionsfel för Foreach-mottagare)
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error (Klassificera felklass för användarfunktionsfel för Foreach-mottagare)
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-48810][ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][ANSLUT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][ANSLUT] Behandla Union-noden som löv i dataramens kolumnupplösning
  • den 29 augusti 2024
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i direktuppspelningsfrågor i tilläggsläge till felramverk
    • [SPARK-48862][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av någon av dessa klasser innehåller null värden.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Vid beräkning som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och skrivningar nu samma begränsningar som de som dokumenteras för strukturerad direktuppspelning. Se Begränsningar och krav för direktuppspelning för enhetskatalogens läge för delad åtkomst.
    • Utdata från en SHOW CREATE TABLE instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se VISA SKAPA TABELL. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48889][SS] testStream för att ta bort tillståndslager innan du slutför
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-48047][SQL] Minska minnesbelastningen för tomma TreeNode-taggar
    • [SPARK-48544][SQL] Minska minnestrycket för tomma TreeNode BitSets
    • [SPARK-46957][CORE] Inaktivera migrerade shuffle-filer bör kunna rensas från executor
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-47713][SQL][ANSLUT] Åtgärda ett självkopplingsfel
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48648][PYTHON][ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • applyInPandasWithState() är tillgängligt i delade kluster.
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48310][PYTHON][ANSLUT] Cachelagrade egenskaper måste returnera kopior
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48294][SQL] Hantera gemener i nestedTypeMissingElementTypeError
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • Ett fel har åtgärdats i funktionen try_divide() där indata som innehåller decimaler resulterade i oväntade undantag.
    • [SPARK-48056][ANSLUT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND fel utlöses och inget partiellt svar togs emot
    • [SPARK-48146][SQL] Åtgärda aggregerad funktion i Underordnad uttryckskontroll
    • [SPARK-47986][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • [SPARK-48180][SQL] Förbättra felet när UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY-uttr
    • [SPARK-48016][SQL] Åtgärda en bugg i try_divide funktion när med decimaler
    • [SPARK-48197][SQL] Undvik kontrollfel för ogiltig lambda-funktion
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • (Beteendeförändring) applyInPandas och mapInPandas UDF-typer stöds nu för beräkning av delat åtkomstläge som kör Databricks Runtime 14.3 och senare.
    • [SPARK-47739][SQL] Registrera logisk avro-typ
    • [SPARK-47941] [SS] [Anslut] Sprida initieringsfel för ForeachBatch-arbetare till användare för PySpark
    • [SPARK-48010][SQL] Undvik upprepade anrop till conf.resolver i resolveExpression
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-47543][ANSLUT][PYTHON] Härleda diktering som Mapype från Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47819][ANSLUT][Cherry-pick-14.3] Använd asynkron återanrop för körningsrensning
    • [SPARK-47764][CORE][SQL] Rensning av shuffle-beroenden baserat på ShuffleCleanupMode
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Åtgärda aggregerad bugg i RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47543][ANSLUT][PYTHON] Härleda dict från MapType Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47694][ANSLUT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
    • [SPARK-47664][PYTHON][ANSLUT][Cherry-pick-14.3] Verifiera kolumnnamnet med cachelagrat schema
    • [SPARK-47862][PYTHON][ANSLUT]Åtgärda generering av proto-filer
    • Återställ "[SPARK-47543][CONNECT][PYTHON] Slutsatsring dict MapType från Pandas DataFrame för att tillåta att DataFrame skapas"
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47812][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
    • [SPARK-47818][ANSLUT][Cherry-pick-14.3] Introducera plancache i SparkConnectPlanner för att förbättra prestanda för Analysera begäranden
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-värdenstring till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* gäller inte längre för PySpark-UDF:er i delade kluster.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Datatypen TimestampNTZ stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för Delta-tabeller.
    • [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47638][PS][ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Skicka tabellidentifierare till genomsökning av raddatakälla för V2-strategi.
    • [SPARK-47044][SQL] Lägg till körd fråga för externa JDBC-datakällor för att förklara utdata
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47121][CORE] Undvik RejectedExecutionExceptions under friståendeSchedulerBackend-avstängning
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier bör innehålla andra uttryck i uttrycksträdet
    • [SPARK-47129][ANSLUT][SQL] Gör ResolveRelations cacheanslutningsplanen korrekt
    • [SPARK-47241][SQL] Åtgärda regelordningsproblem för ExtractGenerator
    • [SPARK-47035][SS][ANSLUT] Protokoll för lyssnare på klientsidan
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • [SPARK-47071][SQL] Infogat med uttryck om det innehåller specialuttryck
    • [SPARK-47059][SQL] Koppla felkontext för kommandot ALTER COLUMN v1
    • [SPARK-46993][SQL] Åtgärda konstant vikning för sessionsvariabler
    • Säkerhetsuppdateringar för operativsystem.
  • den 3 januari 2024
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-46954] XML: Omsluta InputStreamReader med BufferedReader.
    • [SPARK-46655] Hoppa över frågekontextfångst i DataFrame metoder.
    • [SPARK-44815] Cachelagrat df.schema för att undvika extra RPC.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46736] behålla det tomma meddelandefältet i protobuf-anslutningsappen.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46414] Använd prependBaseUri för att återge javascript-importer.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46954] XML: Optimera schemaindexsökning.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46731] Hantera tillståndslagerproviderinstans efter tillståndsdatakälla – läsare.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46227] Backport till 14.3.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.1

Se Databricks Runtime 14.1.

  • den 5 november 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
  • 14 augusti 2024
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48050][SS] Logga logisk plan vid frågestart
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av någon av dessa klasser innehåller null värden.
    • Utdata från en SHOW CREATE TABLE instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se VISA SKAPA TABELL. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • [SPARK-47638][PS][ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47309][SQL][XML] Lägg till schemainferensenhetstester
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47218][SQL] XML: Ignorera kommenterade radtaggar i XML-tokeniseraren
    • [SPARK-47300][SQL] quoteIfNeeded bör offertidentifieraren börja med siffror
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47322][PYTHON][ANSLUT] Gör withColumnsRenamed kolumnnamnens dupliceringshantering konsekvent med withColumnRenamed
    • [SPARK-47300] Korrigering för DecomposerSuite
    • [SPARK-47218] [SQL] XML: SchemaOfXml ändrades till fel i DROPMALFORMED-läge
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Skicka tabellidentifierare till genomsökning av raddatakälla för V2-strategi.
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47129][ANSLUT][SQL] Gör ResolveRelations cacheanslutningsplanen korrekt
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47044][SQL] Lägg till körd fråga för externa JDBC-datakällor för att förklara utdata
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • Nu kan du mata in XML-filer med hjälp av Autoloader, read_files, COPY INTO, DLT och DBSQL. STÖD för XML-filer kan automatiskt härleda och utveckla schema, rädda data med typmatchningar, validera XML med XSD, stödja SQL-uttryck som from_xml, schema_of_xml och to_xml. Mer information finns i STÖD för XML-filer. Om du tidigare hade använt det externa spark-xml-paketet kan du läsa mer här för migreringsvägledning.
    • [SPARK-46248][SQL] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
    • [SPARK-47059][SQL] Koppla felkontext för kommandot ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Omsluta InputStreamReader med BufferedReader
    • [SPARK-46954][SQL] XML: Optimera schemaindexsökning
    • [SPARK-46630][SQL] XML: Verifiera XML-elementnamnet vid skrivning
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • [SPARK-45957] Undvik att generera en körningsplan för icke-körbara kommandon.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-45498] Uppföljning: Ignorera slutförande av aktiviteter från gamla fasförsök.
    • [SPARK-46382] XML: Uppdatera dokument för ignoreSurroundingSpaces.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
    • [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
    • [SPARK-46382] XML: Samla in värden mellan element.
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-45962] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML.
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
    • [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46337] Behåll CTESubstitution PLAN_ID_TAG.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46260] DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
    • [SPARK-46028] Gör så att Column.__getitem__ du accepterar indatakolumnen.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles/ignoreMissingFiles i HadoopRDD och .NewHadoopRDD
    • [SPARK-45852] Hantera rekursionsfel under loggning.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • När du matar in CSV-data med hjälp av tabeller för automatisk inläsning eller direktuppspelning delas nu stora CSV-filer upp och kan bearbetas parallellt under både schemainferens och databearbetning.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45620] API:er som är relaterade till Python UDF använder nu camelCase.
    • [SPARK-44790] Implementering och bindningar har lagts till to_xml för Python, Spark Connect och SQL.
    • [SPARK-45770] Kolumnmatchning har åtgärdats med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Gjorde SBT-testning hermetisk.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45250] Stöd har lagts till för aktivitetsresursprofil på stegnivå för yarn-kluster när dynamisk allokering är inaktiverad.
    • [SPARK-44753] XML DataFrame-läsare och -skrivare har lagts till för PySpark SQL.
    • [SPARK-45396] Lade till en dokumentpost för PySpark.ml.connect modulen.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] SSLFactory har lagts till.
    • [SPARK-45577] Har åtgärdats UserDefinedPythonTableFunctionAnalyzeRunner för att skicka vikta värden från namngivna argument.
    • [SPARK-45562] Gjorde "rowTag" till ett obligatoriskt alternativ.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-43380] Åtgärdad avmattning i Avro-läsning.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45386] Ett problem har åtgärdats där StorageLevel.NONE 0 skulle returneras felaktigt.
    • [SPARK-44219] Valideringskontroller per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 september 2023
    • [SPARK-44823] Uppdaterad black till 23.9.1 och fast felaktig kontroll.
    • [SPARK-45339] PySpark loggar nu fel som den försöker igen.
    • Återställ [SPARK-42946] Redigerade känsliga data kapslade under variabelersättningar.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45360] Spark-sessionsverktyget stöder initiering från SPARK_REMOTE.
    • [SPARK-45279] Kopplad plan_id till alla logiska planer.
    • [SPARK-45425] Mappad TINYINT till ShortType för MsSqlServerDialect.
    • [SPARK-45419] Filversionsmappningsposten för större versioner har tagits bort för att undvika återanvändning rocksdb av SST-fil-ID:t.
    • [SPARK-45488] Stöd för värde i rowTag element har lagts till.
    • [SPARK-42205] Loggning av Accumulables starthändelser i Task/Stage JsonProtocol händelseloggar har tagits bort.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter misslyckas när du skriver fler värden än den ursprungliga kapaciteten.
    • [SPARK-43380] Problem med datatypkonvertering utan att orsaka prestandaregression har åtgärdats Avro .
    • [SPARK-45182] Stöd har lagts till för att rulla tillbaka shuffle map-fasen så att alla stegaktiviteter kan göras om när fasutdata är obestämda.
    • [SPARK-45399] XML-alternativ har lagts till med .newOption
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 13.3 LTS

Se Databricks Runtime 13.3 LTS.

  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error (Klassificera felklass för användarfunktionsfel för Foreach-mottagare)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error (Klassificera felklass för användarfunktionsfel för Foreach-mottagare)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrSlope & RegrIntercept när den första parametern är null
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
  • 14 augusti 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av någon av dessa klasser innehåller null värden.
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-46822][SQL] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-44653][SQL] Icke-triviala DataFrame-fackföreningar bör inte avbryta cachelagring
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47300][SQL] quoteIfNeeded bör offertidentifieraren börja med siffror
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47145][SQL] Skicka tabellidentifierare till genomsökning av raddatakälla för V2-strategi.
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Lägg till körd fråga för externa JDBC-datakällor för att förklara utdata
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden för TaskInfo.accumulables().
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Spark-snowflake-anslutningsappen uppgraderas till 2.12.0.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • Ändrade dataflödesfrågor i Unity Catalog-strömningstabeller och materialiserade vyer för att visa felmeddelanden.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 23 oktober 2023
    • [SPARK-45256] Åtgärdade ett problem där det inte gick att DurationWriter skriva fler värden än den ursprungliga kapaciteten.
    • [SPARK-45419] Undvik att återanvända rocksdb sst filer i en annan rocksdb instans genom att ta bort mappningsposter för filversioner av större versioner.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Funktionen array_insert är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.
    • Åtgärdat ett problem med att inte ignorera skadade filer när ignoreCorruptFiles är aktiverat under CSV-schemainferens med Auto Loader.
    • Återställ [SPARK-42946].
    • [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulables i en aktivitets- eller fasstarthändelser.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles och ignoreMissingFiles till HadoopRDD och NewHadoopRDD.
    • [SPARK-44740] Metadatavärden för artefakter har åtgärdats.
    • [SPARK-45360] Initierad Konfiguration av Spark-sessionsverktyget från SPARK_REMOTE.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänsliga flaggor vid sammanslagning av schema.
    • [SPARK-44658] ShuffleStatus.getMapStatus returnerar None nu i stället Some(null)för .
    • [SPARK-44840] Gjorde array_insert() 1-baserad för negativa index.
  • den 14 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44878] Inaktiverad strikt gräns för skrivhanteraren för RocksDB att undvika att infogningsfelet för cachen har slutförts.
  • den 30 augusti 2023
    • Kommandot dbutils cp (dbutils.fs.cp) har optimerats för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärder ta upp till 100 mindre tid, beroende på filstorleken. Funktionen är tillgänglig i alla moln och filsystem som är tillgängliga i Databricks, inklusive för Unity-katalogvolymer och DBFS-monteringar.
    • [SPARK-44455] Offertidentifierare med backticks i resultatet SHOW CREATE TABLE .
    • [SPARK-44763] Ett problem som visade en sträng som en dubbel i binär aritmetik med intervall har åtgärdats.
    • [SPARK-44871] Fast percentile_disc beteende.
    • [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44505] Åsidosättning har lagts till för columnar-stöd i Scan for DSv2.
    • [SPARK-44479] Protobuf-konverteringen har åtgärdats från en tom structtyp.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-42941] Stöd har lagts till för StreamingQueryListener i Python.
    • [SPARK-44558] Exportera PySparks Spark Connect-loggnivå.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • [SPARK-44643] Fast Row.__repr__ när fältet är en tom rad.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.2 LTS

Se Databricks Runtime 12.2 LTS.

  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • Diverse felkorrigeringar.
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 augusti 2024
  • 1 augusti 2024
    • För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-42741][SQL] Ta inte bort gjutningar i binär jämförelse när literal är null
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Diverse felkorrigeringar.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-44251][SQL] Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-43067] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-42852] Återställ NamedLambdaVariable-relaterade ändringar från EquivalentExpressions.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i Stage och Task starthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553] Kontrollera minst en tidsenhet efter intervall.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
  • den 12 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • [SPARK-44714] Förenklad begränsning av LCA-lösning för frågor.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] Åtgärdade ett problem där StateManager materialiserades i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43541] Sprid alla Project taggar för att matcha uttryck och kolumner som saknas.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42444] DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-42937] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43286] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-43378] Stäng strömobjekt i deserializeFromChunkedBuffer.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293] __qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098] COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085] Stöd för kolumntilldelning DEFAULT för tabellnamn i flera delar.
    • [SPARK-43190] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara.
    • [SPARK-43009] Parameteriserad sql() med Any konstanter
    • [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
    • [SPARK-43038] Stöd för CBC-läget genom att aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ändra till utskrift workdir om appDirs är null när arbetshandtagshändelsen WorkDirCleanup
    • [SPARK-43018] Åtgärda bugg för INSERT-kommandon med tidsstämpelliteraler
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928] Synkroniseras resolvePersistentFunction .
    • [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-42967] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 29 mars 2023

    • Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande INSERTkommandon , UPDATE, DELETEoch MERGE kan referera till valfri kolumns standardvärde med det explicita DEFAULT nyckelordet. Om någon INSERT tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden för de återstående kolumnerna (eller NULL om inget standardvärde anges).

      Till exempel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för strömmar för Trigger.AvailableNow att kontrollera att kontrollpunkten regelbundet kan rensas för snabba automatiska inläsningsströmmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.

    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

    • [SPARK-42521] Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen

    • [SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE

    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp

    • [SPARK-42403] JsonProtocol ska hantera null-JSON-strängar

  • Den 8 mars 2023
    • Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar fortfarande användning 'delta.feature.featureName'='enabled' och fortsätter att fungera.
    • Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap delta.ignoreProtocolDefaults för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard.
    • [SPARK-42070] Ändra standardvärdet för argumentet för maskfunktionen från -1 till NULL
    • [SPARK-41793] Felaktigt resultat för fönsterramar som definierats av en intervallsats på betydande decimaler
    • [SPARK-42484] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42516] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42635] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42622] Inaktiverat ersättning i värden
    • [SPARK-42534] Åtgärda DB2Dialect Limit-sats
    • [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
    • [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid litet/litet/betydande heltalsspill
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 11.3 LTS

Se Databricks Runtime 11.3 LTS.

  • den 10 oktober 2024
    • Diverse felkorrigeringar.
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 augusti 2024
  • 1 augusti 2024
    • För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 11.3 LTS från 3.9.5 till 3.9.19.
  • den 11 juli 2024
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
  • den 13 februari 2024
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • Återställ [SPARK-33861].
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44136] Åtgärdade ett problem som StateManager kan materialiseras i exekutor i stället för drivrutin i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Extended scalar subquery count bug test med decorrelateInnerQuery inaktiverat.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.

Databricks Runtime 10.4 LTS

Se Databricks Runtime 10.4 LTS.

  • den 5 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
  • 14 augusti 2024
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
  • 1 augusti 2024
  • den 11 juli 2024
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet verkar nu ha felade frågor korrekt.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test av utökat antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • [SPARK-41520] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43190] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • [SPARK-42928] Gör resolvePersistentFunction synkroniserad.
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42937] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
    • [SPARK-42635] Åtgärda ...
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-41162] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-33206] Åtgärda beräkning av shuffle-indexcachevikt för små indexfiler
    • [SPARK-42484] Förbättrade felmeddelandet UnsafeRowUtils
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • [SPARK-30220] Aktivera användning av Exists/In-underfrågor utanför filternoden
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • [SPARK-41199] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41198] Åtgärda mått i strömningsfrågan med CTE- och DSv1-strömningskälla.
    • [SPARK-41339] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa.
    • [SPARK-41732] Använd trädmönsterbaserad beskärning för regeln SessionWindowing.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när det är inställt på true, tar bort avslutande tomt utrymme från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet.
    • [SPARK-40292] Åtgärda kolumnnamn i arrays_zip funktionen när matriser refereras från kapslade structs
    • Säkerhetsuppdateringar för operativsystem.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40697] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • [SPARK-40468] Åtgärda kolumnrensning i CSV när _corrupt_record du väljer .
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40213] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • [SPARK-40380] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-38404] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies().
    • [SPARK-40218] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna.
    • [SPARK-39976] ArrayIntersect ska hantera null i det vänstra uttrycket korrekt.
    • [SPARK-40053] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö.
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den.
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall.
  • den 24 augusti 2022
    • [SPARK-39983] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen.
    • [SPARK-39775] Inaktivera verifiera standardvärden vid parsning av Avro-scheman.
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-37643] när charVarcharAsString är sant bör predicate-frågan för teckendatatyp hoppa över rpadding-regeln.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om den anropande tråden avbryts
    • [SPARK-39731] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39625] Lägg till Dataset.as(StructType).
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakällan.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded bör vara trådsäker.
    • [SPARK-39570] Infogad tabell bör tillåta uttryck med alias.
    • [SPARK-39702] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel.
    • [SPARK-39575] lägg till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-39476] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal.
    • [SPARK-38868] Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39355] En kolumn använder citerad för att konstruera UnresolvedAttribute.
    • [SPARK-39548] CreateView-kommandot med en fönstersatsfråga trycker på ett fel fönsterdefinitionsfel hittades inte.
    • [SPARK-39419] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark bör inte kontrollera fältnamn vid läsning av filer.
    • [SPARK-34096] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret.
    • [SPARK-36718] isExtractOnly Åtgärda kontrollen i CollapseProject.
  • 2 juni 2022
    • [SPARK-39093] Undvik codegen-kompileringsfel när du dividerar årsmånadsintervall eller dagtidsintervall med en integral.
    • [SPARK-38990] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell inbyggd minnesläcka i Auto Loader.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen.
    • [SPARK-37593] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används.
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten.
    • [SPARK-32268] Lägg till ColumnPruning i injectBloomFilter.
    • [SPARK-38974] Filtrera registrerade funktioner med ett angivet databasnamn i listfunktioner.
    • [SPARK-38931] Skapa rot-dfs-katalog för RocksDBFileManager med ett okänt antal nycklar på första kontrollpunkten.
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
    • Ett problem med bibliotek med notebook-omfång som inte fungerar i batchströmningsjobb har åtgärdats.
    • [SPARK-38616] Hålla reda på SQL-frågetext i Catalyst TreeNode
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
      • timestampadd() och dateadd(): Lägg till en tidsvaraktighet i en angiven enhet i ett tidsstämpeluttryck.
      • timestampdiff() och datediff(): Beräkna tidsskillnaden mellan tvåtidsstämpeluttryck i en angiven enhet.
    • Parquet-MR har uppgraderats till 1.12.2
    • Förbättrat stöd för omfattande scheman i parquet-filer
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-plocka tre timestmapadd/diff ändringar.
    • [SPARK-38523] Korrigering som refererar till den skadade postkolumnen från CSV.
    • [SPARK-38237] Tillåt ClusteredDistribution att fullständiga klustringsnycklar krävs.
    • [SPARK-38437] Överseende serialisering av datetime från datakälla.
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat.
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 9.1 LTS

Se Databricks Runtime 9.1 LTS.

  • den 5 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
  • 14 augusti 2024
  • 1 augusti 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats.
    • [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-37520] Lägg till strängfunktionerna startswith() och endswith()
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-42484] Förbättrat felmeddelande för UnsafeRowUtils.
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Diverse korrigeringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39666] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39689] Stöd för två tecken lineSep i CSV-datakällan
    • [SPARK-39575] Har lagts till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • [SPARK-39419] ArraySort genererar ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554] copy() Implementera metoden i ColumnarMap.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp TaskContext av för att stoppa iteratorn när uppgiften har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • den 6 april 2022
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var /databricks/driveractive directory .
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
  • Den 14 mars 2022
    • [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-34069] Avbryt aktivitetstråden om den lokala egenskapen SPARK_JOB_INTERRUPT_ON_CANCEL är inställd på true.
  • den 23 februari 2022
    • [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
  • den 8 februari 2022
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • Åtgärdade ett problem där OPTIMIZE kommandot kunde misslyckas när ANSI SQL-dialekten aktiverades.
  • den 19 januari 2022
    • Mindre korrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException.
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 20 oktober 2021
    • Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för den bignumeriska typen.