Dela via

Underhållsuppdateringar för Databricks Runtime

  • Artikel

Den här artikeln innehåller underhållsuppdateringar för Databricks Runtime-versioner som stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster. Underhållsuppdateringar för Databricks Runtime-versioner som inte stöds finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).

Kommentar

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.

Databricks Runtime-versioner

Underhållsuppdateringar efter lansering:

Databricks Runtime 16.1

Se Databricks Runtime 16.1.

  • den 27 november 2024
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • Med den här versionen expanderar cachestorleken som används av en SSD i en Databricks-beräkningsnod dynamiskt till SSD:s ursprungliga storlek och krymper vid behov ned till gränsen för spark.databricks.io.cache.maxDiskUsage. Se Optimera prestanda med cachelagring på Azure Databricks.
    • [SPARK-50338][CORE] Gör LazyTry-undantag mindre utförliga
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 16.0

Se Databricks Runtime 16.0.

  • den 4 december 2024
    • USE CATALOG-satsen stöder nu IDENTIFIER-satsen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • Med den här versionen expanderar cachestorleken som används av en SSD i en Databricks-beräkningsnod dynamiskt till SSD:s ursprungliga storlek och krymper vid behov ned till gränsen för spark.databricks.io.cache.maxDiskUsage. Se Optimera prestanda med cachelagring på Azure Databricks.
    • [SPARK-50322][SQL] Åtgärda parameteriserad identifierare i en underfråga
    • [SPARK-50034][CORE] Åtgärda felrapportering av allvarliga fel som okontrollerade undantag i SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Stöd för IDENTIFIER uttryck i SETCATALOG-instruktion
    • [SPARK-50426][PYTHON] Undvik statisk Python-datakällereferens vid användning av inbyggda eller Java-datakällor
    • [SPARK-50338][CORE] Gör LazyTry-undantag mindre utförliga
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 december 2024
    • (Icke-bakåtkompatibel ändring) I Databricks Runtime 15.4 och senare uppdateras hantering av reguljära uttryck i Photon för att matcha beteendet i Apache Spark. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split() och regexp_extract(), vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas med reguljära uttryck som Spark anser vara ogiltiga. På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{'), som innehåller en omatchad klammerparentes och som tidigare accepterades av Photon, misslyckas nu. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{'). Photon- och Spark-beteendet skilde sig också åt för matchning av reguljära uttryck med icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.
    • Med den här versionen kan du nu fråga funktionen vector_search med hjälp av query_text för textinmatning eller query_vector för inbäddning av indata.
    • Nu kan du ange en tidsgräns för Spark Connect-frågor med hjälp av spark-konfigurationsegenskapen spark.databricks.execution.timeout. För notebook-filer som körs på serverlös beräkning är standardvärdet 9000 (sekunder). Jobb som körs på serverlösa beräknings- och delade kluster har ingen tidsgräns om inte den här konfigurationsegenskapen har angetts. En körning som varar längre än den angivna tidsgränsen resulterar i ett QUERY_EXECUTION_TIMEOUT_EXCEEDED-fel.
    • [SPARK-49843][SQL] Åtgärda ändringskommentare för char/varchar-kolumner
    • [SPARK-49924][SQL] Behåll containsNull efter ArrayCompact ersättning
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-48780][SQL] Gör felmeddelanden i NamedParametersSupport generiska för att hantera funktioner och procedurer
    • [SPARK-49876][CONNECT] Bli av med globala lås från Spark Connect-tjänsten
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-49615] Bugfix: Se till att ML-kolumnschema-verifieringen överensstämmer med spark-konfigurationen spark.sql.caseSensitive
    • [SPARK-48782][SQL] Lägg till stöd för att köra procedurer i kataloger
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49829] Revidera optimeringen av att lägga till indata i tillståndsarkivet i stream-stream-anslutning (korrigering av korrekthet)
    • Återställ "[SPARK-49002][SQL] Hanterar konsekvent ogiltiga platser i WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
    • [SPARK-50028][CONNECT] Ersätt globala lås i Spark Connect-serverlyssnaren med finfördelade lås
    • [SPARK-49615] [ML] Gör att valideringen av datamängdens schema för alla ML-funktionstransformatorer överensstämmer med konfigurationen "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET bör bevara dataordningen
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 15.4

Se Databricks Runtime 15.4 LTS.

  • den 10 december 2024
    • USE CATALOG-satsen stöder nu IDENTIFIER-satsen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • Med den här versionen expanderar cachestorleken som används av en SSD i en Databricks-beräkningsnod dynamiskt till SSD:s ursprungliga storlek och krymper vid behov ned till gränsen för spark.databricks.io.cache.maxDiskUsage. Se Optimera prestanda med cachelagring på Azure Databricks.
    • Pyodbc-paketet uppdateras från version 4.0.38 till version 4.0.39. Den här ändringen krävs eftersom en bugg hittades i version 4.0.38 och den versionen har tagits bort från PyPI.
    • [SPARK-50329][SQL] åtgärdar InSet$toString
    • [SPARK-47435][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Stöd för IDENTIFIER uttryck i SETCATALOG-instruktion
    • [SPARK-50426][PYTHON] Undvik statisk Python-datakällereferens vid användning av inbyggda eller Java-datakällor
    • [SPARK-48863][SQL] Fix ClassCastException när du parsar JSON med "spark.sql.json.enablePartialResults" aktiverat
    • [SPARK-50310][PYTHON] Lägg till en flagga för att inaktivera DataFrameQueryContext för PySpark
    • [15.3-15.4] [[SPARK-50034]]https://issues.apache.org/jira/browse/SPARK-50034)[CORE] Åtgärda felrapportering av kritiska fel som oavfångade undantag i SparkUncaughtExceptionHandler
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Med den här versionen kan du nu fråga funktionen vector_search med hjälp av query_text för textinmatning eller query_vector för inbäddning av indata.
    • Nu kan du ange en tidsgräns för Spark Connect-frågor med hjälp av spark-konfigurationsegenskapen spark.databricks.execution.timeout. För notebook-filer som körs på serverlös beräkning är standardvärdet 9000 (sekunder). Jobb som körs på serverlösa beräknings- och delade kluster har ingen tidsgräns om inte den här konfigurationsegenskapen har angetts. En körning som varar längre än den angivna tidsgränsen resulterar i ett QUERY_EXECUTION_TIMEOUT_EXCEEDED-fel.
    • [SPARK-50322][SQL] Åtgärda parameteriserad identifierare i en underfråga
    • [SPARK-49615] [ML] Se till att alla ML-funktioner för omvandling validerar dataschemats överensstämmelse med konfigurationen "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET bör bevara dataordningen
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • (Icke-bakåtkompatibel ändring) I Databricks Runtime 15.4 och senare uppdateras hantering av reguljära uttryck i Photon för att matcha beteendet i Apache Spark. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split() och regexp_extract(), vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas med reguljära uttryck som Spark anser vara ogiltiga. På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{'), som innehåller en omatchad klammerparentes och som tidigare accepterades av Photon, misslyckas nu. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{'). Photon- och Spark-beteendet skilde sig också åt för matchning av reguljära uttryck med icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49829] Revidera optimeringen av att lägga till indata i tillståndsarkivet i stream-stream-anslutning (korrigering av korrekthet)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49443][SQL][PYTHON] Implementera to_variant_object uttryck och gör schema_of_variant uttryck skriva ut OBJEKT för variantobjekt
    • [SPARK-49615] Bugfix: Se till att ML-kolumnschemavalideringen överensstämmer med Spark-konfigurationen spark.sql.caseSensitive.
  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49829] Förbättra optimering av att lägga till indata i tillståndsarkivet vid stream-stream-sammankoppling (åtgärda korrekthetsfel)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49443][SQL][PYTHON] Implementera to_variant_object uttryck och gör schema_of_variant uttryck skriva ut OBJEKT för variantobjekt
    • [SPARK-49615] Bugfix: Justera ML-kolumnschema så att det överensstämmer med Spark-konfigurationen spark.sql.caseSensitive
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • [SPARK-49458][ANSLUT][PYTHON] Ange sessions-ID på serversidan via ReattachExecute
    • [SPARK-49017][SQL] Insert-instruktionen misslyckas när flera parametrar används
    • [SPARK-49451] Tillåt duplicerade nycklar i parse_json.
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][ANSLUT][HOTFIX-15.4.2] Stöd för Sökvägar i Windows-stil i ArtifactManager
    • Återställ "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark should accept variable length args"
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49366][CONNECT] Behandla Union-noden som löv i dataramens kolumnupplösning
    • [SPARK-49018][SQL] Åtgärda approx_count_distinct fungerar inte korrekt med sortering
    • [SPARK-49460][SQL] Ta bort cleanupResource() från EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49336][CONNECT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
  • den 29 augusti 2024

Databricks Runtime 14.3

Se Databricks Runtime 14.3 LTS.

  • den 10 december 2024
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • [SPARK-50329][SQL] åtgärdar InSet$toString
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • [SPARK-49615] [ML] Se till att validering av dataset-scheman för alla funktionstransformatorer inom ML-systemet överensstämmer med konfigurationen "spark.sql.caseSensitive".
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Revidera optimeringen av att lägga till indata i tillståndsarkivet i stream-stream-anslutning (korrigering av korrekthet)
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klassificera felklass för Foreach-sänkanvändarfunktionens fel
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klassificera felklass för foreach-sänka användarfunktionsfel
    • [SPARK-49829] Revidera optimeringen av att lägga till indata i tillståndsarkivet i stream-stream-anslutning (korrigering av korrekthet)
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-48810][ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][CONNECT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Behandla Union-noden som löv i dataramens kolumnupplösning
  • den 29 augusti 2024
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i strömmande frågor i tilläggsläge till felramverket
    • [SPARK-48862][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av en av dessa klasser innehåller null värden.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Vid beräkning som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och skrivningar nu samma begränsningar som de som dokumenteras för strukturerad direktuppspelning. Se begränsningar och krav för strömning i Unity Catalogs åtkomst i delat läge.
    • Utdata från en SHOW CREATE TABLE-instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se SHOW CREATE TABLE. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48889][SS] testStream för att ta bort tillståndslager innan du slutför
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-48047][SQL] Minska minnesbelastningen för tomma TreeNode-taggar
    • [SPARK-48544][SQL] Minska minnestrycket för tomma TreeNode BitSets
    • [SPARK-46957][CORE] Inaktivera migrerade shuffle-filer bör kunna rensas från executor
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-47713][SQL][CONNECT] Åtgärda ett självkopplingsfel
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48648][PYTHON][ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med gruppering efter icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • applyInPandasWithState() är tillgängligt i delade kluster.
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48310][PYTHON][ANSLUT] Cachelagrade egenskaper måste returnera kopior
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48294][SQL] Hantera gemener i nestedTypeMissingElementTypeError
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • Ett fel har åtgärdats i funktionen try_divide() där indata som innehåller decimaler resulterade i oväntade undantag.
    • [SPARK-48056][ANSLUT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND fel utlöses och inget partiellt svar togs emot
    • [SPARK-48146][SQL] Åtgärda aggregerad funktion i Underordnad uttryckskontroll
    • [SPARK-47986][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • [SPARK-48180][SQL] Förbättra felmeddelandet när ett UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY uttryck.
    • [SPARK-48016][SQL] Åtgärda en bugg i try_divide funktion när med decimaler
    • [SPARK-48197][SQL] Undvik kontrollfel för ogiltig lambda-funktion
    • [SPARK-47994][SQL] Åtgärda fel med CASE WHEN-kolumnfilter push down i SQLServer
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • (Beteendeförändring) applyInPandas och mapInPandas UDF-typer stöds nu för beräkning av delat åtkomstläge som kör Databricks Runtime 14.3 och senare.
    • [SPARK-47739][SQL] Registrera logisk avro-typ
    • [SPARK-47941] [SS] [Anslut] Sprida initieringsfel för ForeachBatch-arbetare till användare för PySpark
    • [SPARK-48010][SQL] Undvik upprepade anrop till conf.resolver i resolveExpression
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-47543][ANSLUT][PYTHON] Härleda diktering som Mapype från Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47819][ANSLUT][Cherry-pick-14.3] Använd asynkron återanrop för körningsrensning
    • [SPARK-47764][CORE][SQL] Rensning av shuffle-beroenden baserat på ShuffleCleanupMode
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Åtgärda aggregerad bugg i RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47543][ANSLUT][PYTHON] Härleda dict från MapType Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47694][ANSLUT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Verifiera kolumnnamnet med cachelagrat schema
    • [SPARK-47862][PYTHON][ANSLUT]Åtgärda generering av proto-filer
    • Återställ "[SPARK-47543][CONNECT][PYTHON] Slutsatsring dictMapType från Pandas DataFrame för att tillåta att DataFrame skapas"
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47812][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
    • [SPARK-47818][ANSLUT][Cherry-pick-14.3] Introducera plancache i SparkConnectPlanner för att förbättra prestanda för Analysera begäranden
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-string värden till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* gäller inte längre för PySpark-UDF:er i delade kluster.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Den TimestampNTZ datatypen stöds nu som en klustringskolumn med flytande klustring. Se Använd flytande klustring för Delta-tabeller.
    • [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47638][PS][CONNECT] Hoppa över verifiering av kolumnnamn i PS
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Överför tabellidentifierare till raddatasökningens exekvering för V2-strategi.
    • [SPARK-47044][SQL] Lägg till körd fråga för JDBC-externa datakällor för att förklara utdata
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47121][CORE] Undvik RejectedExecutionExceptions under friståendeSchedulerBackend-avstängning
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier bör innehålla andra uttryck i uttrycksträdet
    • [SPARK-47129][ANSLUT][SQL] Gör ResolveRelations cacheanslutningsplanen korrekt
    • [SPARK-47241][SQL] Åtgärda regelordningsproblem för ExtractGenerator
    • [SPARK-47035][SS][ANSLUT] Protokoll för lyssnare på klientsidan
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • [SPARK-47071][SQL] Infogat med uttryck om det innehåller specialuttryck
    • [SPARK-47059][SQL] Bifoga felförhållanden för ALTER COLUMN v1-kommandot
    • [SPARK-46993][SQL] Åtgärda konstant vikning för sessionsvariabler
    • Säkerhetsuppdateringar för operativsystem.
  • den 3 januari 2024
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-46954] XML: Omsluta InputStreamReader med BufferedReader.
    • [SPARK-46655] Hoppa över frågekontextfångst i DataFrame metoder.
    • [SPARK-44815] Cache df.schema för att undvika extra RPC.
    • [SPARK-46952] XML: Begränsa storleken på den felaktiga posten.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46736] behålla det tomma meddelandefältet i protobuf-anslutningsappen.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46414] Använd prependBaseUri för att återge javascript-importer.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46954] XML: Optimera schemaindexsökning.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46731] Hantera tillståndslagerproviderinstans efter tillståndsdatakälla – läsare.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46610] Skapa tabell ska utlösa undantag när inget värde finns för en nyckel i alternativen.
    • [SPARK-46941] Det går inte att infoga noden för fönstergruppsgräns för top-k-beräkningen om den innehåller SizeBasedWindowFunction.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46227] Backport till 14.3.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.1

Se Databricks Runtime 14.1.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
  • den 10 oktober 2024
    • [BACKPORT] [[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klassificera felklass för FlatMapGroupsWithState-användarfunktionens fel
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
  • 14 augusti 2024
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48050][SS] Logga logisk plan vid frågestart
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av en av dessa klasser innehåller null värden.
    • Utdata från en SHOW CREATE TABLE-instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se SHOW CREATE TABLE. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med group-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
  • Den 9 maj 2024
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • [SPARK-47638][PS][CONNECT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47309][SQL][XML] Lägg till enhetstester för schemainferens
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47218][SQL] XML: Ignorera kommenterade radtaggar i XML-tokeniseraren
    • [SPARK-47300][SQL] quoteIfNeeded bör citera identifierare som börjar med siffror
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47322][PYTHON][CONNECT] Gör withColumnsRenamed kolumnnamnsdupliceringshantering konsekvent med withColumnRenamed
    • [SPARK-47300] Korrigering för DecomposerSuite
    • [SPARK-47218] [SQL] XML: SchemaOfXml ändrades till fel i DROPMALFORMED-läge
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Skicka tabellidentifierare till raddatakällans skanning exekvering för V2-strategin.
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47129][ANSLUT][SQL] Gör ResolveRelations cacheanslutningsplanen korrekt
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47044][SQL] Lägg till körd fråga för JDBC-externa datakällor för att förklara utdata
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • Nu kan du mata in XML-filer med hjälp av Autoloader, read_files, COPY INTO, DLT och DBSQL. Stöd för XML-filer kan automatiskt infera och anpassa schema, hantera data med typfel, validera XML med XSD, samt stödja SQL-uttryck som from_xml, schema_of_xml och to_xml. Mer information finns i STÖD för XML-filer. Om du tidigare hade använt det externa spark-xml-paketet kan du läsa mer här för migreringsvägledning.
    • [SPARK-46248][SQL] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
    • [SPARK-47059][SQL] Bifoga felförhållanden för ALTER COLUMN v1-kommandot
    • [SPARK-46954][SQL] XML: Omsluta InputStreamReader med BufferedReader
    • [SPARK-46954][SQL] XML: Optimera schemaindexsökning
    • [SPARK-46630][SQL] XML: Verifiera XML-elementnamnet vid skrivning
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-APPLY CHANGES tabeller i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46952] XML: Begränsa storleken på den skadade posten.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46941] Det går inte att infoga noden för fönstergruppsgräns för top-k-beräkningen om den innehåller SizeBasedWindowFunction.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • [SPARK-45957] Undvik att generera en körningsplan för icke-körbara kommandon.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-45498] Uppföljning: Ignorera slutförande av aktiviteter från gamla fasförsök.
    • [SPARK-46382] XML: Uppdatera dokumentationen för ignoreSurroundingSpaces.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
    • [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
    • [SPARK-46382] XML: Fånga värden infogade mellan element.
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46610] Skapa tabell bör utlösa ett undantag när det saknas ett värde för en nyckel i alternativen.
    • [SPARK-45964] Ta bort privat SQL-accessor i XML- och JSON-paketet under katalysatorpaketet.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-45962] Ta bort treatEmptyValuesAsNulls och använd alternativet nullValue i stället i XML.
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självjoin.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Den shuffle noden i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga till flaggan causedBroadcastJoinBuildOOM=true när ett minnesfel uppstår under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
    • [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när parameter spark.sql.legacy.keepCommandOutputSchema är inställd på sant.
    • [SPARK-46337] Behåll CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602] Sprida allowExisting vid skapandet av vy när vyn/tabellen inte finns.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Åtgärda felet när du frågar från tabellen efter att kolumnstandarderna har ändrats.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
    • [SPARK-46028] Gör så att Column.__getitem__ accepterar indatakolumnen.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles/ignoreMissingFiles i HadoopRDD och NewHadoopRDD.
    • [SPARK-45852] Hantera rekursionsfel under loggning.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Ett problem där undantagna understreck i getColumns åtgärder som kommer från JDBC- eller ODBC-klienter tolkades felaktigt som jokertecken.
    • När du matar in CSV-data med hjälp av tabeller för automatisk inläsning eller direktuppspelning delas nu stora CSV-filer upp och kan bearbetas parallellt under både schemainferens och databearbetning.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45620] API:er som är relaterade till Python UDF använder nu camelCase.
    • [SPARK-44790] Implementering och bindningar har lagts till to_xml för Python, Spark Connect och SQL.
    • [SPARK-45770] Fast kolumnupplösning med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Gjorde SBT-testning hermetisk.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45250] Stöd har lagts till för aktivitetsresursprofil på stegnivå för yarn-kluster när dynamisk allokering är inaktiverad.
    • [SPARK-44753] XML DataFrame-läsare och -skrivare har lagts till för PySpark SQL.
    • [SPARK-45396] Lade till en dokumentpost för PySpark.ml.connect modulen.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] SSLFactory har lagts till.
    • [SPARK-45577] Åtgärdade UserDefinedPythonTableFunctionAnalyzeRunner för att vidarebefordra vikta värden från namngivna argument.
    • [SPARK-45562] Gjorde "rowTag" till ett obligatoriskt alternativ.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-43380] Åtgärdad avmattning i Avro-läsning.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45386] Åtgärdat ett problem där StorageLevel.NONE felaktigt skulle returnera 0.
    • [SPARK-44219] Valideringskontroller per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Åtgärdat ett problem där InferWindowGroupLimit orsakade ett problem om de andra fönsterfunktionerna inte hade samma fönsterram som rankningsliknande funktioner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 september 2023
    • [SPARK-44823] Uppdaterad black till 23.9.1 och fast felaktig kontroll.
    • [SPARK-45339] PySpark loggar nu fel som den försöker igen.
    • Återställ [SPARK-42946] Redigerade känsliga data kapslade under variabelersättningar.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45360] Spark-sessionsverktyget stöder initiering från SPARK_REMOTE.
    • [SPARK-45279] Kopplad plan_id till alla logiska planer.
    • [SPARK-45425] Mappad TINYINT till ShortType för MsSqlServerDialect.
    • [SPARK-45419] Filversionsmappningsposten för större versioner har tagits bort för att undvika återanvändning rocksdb av SST-fil-ID:t.
    • [SPARK-45488] Stöd för värde i rowTag element har lagts till.
    • [SPARK-42205] Loggning av Accumulables starthändelser i Task/StageJsonProtocol händelseloggar har tagits bort.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter misslyckas när fler värden skrivs än den ursprungliga kapaciteten.
    • [SPARK-43380] Problem med datatypkonvertering utan att orsaka prestandaregression har åtgärdats Avro .
    • [SPARK-45182] Stöd har lagts till för att rulla tillbaka shuffle map-fasen så att alla stegaktiviteter kan göras om när fasutdata är obestämda.
    • [SPARK-45399] XML-alternativ har lagts till med .newOption
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 13.3 LTS

Se Databricks Runtime 13.3 LTS.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • [SPARK-49615] [ML] Gör att datamängdsschemavalidering för ML-funktionstransformatorer ska stämma överens med konfigurationen "spark.sql.caseSensitive".
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klassificera felklass för Fel i användarfunktion för Foreach-sänka
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klassificera felklass för Foreach sink användarfunktionsfel
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrSlope & RegrIntercept när den första parametern är null
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor med stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
  • 14 augusti 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av en av dessa klasser innehåller null värden.
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48463] Gör så att StringIndexer stöder kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med gruppering på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
  • Den 9 maj 2024
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-46822][SQL] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-44653][SQL] Icke-triviala DataFrame-fackföreningar bör inte avbryta cachelagring
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-44252][SS] Definiera en ny felklass och ansöka om det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47300][SQL] quoteIfNeeded bör citera identifierare som börjar med siffror
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47145][SQL] Överför tabellidentifierare till radkälldata skänningsutförande för V2-strategin.
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Lägg till körd fråga för JDBC-externa datakällor för att förklara utdata
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-APPLY CHANGES tabeller i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46941] Det går inte att infoga noden för fönstergruppsgräns för top-k-beräkningen om den innehåller SizeBasedWindowFunction.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46610] Skapa tabell bör kasta undantag när inget värde finns för en nyckel i alternativen.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden för TaskInfo.accumulables().
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Den shuffle-noden i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga till flaggan causedBroadcastJoinBuildOOM=true när ett minnesfel uppstår under en shuffle som ingår i en broadcast join.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46370] Åtgärda felet när du frågar från tabellen efter att kolumnstandarderna har ändrats.
    • [SPARK-46370] Åtgärda felet när du frågar från tabellen efter att kolumnstandarderna har ändrats.
    • [SPARK-46370] Åtgärda felet när du frågar från tabellen efter att kolumnstandarderna har ändrats.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602] Sprida allowExisting vid skapande av vy när vyn/tabellen inte finns.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema är inställt på sant.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Spark-snowflake-anslutningsappen uppgraderas till 2.12.0.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • För bättre resursutnyttjande trycks partitionsfilter på Delta Lake-strömningsfrågor ner innan hastighetsbegränsningen.
    • Ändrade dataflödesfrågor i Unity Catalog-strömningstabeller och materialiserade vyer för att visa felmeddelanden.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Åtgärdat ett problem där InferWindowGroupLimit orsakade ett problem om de andra fönsterfunktionerna inte hade samma fönsterram som rankningsliknande funktioner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 23 oktober 2023
    • [SPARK-45256] Åtgärdat ett problem där DurationWriter misslyckades när fler värden skrevs än den ursprungliga kapaciteten.
    • [SPARK-45419] Undvik att återanvända rocksdb sst filer i en annan rocksdb instans genom att ta bort mappningsposter för filversioner av större versioner.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Funktionen array_insert är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.
    • Åtgärdat ett problem med att inte ignorera skadade filer när ignoreCorruptFiles är aktiverat under CSV-schemainferens med automatisk inläsning.
    • Återställ [SPARK-42946].
    • [SPARK-42205] Uppdaterade JSON-protokollet för att ta bort loggning av ackumuleringar i start av aktivitet eller fas-händelser.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles och ignoreMissingFiles till HadoopRDD och NewHadoopRDD.
    • [SPARK-44740] fasta metadatavärden för artefakter.
    • [SPARK-45360] Initierad Konfiguration av Spark-sessionsverktyget från SPARK_REMOTE.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45346] Parquet-skemainferens respekterar nu skiftlägeskänsliga flaggor vid sammanfogning av scheman.
    • [SPARK-44658]ShuffleStatus.getMapStatus returnerar None nu i stället Some(null)för .
    • [SPARK-44840] Gjorde array_insert() 1-baserad för negativa index.
  • den 14 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44878] Inaktiverad strikt gräns för RocksDB skrivhanterare för att undvika att infogningsfelet vid cachen har slutförts.
  • den 30 augusti 2023
    • Kommandot dbutils cp (dbutils.fs.cp) har optimerats för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärder ta upp till 100 mindre tid, beroende på filstorleken. Funktionen är tillgänglig i alla moln och filsystem som är tillgängliga i Databricks, inklusive för Unity-katalogvolymer och DBFS-monteringar.
    • [SPARK-44455] Offertidentifierare med backticks i resultatet SHOW CREATE TABLE .
    • [SPARK-44763] Ett problem som visade en sträng som en dubbel i binär aritmetik med intervall har åtgärdats.
    • [SPARK-44871] Fast percentile_disc beteende.
    • [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44505] Åsidosättning har lagts till för columnar-stöd i Scan for DSv2.
    • [SPARK-44479] Protobuf-konverteringen har åtgärdats från en tom structtyp.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-42941] Stöd har lagts till för StreamingQueryListener i Python.
    • [SPARK-44558] Exportera PySparks Spark Connect-loggnivå.
    • [SPARK-44464] Åtgärdade applyInPandasWithStatePythonRunner för att utdata rader som har Null som det första kolumnvärdet.
    • [SPARK-44643] Fast Row.__repr__ när fältet är en tom rad.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.2 LTS

Se Databricks Runtime 12.2 LTS.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Diverse felkorrigeringar.
  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • Diverse felkorrigeringar.
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 augusti 2024
  • 1 augusti 2024
    • För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19.
  • den 11 juli 2024
    • (Beteendeändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-42741][SQL] Ta inte bort gjutningar i binär jämförelse när literal är null
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med gruppering efter icke-likvärdiga kolumner som felaktigt tilläts
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Diverse felkorrigeringar.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-44252][SS] Definiera en ny felklass och ansöka om det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman som innehåller specialtecken när spark.sql.legacy.keepCommandOutputSchema är inställt på sant.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-43067] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46602] Sprida allowExisting vid skapande av vy när vyn/tabellen inte finns.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-42852] Återställ NamedLambdaVariable-relaterade ändringar från EquivalentExpressions.
  • den 14 december 2023
    • Åtgärdade ett problem där avgränsade understreck i getColumns-operationer från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Ett problem åtgärdades där escaperade understreck i getColumns-operationer från JDBC- eller ODBC-klienter tolkades felaktigt som jokertecken.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i Stage och Task starthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor trycks ner innan hastighetsbegränsningen tillämpas för att uppnå effektivare användning.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553] Kontrollera minst en tidsenhet efter intervall.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084]StateOperatorProgress att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
  • den 12 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • [SPARK-44714] Förenklad begränsning av LCA-lösning för frågor.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsaktivitet rensar upp inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Fixade applyInPandasWithStatePythonRunner till utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2023
    • Åtgärdade ett problem där dbutils.fs.ls() returnerade INVALID_PARAMETER_VALUE.LOCATION_OVERLAP när den anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad lagringsplats.
    • [SPARK-44199]CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44337] Åtgärdat ett problem där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] Åtgärdat ett problem där StateManager skulle materialiseras i en exekutor istället för i en drivrutin i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779]ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43522] Åtgärdade problemet med att skapa struct-kolumnnamn med index i en array.
    • [SPARK-43541] sprida alla Project taggar vid lösning av uttryck och saknade kolumner.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42444]DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-42937]PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43286] Uppdaterad aes_encrypt CBC-läge för att generera slumpmässiga IV:er.
    • [SPARK-43378] Stäng strömobjekt i deserializeFromChunkedBuffer.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara alternativet failOnUnknownFields eller med Auto Loader i failOnNewColumns schemautvecklingsläge, skulle kolumner som har olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293]__qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098]COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085] Stöd för kolumn DEFAULT tilldelning för tabellnamn i flera delar.
    • [SPARK-43190]ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Om en Parquet-fil lästes med bara alternativet failOnUnknownFields eller med Auto Loader i failOnNewColumns schemautvecklingsläge, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara.
    • [SPARK-43009] Parameteriserad sql() med Any konstanter
    • [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
    • [SPARK-43038] Stöd för CBC-läget genom att aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ändra till utskrift workdir om appDirs är null när arbetshandtagshändelsen WorkDirCleanup
    • [SPARK-43018] Åtgärda fel för INSERT kommandon med tidsstämpelliteraler
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928] Synkroniseras resolvePersistentFunction .
    • [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-42967] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 29 mars 2023

    • Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande kommandon INSERT, UPDATE, DELETEoch MERGE kan referera till valfri kolumns standardvärde med hjälp av det explicita nyckelordet DEFAULT. Om någon INSERT tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden med de återstående kolumnerna (eller NULL om inget standardvärde har angetts).

      Till exempel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för Trigger.AvailableNow-strömmar för att säkerställa att kontrollpunkten regelbundet kan städas upp för snabbt körande Auto Loader-strömmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.

    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

    • [SPARK-42521] Lägg till NULLs för INSERT med användardefinierade listor med färre kolumner än måltabellen

    • [SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE

    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp

    • [SPARK-42403] JsonProtocol ska hantera null-JSON-strängar

  • Den 8 mars 2023
    • Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar fortfarande användning 'delta.feature.featureName'='enabled' och fortsätter att fungera.
    • Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap delta.ignoreProtocolDefaults för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard.
    • [SPARK-42070] Ändra standardvärdet för argumentet för maskfunktionen från -1 till NULL
    • [SPARK-41793] Felaktigt resultat för fönsterramar som definieras av en intervallsats på signifikanta decimaler
    • [SPARK-42484] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42516] Avbilda alltid sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42635] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42622] Inaktiverad ersättning i värden
    • [SPARK-42534] Fix DB2Dialect LIMIT-klausul
    • [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
    • [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid litet/litet/betydande heltalsspill
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 11.3 LTS

Se Databricks Runtime 11.3 LTS.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Diverse felkorrigeringar.
  • den 10 oktober 2024
    • Diverse felkorrigeringar.
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 augusti 2024
  • 1 augusti 2024
    • För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 11.3 LTS från 3.9.5 till 3.9.19.
  • den 11 juli 2024
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-44252][SS] Definiera en ny felklass och ansöka om det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
  • den 13 februari 2024
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46602] Sprida allowExisting när vyn/tabellen inte finns.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema inställt på true.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Ett problem där eskaperade understreck i getColumns-operationer som kommer från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor trycks ner innan hastighetsbegränsning för bättre användning.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • Återställ [SPARK-33861].
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084]StateOperatorProgress att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44504] Underhållsaktivitet rensar upp inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Fast applyInPandasWithStatePythonRunner för utdata-rader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2023
    • Åtgärdade ett problem där dbutils.fs.ls() returnerade INVALID_PARAMETER_VALUE.LOCATION_OVERLAP när den anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad lagringsplats.
    • [SPARK-44199]CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44136] Åtgärdade ett problem där StateManager kan materialiseras i exekutorn istället för i drivrutinen i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779]ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Extended scalar subquery count bug test med decorrelateInnerQuery inaktiverat.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.

Databricks Runtime 10.4 LTS

Se Databricks Runtime 10.4 LTS.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
  • 14 augusti 2024
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
  • 1 augusti 2024
  • den 11 juli 2024
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-44252][SS] Definiera en ny felklass och ansöka om det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • [SPARK-45084]StateOperatorProgress att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsaktivitet rensar upp inlästa leverantörer vid stoppfel.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet verkar nu ha felade frågor korrekt.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test av utökat antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413] Ogiltighet för underfrågor IN har åtgärdatsListQuery.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • [SPARK-41520] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43190]ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • [SPARK-42928] Gör resolvePersistentFunction synkroniserad.
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42937]PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
    • [SPARK-42635] Åtgärda ...
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-41162] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-33206] Åtgärda beräkning av shuffle-indexcachevikt för små indexfiler
    • [SPARK-42484] Förbättrade felmeddelandet UnsafeRowUtils
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Stöd för genererad kolumn för yyyy-MM-dd datumformat. Den här ändringen stöder partitionsrensning för åååå-MM-dd som ett datumformat i genererade kolumner.
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Stöd genererad kolumn för yyyy-MM-dd datumformat. Den här ändringen stöder partitionsbeskärning för åååå-MM-dd som ett datumformat i genererade kolumner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • [SPARK-30220] Aktivera användning av Exists/In-underfrågor utanför filternoden
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • [SPARK-41199] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41198] Åtgärda mått i strömmande förfrågan med CTE och DSv1-strömningskälla.
    • [SPARK-41339] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa.
    • [SPARK-41732] Använd trädmönsterbaserad beskärning för regeln SessionWindowing.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
      • När csvignoreleadingwhitespaceär inställt på true, tar det bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Mellanslag bibehålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när den är inställd på true, tar bort avslutande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes inte angavs eller angavs till false) och JSON innehöll kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill välja det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet.
    • [SPARK-40292] Åtgärda kolumnnamn i funktionen arrays_zip när matriser refereras till från kapslade strukturer
    • Säkerhetsuppdateringar för operativsystem.
  • Den 1 november 2022
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i kolumnen felaktigt fyllas med NULL-värden när MERGEkördes.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites är aktiverad
    • [SPARK-40697] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • [SPARK-40468] Åtgärda kolumnrensning i CSV när _corrupt_record har valts.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40213] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • [SPARK-40380] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-38404] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS bör bevara grupperingskolumnerna.
    • [SPARK-39976] ArrayIntersect ska hantera null i det vänstra uttrycket korrekt.
    • [SPARK-40053] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö.
    • [SPARK-35542] Fix: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in efter att den har sparats.
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall.
  • den 24 augusti 2022
    • [SPARK-39983] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen.
    • [SPARK-39775] Inaktivera verifiera standardvärden vid parsning av Avro-scheman.
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-37643] när charVarcharAsString är sant bör predicate-frågan för teckendatatyp hoppa över rpadding-regeln.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om den anropande tråden avbryts
    • [SPARK-39731] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39625] Lägg till Dataset.as(StructType).
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakällan.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded bör vara trådsäker.
    • [SPARK-39570] Infogad tabell bör tillåta uttryck med alias.
    • [SPARK-39702] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel.
    • [SPARK-39575] lägg till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-39476] Inaktivera Unwrap cast-optimering vid konvertering från Long till Float/Double eller från Integer till Float.
    • [SPARK-38868] Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39355] En kolumn använder citerade för att konstruera UnresolvedAttribute.
    • [SPARK-39548] CreateView-kommando med en fönsterklasulfråga stöter på ett problem med att en fönsterdefinition inte hittas.
    • [SPARK-39419] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376] Dölj duplicerade kolumner i stjärnexpansion av underfrågeallians från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark bör inte kontrollera fältnamn vid läsning av filer.
    • [SPARK-34096] Förbättra prestanda för nth_value som ignorerar null-värden över offset-fönstret.
    • [SPARK-36718]isExtractOnly Åtgärda kontrollen i CollapseProject.
  • 2 juni 2022
    • [SPARK-39093] Undvik codegen-kompileringsfel när du dividerar årsmånadsintervall eller dagtidsintervall med en integral.
    • [SPARK-38990] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell inbyggd minnesläcka i Auto Loader.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen.
    • [SPARK-37593] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används.
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten.
    • [SPARK-32268] Lägg till ColumnPruning i injectBloomFilter.
    • [SPARK-38974] Filtrera registrerade funktioner med ett visst databasnamn i listfunktioner.
    • [SPARK-38931] Skapa rot-dfs-katalog för RocksDBFileManager med ett okänt antal nycklar på första kontrollpunkten.
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
    • Ett problem med bibliotek med notebook-omfång som inte fungerar i batchströmningsjobb har åtgärdats.
    • [SPARK-38616] Hålla reda på SQL-frågetext i Catalyst TreeNode
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
      • timestampadd() och dateadd(): Lägg till en tidsvaraktighet i en angiven enhet i ett tidsstämpeluttryck.
      • timestampdiff() och datediff(): Beräkna tidsskillnaden mellan tvåtidsstämpeluttryck i en angiven enhet.
    • Parquet-MR har uppgraderats till 1.12.2
    • Förbättrat stöd för omfattande scheman i parquet-filer
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-plocka tre timestmapadd/diff ändringar.
    • [SPARK-38523] Åtgärda hänvisningen till den skadade dataposten i CSV.
    • [SPARK-38237] Tillåt ClusteredDistribution att fullständiga klustringsnycklar krävs.
    • [SPARK-38437] Överseende serialisering av datetime från datakälla.
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat.
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 9.1 LTS

Se Databricks Runtime 9.1 LTS.

  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
  • 14 augusti 2024
  • 1 augusti 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats.
    • [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-37520] Lägg till strängfunktionerna startswith() och endswith()
    • [SPARK-43413] Ogiltighet för underfrågor IN har åtgärdatsListQuery.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-42484] Förbättrat felmeddelande för UnsafeRowUtils.
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes inte angavs eller angavs till false) och JSON innehöll kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 1 november 2022
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i kolumnen felaktigt fyllas med NULL-värden när MERGEkördes.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites är aktiverad
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Diverse korrigeringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-35542] Fix: Bucketizer skapades för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in efter att ha sparat dem.
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39666] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39689] Stöd för två tecken lineSep i CSV-datakällan
    • [SPARK-39575] Har lagts till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • [SPARK-39419]ArraySort genererar ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554]copy() Implementera metoden i ColumnarMap.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp TaskContext av för att stoppa iteratorn när uppgiften har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • den 6 april 2022
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för anteckningsböcker i kluster med hög samtidighet där antingen tabellåtkomstkontroll eller autentiseringsuppgifter är aktiverade, till användarens hemkatalog. Tidigare var /databricks/driveractive directory .
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
  • Den 14 mars 2022
    • [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-34069] Avbryt aktivitetstråd om den lokala egenskapen SPARK_JOB_INTERRUPT_ON_CANCEL är inställd på sant.
  • den 23 februari 2022
    • [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
  • den 8 februari 2022
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde bekräftas i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • Åtgärdade ett problem där kommandot OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades.
  • den 19 januari 2022
    • Mindre korrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException.
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 20 oktober 2021
    • Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för den bignumeriska typen.