Dela via

Underhållsuppdateringar för Databricks Runtime (arkiverad)

  • Artikel

Den här arkiverade sidan visar underhållsuppdateringar som utfärdats för Databricks Runtime-versioner som inte längre stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster.

Viktigt!

Den här dokumentationen har dragits tillbaka och kanske inte uppdateras. De produkter, tjänster eller tekniker som nämns i det här innehållet har upphört att stödjas. Se Viktig information om versioner och kompatibilitet för Databricks Runtime.

Kommentar

Den här artikeln innehåller referenser till termen vitlista, en term som Azure Databricks inte använder. När termen tas bort från programvaran tar vi bort den från den här artikeln.

Databricks Runtime-versioner

Underhållsuppdateringar efter lansering:

Underhållsuppdateringar för Databricks Runtime-versioner som stöds finns i Underhållsuppdateringar för Databricks Runtime.

Databricks Runtime 15.1

Se Databricks Runtime 15.1 (EoS).

  • den 22 oktober 2024
    • [SPARK-49863][SQL] Åtgärda NormalizeFloatingNumbers för att bevara nullabiliteten för kapslade structs
    • [SPARK-46632][SQL] Åtgärda underuttryckseliminering när motsvarande ternary-uttryck har olika underordnade uttryck
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [SPARK-49688][ANSLUT] Åtgärda ett datarace mellan avbrott och körningsplan
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrSlope & RegrIntercept när den första parametern är null
    • [SPARK-49492][ANSLUT] Återkoppla försök till inaktiv körningshållare
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49458][ANSLUT][PYTHON] Ange sessions-ID på serversidan via ReattachExecute
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][ANSLUT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
    • [SPARK-49409][ANSLUT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-49366][ANSLUT] Behandla Union-noden som löv i dataramens kolumnupplösning
  • den 29 augusti 2024
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48862][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i direktuppspelningsfrågor i tilläggsläge till felramverk
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Korrigeringar av ML-skrivare/läsare för backport
    • [SPARK-48050][SS] Logga logisk plan vid frågestart
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-49047][PYTHON][ANSLUT] Trunkera meddelandet för loggning
    • [SPARK-48740][SQL] Fel vid fel vid fel i fönstrets specifikation saknas tidigt
  • 1 augusti 2024
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Vid beräkning som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och skrivningar nu samma begränsningar som de som dokumenteras för strukturerad direktuppspelning. Se Begränsningar och krav för direktuppspelning för enhetskatalogens läge för delad åtkomst.
    • Utdata från en SHOW CREATE TABLE instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se VISA SKAPA TABELL. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-48544][SQL] Minska minnestrycket för tomma TreeNode BitSets
    • [SPARK-46957][CORE] Inaktivera migrerade shuffle-filer bör kunna rensas från executor
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-48713][SQL] Lägg till indexintervallkontroll för UnsafeRow.pointTo när baseObject är bytematris
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48810][ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
    • [SPARK-48873][SQL] Använd UnsafeRow i JSON-parser.
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-48889][SS] testStream för att ta bort tillståndslager innan du slutför
    • [SPARK-48047][SQL] Minska minnesbelastningen för tomma TreeNode-taggar
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-47463][SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48566][PYTHON] Åtgärda bugg där partitionsindex är felaktiga när UDTF analyze() använder både select och partitionColumns
    • [SPARK-48648][PYTHON][ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48294][SQL] Hantera gemener i nestedTypeMissingElementTypeError
    • [SPARK-48286] Åtgärda analys av kolumnen med finns som standarduttryck – Lägg till användaranslutet fel
    • [SPARK-47309][SQL] XML: Lägga till schemainferenstester för värdetaggar
    • [SPARK-47309][SQL][XML] Lägg till schemainferensenhetstester
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • applyInPandasWithState() är tillgängligt i delade kluster.
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48310][PYTHON][ANSLUT] Cachelagrade egenskaper måste returnera kopior
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Rensning av shuffle-beroenden baserat på ShuffleCleanupMode
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • Ett fel har åtgärdats i funktionen try_divide() där indata som innehåller decimaler resulterade i oväntade undantag.
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48016][SQL] Åtgärda en bugg i try_divide funktion när med decimaler
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • [SPARK-48197][SQL] Undvik kontrollfel för ogiltig lambda-funktion
    • [SPARK-48180][SQL] Förbättra felet när UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY-uttr
    • [SPARK-48014][SQL] Ändra felet makeFromJava i EvaluatePython till ett användaranslutet fel
    • [SPARK-48056][ANSLUT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND fel utlöses och inget partiellt svar togs emot
    • [SPARK-48146][SQL] Åtgärda aggregerad funktion i Underordnad uttryckskontroll
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47543][ANSLUT][PYTHON] Härleda diktering som MapType från Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47739][SQL] Registrera logisk avro-typ
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47855][ANSLUT] Lägg till spark.sql.execution.arrow.pyspark.fallback.enabled i listan som inte stöds
    • [SPARK-48010][SQL] Undvik upprepade anrop till conf.resolver i resolveExpression
    • [SPARK-47941] [SS] [Anslut] Sprida initieringsfel för ForeachBatch-arbetare till användare för PySpark
    • [SPARK-47819][ANSLUT][Cherry-pick-15.0] Använd asynkront återanrop för körningsrensning
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-47839][SQL] Åtgärda aggregerad bugg i RewriteWithExpression
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar paramfel som saknas vid generering av KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47907][SQL] Sätt bang under en konfiguration
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-47986][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 15.0

Se Databricks Runtime 15.0 (EoS).

  • Den 30 maj 2024
  • den 25 april 2024
    • [SPARK-47786] SELECT DISTINCT () bör inte bli SELECT DISTINCT struct() (återgå till tidigare beteende)
    • [SPARK-47802][SQL] Återställ () från menande struct() tillbaka till innebörden *
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-47722] Vänta tills RocksDB-bakgrundsarbetet har slutförts innan du stänger
    • [SPARK-47081][ANSLUT][FÖLJ] Förbättra förloppshanterarens användbarhet
    • [SPARK-47694][ANSLUT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
    • [SPARK-47669][SQL][ANSLUT][PYTHON] Addera Column.try_cast
    • [SPARK-47664][PYTHON][ANSLUT][Cherry-pick-15.0] Verifiera kolumnnamnet med cachelagrat schema
    • [SPARK-47818][ANSLUT][Cherry-pick-15.0] Introducera plancache i SparkConnectPlanner för att förbättra prestanda för analysera begäranden
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47755][ANSLUT] Pivoten bör misslyckas när antalet distinkta värden är för stort
    • [SPARK-47713][SQL][ANSLUT] Åtgärda ett självkopplingsfel
    • [SPARK-47812][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • [SPARK-47862][PYTHON][ANSLUT]Åtgärda generering av proto-filer
    • [SPARK-47800][SQL] Skapa ny metod för identifierare till tableIdentifier-konvertering
    • Säkerhetsuppdateringar för operativsystem.
  • Den 3 april 2024
    • (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-värdenstring till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* gäller inte längre för PySpark-UDF:er i delade kluster.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Datatypen TimestampNTZ stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för Delta-tabeller.
    • [SPARK-47218][SQL] XML: Ignorera kommenterade radtaggar i XML-tokeniseraren
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47033][SQL] Korrigeringen EXECUTE IMMEDIATE USING identifierar inte sessionsvariabelnamn
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-47561][SQL] Åtgärda problem med regelordning för analysverktyg om alias
    • [SPARK-47638][PS][ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-46906][BACKPORT][SS] Lägg till en kontroll för tillståndskänsliga operatorändringar för direktuppspelning
    • [SPARK-47569][SQL] Tillåt inte jämförelse av variant.
    • [SPARK-47241][SQL] Åtgärda regelordningsproblem för ExtractGenerator
    • [SPARK-47218] [SQL] XML: SchemaOfXml ändrades till fel i DROPMALFORMED-läge
    • [SPARK-47300][SQL] quoteIfNeeded bör offertidentifieraren börja med siffror
    • [SPARK-47009][SQL][Sortering] Aktivera stöd för att skapa tabell för sortering
    • [SPARK-47322][PYTHON][ANSLUT] Gör withColumnsRenamed kolumnnamnens dupliceringshantering konsekvent med withColumnRenamed
    • [SPARK-47544][PYTHON] SparkSession Builder-metoden är inte kompatibel med Visual Studio Code intellisense
    • [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47380][ANSLUT] Kontrollera på serversidan att SparkSession är samma
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.2

Se Databricks Runtime 14.2 (EoS).

  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser UnresolvedAttribute med underordnade utdata
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndskänslig operator för att förhindra att shuffle ändras från AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
  • den 25 september 2024
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan du utvärderar
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-43242][CORE] Åtgärda utlösande av "oväntad typ av BlockId" i diagnos av shuffle-skada
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][ANSLUT] Stöd för Sökvägar i Windows-format i ArtifactManager
  • den 29 augusti 2024
    • [SPARK-49263][ANSLUT] Spark Connect Python-klient: Hantera booleska dataramläsarealternativ konsekvent
    • [SPARK-49146][SS] Flytta kontrollfel relaterade till vattenstämpel som saknas i direktuppspelningsfrågor i tilläggsläge till felramverk
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
  • 14 augusti 2024
    • [SPARK-48050][SS] Logga logisk plan vid frågestart
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatörer/parsers måste ha stöd för icke-JVM-standardtidszoner
    • [SPARK-48706][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av någon av dessa klasser innehåller null värden.
    • Utdata från en SHOW CREATE TABLE instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se VISA SKAPA TABELL. Mer information om radfilter och kolumnmasker finns i Filtrera känsliga tabelldata med hjälp av radfilter och kolumnmasker.
    • [SPARK-47202][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra barn
    • [SPARK-48383][SS] Skapa bättre fel för felmatchade partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48276][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48197][SQL] Undvik kontrollfel för ogiltig lambda-funktion
    • [SPARK-47994][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
    • [SPARK-48105][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-48044][PYTHON][ANSLUT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-kontroll för olöst LCA-referens
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47812][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47973][CORE] Logganropswebbplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47828][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • [SPARK-47309][SQL][XML] Lägg till schemainferensenhetstester
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47638][PS][ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47322][PYTHON][ANSLUT] Gör withColumnsRenamed kolumnnamnens dupliceringshantering konsekvent med withColumnRenamed
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47218] [SQL] XML: SchemaOfXml ändrades till fel i DROPMALFORMED-läge
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47218][SQL] XML: Ignorera kommenterade radtaggar i XML-tokeniseraren
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded bör offertidentifieraren börja med siffror
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47035][SS][ANSLUT] Protokoll för lyssnare på klientsidan
    • [SPARK-47121][CORE] Undvik RejectedExecutionExceptions under friståendeSchedulerBackend-avstängning
    • [SPARK-47145][SQL] Skicka tabellidentifierare till genomsökning av raddatakälla för V2-strategi.
    • [SPARK-47176][SQL] Ha hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47129][ANSLUT][SQL] Gör ResolveRelations cacheanslutningsplanen korrekt
    • [SPARK-47044][SQL] Lägg till körd fråga för externa JDBC-datakällor för att förklara utdata
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • Nu kan du mata in XML-filer med hjälp av Autoloader, read_files, COPY INTO, DLT och DBSQL. STÖD för XML-filer kan automatiskt härleda och utveckla schema, rädda data med typmatchningar, validera XML med XSD, stödja SQL-uttryck som from_xml, schema_of_xml och to_xml. Mer information finns i STÖD för XML-filer. Om du tidigare hade använt det externa spark-xml-paketet kan du läsa mer här för migreringsvägledning.
    • [SPARK-46954][SQL] XML: Omsluta InputStreamReader med BufferedReader
    • [SPARK-46630][SQL] XML: Verifiera XML-elementnamnet vid skrivning
    • [SPARK-46248][SQL] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
    • [SPARK-46954][SQL] XML: Optimera schemaindexsökning
    • [SPARK-47059][SQL] Koppla felkontext för kommandot ALTER COLUMN v1
    • [SPARK-46993][SQL] Åtgärda konstant vikning för sessionsvariabler
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Unity Catalog Streaming-tabeller stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog Streaming-tabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46382] XML: Uppdatera dokument för ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Samla in värden mellan element.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
    • [SPARK-46581] Uppdatera kommentaren om isZero i AccumulatorV2.
    • [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46660] ReattachExecute begär uppdateringar av sessionshållarens livskraft.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-45962] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML.
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
    • [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46261] DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Inaktivera underfrågor med korrelerad OFFSET för att åtgärda fel vid korrekthet.
    • [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
    • [SPARK-46056][BACKPORT] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46036] Ta bort felklassen från funktionen raise_error.
    • [SPARK-46294] Rensa semantik av init- eller nollvärde.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46241] Åtgärda felhanteringsrutinen så att den inte hamnar i oändlig rekursion.
    • [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46265] Kontroller i AddArtifact RPC gör anslutningsklienten inkompatibel med äldre kluster.
    • [SPARK-46308] Förbjud rekursiv felhantering.
    • [SPARK-46337] Behåll CTESubstitution PLAN_ID_TAG.
  • den 14 december 2023
    • [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
    • [SPARK-45730] Gör ReloadingX509TrustManagerSuite mindre flagnande.
    • [SPARK-45852] Hantera rekursionsfel under loggning.
    • [SPARK-45808] Bättre felhantering för SQL-undantag.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • Återställ "[SPARK-45649] Förena förberedelseramverket för OffsetWindowFunctionFrame".
    • [SPARK-45733] Stöd för flera återförsöksprinciper.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • [SPARK-45905] Minsta vanliga typ mellan decimaltyper bör behålla integralsiffror först.
    • [SPARK-45136] Förbättra ClosureCleaner med Stöd för Ammonite.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-45859] Gör UDF-objekt i ml.functions lata.
    • [SPARK-46028] Gör så att Column.__getitem__ du accepterar indatakolumnen.
    • [SPARK-45798] Bekräfta sessions-ID på serversidan.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-45770] Introducera plan DataFrameDropColumns för Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementering och bindningar för python, connect och SQL.
    • [SPARK-45851] Stöd för flera principer i scala-klienten.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Python-klienten för Spark Connect fångar nu upp rekursionsfel under textkonverteringen.
    • [SPARK-45808] Förbättrad felhantering för SQL-undantag.
    • [SPARK-45920] GROUP BY ordinal ersätter inte ordningstalet.
    • Återställ [SPARK-45649].
    • [SPARK-45733] Stöd har lagts till för flera återförsöksprinciper.
    • [SPARK-45509] Referensbeteende för kolumner har åtgärdats df för Spark Connect.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck inuti AggregateFunctions i CollectMetrics.
    • [SPARK-45905] Den minst vanliga typen mellan decimaltyper behåller nu integralsiffror först.
    • [SPARK-45136] Förbättra ClosureCleaner med stöd för Ammonite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-46028] Column.__getitem__ accepterar indatakolumner.
    • [SPARK-45798] Bekräfta sessions-ID på serversidan.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-45770] Kolumnmatchning har åtgärdats med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-44790] Implementering och bindningar har lagts till to_xml för Python, Spark Connect och SQL.
    • [SPARK-45851] Stöd har lagts till för flera principer i Scala-klienten.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.0

Se Databricks Runtime 14.0 (EoS).

  • den 8 februari 2024
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-45957] Undvik att generera en körningsplan för icke-körbara kommandon.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-45498] Uppföljning: Ignorera slutförande av aktiviteter från gamla fasförsök.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46261] DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46337] Behåll CTESubstitution PLAN_ID_TAG.
    • [SPARK-46602] allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46260] DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-46028] Gör så att Column.__getitem__ du accepterar indatakolumnen.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • När du matar in CSV-data med hjälp av tabeller för automatisk inläsning eller direktuppspelning delas nu stora CSV-filer upp och kan bearbetas parallellt under både schemainferens och databearbetning.
    • Spark-snowflake-anslutningsappen uppgraderas till 2.12.0.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Återställ [SPARK-45592].
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45592] Problem med korrekthet har åtgärdats i AQE med InMemoryTableScanExec.
    • [SPARK-45620] API:er som är relaterade till Python UDF använder nu camelCase.
    • [SPARK-44784] Gjorde SBT-testning hermetisk.
    • [SPARK-45770] Kolumnmatchning har åtgärdats med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • Ändrade dataflödesfrågor i Unity Catalog-strömningstabeller och materialiserade vyer för att visa felmeddelanden.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett fel genererades om de andra fönsterfunktionerna inte har samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 23 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • [SPARK-45396] Doc-post har lagts till för PySpark.ml.connect modulen och lagts Evaluator till __all__ på ml.connect.
    • [SPARK-45256] Åtgärdade ett problem där det inte gick att DurationWriter skriva fler värden än den ursprungliga kapaciteten.
    • [SPARK-45279] Kopplad plan_id till alla logiska planer.
    • [SPARK-45250] Stöd har lagts till för aktivitetsresursprofil på stegnivå för yarn-kluster när dynamisk allokering är inaktiverad.
    • [SPARK-45182] Stöd har lagts till för att rulla tillbaka shuffle map-fasen så att alla stegaktiviteter kan göras om när fasutdata är obestämda.
    • [SPARK-45419] Undvik att återanvända rocksdb sst filer i en annan rocksdb instans genom att ta bort mappningsposter för filversioner av större versioner.
    • [SPARK-45386] Ett problem har åtgärdats där StorageLevel.NONE 0 skulle returneras felaktigt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Funktionen array_insert är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.
    • Azure Databricks ignorerar inte längre skadade filer när en CSV-schemainferens med Auto Loader har aktiverat ignoreCorruptFiles.
    • [SPARK-45227] Åtgärdat ett subtilt trådsäkerhetsproblem med CoarseGrainedExecutorBackend.
    • [SPARK-44658] ShuffleStatus.getMapStatus bör returnera None i stället Some(null)för .
    • [SPARK-44910] Encoders.bean stöder inte superklasser med generiska typargument.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänsliga flaggor vid sammanslagning av schema.
    • Återställ [SPARK-42946].
    • [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulables i en aktivitets- eller fasstarthändelser.
    • [SPARK-45360] Spark-sessionsverktyget stöder initiering från SPARK_REMOTE.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles/ignoreMissingFiles i HadoopRDD och .NewHadoopRDD
    • [SPARK-44909] Hoppa över att köra loggströmningsservern för facklans distributörslogg när den inte är tillgänglig.
    • [SPARK-45084] StateOperatorProgress använder nu korrekt shuffle-partitionsnummer.
    • [SPARK-45371] Problem med skuggning har åtgärdats i Spark Connect Scala-klienten.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-44840] Gör array_insert() 1-baserad för negativa index.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45078] Funktionen ArrayInsert gör nu explicit gjutning när elementtypen inte är lika med den härledda komponenttypen.
    • [SPARK-45339] PySpark loggar nu omförsöksfel.
    • [SPARK-45057] Undvik att hämta läslås när keepReadLock det är falskt.
    • [SPARK-44908] Flera validatorparamfunktioner foldCol har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 13.1

Se Databricks Runtime 13.1 (EoS).

  • den 29 november 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43802] Ett problem har åtgärdats där codegen för unhex- och unbase64-uttryck skulle misslyckas.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • Ändrade dataflödesfrågor i Unity Catalog Streaming-tabeller och materialiserade vyer för att visa felmeddelanden.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Återställ [SPARK-42946].
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Ignorera inte längre skadade filer när ignoreCorruptFiles aktiveras under CSV-schemainferens med Auto Loader.
    • [SPARK-44658] ShuffleStatus.getMapStatus returnerar None i stället för Some(null).
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulables i en aktivitets- eller fasstarthändelser.
    • Säkerhetsuppdateringar för operativsystem.
  • den 12 september 2023
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • SPARK-44878 Inaktiverade strikt gräns för skrivhanteraren för RocksDB att undvika att infogningsfelet vid cachen har slutförts.
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44871] "percentile_disc beteende har åtgärdats.
    • [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
    • [SPARK-44245] PySpark.sql.dataframe sample() dokumenttester är nu endast illustrativa.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44643] Åtgärdat Row.__repr__ när raden är tom.
    • [SPARK-44504] Underhållsaktivitet rensar nu inlästa leverantörer vid stoppfel.
    • [SPARK-44479] Konverteringen har åtgärdats protobuf från en tom structtyp.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Diverse korrigeringar.
  • den 27 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • [SPARK-44448] Fel resultatfel har åtgärdats från DenseRankLimitIterator och InferWindowGroupLimit.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • Återställ [SPARK-42323].
    • [SPARK-41848] Åtgärdade problem med aktivitetsöverschema med TaskResourceProfile.
    • [SPARK-44136] Åtgärdade ett problem där StateManager materialiserades i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 27 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • JSON-parser i failOnUnknownFields läge släpper nu posten i DROPMALFORMED läge och misslyckas direkt i FAILFAST läge.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Attributfältet PubSubRecord lagras som JSON i stället för strängen från en Scala-karta för enklare serialisering och deserialisering.
    • Kommandot EXPLAIN EXTENDED returnerar nu frågans resultatcacheberättigande.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • [SPARK-43032] Python SQM-felkorrigering.
    • [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43340] Hantera saknade stackspårningsfält i händelseloggar.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43541] Sprid alla Project taggar för att matcha uttryck och kolumner som saknas.
    • [SPARK-43300] NonFateSharingCache wrapper för Guava Cache.
    • [SPARK-43378] Stäng strömobjekt i deserializeFromChunkedBuffer.
    • [SPARK-42852] NamedLambdaVariable Återställ relaterade ändringar från EquivalentExpressions.
    • [SPARK-43779] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43413] Åtgärda IN nullbarhet för underfrågor ListQuery .
    • [SPARK-43889] Lägg till sök efter kolumnnamn för för __dir__() att filtrera bort felbenägna kolumnnamn.
    • [SPARK-43043] Förbättrade prestanda MapOutputTrackerför .updateMapOutput
    • [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43457] Augument-användaragent med os-, Python- och Spark-versioner.
    • [SPARK-43286] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-42851] Skydda EquivalentExpressions.addExpr() med supportedExpression().
    • Återställ [SPARK-43183].
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.2 LTS

Se Databricks Runtime 12.2 LTS.

  • den 29 november 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i Stage och Task starthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553] Kontrollera minst en tidsenhet efter intervall.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
  • den 12 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • [SPARK-44714] Förenklad begränsning av LCA-lösning för frågor.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] Åtgärdade ett problem där StateManager materialiserades i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43541] Sprid alla Project taggar för att matcha uttryck och kolumner som saknas.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42444] DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-42937] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43286] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-43378] Stäng strömobjekt i deserializeFromChunkedBuffer.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara failOnUnknownFields\ alternativet eller med Auto Loader i failOnNewColumns\ schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null\ i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn\ .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293] __qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098] COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085] Stöd för kolumntilldelning DEFAULT för tabellnamn i flera delar.
    • [SPARK-43190] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara.
    • [SPARK-43009] Parameteriserad sql() med Any konstanter
    • [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
    • [SPARK-43038] Stöd för CBC-läget genom att aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ändra till utskrift workdir om appDirs är null när arbetshandtagshändelsen WorkDirCleanup
    • [SPARK-43018] Åtgärda bugg för INSERT-kommandon med tidsstämpelliteraler
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928] Synkroniseras resolvePersistentFunction .
    • [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-42967] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 29 mars 2023

    • Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande INSERTkommandon , UPDATE, DELETEoch MERGE kan referera till valfri kolumns standardvärde med det explicita DEFAULT nyckelordet. Om någon INSERT tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden för de återstående kolumnerna (eller NULL om inget standardvärde anges).

      Till exempel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för strömmar för Trigger.AvailableNow att kontrollera att kontrollpunkten regelbundet kan rensas för snabba automatiska inläsningsströmmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.

    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

    • [SPARK-42521] Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen

    • [SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE

    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp

    • [SPARK-42403] JsonProtocol ska hantera null-JSON-strängar

  • Den 8 mars 2023
    • Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar fortfarande användning 'delta.feature.featureName'='enabled' och fortsätter att fungera.
    • Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap delta.ignoreProtocolDefaults för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard.
    • [SPARK-42070] Ändra standardvärdet för argumentet för maskfunktionen från -1 till NULL
    • [SPARK-41793] Felaktigt resultat för fönsterramar som definierats av en intervallsats på betydande decimaler
    • [SPARK-42484] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42516] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42635] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42622] Inaktiverat ersättning i värden
    • [SPARK-42534] Åtgärda DB2Dialect Limit-sats
    • [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
    • [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid litet/litet/betydande heltalsspill
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 11.3 LTS

Se Databricks Runtime 11.3 LTS.

  • den 29 november 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • Återställ [SPARK-33861].
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44136] Åtgärdade ett problem som StateManager kan materialiseras i exekutor i stället för drivrutin i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Extended scalar subquery count bug test med decorrelateInnerQuery inaktiverat.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.

Databricks Runtime 10.4 LTS

Se Databricks Runtime 10.4 LTS.

  • den 29 november 2023
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • [SPARK-45084] StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet verkar nu ha felade frågor korrekt.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test av utökat antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • [SPARK-41520] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43190] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • [SPARK-42928] Gör resolvePersistentFunction synkroniserad.
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42937] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
    • [SPARK-42635] Åtgärda ...
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-41162] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-33206] Åtgärda beräkning av shuffle-indexcachevikt för små indexfiler
    • [SPARK-42484] Förbättrade felmeddelandet UnsafeRowUtils
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • [SPARK-30220] Aktivera användning av Exists/In-underfrågor utanför filternoden
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • [SPARK-41199] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41198] Åtgärda mått i strömmande fråga med CTE- och DSv1-strömningskälla
    • [SPARK-41339] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
    • [SPARK-41732] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när det är inställt på true, tar bort avslutande tomt utrymme från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet.
    • [SPARK-40292] Åtgärda kolumnnamn i arrays_zip funktionen när matriser refereras från kapslade structs
    • Säkerhetsuppdateringar för operativsystem.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40697] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • [SPARK-40468] Åtgärda kolumnrensning i CSV när _corrupt_record du väljer .
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40213] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • [SPARK-40380] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-38404] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-40218] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna
    • [SPARK-39976] ArrayIntersect ska hantera null i vänster uttryck korrekt
    • [SPARK-40053] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39983] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
    • [SPARK-39775] Inaktivera verifiera standardvärden vid parsning av Avro-scheman
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-37643] när charVarcharAsString är sant bör predicate-frågan för teckendatatyp hoppa över rpadding-regeln
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om den anropande tråden avbryts
    • [SPARK-39731] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39625] Lägg till Dataset.as(StructType)
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakälla
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded ska vara trådsäker
    • [SPARK-39570] Infogad tabell bör tillåta uttryck med alias
    • [SPARK-39702] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel
    • [SPARK-39575] lägg till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer
    • [SPARK-39476] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal
    • [SPARK-38868] Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39355] En kolumn använder citerad för att konstruera UnresolvedAttribute
    • [SPARK-39548] CreateView-kommandot med en fönstersatsfråga trycker på ett fel fönsterdefinitionsfel hittades inte
    • [SPARK-39419] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark bör inte kontrollera fältnamn vid läsning av filer
    • [SPARK-34096] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret
    • [SPARK-36718] isExtractOnly Åtgärda kontrollen i CollapseProject
  • 2 juni 2022
    • [SPARK-39093] Undvik codegen-kompileringsfel vid uppdelning av årsmånadsintervall eller dagtidsintervall med en integral
    • [SPARK-38990] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell inbyggd minnesläcka i Auto Loader.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-37593] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten
    • [SPARK-32268] Lägg till ColumnPruning i injectBloomFilter
    • [SPARK-38974] Filtrera registrerade funktioner med ett visst databasnamn i listfunktioner
    • [SPARK-38931] Skapa rot-dfs-katalog för RocksDBFileManager med ett okänt antal nycklar på första kontrollpunkten
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
    • Ett problem med bibliotek med notebook-omfång som inte fungerar i batchströmningsjobb har åtgärdats.
    • [SPARK-38616] Hålla reda på SQL-frågetext i Catalyst TreeNode
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
      • timestampadd() och dateadd(): Lägg till en tidsvaraktighet i en angiven enhet i ett tidsstämpeluttryck.
      • timestampdiff() och datediff(): Beräkna tidsskillnaden mellan tvåtidsstämpeluttryck i en angiven enhet.
    • Parquet-MR har uppgraderats till 1.12.2
    • Förbättrat stöd för omfattande scheman i parquet-filer
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-plocka tre timestmapadd/diff ändringar.
    • [SPARK-38523] Korrigering som refererar till den skadade postkolumnen från CSV
    • [SPARK-38237] Tillåt ClusteredDistribution att fullständiga klustringsnycklar krävs
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 9.1 LTS

Se Databricks Runtime 9.1 LTS.

  • den 29 november 2023
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions ärver när de skapas.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-37520] Lägg till strängfunktionerna startswith() och endswith()
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-42484] Förbättrat felmeddelande för UnsafeRowUtils.
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Diverse korrigeringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39666] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39689] Stöd för två tecken lineSep i CSV-datakällan
    • [SPARK-39575] Har lagts till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • [SPARK-39419] ArraySort genererar ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554] copy() Implementera metoden i ColumnarMap.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp TaskContext av för att stoppa iteratorn när uppgiften har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • den 6 april 2022
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var /databricks/driveractive directory .
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
  • Den 14 mars 2022
    • [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-34069] Avbryt aktivitetstråden om den lokala egenskapen SPARK_JOB_INTERRUPT_ON_CANCEL är inställd på true.
  • den 23 februari 2022
    • [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
  • den 8 februari 2022
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • Åtgärdade ett problem där OPTIMIZE kommandot kunde misslyckas när ANSI SQL-dialekten aktiverades.
  • den 19 januari 2022
    • Mindre korrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException.
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 20 oktober 2021
    • Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för den bignumeriska typen.

Databricks Runtime 13.0 (EoS)

Se Databricks Runtime 13.0 (EoS).

  • 13 oktober 2023

    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553][SQL] Kontrollera minst en tidsenhet efter intervall.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda wrapper.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus returnerar None i stället för Some(null).
    • [SPARK-42205][CORE] Ta bort loggning av Ackumulables i aktivitets-/fasstarthändelser i JsonProtocol.
    • Säkerhetsuppdateringar för operativsystem.

  • den 12 september 2023

    • [SPARK-44485][SQL] Optimera TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • Diverse felkorrigeringar.

  • 30 augusti 2023

    • [SPARK-44818][Backport] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests är nu illustrative-only.
    • [SPARK-44871][11.3-13.0][SQL] Fast percentile_disc beteende.
    • Säkerhetsuppdateringar för operativsystem.

  • den 15 augusti 2023

    • [SPARK-44643][SQL][PYTHON] Åtgärda Row.__repr__ när raden är tom.
    • [SPARK-44504][Backport] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44479][ANSLUT][PYTHON] Konverteringen har åtgärdats protobuf från en tom structtyp.
    • [SPARK-44464][SS] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som första kolumnvärde.
    • Diverse felkorrigeringar.

  • den 29 juli 2023

    • En bugg som dbutils.fs.ls() returnerades när den anropades för en lagringsplatssökväg som kolliderade med en annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199] CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.

  • 24 juli 2023

    • [SPARK-44337][PROTOBUF] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] [SS] Ett problem har åtgärdats där StateManager skulle materialiseras i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • Återställ [SPARK-42323][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2332.
    • Säkerhetsuppdateringar för operativsystem.

  • 23 juni 2023

    • Säkerhetsuppdateringar för operativsystem.

  • Den 15 juni 2023

    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43156][SPARK-43098][SQL] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat
    • [SPARK-43779][SQL] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-42937][SQL] PlanSubqueries ska anges InSubqueryExec#shouldBroadcast till true
    • Säkerhetsuppdateringar för operativsystem.

  • 2 juni 2023

    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementell uppdatering med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404][Backport] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchning av ID.
    • [SPARK-43340][CORE] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-43300][CORE] NonFateSharingCache wrapper för Guava Cache.
    • [SPARK-43378][CORE] Stäng strömobjekt i deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Använd 8-bitarsregister för att representera DataSketches.
    • [SPARK-43522][SQL] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43413][11.3-13.0][SQL] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • [SPARK-43043][CORE] Förbättrad MapOutputTracker.updateMapOutput prestanda.
    • [SPARK-16484][SQL] Stöd har lagts till för DataSketches HllSketch.
    • [SPARK-43123][SQL] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-42851][SQL] Skydda EquivalentExpressions.addExpr() med supportedExpression().
    • [SPARK-43336][SQL] Gjutning mellan Timestamp och TimestampNTZ kräver tidszon.
    • [SPARK-43286][SQL] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-42852][SQL] Återställde NamedLambdaVariable relaterade ändringar från EquivalentExpressions.
    • [SPARK-43541][SQL] Sprid alla Project taggar vid matchning av uttryck och kolumner som saknas..
    • [SPARK-43527][PYTHON] Fast catalog.listCatalogs i PySpark.
    • Säkerhetsuppdateringar för operativsystem.

  • 31 maj 2023

    • Standardoptimerad skrivstöd för Delta-tabeller som registrerats i Unity Catalog har utökats till att omfatta CTAS instruktioner och INSERT åtgärder för partitionerade tabeller. Det här beteendet överensstämmer med standardvärdena för SQL-lager. Se Optimerade skrivningar för Delta Lake på Azure Databricks.

  • 17 maj 2023

    • En regression där _metadata.file_path och _metadata.file_name skulle returnera felaktigt formaterade strängar har åtgärdats. Nu visas till exempel en sökväg med blanksteg som s3://test-bucket/some%20directory/some%20data.csv i stället för s3://test-bucket/some directory/some data.csv.
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
      • Om en Avro-fil lästes med bara failOnUnknownFields\ alternativet eller med Auto Loader i failOnNewColumns\ schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null\ i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn\ .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] [ANSLUT] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293][SQL] __qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098][SQL] COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085][SQL] Stöd för kolumntilldelning DEFAULT för tabellnamn i flera delar.
    • [SPARK-43190][SQL] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] [ANSLUT] Användaragentens teckenuppsättningsverifiering har tagits bort.

  • den 25 april 2023

    • Du kan ändra en Delta-tabell för att lägga till stöd för en Delta-tabellfunktion med hjälp av DeltaTable.addFeatureSupport(feature_name).
    • Kommandot SYNC har nu stöd för äldre datakällformat.
    • Ett fel har åtgärdats där användning av Python-formaterare innan du kör andra kommandon i en Python-notebook-fil kan orsaka att notebook-sökvägen saknas i sys.path.
    • Azure Databricks har nu stöd för att ange standardvärden för kolumner i Delta-tabeller. INSERTKommandona , UPDATE, DELETEoch MERGE kan referera till en kolumns standardvärde med det explicita DEFAULT nyckelordet. För INSERT kommandon med en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden för de återstående kolumnerna (eller NULL om inget standardvärde har angetts).

  • Åtgärdar ett fel där webbterminalen inte kunde användas för att komma åt filer i /Workspace för vissa användare.

    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel leda till att kolumnerna räddades trots att de var läsbara.
    • En bugg har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42794][SS] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming.
    • [SPARK-39221][SQL] Gör så att känslig information redigeras korrekt för flik för sparsamt serverjobb/fas.
    • [SPARK-42971][CORE] Ändra till att skriva ut workdir om appDirs är null när arbetaren hanterar WorkDirCleanup händelsen.
    • [SPARK-42936][SQL] Åtgärda LCA-bugg när ha-satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-43018][SQL] Åtgärda fel för INSERT kommandon med tidsstämpelliteraler.
    • Återställ [SPARK-42754][SQL][UI] Åtgärda problem med bakåtkompatibilitet i kapslad SQL-körning.
    • Återställ [SPARK-41498] Sprid metadata via Union.
    • [SPARK-43038][SQL] Stöd för CBC-läget med aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Gör resolvePersistentFunction synkroniserad.
    • [SPARK-42521][SQL] Lägg till NULL värden för INSERT med användardefinierade listor med färre kolumner än måltabellen.
    • [SPARK-41391][SQL] Utdatakolumnnamnet groupBy.agg(count_distinct) för var felaktigt.
    • [SPARK-42548][SQL] Lägg till ReferenceAllColumns för att hoppa över omskrivningsattribut.
    • [SPARK-42423][SQL] Lägg till start och längd för metadatakolumnens filblock.
    • [SPARK-42796][SQL] Stöd för åtkomst till TimestampNTZ kolumner i CachedBatch.
    • [SPARK-42266][PYTHON] Ta bort den överordnade katalogen i shell.py köras när IPython används.
    • [SPARK-43011][SQL] array_insert bör misslyckas med 0 index.
    • [SPARK-41874][ANSLUT][PYTHON] Stöd SameSemantics i Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Stöd för parametriserad fråga i underfrågor och CTE.
    • [SPARK-42967][CORE] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.1 (EoS)

Se Databricks Runtime 12.1 (EoS).

  • 23 juni 2023

    • Säkerhetsuppdateringar för operativsystem.

  • Den 15 juni 2023

    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779][SQL] ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098][SQL] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat
    • Säkerhetsuppdateringar för operativsystem.

  • 2 juni 2023

    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementell uppdatering med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404][Backport] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchning av ID.
    • [SPARK-43413][11.3-13.0][SQL] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • [SPARK-43522][SQL] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-42444][PYTHON] DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-43541][SQL] Sprid alla Project taggar vid matchning av uttryck och kolumner som saknas..
    • [SPARK-43340][CORE] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42937][SQL] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43527][PYTHON] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43378][CORE] Stäng strömobjekt i deserializeFromChunkedBuffer.

  • 17 maj 2023

    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara failOnUnknownFields\ alternativet eller med Auto Loader i failOnNewColumns\ schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null\ i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn\ .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43098][SQL] COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43190][SQL] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2023

    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel leda till att kolumnerna räddades trots att de var läsbara.
    • [SPARK-43009][SQL] Parametriserad sql() med Any konstanter.
    • [SPARK-42971][CORE] Ändra till att skriva ut workdir om appDirs är null när arbetaren hanterar WorkDirCleanup händelsen.
    • Säkerhetsuppdateringar för operativsystem.

  • 11 april 2023

    • Stöd för äldre datakällformat i SYNC-kommandot.
    • Åtgärdar ett fel i %autoreload-beteendet i notebook-filer som ligger utanför en lagringsplats.
    • En bugg har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928][SQL] Synkroniseras resolvePersistentFunction .
    • [SPARK-42967][CORE] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.

  • Den 29 mars 2023

    • Automatisk inläsning utlöser nu minst en synkron RocksDB-loggrensning för strömmar för Trigger.AvailableNow att säkerställa att kontrollpunkten regelbundet kan rensas för snabba automatiska inläsningsströmmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.
    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Stöd för parametriserad fråga i underfrågor och CTE
    • [SPARK-41162][SQL] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-42403][CORE] JsonProtocol ska hantera null-JSON-strängar
    • [SPARK-42668][SS] Fånga undantag vid försök att stänga komprimerad ström i HDFSStateStoreProvider avbryt
    • [SPARK-42794][SS] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

  • 14 mars 2023

    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar fortfarande användning 'delta.feature.featureName'='enabled' och fortsätter att fungera.
    • [SPARK-42622][CORE] Inaktivera ersättning i värden
    • [SPARK-42534][SQL] Åtgärda DB2Dialect Limit-sats
    • [SPARK-42635][SQL] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42516][SQL] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42484] [SQL] UnsafeRowUtils bättre felmeddelande
    • [SPARK-41793][SQL] Felaktigt resultat för fönsterramar som definierats av en intervallsats på stora decimaler
    • Säkerhetsuppdateringar för operativsystem.

  • 24 februari 2023

    • Nu kan du använda en enhetlig uppsättning alternativ (host, port, database, user, password) för att ansluta till de datakällor som stöds i Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observera att är port valfritt och använder standardportnumret för varje datakälla om det inte anges.

    Exempel på PostgreSQL-anslutningskonfiguration

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Exempel på konfiguration av Snowflake-anslutning

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Undvik att bryta loggningskonfigurationen från pyspark.pandas
    • [SPARK-42346][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor
    • [SPARK-41990][SQL] Använd FieldReference.column i stället för apply i V1 till V2-filterkonvertering
    • Återställ [SPARK-41848][CORE] Åtgärda aktivitet som är överplanerad med TaskResourceProfile
    • [SPARK-42162] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck
    • Säkerhetsuppdateringar för operativsystem.

  • den 16 februari 2023

    • SYNC-kommandot stöder synkronisering av återskapade Hive-metaarkivtabeller. Om en HMS-tabell tidigare har SYNCed till Unity Catalog men sedan släppts och återskapats, fungerar en efterföljande omsynkronisering i stället för att utlösa TABLE_ALREADY_EXISTS statuskod.
    • [SPARK-41219][SQL] IntegralDivide använder decimal(1, 0) för att representera 0
    • [SPARK-36173][CORE] Stöd för att hämta CPU-nummer i TaskContext
    • [SPARK-41848][CORE] Åtgärda aktivitet överplanerad med TaskResourceProfile
    • [SPARK-42286][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST

  • den 31 januari 2023

    • För att skapa ett schema med en definierad plats måste användaren nu ha behörigheten SELECT och MODIFY på VALFRI FIL.
    • [SPARK-41581][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Åtgärda kafka-test för att verifiera förlorade partitioner för att ta hänsyn till långsamma Kafka-åtgärder
    • [SPARK-41580][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Stöd för parameteriserad SQL efter sql()
    • [SPARK-41579][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Uppföljning] Åtgärda en regression för kodsynkronisering för ConvertToLocalRelation
    • [SPARK-41576][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2054
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.0 (EoS)

Se Databricks Runtime 12.0 (EoS).

  • Den 15 juni 2023

    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43156][SPARK-43098][SQL] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat
    • [SPARK-43779][SQL] ParseToDate läser nu in EvalMode i huvudtråden.
    • Säkerhetsuppdateringar för operativsystem.

  • 2 juni 2023

    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementell uppdatering med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-42444][PYTHON] DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-43404][Backport] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchning av ID.
    • [SPARK-43413][11.3-13.0][SQL] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • [SPARK-43527][PYTHON] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43522][SQL] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43541][SQL] Sprid alla Project taggar vid matchning av uttryck och kolumner som saknas..
    • [SPARK-43340][CORE] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42937][SQL] PlanSubqueries inställd InSubqueryExec#shouldBroadcast på sant.

  • 17 maj 2023

    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara failOnUnknownFields\ alternativet eller med Auto Loader i failOnNewColumns\ schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null\ i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn\ .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] [ANSLUT] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-41520][SQL] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43098][SQL] COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43190][SQL] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2023

    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel leda till att kolumnerna räddades trots att de var läsbara.
    • [SPARK-42971][CORE] Ändra till utskrift workdir om appDirs är null när arbetshandtagshändelsen WorkDirCleanup
    • Säkerhetsuppdateringar för operativsystem.

  • 11 april 2023

    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett fel i %autoreload-beteendet i notebook-filer som ligger utanför en lagringsplats.
    • En bugg har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928][SQL] Synkroniseras resolvePersistentFunction .
    • [SPARK-42967][CORE] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.

  • Den 29 mars 2023

    • [SPARK-42794][SS] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming
    • [SPARK-41162][SQL] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-42403][CORE] JsonProtocol ska hantera null-JSON-strängar
    • [SPARK-42668][SS] Fånga undantag vid försök att stänga komprimerad ström i HDFSStateStoreProvider avbryt
    • Diverse felkorrigeringar.

  • 14 mars 2023

    • [SPARK-42534][SQL] Åtgärda DB2Dialect Limit-sats
    • [SPARK-42622][CORE] Inaktivera ersättning i värden
    • [SPARK-41793][SQL] Felaktigt resultat för fönsterramar som definierats av en intervallsats på stora decimaler
    • [SPARK-42484] [SQL] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42635][SQL] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42516][SQL] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • Säkerhetsuppdateringar för operativsystem.

  • 24 februari 2023

    • Standardiserade anslutningsalternativ för frågefederation

      Nu kan du använda en enhetlig uppsättning alternativ (host, port, database, user, password) för att ansluta till de datakällor som stöds i Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observera att är port valfritt och använder standardportnumret för varje datakälla om det inte anges.

      Exempel på PostgreSQL-anslutningskonfiguration

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Exempel på konfiguration av Snowflake-anslutning

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Återställ [SPARK-41848][CORE] Åtgärda aktivitet som är överplanerad med TaskResourceProfile

    • [SPARK-42162] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck

    • [SPARK-41990][SQL] Använd FieldReference.column i stället för apply i V1 till V2-filterkonvertering

    • [SPARK-42346][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor

    • Säkerhetsuppdateringar för operativsystem.

  • den 16 februari 2023

    • Användare kan nu läsa och skriva vissa Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med hjälp av Databricks Runtime 9.1 eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • SYNC-kommandot stöder synkronisering av återskapade Hive-metaarkivtabeller. Om en HMS-tabell tidigare har SYNCed till Unity Catalog men sedan släppts och återskapats, fungerar en efterföljande omsynkronisering i stället för att utlösa TABLE_ALREADY_EXISTS statuskod.
    • [SPARK-36173][CORE] Stöd för att hämta CPU-nummer i TaskContext
    • [SPARK-42286][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST
    • [SPARK-41848][CORE] Åtgärda aktivitet överplanerad med TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide använder decimal(1, 0) för att representera 0

  • 25 jan. 2023

    • [SPARK-41660][SQL] Sprid endast metadatakolumner om de används
    • [SPARK-41379][SS][PYTHON] Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark
    • [SPARK-41669][SQL] Tidig beskärning i canCollapseExpressions
    • Säkerhetsuppdateringar för operativsystem.

  • den 18 januari 2023

    • REFRESH FUNCTION SQL-kommandot har nu stöd för SQL-funktioner och SQL Table-funktioner. Kommandot kan till exempel användas för att uppdatera en beständig SQL-funktion som uppdaterades i en annan SQL-session.
    • Java Database Connectivity (JDBC) datakälla v1 stöder nu limit-satsens pushdown för att förbättra prestanda i frågor. Den här funktionen är aktiverad som standard och kan inaktiveras med spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled värdet false.
    • I ACL-kluster för äldre tabeller kräver det nu behörighet att MODIFY_CLASSPATH skapa funktioner som refererar till JVM-klasser.
    • Java Database Connectivity (JDBC) datakälla v1 stöder nu limit-satsens pushdown för att förbättra prestanda i frågor. Den här funktionen är aktiverad som standard och kan inaktiveras med spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled inställd på false.
    • Azure Synapse Connector returnerar nu ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Spark-strukturerad direktuppspelning fungerar nu med format ("deltasharing") i en deltadelningstabell som källa.
    • [SPARK-38277][SS] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • [SPARK-41733][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln ResolveWindowTime
    • [SPARK-39591][SS] Asynkron förloppsspårning
    • [SPARK-41339][SQL] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
    • [SPARK-41198][SS] Åtgärda mått i strömmande fråga med CTE- och DSv1-strömningskälla
    • [SPARK-41539][SQL] Mappa om statistik och begränsningar mot utdata i logisk plan för LogicalRDD
    • [SPARK-41732][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
    • [SPARK-41862][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
    • [SPARK-41199][SS] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41261][PYTHON][SS] Åtgärda problemet för applyInPandasWithState när kolumnerna i grupperingsnycklar inte placeras i ordning från tidigaste
    • Säkerhetsuppdateringar för operativsystem.

  • 17 maj 2023

    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • En regression som gjorde att Azure Databricks-jobben kvarstod efter att det inte gick att ansluta till metaarkivet under klusterinitieringen har åtgärdats.
    • [SPARK-41520][SQL] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43190][SQL] ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2023

    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Short, Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel leda till att kolumnerna räddades trots att de var läsbara.
    • [SPARK-42937][SQL] PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • Säkerhetsuppdateringar för operativsystem.

  • 11 april 2023

    • Stöd för äldre datakällformat i SYNC-kommandot.
    • Åtgärdar ett fel i %autoreload-beteendet i notebook-filer som ligger utanför en lagringsplats.
    • En bugg har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928][SQL] Synkronisera resolvePersistentFunction.
    • [SPARK-42967][CORE] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.

  • Den 29 mars 2023

    • [SPARK-42794][SS] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming
    • [SPARK-42403][CORE] JsonProtocol ska hantera null-JSON-strängar
    • [SPARK-42668][SS] Fånga undantag vid försök att stänga komprimerad ström i HDFSStateStoreProvider avbryt
    • Säkerhetsuppdateringar för operativsystem.

  • 14 mars 2023

    • [SPARK-42635][SQL] Åtgärda timestampAdd-uttrycket.
    • [SPARK-41793][SQL] Felaktigt resultat för fönsterramar som definierats av en intervallsats på stora decimaler
    • [SPARK-42484] [SQL] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42534][SQL] Åtgärda DB2Dialect Limit-sats
    • [SPARK-41162][SQL] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-42516][SQL] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • Diverse felkorrigeringar.

  • 28 februari 2023

    • Standardiserade anslutningsalternativ för frågefederation

      Nu kan du använda en enhetlig uppsättning alternativ (host, port, database, user, password) för att ansluta till de datakällor som stöds i Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Observera att är port valfritt och använder standardportnumret för varje datakälla om det inte anges.

      Exempel på PostgreSQL-anslutningskonfiguration

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Exempel på konfiguration av Snowflake-anslutning

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST

    • [SPARK-41989][PYTHON] Undvik att bryta loggningskonfigurationen från pyspark.pandas

    • [SPARK-42346][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor

    • [SPARK-41360][CORE] Undvik Omregistrering av BlockManager om utföraren har förlorats

    • [SPARK-42162] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck

    • [SPARK-41990][SQL] Använd FieldReference.column i stället för apply i V1 till V2-filterkonvertering

    • Säkerhetsuppdateringar för operativsystem.

  • den 16 februari 2023

    • Användare kan nu läsa och skriva vissa Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med hjälp av Databricks Runtime 9.1 eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • SYNC-kommandot stöder synkronisering av återskapade Hive-metaarkivtabeller. Om en HMS-tabell tidigare har SYNCed till Unity Catalog men sedan släppts och återskapats, fungerar en efterföljande omsynkronisering i stället för att utlösa TABLE_ALREADY_EXISTS statuskod.
    • [SPARK-41219][SQL] IntegralDivide använder decimal(1, 0) för att representera 0
    • [SPARK-40382][SQL] Gruppera distinkta aggregeringsuttryck efter semantiskt likvärdiga underordnade i RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.

  • 25 jan. 2023

    • [SPARK-41379][SS][PYTHON] Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark
    • [SPARK-41660][SQL] Sprid endast metadatakolumner om de används
    • [SPARK-41669][SQL] Tidig beskärning i canCollapseExpressions
    • Diverse felkorrigeringar.

  • den 18 januari 2023

    • REFRESH FUNCTION SQL-kommandot har nu stöd för SQL-funktioner och SQL Table-funktioner. Kommandot kan till exempel användas för att uppdatera en beständig SQL-funktion som uppdaterades i en annan SQL-session.
    • Java Database Connectivity (JDBC) datakälla v1 stöder nu limit-satsens pushdown för att förbättra prestanda i frågor. Den här funktionen är aktiverad som standard och kan inaktiveras med spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled värdet false.
    • Java Database Connectivity (JDBC) datakälla v1 stöder nu limit-satsens pushdown för att förbättra prestanda i frågor. Den här funktionen är aktiverad som standard och kan inaktiveras med spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled inställd på false.
    • Azure Synapse Connector returnerar nu ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Åtgärda mått i strömmande fråga med CTE- och DSv1-strömningskälla
    • [SPARK-41862][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
    • [SPARK-41539][SQL] Mappa om statistik och begränsningar mot utdata i logisk plan för LogicalRDD
    • [SPARK-39591][SS] Asynkron förloppsspårning
    • [SPARK-41199][SS] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41261][PYTHON][SS] Åtgärda problemet för applyInPandasWithState när kolumnerna i grupperingsnycklar inte placeras i ordning från tidigaste
    • [SPARK-41339][SQL] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
    • [SPARK-41732][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
    • [SPARK-38277][SS] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • Säkerhetsuppdateringar för operativsystem.

  • den 29 november 2022

    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av blanksteg:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när värdet är inställt på true, tar bort avslutande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • En bugg har åtgärdats med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Uppgradera snowflake-jdbc beroendet till version 3.13.22.
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
    • [SPARK-40906][SQL] Mode bör kopiera nycklar innan du infogar i Map
    • Säkerhetsuppdateringar för operativsystem.

  • den 15 november 2022

    • Tabell-ACL:er och DELADE UC-kluster tillåter nu metoden Dataset.toJSON från Python.
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Så här anmäler du dig för den förbättrade beteendeuppsättningen spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet
    • [SPARK-40903][SQL] Undvik att ändra ordning på decimaltillägget för kanonisering om datatypen ändras
    • [SPARK-40618][SQL] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor med hjälp av referensspårning
    • [SPARK-40697][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • Säkerhetsuppdateringar för operativsystem.

  • 1 november 2022

    • Strukturerad direktuppspelning i Unity Catalog stöder nu uppdatering av tillfälliga åtkomsttoken. Strömmande arbetsbelastningar som körs med Unity Catalog för alla syften eller jobbkluster misslyckas inte längre efter att den första token upphör att gälla.
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kör MERGE.
    • Ett problem där körning MERGE och användning av exakt 99 kolumner från källan i villkoret kunde resultera i java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowhar åtgärdats.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad.
    • Uppgraderade Apache commons-text till 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Stöd har lagts till för CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Åtgärda NPE i applyInPandasWithState när indataschemat har kolumner som inte kan nulliseras
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 11.2 (EoS)

Se Databricks Runtime 11.2 (EoS).

  • den 28 februari 2023
    • [SPARK-42286][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST
    • [SPARK-42346][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Användare kan nu läsa och skriva vissa Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med hjälp av Databricks Runtime 9.1 eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • SYNC-kommandot stöder synkronisering av återskapade Hive-metaarkivtabeller. Om en HMS-tabell tidigare har SYNCed till Unity Catalog men sedan släppts och återskapats, fungerar en efterföljande omsynkronisering i stället för att utlösa TABLE_ALREADY_EXISTS statuskod.
    • [SPARK-41219][SQL] IntegralDivide använder decimal(1, 0) för att representera 0
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
    • [SPARK-41379][SS][PYTHON] Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark
  • den 18 januari 2023
    • Azure Synapse Connector returnerar nu ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Åtgärda mått i strömmande fråga med CTE- och DSv1-strömningskälla
    • [SPARK-41862][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
    • [SPARK-41539][SQL] Mappa om statistik och begränsningar mot utdata i logisk plan för LogicalRDD
    • [SPARK-41199][SS] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41339][SQL] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
    • [SPARK-41732][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
    • [SPARK-38277][SS] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av blanksteg:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när värdet är inställt på true, tar bort avslutande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • En bugg har åtgärdats med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • [SPARK-40906][SQL] Mode bör kopiera nycklar innan du infogar i Map
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet
    • [SPARK-40618][SQL] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor med hjälp av referensspårning
    • [SPARK-40697][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • Säkerhetsuppdateringar för operativsystem.
  • Den 1 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kör MERGE.
    • Ett problem där körning MERGE och användning av exakt 99 kolumner från källan i villkoret kunde resultera i java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowhar åtgärdats.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40596][CORE] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 oktober 2022
    • Ett problem med COPY INTO-användning med tillfälliga autentiseringsuppgifter i Unity Catalog-aktiverade kluster/lager har åtgärdats.
    • [SPARK-40213][SQL] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera intern listning för Auto Loader på ADLS Gen2. Den interna listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna. Den här ändringen distribuerades till DBR 10.4 och 9.1 i den tidigare underhållsuppdateringen.
    • [SPARK-40315][SQL]Stöd för URL-koda/avkoda som inbyggd funktion och städa upp URL-relaterade funktioner
    • [SPARK-40156][SQL]url_decode() ska returnera en felklass
    • [SPARK-40169] Push-överför inte Parquet-filter utan referens till dataschemat
    • [SPARK-40460][SS] Åtgärda strömningsmått när du väljer _metadata
    • [SPARK-40468][SQL] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
    • [SPARK-40055][SQL] listCatalogs bör också returnera spark_catalog även när spark_catalog implementering är standardSessionCatalog
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • [SPARK-40315][SQL] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40389][SQL] Decimaler kan inte upparbetas som integraltyper om gjutningen kan flöda över
    • [SPARK-40380][SQL] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-40066][SQL][UPPFÖLJNING] Kontrollera om ElementAt har lösts innan du hämtar dess dataType
    • [SPARK-40109][SQL] Ny SQL-funktion: get()
    • [SPARK-40066][SQL] ANSI-läge: returnera alltid null vid ogiltig åtkomst till mappningskolumnen
    • [SPARK-40089][SQL] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887][SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
    • [SPARK-40152][SQL] Åtgärda split_part codegen-kompileringsproblem
    • [SPARK-40235][CORE] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue hanterar inte byte, kort eller flyttal korrekt
    • [SPARK-40218][SQL] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna
    • [SPARK-35542][ML] Korrigering: Bucketizer har skapats för flera kolumner med parametrar
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
    • [SPARK-39912]SPARK-39828[SQL] Förfina katalogImpl

Databricks Runtime 11.1 (EoS)

Se Databricks Runtime 11.1 (EoS).

  • den 31 januari 2023

    • [SPARK-41379][SS][PYTHON] Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark
    • Diverse felkorrigeringar.

  • den 18 januari 2023

    • Azure Synapse Connector returnerar nu ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Åtgärda mått i strömmande fråga med CTE- och DSv1-strömningskälla
    • [SPARK-41862][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
    • [SPARK-41199][SS] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41339][SQL] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
    • [SPARK-41732][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
    • [SPARK-38277][SS] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • Säkerhetsuppdateringar för operativsystem.

  • den 29 november 2022

    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av blanksteg:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när värdet är inställt på true, tar bort avslutande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • En bugg har åtgärdats med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • [SPARK-39650][SS] Åtgärda felaktigt värdeschema i strömmande deduplicering med bakåtkompatibilitet
    • Säkerhetsuppdateringar för operativsystem.

  • den 15 november 2022

    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet
    • Säkerhetsuppdateringar för operativsystem.

  • 1 november 2022

    • Uppgraderade Apache commons-text till 1.10.0.
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kör MERGE.
    • Ett problem där körning MERGE och användning av exakt 99 kolumner från källan i villkoret kunde resultera i java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowhar åtgärdats.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40697][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596][CORE] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.

  • den 18 oktober 2022

    • Ett problem med COPY INTO-användning med tillfälliga autentiseringsuppgifter i Unity Catalog-aktiverade kluster/lager har åtgärdats.
    • [SPARK-40213][SQL] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • Säkerhetsuppdateringar för operativsystem.

  • 5 oktober 2022

    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera intern listning för Auto Loader på ADLS Gen2. Den interna listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna. Den här ändringen distribuerades till DBR 10.4 och 9.1 i den tidigare underhållsuppdateringen.
    • [SPARK-40169] Push-överför inte Parquet-filter utan referens till dataschemat
    • [SPARK-40460][SS] Åtgärda strömningsmått när du väljer _metadata
    • [SPARK-40468][SQL] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
    • [SPARK-40055][SQL] listCatalogs bör också returnera spark_catalog även när spark_catalog implementering är standardSessionCatalog
    • Säkerhetsuppdateringar för operativsystem.

  • den 22 september 2022

    • [SPARK-40315][SQL] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-40089][SQL] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887][SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
    • [SPARK-40152][SQL] Åtgärda split_part codegen-kompileringsproblem

  • den 6 september 2022

    • Vi har uppdaterat behörighetsmodellen i Tabellåtkomstkontroller (tabell-ACL:er) så att endast ÄNDRA behörigheter behövs för att ändra en tabells schema- eller tabellegenskaper med ALTER TABLE. Tidigare krävde dessa åtgärder att en användare ägde tabellen. Ägarskap krävs fortfarande för att bevilja behörigheter för en tabell, ändra dess ägare, ändra dess plats eller byta namn på den. Den här ändringen gör behörighetsmodellen för tabell-ACL:er mer konsekvent med Unity Catalog.
    • [SPARK-40235][CORE] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue hanterar inte byte, kort eller flyttal korrekt
    • [SPARK-40218][SQL] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna
    • [SPARK-39976][SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
    • [SPARK-40053][CORE][SQL][TESTER] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö
    • [SPARK-35542][CORE][ML] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079][CORE] Lägg till Imputer inputCols-validering för tomt indatafall

  • den 24 augusti 2022

    • Resurser, leverantörer och mottagare har nu stöd för SQL-kommandon för att ändra ägare, kommentera, byta namn på
    • [SPARK-39983][CORE][SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
    • [SPARK-39912][SPARK-39828][SQL] Förfina CatalogImpl
    • [SPARK-39775][CORE][AVRO] Inaktivera verifiera standardvärden vid parsning av Avro-scheman
    • [SPARK-39806] Åtgärdat problemet med frågor som har åtkomst till METADATA-structkrasch på partitionerade tabeller
    • [SPARK-39867][SQL] Global gräns ska inte ärva OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-39839][SQL] Hantera specialfall för null variabel längd Decimal med icke-noll offsetAndSize i UnsafeRow strukturell integritetskontroll
    • [SPARK-39713][SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
    • [SPARK-39847][SS] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om samtalstråden avbryts
    • [SPARK-39731][SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.

  • 10 augusti 2022

    • För Delta-tabeller med tabellåtkomstkontroll är automatisk schemautveckling via DML-instruktioner som INSERT och MERGE nu tillgänglig för alla användare som har MODIFY behörighet för sådana tabeller. Dessutom sänks de behörigheter som krävs för att utföra schemautveckling med COPY INTO från OWNER till MODIFY för konsekvens med andra kommandon. De här ändringarna gör tabellens ACL-säkerhetsmodell mer konsekvent med Säkerhetsmodellen för Unity Catalog samt med andra åtgärder som att ersätta en tabell.
    • [SPARK-39889] Förbättra felmeddelandet för division med 0
    • [SPARK-39795] [SQL] Ny SQL-funktion: try_to_timestamp
    • [SPARK-39749] Använd alltid oformaterad strängrepresentation vid gjutning av decimaltecken som sträng i ANSI-läge
    • [SPARK-39625] Byt namn på df.as till df.to
    • [SPARK-39787] [SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
    • [SPARK-39625] [SQL] Lägg till Dataset.as(StructType)
    • [SPARK-39689] Stöd för 2 tecken lineSep i CSV-datakälla
    • [SPARK-39579] [SQL][PYTHON][R] Gör ListFunctions/getFunction/functionExists kompatibel med 3-lagers namnområde
    • [SPARK-39702] [CORE] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel
    • [SPARK-39575] [AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Åtgärda testfel när SPARK_ANSI_SQL_MODE är aktiverat
    • [SPARK-39441] [SQL] Påskynda DeduplicateRelations
    • [SPARK-39497] [SQL] Förbättra analysfelet för kartnyckelkolumnen som saknas
    • [SPARK-39476] [SQL] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal
    • [SPARK-39434] [SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen

Databricks Runtime 11.0 (EoS)

Se Databricks Runtime 11.0 (EoS).

  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av blanksteg:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när värdet är inställt på true, tar bort avslutande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • En bugg har åtgärdats med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • [SPARK-39650][SS] Åtgärda felaktigt värdeschema i strömmande deduplicering med bakåtkompatibilitet
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet.
  • Den 1 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kör MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40697][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596][CORE] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • [SPARK-40213][SQL] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera intern listning för Auto Loader på ADLS Gen2. Den interna listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna. Den här ändringen distribuerades till DBR 10.4 och 9.1 i den tidigare underhållsuppdateringen.
    • [SPARK-40169] Push-överför inte Parquet-filter utan referens till dataschemat
    • [SPARK-40460][SS] Åtgärda strömningsmått när du väljer _metadata
    • [SPARK-40468][SQL] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • [SPARK-40315][SQL] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-40089][SQL] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887][SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
    • [SPARK-40152][SQL] Åtgärda split_part codegen-kompileringsproblem
  • den 6 september 2022
    • [SPARK-40235][CORE] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue hanterar inte byte, kort eller flyttal korrekt
    • [SPARK-40218][SQL] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna
    • [SPARK-39976][SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
    • [SPARK-40053][CORE][SQL][TESTER] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö
    • [SPARK-35542][CORE][ML] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079][CORE] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39983][CORE][SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
    • [SPARK-39775][CORE][AVRO] Inaktivera verifiera standardvärden vid parsning av Avro-scheman
    • [SPARK-39806] Åtgärdat problemet med frågor som har åtkomst till METADATA-structkrasch på partitionerade tabeller
    • [SPARK-39867][SQL] Global gräns ska inte ärva OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39713][SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om samtalstråden avbryts
    • [SPARK-39731][SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • [SPARK-39889] Förbättra felmeddelandet för division med 0
    • [SPARK-39795][SQL] Ny SQL-funktion: try_to_timestamp
    • [SPARK-39749] Använd alltid oformaterad strängrepresentation vid gjutning av decimaltecken som sträng i ANSI-läge
    • [SPARK-39625][SQL] Lägg till Dataset.to(StructType)
    • [SPARK-39787][SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakälla
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded ska vara trådsäker
    • [SPARK-39702][CORE] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel
    • [SPARK-39575][AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] Förbättra analysfelet för kartnyckelkolumnen som saknas
    • [SPARK-39441][SQL] Påskynda DeduplicateRelations
    • [SPARK-39476][SQL] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal
    • [SPARK-39434][SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen
    • [SPARK-39570][SQL] Infogad tabell bör tillåta uttryck med alias
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • Gör Delta MERGE-åtgärden konsekvent när källan är icke-deterministisk.
    • Ett problem för cloud_files_state TVF har åtgärdats vid körning på icke-DBFS-sökvägar.
    • Inaktiverade autoinläsningens användning av interna moln-API:er för kataloglistor i Azure.
    • [SPARK-38796][SQL] Uppdatera to_number- och try_to_number-funktioner för att tillåta PR med positiva tal
    • [SPARK-39272][SQL] Öka startpositionen för frågekontexten med 1
    • [SPARK-39419][SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Förbättringar av felmeddelanden för ett antal felklasser.
    • [SPARK-39451][SQL] Stöd för gjutningsintervall till integraler i ANSI-läge
    • [SPARK-39361] Använd inte Log4J2s utökade konverteringsmönster för kastbara filer i standardkonfigurationer för loggning
    • [SPARK-39354][SQL] Se till att visa Table or view not found även om det är dataTypeMismatchError relaterat till Filter samtidigt
    • [SPARK-38675][CORE] Åtgärda ras under upplåsning i BlockInfoManager
    • [SPARK-39392][SQL] Förfina ANSI-felmeddelanden för try_* funktionstips
    • [SPARK-39214][SQL][3.3] Förbättra fel relaterade till CAST
    • [SPARK-37939][SQL] Använda felklasser i parsningsfel för egenskaper
    • [SPARK-39085][SQL] Flytta felmeddelandet INCONSISTENT_BEHAVIOR_CROSS_VERSION för till error-classes.json
    • [SPARK-39376][SQL] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • [SPARK-39283][CORE] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark bör inte kontrollera fältnamn vid läsning av filer
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 10.5 (EoS)

Se Databricks Runtime 10.5 (EoS).

  • Den 1 november 2022
    • Åtgärdade ett problem där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde inaktiverades i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kör MERGE.
    • [SPARK-40697][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596][CORE] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera intern listning för Auto Loader på ADLS Gen2. Den interna listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna. Den här ändringen distribuerades till DBR 10.4 och 9.1 i den tidigare underhållsuppdateringen.
    • reload4j har uppgraderats till 1.2.19 för att åtgärda sårbarheter.
    • [SPARK-40460][SS] Åtgärda strömningsmått när du väljer _metadata
    • [SPARK-40468][SQL] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • [SPARK-40315][SQL] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40213][SQL] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • [SPARK-40380][SQL] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-38404][SQL] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
    • [SPARK-40089][SQL] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887][SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 september 2022
    • [SPARK-40235][CORE] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-39976][SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
    • [SPARK-40053][CORE][SQL][TESTER] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö
    • [SPARK-35542][CORE][ML] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079][CORE] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39983][CORE][SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
    • [SPARK-39775][CORE][AVRO] Inaktivera verifiera standardvärden vid parsning av Avro-scheman
    • [SPARK-39806] Åtgärdat problemet med frågor som har åtkomst till METADATA-structkrasch på partitionerade tabeller
    • [SPARK-39962][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-37643][SQL] när charVarcharAsString är sant bör för predikatfråga för teckendatatyp hoppa över rpadding-regeln
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om samtalstråden avbryts
    • [SPARK-39731][SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39625][SQL] Lägg till Dataset.as(StructType)
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakälla
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded ska vara trådsäker
    • [SPARK-39570][SQL] Infogad tabell bör tillåta uttryck med alias
    • [SPARK-39702][CORE] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel
    • [SPARK-39575][AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • Gör Delta MERGE-åtgärden konsekvent när källan är icke-deterministisk.
    • [SPARK-39355][SQL] En kolumn använder citerad för att konstruera UnresolvedAttribute
    • [SPARK-39548][SQL] CreateView-kommandot med en fönstersatsfråga stötte på ett fel fönsterdefinitionsfel hittades inte
    • [SPARK-39419][SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
    • Inaktiverade autoinläsningens användning av interna moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376][SQL] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283][CORE] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark bör inte kontrollera fältnamn vid läsning av filer
    • [SPARK-34096][SQL] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret
    • [SPARK-36718][SQL][UPPFÖLJNING] isExtractOnly Åtgärda kontrollen i CollapseProject
  • 2 juni 2022
    • [SPARK-39166][SQL] Ange frågekontext för körningsfel för binär aritmetik när WSCG är inaktiverat
    • [SPARK-39093][SQL] Undvik codegen-kompileringsfel vid uppdelning av årsmånadsintervall eller dagtidsintervall med en integral
    • [SPARK-38990][SQL] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell intern minnesläcka i Auto Loader.
    • [SPARK-38868][SQL]Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar
    • [SPARK-38796][SQL] Implementera sql-funktionerna to_number och try_to_number enligt en ny specifikation
    • [SPARK-38918][SQL] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-38929][SQL] Förbättra felmeddelanden för cast-fel i ANSI
    • [SPARK-38926][SQL] Utdatatyper i felmeddelanden i SQL-format
    • [SPARK-39084][PYSPARK] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten
    • [SPARK-32268][SQL] Lägg till ColumnPruning i injectBloomFilter
    • [SPARK-38908][SQL] Ange frågekontext i körningsfel vid gjutning från sträng till tal/datum/tidsstämpel/booleskt värde
    • [SPARK-39046][SQL] Returnera en tom kontextsträng om TreeNode.origin har angetts felaktigt
    • [SPARK-38974][SQL] Filtrera registrerade funktioner med ett visst databasnamn i listfunktioner
    • [SPARK-38762][SQL] Ange frågekontext i decimala spillfel
    • [SPARK-38931][SS] Skapa rot-dfs-katalog för RocksDBFileManager med okänt antal nycklar på första kontrollpunkten
    • [SPARK-38992][CORE] Undvik att använda bash -c i ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Ange frågekontext i kartnyckeln finns inte
    • [SPARK-38889][SQL] Kompilera booleska kolumnfilter för att använda bittypen för MSSQL-datakällan
    • [SPARK-38698][SQL] Ange frågekontext i körningsfel för Dividera/Div/Påminnelse/Pmod
    • [SPARK-38823][SQL] Gör NewInstance det inte vikbart för att åtgärda problem med att aggregeringsbufferten skadas
    • [SPARK-38809][SS] Implementera alternativ för att hoppa över null-värden i symmetrisk hash-implementering av stream-stream-kopplingar
    • [SPARK-38676][SQL] Ange SQL-frågekontext i körningsfelmeddelandet lägg till/subtrahera/multiplicera
    • [SPARK-38677][PYSPARK] Python MonitorThread bör identifiera dödläge på grund av blockerande I/O
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 10.3 (EoS)

Se Databricks Runtime 10.3 (EoS).

  • den 27 juli 2022
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakälla
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded ska vara trådsäker
    • [SPARK-39702][CORE] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 juli 2022
    • Gör Delta MERGE-åtgärden konsekvent när källan är icke-deterministisk.
    • [SPARK-39476][SQL] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal
    • [SPARK-39548][SQL] CreateView-kommandot med en fönstersatsfråga stötte på ett fel fönsterdefinitionsfel hittades inte
    • [SPARK-39419][SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376][SQL] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283][CORE] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark bör inte kontrollera fältnamn vid läsning av filer
    • [SPARK-34096][SQL] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret
    • [SPARK-36718][SQL][UPPFÖLJNING] isExtractOnly Åtgärda kontrollen i CollapseProject
  • 2 juni 2022
    • [SPARK-38990][SQL] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell intern minnesläcka i Auto Loader.
    • [SPARK-38918][SQL] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-37593][CORE] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används
    • [SPARK-39084][PYSPARK] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten
    • [SPARK-32268][SQL] Lägg till ColumnPruning i injectBloomFilter
    • [SPARK-38974][SQL] Filtrera registrerade funktioner med ett visst databasnamn i listfunktioner
    • [SPARK-38889][SQL] Kompilera booleska kolumnfilter för att använda bittypen för MSSQL-datakällan
    • Säkerhetsuppdateringar för operativsystem.
  • 4 maj 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
  • den 19 april 2022
    • [SPARK-38616][SQL] Hålla reda på SQL-frågetext i Catalyst TreeNode
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • [SPARK-38631][CORE] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var /databricks/driverarbetskatalogen .
    • [SPARK-38437][SQL] Överseende serialisering av datetime från datakälla
    • [SPARK-38180][SQL] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155][SQL] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-38325][SQL] ANSI-läge: Undvik potentiellt körningsfel i HashJoin.extractKeyExprAt()
  • Den 14 mars 2022
    • Förbättrad identifiering av transaktionskonflikter för tomma transaktioner i Delta Lake.
    • [SPARK-38185][SQL] Åtgärda felaktiga data om aggregeringsfunktionen är tom
    • [SPARK-38318][SQL] regression när du ersätter en datamängdsvy
    • [SPARK-38236][SQL] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-35937][SQL] Extrahera datumfält från tidsstämpel bör fungera i ANSI-läge
    • [SPARK-34069][SQL] Uppgifter för avlivningsbarriärer bör respekteras SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tillåt lagringstilldelning mellan TidsstämpelNTZ och Datum/tidsstämpel
  • den 23 februari 2022
    • [SPARK-27442][SQL] Ta bort namn på kontrollfält vid läsning/skrivning av data i parquet

Databricks Runtime 10.2 (EoS)

Se Databricks Runtime 10.2 (EoS).

  • Den 15 juni 2022
    • [SPARK-39283][CORE] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark bör inte kontrollera fältnamn vid läsning av filer
    • [SPARK-34096][SQL] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret
  • 2 juni 2022
    • [SPARK-38918][SQL] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-38990][SQL] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell intern minnesläcka i Auto Loader.
    • [SPARK-39084][PYSPARK] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten
    • [SPARK-38889][SQL] Kompilera booleska kolumnfilter för att använda bittypen för MSSQL-datakällan
    • [SPARK-38931][SS] Skapa rot-dfs-katalog för RocksDBFileManager med okänt antal nycklar på första kontrollpunkten
    • Säkerhetsuppdateringar för operativsystem.
  • 4 maj 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.
  • den 6 april 2022
    • [SPARK-38631][CORE] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var /databricks/driverarbetskatalogen .
    • [SPARK-38437][SQL] Överseende serialisering av datetime från datakälla
    • [SPARK-38180][SQL] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155][SQL] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-38325][SQL] ANSI-läge: Undvik potentiellt körningsfel i HashJoin.extractKeyExprAt()
  • Den 14 mars 2022
    • Förbättrad identifiering av transaktionskonflikter för tomma transaktioner i Delta Lake.
    • [SPARK-38185][SQL] Åtgärda felaktiga data om aggregeringsfunktionen är tom
    • [SPARK-38318][SQL] regression när du ersätter en datamängdsvy
    • [SPARK-38236][SQL] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-35937][SQL] Extrahera datumfält från tidsstämpel bör fungera i ANSI-läge
    • [SPARK-34069][SQL] Uppgifter för avlivningsbarriärer bör respekteras SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tillåt lagringstilldelning mellan TidsstämpelNTZ och Datum/tidsstämpel
  • den 23 februari 2022
    • [SPARK-37577][SQL] Åtgärda ClassCastException: ArrayType kan inte castas till StructType för generera beskärning
  • den 8 februari 2022
    • [SPARK-27442][SQL] Ta bort kontrollfältets namn när du läser/skriver data i parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett fel där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.
  • den 19 januari 2022
    • Stöd har införts för att ange tillfälliga autentiseringsuppgifter till COPY INTO för inläsning av källdata utan att sql-ANY_FILE behörigheter krävs
    • Felkorrigeringar och säkerhetsförbättringar.
  • den 20 december 2021
    • En sällsynt bugg med Indexbaserad filtrering i Parquet-kolumner har åtgärdats.

Databricks Runtime 10.1 (EoS)

Se Databricks Runtime 10.1 (EoS).

  • Den 15 juni 2022
    • [SPARK-39283][CORE] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark bör inte kontrollera fältnamn vid läsning av filer
    • [SPARK-34096][SQL] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret
  • 2 juni 2022
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell intern minnesläcka i Auto Loader.
    • [SPARK-39084][PYSPARK] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten
    • [SPARK-38889][SQL] Kompilera booleska kolumnfilter för att använda bittypen för MSSQL-datakällan
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • [SPARK-37270][SQL] Åtgärda push-vikbar överföring i CaseWhen-grenar om elseValue är tomt
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • [SPARK-38631][CORE] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • [SPARK-38437][SQL] Överseende serialisering av datetime från datakälla
    • [SPARK-38180][SQL] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155][SQL] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-38325][SQL] ANSI-läge: Undvik potentiellt körningsfel i HashJoin.extractKeyExprAt()
  • Den 14 mars 2022
    • Förbättrad identifiering av transaktionskonflikter för tomma transaktioner i Delta Lake.
    • [SPARK-38185][SQL] Åtgärda felaktiga data om aggregeringsfunktionen är tom
    • [SPARK-38318][SQL] regression när du ersätter en datamängdsvy
    • [SPARK-38236][SQL] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-35937][SQL] Extrahera datumfält från tidsstämpel bör fungera i ANSI-läge
    • [SPARK-34069][SQL] Uppgifter för avlivningsbarriärer bör respekteras SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tillåt lagringstilldelning mellan TidsstämpelNTZ och Datum/tidsstämpel
  • den 23 februari 2022
    • [SPARK-37577][SQL] Åtgärda ClassCastException: ArrayType kan inte castas till StructType för generera beskärning
  • den 8 februari 2022
    • [SPARK-27442][SQL] Ta bort kontrollfältets namn när du läser/skriver data i parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett fel där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.
  • den 19 januari 2022
    • Stöd har införts för att ange tillfälliga autentiseringsuppgifter till COPY INTO för inläsning av källdata utan att sql-ANY_FILE behörigheter krävs
    • Ett problem med minnesbrist med cachelagring av frågeresultat har åtgärdats under vissa förhållanden.
    • Ett problem med USE DATABASE när en användare växlar den aktuella katalogen till en katalog som inte är standard har åtgärdats.
    • Felkorrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 december 2021
    • En sällsynt bugg med Indexbaserad filtrering i Parquet-kolumner har åtgärdats.

Databricks Runtime 10.0 (EoS)

Se Databricks Runtime 10.0 (EoS).

  • den 19 april 2022
    • [SPARK-37270][SQL] Åtgärda push-vikbar överföring i CaseWhen-grenar om elseValue är tomt
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • [SPARK-38631][CORE] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • [SPARK-38437][SQL] Överseende serialisering av datetime från datakälla
    • [SPARK-38180][SQL] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155][SQL] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-38325][SQL] ANSI-läge: Undvik potentiellt körningsfel i HashJoin.extractKeyExprAt()
  • Den 14 mars 2022
    • Förbättrad identifiering av transaktionskonflikter för tomma transaktioner i Delta Lake.
    • [SPARK-38185][SQL] Åtgärda felaktiga data om aggregeringsfunktionen är tom
    • [SPARK-38318][SQL] regression när du ersätter en datamängdsvy
    • [SPARK-38236][SQL] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-35937][SQL] Extrahera datumfält från tidsstämpel bör fungera i ANSI-läge
    • [SPARK-34069][SQL] Uppgifter för avlivningsbarriärer bör respekteras SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Tillåt lagringstilldelning mellan TidsstämpelNTZ och Datum/tidsstämpel
  • den 23 februari 2022
    • [SPARK-37577][SQL] Åtgärda ClassCastException: ArrayType kan inte castas till StructType för generera beskärning
  • den 8 februari 2022
    • [SPARK-27442][SQL] Ta bort kontrollfältets namn när du läser/skriver data i parquet.
    • [SPARK-36905][SQL] Åtgärda läsning av hive-vyer utan explicita kolumnnamn
    • [SPARK-37859][SQL] Åtgärda problem med att SQL-tabeller som skapats med JDBC med Spark 3.1 inte kan läsas med 3.2
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett fel där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.
  • den 19 januari 2022
    • Felkorrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 december 2021
    • En sällsynt bugg med Indexbaserad filtrering i Parquet-kolumner har åtgärdats.
  • den 9 november 2021
    • Introducerade ytterligare konfigurationsflaggor för att aktivera detaljerad kontroll över ANSI-beteenden.
  • den 4 november 2021
    • En bugg har åtgärdats som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 30 november 2021
    • Ett problem med tidsstämpelparsning har åtgärdats där en tidszonssträng utan kolon ansågs vara ogiltig.
    • Ett problem med minnesbrist med cachelagring av frågeresultat har åtgärdats under vissa förhållanden.
    • Ett problem med USE DATABASE när en användare växlar den aktuella katalogen till en katalog som inte är standard har åtgärdats.

Databricks Runtime 9.0 (EoS)

Se Databricks Runtime 9.0 (EoS).

  • den 8 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.
  • den 19 januari 2022
    • Felkorrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • En bugg har åtgärdats som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 22 september 2021
    • En bugg har åtgärdats i gjuten Spark-matris med null till sträng
  • den 15 september 2021
    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • den 8 september 2021
    • Stöd har lagts till för schemanamn (databaseName.schemaName.tableName format) som måltabellnamn för Azure Synapse Connector.
    • Stöd för JDBC-typer för geometri och geografi har lagts till för Spark SQL.
    • [SPARK-33527][SQL] Utökade funktionen för avkodning så att den överensstämmer med vanliga databaser.
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.
  • den 25 augusti 2021
    • SQL Server-drivrutinsbiblioteket uppgraderades till 9.2.1.jre8.
    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.
    • Den brutna länken till den bästa utvärderingsanteckningsboken på AutoML-experimentsidan har åtgärdats.

Databricks Runtime 8.4 (EoS)

Se Databricks Runtime 8.4 (EoS).

  • den 19 januari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • En bugg har åtgärdats som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
  • den 22 september 2021
    • Spark JDBC-drivrutinen uppgraderades till 2.6.19.1030
    • [SPARK-36734][SQL] Uppgradera ORC till 1.5.1
  • den 15 september 2021
    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 september 2021
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.
  • den 25 augusti 2021
    • SQL Server-drivrutinsbiblioteket uppgraderades till 9.2.1.jre8.
    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.
    • Åtgärdar en bugg i genomströmning av autentiseringsuppgifter som orsakas av den nya Parquet-optimeringen, där användarens autentiseringsuppgifter för genomströmning kanske inte hittas under filåtkomsten.
  • den 11 augusti 2021
    • Åtgärdar ett inkompatibilitetsproblem med RocksDB som förhindrar äldre Databricks Runtime 8.4. Detta åtgärdar vidarebefordran av kompatibilitet för program för automatisk inläsning, COPY INTOoch tillståndskänsliga strömningsprogram.
    • Åtgärdar ett fel när du använder Auto Loader för att läsa CSV-filer med matchande huvudfiler. Om kolumnnamnen inte matchar fylls kolumnen i med null-värden. Om ett schema tillhandahålls förutsätter det att schemat är detsamma och sparar bara kolumnmatchningar om räddade datakolumner är aktiverade.
    • Lägger till ett nytt alternativ som anropas externalDataSource i Azure Synapse-anslutningsappen CONTROL för att ta bort behörighetskravet för databasen för PolyBase-läsning.
  • den 29 juli 2021
    • [SPARK-36034][BUILD] Ändra datumtid i nedtryckta filter till Parquet
    • [SPARK-36163][BUILD] Sprida rätt JDBC-egenskaper i JDBC-anslutningsprovidern och lägg till connectionProvider alternativ

Databricks Runtime 8.3 (EoS)

Se Databricks Runtime 8.3 (EoS).

  • den 19 januari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • En bugg har åtgärdats som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
  • den 22 september 2021
    • Spark JDBC-drivrutinen uppgraderades till 2.6.19.1030
  • den 15 september 2021
    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 september 2021
    • [SPARK-35700][SQL][WARMFIX] Läs char/varchar orc-tabell när den skapas och skrivs av externa system.
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.
  • den 25 augusti 2021
    • SQL Server-drivrutinsbiblioteket uppgraderades till 9.2.1.jre8.
    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.
    • Åtgärdar en bugg i genomströmning av autentiseringsuppgifter som orsakas av den nya Parquet-optimeringen, där användarens autentiseringsuppgifter för genomströmning kanske inte hittas under filåtkomsten.
  • den 11 augusti 2021
    • Åtgärdar ett fel när du använder Auto Loader för att läsa CSV-filer med matchande huvudfiler. Om kolumnnamnen inte matchar fylls kolumnen i med null-värden. Om ett schema tillhandahålls förutsätter det att schemat är detsamma och sparar bara kolumnmatchningar om räddade datakolumner är aktiverade.
  • den 29 juli 2021
    • Uppgradera Databricks Snowflake Spark-anslutningsprogrammet till 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Ändra datumtid i nedtryckta filter till Parquet
    • [SPARK-36163][BUILD] Sprida rätt JDBC-egenskaper i JDBC-anslutningsprovidern och lägg till connectionProvider alternativ
  • den 14 juli 2021
    • Ett problem har åtgärdats vid användning av kolumnnamn med punkter i Azure Synapse-anslutningsappen.
    • Introducerat database.schema.table format för Synapse Connector.
    • Stöd har lagts till för att ange databaseName.schemaName.tableName format som måltabell i stället för endast schemaName.tableName eller tableName.
  • Den 15 juni 2021
    • NoSuchElementException En bugg har åtgärdats i Delta Lake-optimerade skrivningar som kan inträffa när stora mängder data skrivs och körfel uppstår
    • Lägger till SQL CREATE GROUP- , DROP GROUP, ALTER GROUP, SHOW GROUPSoch SHOW USERS -kommandon. Mer information finns i Säkerhetsinstruktioner och Visa instruktioner.

Databricks Runtime 8.2 (EoS)

Se Databricks Runtime 8.2 (EoS).

  • den 22 september 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 15 september 2021

    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • den 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Läs char/varchar orc-tabell när den skapas och skrivs av externa system.
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.

  • den 25 augusti 2021

    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.

  • den 11 augusti 2021

    • [SPARK-36034][SQL] Ändra datumtid i nedtryckta filter till parquet.

  • den 29 juli 2021

    • Uppgradera Databricks Snowflake Spark-anslutningsprogrammet till 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Sprida rätt JDBC-egenskaper i JDBC-anslutningsprovidern och lägg till connectionProvider alternativ

  • den 14 juli 2021

    • Ett problem har åtgärdats vid användning av kolumnnamn med punkter i Azure Synapse-anslutningsappen.
    • Introducerat database.schema.table format för Synapse Connector.
    • Stöd har lagts till för att ange databaseName.schemaName.tableName format som måltabell i stället för endast schemaName.tableName eller tableName.
    • En bugg har åtgärdats som hindrar användare från att resa till äldre tillgängliga versioner med Delta-tabeller.

  • Den 15 juni 2021

    • Åtgärdar en NoSuchElementException bugg i Delta Lake-optimerade skrivningar som kan inträffa när stora mängder data skrivs och körfel uppstår

  • 26 maj 2021

    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
    • Ett OOM-problem har åtgärdats när Auto Loader rapporterar förloppsmått för strukturerad direktuppspelning.

Databricks Runtime 8.1 (EoS)

Se Databricks Runtime 8.1 (EoS).

  • den 22 september 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 15 september 2021

    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • den 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Läs char/varchar orc-tabell när den skapas och skrivs av externa system.
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.

  • den 25 augusti 2021

    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.

  • den 11 augusti 2021

    • [SPARK-36034][SQL] Ändra datumtid i nedtryckta filter till parquet.

  • den 29 juli 2021

    • Uppgradera Databricks Snowflake Spark-anslutningsprogrammet till 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Sprida rätt JDBC-egenskaper i JDBC-anslutningsprovidern och lägg till connectionProvider alternativ

  • den 14 juli 2021

    • Ett problem har åtgärdats vid användning av kolumnnamn med punkter i Azure Synapse-anslutningsappen.
    • En bugg har åtgärdats som hindrar användare från att resa till äldre tillgängliga versioner med Delta-tabeller.

  • Den 15 juni 2021

    • Åtgärdar en NoSuchElementException bugg i Delta Lake-optimerade skrivningar som kan inträffa när stora mängder data skrivs och körfel uppstår

  • 26 maj 2021

    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • Ett OOM-problem har åtgärdats när Auto Loader rapporterar förloppsmått för strukturerad direktuppspelning.

  • 27 april 2021

    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
    • [SPARK-34856][SQL] ANSI-läge: Tillåt gjutning av komplexa typer som strängtyp
    • [SPARK-35014] Åtgärda mönstret PhysicalAggregation så att de inte skriver om de vikbara uttrycken
    • [SPARK-34769][SQL] AnsiTypeCoercion: returnera den smalaste konvertibla typen bland TypeCollection
    • [SPARK-34614][SQL] ANSI-läge: Gjutning av sträng till booleskt värde utlöser undantag vid parsningsfel
    • [SPARK-33794][SQL] ANSI-läge: Åtgärda NextDay-uttryck för att utlösa körningen IllegalArgumentException när ogiltiga indata tas emot under

Databricks Runtime 8.0 (EoS)

Se Databricks Runtime 8.0 (EoS).

  • den 15 september 2021

    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • den 25 augusti 2021

    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.

  • den 11 augusti 2021

    • [SPARK-36034][SQL] Ändra datumtid i nedtryckta filter till parquet.

  • den 29 juli 2021

    • [SPARK-36163][BUILD] Sprida rätt JDBC-egenskaper i JDBC-anslutningsprovidern och lägg till connectionProvider alternativ

  • den 14 juli 2021

    • Ett problem har åtgärdats vid användning av kolumnnamn med punkter i Azure Synapse-anslutningsappen.
    • En bugg har åtgärdats som hindrar användare från att resa till äldre tillgängliga versioner med Delta-tabeller.

  • 26 maj 2021

    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd

  • Den 24 mars 2021

    • [SPARK-34681][SQL] Åtgärda bugg för fullständig yttre blandad hashkoppling när vänster sida skapas med ett villkor som inte är lika med
    • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
    • [SPARK-34613][SQL] Korrigeringsvyn samlar inte in konfiguration av inaktiverade tips

  • 9 mars 2021

    • [SPARK-34543][SQL] Respektera konfigurationen spark.sql.caseSensitive när partitionsspecifikationen matchas i v1 SET LOCATION
    • [SPARK-34392][SQL] Stöd för ZoneOffset +h:mm i DateTimeUtils. getZoneId
    • [Användargränssnitt] Åtgärda href-länken för Visualisering av Spark DAG
    • [SPARK-34436][SQL] DPP stöder LIKE ANY/ALL-uttryck

Databricks Runtime 7.6 (EoS)

Se Databricks Runtime 7.6 (EoS).

  • den 11 augusti 2021
    • [SPARK-36034][SQL] Ändra datumtid i nedtryckta filter till parquet.
  • den 29 juli 2021
    • [SPARK-32998][BUILD] Lägg till möjlighet att åsidosätta standardfjärrlagringsplatser med endast interna lagringsplatser
  • den 14 juli 2021
    • En bugg har åtgärdats som hindrar användare från att resa till äldre tillgängliga versioner med Delta-tabeller.
  • 26 maj 2021
    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).
  • den 30 april 2021
    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
  • Den 24 mars 2021
    • [SPARK-34768][SQL] Respektera standardstorleken för indatabufferten i Univocity
    • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
  • Den 9 mars 2021
    • (Endast Azure) Ett fel med automatisk inläsning som kan orsaka NullPointerException när databricks Runtime 7.6 används för att köra en gammal automatisk inläsningsström som skapats i Databricks Runtime 7.2 har åtgärdats
    • [Användargränssnitt] Åtgärda href-länken för Visualisering av Spark DAG
    • Okänd sparkplan för lövnod hanteras inte korrekt i SizeInBytesOnlyStatsSparkPlanVisitor
    • Återställa utdataschemat för SHOW DATABASES
    • [Delta][8.0, 7.6] Fel vid fast beräkning i logik för automatisk justering av filstorlek
    • Inaktivera inaktuell kontroll för Delta-tabellfiler i diskcachen
    • [SQL] Använd rätt byggnyckel för dynamisk beskärning när tipset om intervallkoppling finns
    • Inaktivera stöd för teckentyp i icke-SQL-kodsökväg
    • Undvik NPE i DataFrameReader.schema
    • Åtgärda NPE när EventGridClient-svaret inte har någon entitet
    • Åtgärda ett läsfel med stängd dataström i Azure Auto Loader
    • [SQL] Generera inte råd om shuffle-partitionsnummer när AOS är aktiverat
  • den 24 februari 2021
    • Uppgraderade Spark BigQuery-anslutningsappen till v0.18, vilket introducerar olika felkorrigeringar och stöd för Arrow- och Avro-iteratorer.
    • Ett korrekthetsproblem som gjorde att Spark returnerade felaktiga resultat när Parquet-filens decimalprecision och skala skiljer sig från Spark-schemat.
    • Problem med läsningsfel i Microsoft SQL Server-tabeller som innehåller rumsliga datatyper har åtgärdats genom att lägga till stöd för JDBC-typer med geometri och geografi för Spark SQL.
    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.
    • [SPARK-34212] Problem som rör läsning av decimaldata från Parquet-filer har åtgärdats.
    • [SPARK-34260][SQL] Åtgärda UnresolvedException när du skapar temporär vy två gånger.

Databricks Runtime 7.5 (EoS)

Se Databricks Runtime 7.5 (EoS).

  • 26 maj 2021
    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).
  • den 30 april 2021
    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
  • Den 24 mars 2021
    • [SPARK-34768][SQL] Respektera standardstorleken för indatabufferten i Univocity
    • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
  • Den 9 mars 2021
    • (Endast Azure) Åtgärdade ett fel med automatisk inläsning som kan orsaka NullPointerException när du använder Databricks Runtime 7.5 för att köra en gammal automatisk inläsningsström som skapats i Databricks Runtime 7.2.
    • [Användargränssnitt] Åtgärda href-länken för Visualisering av Spark DAG
    • Okänd sparkplan för lövnod hanteras inte korrekt i SizeInBytesOnlyStatsSparkPlanVisitor
    • Återställa utdataschemat för SHOW DATABASES
    • Inaktivera inaktuell kontroll för Delta-tabellfiler i diskcachen
    • [SQL] Använd rätt byggnyckel för dynamisk beskärning när tipset om intervallkoppling finns
    • Inaktivera stöd för teckentyp i icke-SQL-kodsökväg
    • Undvik NPE i DataFrameReader.schema
    • Åtgärda NPE när EventGridClient-svaret inte har någon entitet
    • Åtgärda ett läsfel med stängd dataström i Azure Auto Loader
  • den 24 februari 2021
    • Uppgraderade Spark BigQuery-anslutningsappen till v0.18, vilket introducerar olika felkorrigeringar och stöd för Arrow- och Avro-iteratorer.
    • Ett korrekthetsproblem som gjorde att Spark returnerade felaktiga resultat när Parquet-filens decimalprecision och skala skiljer sig från Spark-schemat.
    • Problem med läsningsfel i Microsoft SQL Server-tabeller som innehåller rumsliga datatyper har åtgärdats genom att lägga till stöd för JDBC-typer med geometri och geografi för Spark SQL.
    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.
    • [SPARK-34212] Problem som rör läsning av decimaldata från Parquet-filer har åtgärdats.
    • [SPARK-34260][SQL] Åtgärda UnresolvedException när du skapar temporär vy två gånger.
  • den 4 februari 2021
    • En regression har åtgärdats som förhindrar inkrementell körning av en fråga som anger en global gräns, till exempel SELECT * FROM table LIMIT nrows. Regressionen upplevdes av användare som körde frågor via ODBC/JDBC med pilserialisering aktiverad.
    • Introducerade skrivtidskontroller till Hive-klienten för att förhindra skadade metadata i Hive-metaarkivet för Delta-tabeller.
    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.
  • den 20 januari 2021
    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)
  • den 12 januari 2021
    • Uppgradera Azure Storage SDK från 2.3.8 till 2.3.9.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33480][SQL] uppdaterar felmeddelandet för kontroll av infogningslängd för tecken/varchar-tabell

Databricks Runtime 7.3 LTS (EoS)

Se Databricks Runtime 7.3 LTS (EoS).

  • den 10 september 2023

    • Diverse felkorrigeringar.

  • 30 augusti 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 15 augusti 2023

    • Säkerhetsuppdateringar för operativsystem.

  • 23 juni 2023

    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.

  • Den 15 juni 2023

    • [SPARK-43413][SQL] Åtgärda IN nullbarhet för underfrågor ListQuery .
    • Säkerhetsuppdateringar för operativsystem.

  • 2 juni 2023

    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.

  • 17 maj 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2023

    • Säkerhetsuppdateringar för operativsystem.

  • 11 april 2023

    • [SPARK-42967][CORE] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
    • Diverse felkorrigeringar.

  • Den 29 mars 2023

    • Säkerhetsuppdateringar för operativsystem.

  • 14 mars 2023

    • Diverse felkorrigeringar.

  • 28 februari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 16 februari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 31 januari 2023

    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.

  • den 18 januari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 29 november 2022

    • Diverse felkorrigeringar.

  • den 15 november 2022

    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • 1 november 2022

    • [SPARK-38542][SQL] UnsafeHashedRelation ska serialisera numKeys ut

  • den 18 oktober 2022

    • Säkerhetsuppdateringar för operativsystem.

  • 5 oktober 2022

    • Diverse felkorrigeringar.
    • Säkerhetsuppdateringar för operativsystem.

  • den 22 september 2022

  • den 6 september 2022

    • [SPARK-35542][CORE][ML] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079][CORE] Lägg till Imputer inputCols-validering för tomt indatafall

  • den 24 augusti 2022

    • [SPARK-39962][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.

  • 9 augusti 2022

    • Säkerhetsuppdateringar för operativsystem.

  • den 27 juli 2022

    • Gör Delta MERGE-åtgärden konsekvent när källan är icke-deterministisk.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • den 13 juli 2022

    • [SPARK-32680][SQL] Förbearbeta inte V2 CTAS med olöst fråga
    • Inaktiverade autoinläsningens användning av interna moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.

  • den 5 juli 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • 2 juni 2022

    • [SPARK-38918][SQL] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • Säkerhetsuppdateringar för operativsystem.

  • Den 18 maj 2022

    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • den 19 april 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • den 6 april 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • Den 14 mars 2022

    • Ta bort sårbara klasser från log4j 1.2.17 jar
    • Diverse felkorrigeringar.

  • den 23 februari 2022

    • [SPARK-37859][SQL] Sök inte efter metadata vid schemajämförelse

  • den 8 februari 2022

    • Uppgradera Ubuntu JDK till 1.8.0.312.
    • Säkerhetsuppdateringar för operativsystem.

  • 1 februari 2022

    • Säkerhetsuppdateringar för operativsystem.

  • 26 januari 2022

    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.

  • den 19 januari 2022

    • Condas standardkanal tas bort från 7,3 ML LTS
    • Säkerhetsuppdateringar för operativsystem.

  • den 7 december 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 4 november 2021

    • En bugg har åtgärdats som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.

  • den 15 september 2021

    • Ett konkurrenstillstånd har åtgärdats som kan orsaka ett frågefel med en IOException som java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Säkerhetsuppdateringar för operativsystem.

  • den 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Läs char/varchar orc-tabell när den skapas och skrivs av externa system.
    • [SPARK-36532][CORE][3.1] Fast dödläge i CoarseGrainedExecutorBackend.onDisconnected för att undvika executorsconnected avstängning av exekutor.

  • den 25 augusti 2021

    • Snowflake-anslutningsprogrammet uppgraderades till 2.9.0.

  • den 29 juli 2021

    • [SPARK-36034][BUILD] Ändra datumtid i nedtryckta filter till Parquet
    • [SPARK-34508][BUILD] Hoppa över HiveExternalCatalogVersionsSuite om nätverket är nere

  • den 14 juli 2021

    • Introducerat database.schema.table format för Azure Synapse-anslutningsappen.
    • Stöd har lagts till för att ange databaseName.schemaName.tableName format som måltabell i stället för endast schemaName.tableName eller tableName.
    • En bugg har åtgärdats som hindrar användare från att resa till äldre tillgängliga versioner med Delta-tabeller.

  • Den 15 juni 2021

    • Åtgärdar en NoSuchElementException bugg i Delta Lake-optimerade skrivningar som kan inträffa när stora mängder data skrivs och körfel uppstår
    • Python har uppdaterats med säkerhetskorrigering för att åtgärda säkerhetsproblem i Python (CVE-2021-3177).

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
    • [SPARK-35045][SQL] Lägg till ett internt alternativ för att styra indatabufferten i osparlighet

  • Den 24 mars 2021

    • [SPARK-34768][SQL] Respektera standardstorleken för indatabufferten i Univocity
    • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
    • [SPARK-33118][SQL]SKAPA TILLFÄLLIG TABELL misslyckas med platsen

  • 9 mars 2021

    • Den uppdaterade Azure Blob File System-drivrutinen för Azure Data Lake Storage Gen2 är nu aktiverad som standard. Det ger flera stabilitetsförbättringar.
    • Åtgärda sökvägsavgränsare i Windows för databricks-connect get-jar-dir
    • [Användargränssnitt] Åtgärda href-länken för Visualisering av Spark DAG
    • [DBCONNECT] Lägg till stöd för FlatMapCoGroupsInPandas i Databricks Connect 7.3
    • Återställa utdataschemat för SHOW DATABASES
    • [SQL] Använd rätt byggnyckel för dynamisk beskärning när tipset om intervallkoppling finns
    • Inaktivera inaktuell kontroll för Delta-tabellfiler i diskcachen
    • [SQL] Generera inte råd om shuffle-partitionsnummer när AOS är aktiverat

  • den 24 februari 2021

    • Uppgraderade Spark BigQuery-anslutningsappen till v0.18, vilket introducerar olika felkorrigeringar och stöd för Arrow- och Avro-iteratorer.
    • Ett korrekthetsproblem som gjorde att Spark returnerade felaktiga resultat när Parquet-filens decimalprecision och skala skiljer sig från Spark-schemat.
    • Problem med läsningsfel i Microsoft SQL Server-tabeller som innehåller rumsliga datatyper har åtgärdats genom att lägga till stöd för JDBC-typer med geometri och geografi för Spark SQL.
    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.
    • [SPARK-34212] Problem som rör läsning av decimaldata från Parquet-filer har åtgärdats.
    • [SPARK-33579][Användargränssnitt] Åtgärda den tomma körsidan bakom proxyn.
    • [SPARK-20044][Användargränssnitt] Stöd för Spark-användargränssnittet bakom omvänd klientdelsproxy med hjälp av ett sökvägsprefix.
    • [SPARK-33277][PYSPARK][SQL] Använd ContextAwareIterator för att sluta använda när aktiviteten är slut.

  • den 4 februari 2021

    • En regression har åtgärdats som förhindrar inkrementell körning av en fråga som anger en global gräns, till exempel SELECT * FROM table LIMIT nrows. Regressionen upplevdes av användare som körde frågor via ODBC/JDBC med pilserialisering aktiverad.
    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 20 januari 2021

    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33677][SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
    • [SPARK-33592][ML][PYTHON] Pyspark ML Validator-params i estimatorParamMaps kan gå förlorade när du har sparat och läst in igen
    • [SPARK-33071][SPARK-33536][SQL] Undvik att ändra dataset_id för LogicalPlan i join() för att inte bryta DetectAmbiguousSelfJoin

  • 8 december 2020

    • [SPARK-33587][CORE] Döda utföraren vid kapslade allvarliga fel
    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • [SPARK-33316][SQL] Supportanvändaren har angett nullbart Avro-schema för katalysatorschema som inte kan nullaktiveras i Avro-skrivning
    • Spark-jobb som startas med Databricks Connect kan hängas på obestämd tid med Executor$TaskRunner.$anonfun$copySessionState i spårning av körstaplar
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33404][SQL][3.0] Åtgärda felaktiga resultat i date_trunc uttrycket
    • [SPARK-33339][PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
    • [SPARK-33183][SQL][SNABBKORRIGERING] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [SPARK-33371][PYTHON][3.0] Uppdatera setup.py och tester för Python 3.9
    • [SPARK-33391][SQL] element_at med CreateArray respekterar inte ett baserat index.
    • [SPARK-33306][SQL]Tidszon krävs när gjutningsdatum till sträng
    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream

  • 5 november 2020

    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser().
    • Åtgärda en oändlig loopbugg när Avro-läsaren läser MAGIC-byte.
    • Lägg till stöd för ANVÄNDNING-behörigheten.
    • Prestandaförbättringar för behörighetskontroll i tabellåtkomstkontroll.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • Du kan läsa och skriva från DBFS med hjälp av FUSE-monteringen på /dbfs/ när du är i ett kluster med hög samtidighetsautentisering med genomströmning aktiverat. Vanliga monteringar stöds, men monteringar som behöver autentiseringsuppgifter för genomströmning stöds inte ännu.
    • [SPARK-32999][SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • [SPARK-32585][SQL] Stöd för scala-uppräkning i ScalaReflection
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • 29 september 2020

    • [SPARK-32718][SQL] Ta bort onödiga nyckelord för intervallenheter
    • [SPARK-32635][SQL] Åtgärda vikbar spridning
    • Lägg till en ny konfiguration spark.shuffle.io.decoder.consolidateThreshold. Ange konfigurationsvärdet till Long.MAX_VALUE för att hoppa över konsolideringen av netty FrameBuffers, vilket förhindrar java.lang.IndexOutOfBoundsException i hörnfall.

  • den 25 april 2023

    • Säkerhetsuppdateringar för operativsystem.

  • 11 april 2023

    • Diverse felkorrigeringar.

  • Den 29 mars 2023

    • Diverse felkorrigeringar.

  • 14 mars 2023

    • Säkerhetsuppdateringar för operativsystem.

  • 28 februari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 16 februari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 31 januari 2023

    • Diverse felkorrigeringar.

  • den 18 januari 2023

    • Säkerhetsuppdateringar för operativsystem.

  • den 29 november 2022

    • Säkerhetsuppdateringar för operativsystem.

  • den 15 november 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • 1 november 2022

    • Säkerhetsuppdateringar för operativsystem.

  • den 18 oktober 2022

    • Säkerhetsuppdateringar för operativsystem.
    • den 5 oktober 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 24 augusti 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 9 augusti 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 27 juli 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 5 juli 2022
      • Säkerhetsuppdateringar för operativsystem.
    • 2 juni 2022
      • Säkerhetsuppdateringar för operativsystem.
    • Den 18 maj 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 19 april 2022
      • Säkerhetsuppdateringar för operativsystem.
      • Diverse felkorrigeringar.
    • den 6 april 2022
      • Säkerhetsuppdateringar för operativsystem.
      • Diverse felkorrigeringar.
    • Den 14 mars 2022
      • Diverse felkorrigeringar.
    • den 23 februari 2022
      • Diverse felkorrigeringar.
    • den 8 februari 2022
      • Uppgradera Ubuntu JDK till 1.8.0.312.
      • Säkerhetsuppdateringar för operativsystem.
    • den 1 februari 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 19 januari 2022
      • Säkerhetsuppdateringar för operativsystem.
    • den 22 september 2021
      • Säkerhetsuppdateringar för operativsystem.
    • den 30 april 2021
      • Säkerhetsuppdateringar för operativsystem.
      • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • den 12 januari 2021
      • Säkerhetsuppdateringar för operativsystem.
    • den 8 december 2020
      • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
      • Säkerhetsuppdateringar för operativsystem.
    • 1 december 2020
    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
    • Den 3 november 2020
      • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
      • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • 13 oktober 2020
      • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 6.4 Utökad support (EoS)

Se Databricks Runtime 6.4 (EoS) och Databricks Runtime 6.4 Extended Support (EoS).

  • den 5 juli 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • 2 juni 2022

    • Säkerhetsuppdateringar för operativsystem.

  • Den 18 maj 2022

    • Säkerhetsuppdateringar för operativsystem.

  • den 19 april 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • den 6 april 2022

    • Säkerhetsuppdateringar för operativsystem.
    • Diverse felkorrigeringar.

  • Den 14 mars 2022

    • Ta bort sårbara klasser från log4j 1.2.17 jar
    • Diverse felkorrigeringar.

  • den 23 februari 2022

    • Diverse felkorrigeringar.

  • den 8 februari 2022

    • Uppgradera Ubuntu JDK till 1.8.0.312.
    • Säkerhetsuppdateringar för operativsystem.

  • 1 februari 2022

    • Säkerhetsuppdateringar för operativsystem.

  • 26 januari 2022

    • En bugg där KOMMANDOT OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades har åtgärdats.

  • den 19 januari 2022

    • Säkerhetsuppdateringar för operativsystem.

  • den 8 december 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 22 september 2021

    • Säkerhetsuppdateringar för operativsystem.

  • Den 15 juni 2021

    • [SPARK-35576][SQL] Redigera känslig information i resultatet av kommandot Ange

  • 7 juni 2021

    • Lägg till en ny konfiguration med namnet spark.sql.maven.additionalRemoteRepositories, en kommaavgränsad strängkonfiguration av den valfria ytterligare fjärr-maven-speglingen. Värdet är https://maven-central.storage-download.googleapis.com/maven2/som standard .

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit

  • 9 mars 2021

    • Port HADOOP-17215 till Drivrutinen för Azure Blob File System (stöd för villkorsstyrd överskrivning).
    • Åtgärda sökvägsavgränsare i Windows för databricks-connect get-jar-dir
    • Stöd har lagts till för Hive-metaarkivversionerna 2.3.5, 2.3.6 och 2.3.7
    • Pilen "totalResultsCollected" rapporterades felaktigt efter spill

  • den 24 februari 2021

    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.

  • den 4 februari 2021

    • En regression har åtgärdats som förhindrar inkrementell körning av en fråga som anger en global gräns, till exempel SELECT * FROM table LIMIT nrows. Regressionen upplevdes av användare som körde frågor via ODBC/JDBC med pilserialisering aktiverad.
    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.

  • 8 december 2020

    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • [SPARK-33183][SQL] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [Runtime 6.4 ML GPU] Vi har tidigare installerat en felaktig version (2.7.8-1+cuda11.1) av NCCL. Den här versionen korrigerar den till 2.4.8-1+cuda10.0 som är kompatibel med CUDA 10.0.
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
    • [SPARK-32635][SQL] Åtgärda vikbar spridning

  • 3 november 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL][2.4] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • den 24 september 2020

    • En tidigare begränsning där genomströmning på standardkluster fortfarande skulle begränsa filsystemimplementeringsanvändarna har åtgärdats. Nu skulle användarna kunna komma åt lokala filsystem utan begränsningar.
    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.
    • Uppdatera Azure Storage SDK till 8.6.4 och aktivera TCP för att hålla igång anslutningar som gjorts av WASB-drivrutinen

  • 25 augusti 2020

    • Åtgärdat tvetydig attributmatchning i självsammanslagning

  • 18 augusti 2020

    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.

  • Den 11 augusti 2020

    • [SPARK-28676][CORE] Undvik överdriven loggning från ContextCleaner

  • 3 augusti 2020

    • Nu kan du använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.
    • Säkerhetsuppdateringar för operativsystem.

  • 7 juli 2020

    • Uppgraderade Java-versionen från 1.8.0_232 till 1.8.0_252.

  • Den 21 april 2020

    • [SPARK-31312][SQL] Cacheklassinstans för UDF-instansen i HiveFunctionWrapper

  • Den 7 april 2020

    • För att lösa ett problem med att Pandas udf inte fungerar med PyArrow 0.15.0 och senare har vi lagt till en miljövariabel (ARROW_PRE_0_15_IPC_FORMAT=1) för att aktivera stöd för dessa versioner av PyArrow. Se anvisningarna i [SPARK-29367].

  • Den 10 mars 2020

    • Optimerad autoskalning används nu som standard på interaktiva kluster i säkerhetsplanen.
    • Snowflake-anslutningsappen (spark-snowflake_2.11) som ingår i Databricks Runtime uppdateras till version 2.5.9. snowflake-jdbc har uppdaterats till version 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Se Databricks Runtime 5.5 LTS (EoS) och Databricks Runtime 5.5 Extended Support (EoS).

  • den 8 december 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 22 september 2021

    • Säkerhetsuppdateringar för operativsystem.

  • den 25 augusti 2021

    • Nedgraderade några tidigare uppgraderade Python-paket i 5,5 ML Extended Support Release för att upprätthålla bättre paritet med 5,5 ML LTS (nu inaktuellt). Se [_]/release-notes/runtime/5.5xml.md) för de uppdaterade skillnaderna mellan de två versionerna.

  • Den 15 juni 2021

    • [SPARK-35576][SQL] Redigera känslig information i resultatet av kommandot Ange

  • 7 juni 2021

    • Lägg till en ny konfiguration med namnet spark.sql.maven.additionalRemoteRepositories, en kommaavgränsad strängkonfiguration av den valfria ytterligare fjärr-maven-speglingen. Värdet är https://maven-central.storage-download.googleapis.com/maven2/som standard .

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit

  • 9 mars 2021

    • Port HADOOP-17215 till Drivrutinen för Azure Blob File System (stöd för villkorsstyrd överskrivning).

  • den 24 februari 2021

    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • Korrigering för [HADOOP-17130].

  • 8 december 2020

    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
    • [SPARK-32635][SQL] Åtgärda vikbar spridning

  • den 29 oktober 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL][2.4] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode

  • den 24 september 2020

    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.

  • 18 augusti 2020

    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.

  • Den 11 augusti 2020

    • [SPARK-28676][CORE] Undvik överdriven loggning från ContextCleaner

  • 3 augusti 2020

    • Säkerhetsuppdateringar för operativsystem

  • 7 juli 2020

    • Uppgraderade Java-versionen från 1.8.0_232 till 1.8.0_252.

  • Den 21 april 2020

    • [SPARK-31312][SQL] Cacheklassinstans för UDF-instansen i HiveFunctionWrapper

  • Den 7 april 2020

    • För att lösa ett problem med att Pandas udf inte fungerar med PyArrow 0.15.0 och senare har vi lagt till en miljövariabel (ARROW_PRE_0_15_IPC_FORMAT=1) för att aktivera stöd för dessa versioner av PyArrow. Se anvisningarna i [SPARK-29367].

  • Den 25 mars 2020

    • Snowflake-anslutningsappen (spark-snowflake_2.11) som ingår i Databricks Runtime uppdateras till version 2.5.9. snowflake-jdbc har uppdaterats till version 3.12.0.

  • Den 10 mars 2020

    • Jobbutdata, till exempel loggutdata som skickas till stdout, omfattas av en storleksgräns på 20 MB. Om totalutdata har en större storlek avbryts körningen och markeras som misslyckad. För att undvika att stöta på den här gränsen kan du förhindra att stdout returneras från drivrutinen till genom att ställa in Spark-konfigurationen spark.databricks.driver.disableScalaOutput på true. Som standard är falseflaggvärdet . Flaggan styr cellutdata för Scala JAR-jobb och Scala-notebook-filer. Om flaggan är aktiverad returnerar Spark inte jobbkörningsresultat till klienten. Flaggan påverkar inte de data som skrivs i klustrets loggfiler. Att ange den här flaggan rekommenderas endast för automatiserade kluster för JAR-jobb, eftersom det inaktiverar notebook-resultat.

  • den 18 februari 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 bör utlösa undantag
    • Genomströmning av autentiseringsuppgifter med ADLS Gen2 har en prestandaförsämring på grund av felaktig lokal hantering av tråd när ADLS-klientens förinläsning är aktiverad. Den här versionen inaktiverar ADLS Gen2-prefetching när genomströmning av autentiseringsuppgifter är aktiverat tills vi har en korrekt korrigering.

  • 28 januari 2020

  • 14 januari 2020

    • Uppgraderad Java-version från 1.8.0_222 till 1.8.0_232.

  • den 19 november 2019

    • [SPARK-29743] [SQL]-exemplet bör ange needCopyResult till sant om dess underordnade behovCopyResult är sant
    • R-versionen uppgraderades oavsiktligt till 3.6.1 från 3.6.0. Vi nedgraderade tillbaka den till 3.6.0.

  • den 5 november 2019

    • Uppgraderade Java-versionen från 1.8.0_212 till 1.8.0_222.

  • den 23 oktober 2019

    • [SPARK-29244][CORE] Förhindra frigjord sida i BytesToBytesMap kostnadsfritt igen

  • 8 oktober 2019

    • Ändringar på serversidan så att Simba Apache Spark ODBC-drivrutinen kan återansluta och fortsätta efter ett anslutningsfel vid hämtning av resultat (kräver Simba Apache Spark ODBC-drivrutinsversion 2.6.10).
    • Ett problem som påverkar användningen av Optimize kommandot med tabell-ACL-aktiverade kluster har åtgärdats.
    • Åtgärdade ett problem där pyspark.ml biblioteken skulle misslyckas på grund av scala UDF-förbjudet fel i tabell-ACL och autentiseringsuppgiftsaktiverade kluster.
    • Tillåtna SerDe- och SerDeUtil-metoder för genomströmning av autentiseringsuppgifter.
    • NullPointerException har åtgärdats vid kontroll av felkod i WASB-klienten.

  • den 24 september 2019

    • Förbättrad stabilitet i Parquet författare.
    • Åtgärdat problemet med att Thrift-frågan avbröts innan den börjar köras kan ha fastnat i tillståndet STARTED.

  • den 10 september 2019

    • Lägga till trådsäker iterator i BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Tillåt att Python ansluter med anslutningstråd för att sprida fel
    • En bugg som påverkar vissa globala aggregeringsfrågor har åtgärdats.
    • Förbättrad redigering av autentiseringsuppgifter.
    • [SPARK-27330][SS] stöder att uppgiften avbryts i foreach-skrivaren
    • [SPARK-28642]Dölj autentiseringsuppgifter i VISA SKAPA TABELL
    • [SPARK-28699][SQL] Inaktivera användning av radixsortering för ShuffleExchangeExec i ompartitionsfall

  • 27 augusti 2019

    • [SPARK-20906][SQL]Tillåt användarangivet schema i API-to_avro med schemaregistret
    • [SPARK-27838][SQL] Supportanvändaren har angett ett avro-schema som inte kan ogiltigförklaras för ett katalysatorschema som kan ogiltigförklaras utan någon nullpost
    • Förbättring av Delta Lake-tidsresor
    • Ett problem som påverkar vissa transform uttryck har åtgärdats
    • Stöder sändningsvariabler när processisolering är aktiverat

  • den 13 augusti 2019

    • Deltaströmningskälla bör kontrollera det senaste protokollet i en tabell
    • [SPARK-28260]Lägg till stängt tillstånd i ExecutionState
    • [SPARK-28489][SS]Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar

  • 30 juli 2019

    • [SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
    • [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
    • [SPARK-27485]EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
    • [SPARK-28355][CORE][PYTHON] Använd Spark-konfiguration för tröskelvärde där UDF komprimeras av sändning

Utökad support för Databricks Light 2.4

Se Databricks Light 2.4 (EoS) och Databricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

Se Databricks Runtime 7.4 (EoS).

  • 30 april 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-35227][BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
    • [SPARK-34245][CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
    • [SPARK-35045][SQL] Lägg till ett internt alternativ för att styra indatabufferten i osparlighet och en konfiguration för CSV-indatabuffertstorlek

  • Den 24 mars 2021

    • [SPARK-34768][SQL] Respektera standardstorleken för indatabufferten i Univocity
    • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block

  • 9 mars 2021

    • Den uppdaterade Azure Blob File System-drivrutinen för Azure Data Lake Storage Gen2 är nu aktiverad som standard. Det ger flera stabilitetsförbättringar.
    • [ES-67926][Användargränssnitt] Åtgärda href-länken för Visualisering av Spark DAG
    • [ES-65064] Återställa utdataschemat för SHOW DATABASES
    • [SC-70522][SQL] Använd rätt byggnyckel för dynamisk beskärning när tipset om intervallkoppling finns
    • [SC-35081] Inaktivera inaktuell kontroll för Delta-tabellfiler i diskcachen
    • [SC-70640] Åtgärda NPE när EventGridClient-svaret inte har någon entitet
    • [SC-70220][SQL] Generera inte råd om shuffle-partitionsnummer när AOS är aktiverat

  • den 24 februari 2021

    • Uppgraderade Spark BigQuery-anslutningsappen till v0.18, vilket introducerar olika felkorrigeringar och stöd för Arrow- och Avro-iteratorer.
    • Ett korrekthetsproblem som gjorde att Spark returnerade felaktiga resultat när Parquet-filens decimalprecision och skala skiljer sig från Spark-schemat.
    • Problem med läsningsfel i Microsoft SQL Server-tabeller som innehåller rumsliga datatyper har åtgärdats genom att lägga till stöd för JDBC-typer med geometri och geografi för Spark SQL.
    • Introducerade en ny konfiguration spark.databricks.hive.metastore.init.reloadFunctions.enabled. Den här konfigurationen styr den inbyggda Hive-initieringen. När värdet är true läser Azure Databricks in alla funktioner från alla databaser som användarna har i FunctionRegistry. Det här är standardbeteendet i Hive-metaarkivet. När värdet är falskt inaktiverar Azure Databricks den här processen för optimering.
    • [SPARK-34212] Problem som rör läsning av decimaldata från Parquet-filer har åtgärdats.
    • [SPARK-33579][Användargränssnitt] Åtgärda den tomma körsidan bakom proxyn.
    • [SPARK-20044][Användargränssnitt] Stöd för Spark-användargränssnittet bakom omvänd klientdelsproxy med hjälp av ett sökvägsprefix.
    • [SPARK-33277][PYSPARK][SQL] Använd ContextAwareIterator för att sluta använda när aktiviteten är slut.

  • den 4 februari 2021

    • En regression har åtgärdats som förhindrar inkrementell körning av en fråga som anger en global gräns, till exempel SELECT * FROM table LIMIT nrows. Regressionen upplevdes av användare som körde frågor via ODBC/JDBC med pilserialisering aktiverad.
    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 20 januari 2021

    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33677][SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Undvik att ändra dataset_id för LogicalPlan i join() för att inte bryta DetectAmbiguousSelfJoin

  • 8 december 2020

    • [SPARK-33587][CORE] Döda utföraren vid kapslade allvarliga fel
    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • [SPARK-33316][SQL] Supportanvändaren har angett nullbart Avro-schema för katalysatorschema som inte kan nullaktiveras i Avro-skrivning
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33404][SQL][3.0] Åtgärda felaktiga resultat i date_trunc uttrycket
    • [SPARK-33339][PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
    • [SPARK-33183][SQL][SNABBKORRIGERING] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [SPARK-33371][PYTHON][3.0] Uppdatera setup.py och tester för Python 3.9
    • [SPARK-33391][SQL] element_at med CreateArray respekterar inte ett baserat index.
    • [SPARK-33306][SQL]Tidszon krävs när gjutningsdatum till sträng
    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
    • [SPARK-33272][SQL] rensa attributmappningen i QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (EoS)

Se Databricks Runtime 7.2 (EoS).

  • den 4 februari 2021

    • En regression har åtgärdats som förhindrar inkrementell körning av en fråga som anger en global gräns, till exempel SELECT * FROM table LIMIT nrows. Regressionen upplevdes av användare som körde frågor via ODBC/JDBC med pilserialisering aktiverad.
    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 20 januari 2021

    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33677][SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Undvik att ändra dataset_id för LogicalPlan i join() för att inte bryta DetectAmbiguousSelfJoin

  • 8 december 2020

    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • [SPARK-33404][SQL] Åtgärda felaktiga resultat i date_trunc uttryck
    • [SPARK-33339][PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
    • [SPARK-33183][SQL] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [SPARK-33391][SQL] element_at med CreateArray respekterar inte ett baserat index.
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33306][SQL]Tidszon krävs när gjutningsdatum till sträng
    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream

  • 3 november 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introducera AlreadyOptimized för att förhindra omanalys av V1FallbackWriters
    • [SPARK-32635][SQL] Åtgärda vikbar spridning
    • Lägg till en ny konfiguration spark.shuffle.io.decoder.consolidateThreshold. Ange konfigurationsvärdet till Long.MAX_VALUE för att hoppa över konsolideringen av netty FrameBuffers, vilket förhindrar java.lang.IndexOutOfBoundsException i hörnfall.

  • den 24 september 2020

    • [SPARK-32764][SQL] -0.0 ska vara lika med 0,0
    • [SPARK-32753][SQL] Kopiera endast taggar till nod utan taggar när planer transformeras
    • [SPARK-32659][SQL] Åtgärda dataproblemet med infogad dynamisk partitionsrensning på icke-atomisk typ
    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Se Databricks Runtime 7.1 (EoS).

  • den 4 februari 2021

    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 20 januari 2021

    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33677][SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Undvik att ändra dataset_id för LogicalPlan i join() för att inte bryta DetectAmbiguousSelfJoin

  • 8 december 2020

    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • Spark-jobb som startas med Databricks Connect kan hängas på obestämd tid med Executor$TaskRunner.$anonfun$copySessionState i spårning av körstaplar
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33404][SQL][3.0] Åtgärda felaktiga resultat i date_trunc uttrycket
    • [SPARK-33339][PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
    • [SPARK-33183][SQL][SNABBKORRIGERING] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [SPARK-33371][PYTHON][3.0] Uppdatera setup.py och tester för Python 3.9
    • [SPARK-33391][SQL] element_at med CreateArray respekterar inte ett baserat index.
    • [SPARK-33306][SQL]Tidszon krävs när gjutningsdatum till sträng

  • 3 november 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introducera AlreadyOptimized för att förhindra omanalys av V1FallbackWriters
    • [SPARK-32635][SQL] Åtgärda vikbar spridning
    • Lägg till en ny konfiguration spark.shuffle.io.decoder.consolidateThreshold. Ange konfigurationsvärdet till Long.MAX_VALUE för att hoppa över konsolideringen av netty FrameBuffers, vilket förhindrar java.lang.IndexOutOfBoundsException i hörnfall.

  • den 24 september 2020

    • [SPARK-32764][SQL] -0.0 ska vara lika med 0,0
    • [SPARK-32753][SQL] Kopiera endast taggar till nod utan taggar när planer transformeras
    • [SPARK-32659][SQL] Åtgärda dataproblemet med infogad dynamisk partitionsrensning på icke-atomisk typ
    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.

  • 25 augusti 2020

    • [SPARK-32159][SQL] Åtgärda integrering mellan Aggregator[Array[_], _, _] och UnresolvedMapObjects
    • [SPARK-32559][SQL] Åtgärda trimlogik i UTF8String.toInt/toLong, som inte hanterade icke-ASCII-tecken korrekt
    • [SPARK-32543][R] Ta bort arrow::as_tibble användning i SparkR
    • [SPARK-32091][CORE] Ignorera timeout-fel när du tar bort block på den förlorade kören
    • Ett problem som påverkar Azure Synapse-anslutningsprogrammet med MSI-autentiseringsuppgifter har åtgärdats
    • Åtgärdat tvetydig attributmatchning i självsammanslagning

  • 18 augusti 2020

    • [SPARK-32594][SQL] Åtgärda serialisering av datum som infogats i Hive-tabeller
    • [SPARK-32237][SQL] Lösa tips i CTE
    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • [SPARK-32467][Användargränssnitt] Undvik kodning av URL två gånger vid https-omdirigering
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.

  • Den 11 augusti 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight bör endast skriva om attribut för överordnade noder i konfliktplanen
    • [SPARK-32234][SQL] Spark SQL-kommandon misslyckas vid val av ORC-tabeller

  • 3 augusti 2020

    • Nu kan du använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.

Databricks Runtime 7.0 (EoS)

Se Databricks Runtime 7.0 (EoS).

  • den 4 februari 2021

    • En regression som gjorde att DBFS FUSE inte kunde startas när konfigurationer av klustermiljövariabler innehåller ogiltig bash-syntax har åtgärdats.

  • 20 januari 2021

    • En regression har åtgärdats i underhållsversionen den 12 januari 2021 som kan orsaka en felaktig AnalysisException och säga att kolumnen är tvetydig i en självkoppling. Den här regressionen inträffar när en användare ansluter en DataFrame med sin härledda DataFrame (en så kallad självkoppling) med följande villkor:
      • Dessa två DataFrames har vanliga kolumner, men utdata från självkopplingen har inte vanliga kolumner. Till exempel: df.join(df.select($"col" as "new_col"), cond)
      • Den härledda dataramen exkluderar vissa kolumner via select, groupBy eller window.
      • Kopplingsvillkoret eller följande transformering efter den anslutna dataramen refererar till de icke-vanliga kolumnerna. Till exempel: df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-33593][SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
    • [SPARK-33677][SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Undvik att ändra dataset_id för LogicalPlan i join() för att inte bryta DetectAmbiguousSelfJoin

  • 8 december 2020

    • [SPARK-27421][SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
    • [SPARK-33404][SQL] Åtgärda felaktiga resultat i date_trunc uttryck
    • [SPARK-33339][PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
    • [SPARK-33183][SQL] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
    • [SPARK-33391][SQL] element_at med CreateArray respekterar inte ett baserat index.
    • Säkerhetsuppdateringar för operativsystem.

  • 1 december 2020

    • [SPARK-33306][SQL]Tidszon krävs när gjutningsdatum till sträng

  • 3 november 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introducera AlreadyOptimized för att förhindra omanalys av V1FallbackWriters
    • [SPARK-32635][SQL] Åtgärda vikbar spridning
    • Lägg till en ny konfiguration spark.shuffle.io.decoder.consolidateThreshold. Ange konfigurationsvärdet till Long.MAX_VALUE för att hoppa över konsolideringen av netty FrameBuffers, vilket förhindrar java.lang.IndexOutOfBoundsException i hörnfall.

  • den 24 september 2020

    • [SPARK-32764][SQL] -0.0 ska vara lika med 0,0
    • [SPARK-32753][SQL] Kopiera endast taggar till nod utan taggar när planer transformeras
    • [SPARK-32659][SQL] Åtgärda dataproblemet med infogad dynamisk partitionsrensning på icke-atomisk typ
    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.

  • 25 augusti 2020

    • [SPARK-32159][SQL] Åtgärda integrering mellan Aggregator[Array[_], _, _] och UnresolvedMapObjects
    • [SPARK-32559][SQL] Åtgärda trimlogik i UTF8String.toInt/toLong, som inte hanterade icke-ASCII-tecken korrekt
    • [SPARK-32543][R] Ta bort arrow::as_tibble användning i SparkR
    • [SPARK-32091][CORE] Ignorera timeout-fel när du tar bort block på den förlorade kören
    • Ett problem som påverkar Azure Synapse-anslutningsprogrammet med MSI-autentiseringsuppgifter har åtgärdats
    • Åtgärdat tvetydig attributmatchning i självsammanslagning

  • 18 augusti 2020

    • [SPARK-32594][SQL] Åtgärda serialisering av datum som infogats i Hive-tabeller
    • [SPARK-32237][SQL] Lösa tips i CTE
    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • [SPARK-32467][Användargränssnitt] Undvik kodning av URL två gånger vid https-omdirigering
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.

  • Den 11 augusti 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight bör endast skriva om attribut för överordnade noder i konfliktplanen
    • [SPARK-32234][SQL] Spark SQL-kommandon misslyckas vid val av ORC-tabeller
    • Nu kan du använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.

Databricks Runtime 6.6 (EoS)

Se Databricks Runtime 6.6 (EoS).

  • 1 december 2020

    • [SPARK-33260][SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
    • [SPARK-32635][SQL] Åtgärda vikbar spridning

  • 3 november 2020

    • Uppgraderad Java-version från 1.8.0_252 till 1.8.0_265.
    • Åtgärda ABFS- och WASB-låsning med avseende på UserGroupInformation.getCurrentUser()
    • Åtgärda en oändlig loopbugg av Avro-läsare när du läser MAGIC-byte.

  • 13 oktober 2020

    • Säkerhetsuppdateringar för operativsystem.
    • [SPARK-32999][SQL][2.4] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i TreeNode
    • Kataloger i FUSE-monteringen som innehåller filnamn med ogiltiga XML-tecken har åtgärdats
    • FUSE-monteringen använder inte längre ListMultipartUploads

  • den 24 september 2020

    • Säkerhetsuppdateringar för operativsystem.

  • 8 september 2020

    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.
    • Uppdatera Azure Storage SDK till 8.6.4 och aktivera TCP för att hålla igång anslutningar som gjorts av WASB-drivrutinen

  • 25 augusti 2020

    • Åtgärdat tvetydig attributmatchning i självsammanslagning

  • 18 augusti 2020

    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.

  • Den 11 augusti 2020

    • [SPARK-28676][CORE] Undvik överdriven loggning från ContextCleaner
    • [SPARK-31967][Användargränssnitt] Nedgradera till vis.js 4.21.0 för att åtgärda regression av jobbgränssnittsinläsningstid

  • 3 augusti 2020

    • Nu kan du använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 6.5 (EoS)

Se Databricks Runtime 6.5 (EoS).

  • den 24 september 2020
    • En tidigare begränsning där genomströmning på standardkluster fortfarande skulle begränsa filsystemimplementeringsanvändarna har åtgärdats. Nu skulle användarna kunna komma åt lokala filsystem utan begränsningar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 september 2020
    • En ny parameter skapades för Azure Synapse Analytics, maxbinlength. Den här parametern används för att styra kolumnlängden för BinaryType-kolumner och översätts som VARBINARY(maxbinlength). Den kan anges med , .option("maxbinlength", n)där 0 < n <= 8000.
    • Uppdatera Azure Storage SDK till 8.6.4 och aktivera TCP för att hålla igång anslutningar som gjorts av WASB-drivrutinen
  • 25 augusti 2020
    • Åtgärdat tvetydig attributmatchning i självsammanslagning
  • 18 augusti 2020
    • [SPARK-32431][SQL] Kontrollera dubbletter av kapslade kolumner i läsning från inbyggda datakällor
    • Ett konkurrenstillstånd har åtgärdats i AQS-anslutningstjänsten vid användning av Trigger.Once.
  • 11 augusti 2020
    • [SPARK-28676][CORE] Undvik överdriven loggning från ContextCleaner
  • 3 augusti 2020
    • Nu kan du använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 juli 2020
    • Uppgraderad Java-version från 1.8.0_242 till 1.8.0_252.
  • Den 21 april 2020
    • [SPARK-31312][SQL] Cacheklassinstans för UDF-instansen i HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

Se Databricks Runtime 6.3 (EoS).

  • den 7 juli 2020
    • Uppgraderade Java-versionen från 1.8.0_232 till 1.8.0_252.
  • Den 21 april 2020
    • [SPARK-31312][SQL] Cacheklassinstans för UDF-instansen i HiveFunctionWrapper
  • Den 7 april 2020
    • För att lösa ett problem med att Pandas udf inte fungerar med PyArrow 0.15.0 och senare har vi lagt till en miljövariabel (ARROW_PRE_0_15_IPC_FORMAT=1) för att aktivera stöd för dessa versioner av PyArrow. Se anvisningarna i [SPARK-29367].
  • Den 10 mars 2020
    • Snowflake-anslutningsappen (spark-snowflake_2.11) som ingår i Databricks Runtime uppdateras till version 2.5.9. snowflake-jdbc har uppdaterats till version 3.12.0.
  • den 18 februari 2020
    • Genomströmning av autentiseringsuppgifter med ADLS Gen2 har en prestandaförsämring på grund av felaktig lokal hantering av tråd när ADLS-klientens förinläsning är aktiverad. Den här versionen inaktiverar ADLS Gen2-prefetching när genomströmning av autentiseringsuppgifter är aktiverat tills vi har en korrekt korrigering.
  • den 11 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 bör utlösa undantag
    • [SPARK-30447][SQL] Problem med konstant spridningsrullbarhet
    • [SPARK-28152][SQL] Lägg till en äldre konfiguration för gammal msSqlServerDialect numerisk mappning
    • Överskrivningsfunktionen tillåts så att MLModels utökar MLWriter kan anropa funktionen.

Databricks Runtime 6.2 (EoS)

Se Databricks Runtime 6.2 (EoS).

  • Den 21 april 2020
    • [SPARK-31312][SQL] Cacheklassinstans för UDF-instansen i HiveFunctionWrapper
  • Den 7 april 2020
    • För att lösa ett problem med att Pandas udf inte fungerar med PyArrow 0.15.0 och senare har vi lagt till en miljövariabel (ARROW_PRE_0_15_IPC_FORMAT=1) för att aktivera stöd för dessa versioner av PyArrow. Se anvisningarna i [SPARK-29367].
  • Den 25 mars 2020
    • Jobbutdata, till exempel loggutdata som skickas till stdout, omfattas av en storleksgräns på 20 MB. Om totalutdata har en större storlek avbryts körningen och markeras som misslyckad. För att undvika att stöta på den här gränsen kan du förhindra att stdout returneras från drivrutinen till genom att ställa in Spark-konfigurationen spark.databricks.driver.disableScalaOutput på true. Som standard är falseflaggvärdet . Flaggan styr cellutdata för Scala JAR-jobb och Scala-notebook-filer. Om flaggan är aktiverad returnerar Spark inte jobbkörningsresultat till klienten. Flaggan påverkar inte de data som skrivs i klustrets loggfiler. Att ange den här flaggan rekommenderas endast för automatiserade kluster för JAR-jobb, eftersom det inaktiverar notebook-resultat.
  • Den 10 mars 2020
    • Snowflake-anslutningsappen (spark-snowflake_2.11) som ingår i Databricks Runtime uppdateras till version 2.5.9. snowflake-jdbc har uppdaterats till version 3.12.0.
  • den 18 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 bör utlösa undantag
    • Genomströmning av autentiseringsuppgifter med ADLS Gen2 har en prestandaförsämring på grund av felaktig lokal hantering av tråd när ADLS-klientens förinläsning är aktiverad. Den här versionen inaktiverar ADLS Gen2-prefetching när genomströmning av autentiseringsuppgifter är aktiverat tills vi har en korrekt korrigering.
  • den 28 januari 2020
    • Överskrivningsfunktionen för tillåtna ML-modellskrivare för kluster som är aktiverade för genomströmning av autentiseringsuppgifter, så att modellsparfunktionen kan använda överskrivningsläge på autentiseringskluster med genomströmning.
    • [SPARK-30447][SQL] Problem med konstant spridningsrullbarhet.
    • [SPARK-28152][SQL] Lägg till en äldre konfiguration för den gamla numeriska mappningen MsSqlServerDialect.
  • den 14 januari 2020
    • Uppgraderad Java-version från 1.8.0_222 till 1.8.0_232.
  • den 10 december 2019
    • [SPARK-29904][SQL] Parsa tidsstämplar i mikrosekunders precision av JSON/CSV-datakällor.

Databricks Runtime 6.1 (EoS)

Se Databricks Runtime 6.1 (EoS).

  • Den 7 april 2020
    • För att lösa ett problem med att Pandas udf inte fungerar med PyArrow 0.15.0 och senare har vi lagt till en miljövariabel (ARROW_PRE_0_15_IPC_FORMAT=1) för att aktivera stöd för dessa versioner av PyArrow. Se anvisningarna i [SPARK-29367].
  • Den 25 mars 2020
    • Jobbutdata, till exempel loggutdata som skickas till stdout, omfattas av en storleksgräns på 20 MB. Om totalutdata har en större storlek avbryts körningen och markeras som misslyckad. För att undvika att stöta på den här gränsen kan du förhindra att stdout returneras från drivrutinen till genom att ställa in Spark-konfigurationen spark.databricks.driver.disableScalaOutput på true. Som standard är falseflaggvärdet . Flaggan styr cellutdata för Scala JAR-jobb och Scala-notebook-filer. Om flaggan är aktiverad returnerar Spark inte jobbkörningsresultat till klienten. Flaggan påverkar inte de data som skrivs i klustrets loggfiler. Att ange den här flaggan rekommenderas endast för automatiserade kluster för JAR-jobb, eftersom det inaktiverar notebook-resultat.
  • Den 10 mars 2020
    • Snowflake-anslutningsappen (spark-snowflake_2.11) som ingår i Databricks Runtime uppdateras till version 2.5.9. snowflake-jdbc har uppdaterats till version 3.12.0.
  • den 18 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 bör utlösa undantag
    • Genomströmning av autentiseringsuppgifter med ADLS Gen2 har en prestandaförsämring på grund av felaktig lokal hantering av tråd när ADLS-klientens förinläsning är aktiverad. Den här versionen inaktiverar ADLS Gen2-prefetching när genomströmning av autentiseringsuppgifter är aktiverat tills vi har en korrekt korrigering.
  • den 28 januari 2020
    • [SPARK-30447][SQL] Problem med konstant spridningsrullbarhet.
    • [SPARK-28152][SQL] Lägg till en äldre konfiguration för den gamla numeriska mappningen MsSqlServerDialect.
  • den 14 januari 2020
    • Uppgraderad Java-version från 1.8.0_222 till 1.8.0_232.
  • den 7 november 2019
  • den 5 november 2019
    • En bugg har åtgärdats i DBFS FUSE för att hantera monteringspunkter som har // i sin sökväg.
    • [SPARK-29081] Ersätt anrop till SerializationUtils.clone på egenskaper med en snabbare implementering
    • [SPARK-29244][CORE] Förhindra frigjord sida i BytesToBytesMap kostnadsfritt igen
    • (6,1 ML) Biblioteket mkl version 2019.4 installerades oavsiktligt. Vi nedgraderade den till mkl version 2019.3 för att matcha Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (EoS)

Se Databricks Runtime 6.0 (EoS).

  • Den 25 mars 2020
    • Jobbutdata, till exempel loggutdata som skickas till stdout, omfattas av en storleksgräns på 20 MB. Om totalutdata har en större storlek avbryts körningen och markeras som misslyckad. För att undvika att stöta på den här gränsen kan du förhindra att stdout returneras från drivrutinen till genom att ställa in Spark-konfigurationen spark.databricks.driver.disableScalaOutput på true. Som standard är falseflaggvärdet . Flaggan styr cellutdata för Scala JAR-jobb och Scala-notebook-filer. Om flaggan är aktiverad returnerar Spark inte jobbkörningsresultat till klienten. Flaggan påverkar inte de data som skrivs i klustrets loggfiler. Att ange den här flaggan rekommenderas endast för automatiserade kluster för JAR-jobb, eftersom det inaktiverar notebook-resultat.
  • den 18 februari 2020
    • Genomströmning av autentiseringsuppgifter med ADLS Gen2 har en prestandaförsämring på grund av felaktig lokal hantering av tråd när ADLS-klientens förinläsning är aktiverad. Den här versionen inaktiverar ADLS Gen2-prefetching när genomströmning av autentiseringsuppgifter är aktiverat tills vi har en korrekt korrigering.
  • den 11 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 bör utlösa undantag
  • den 28 januari 2020
    • [SPARK-30447][SQL] Problem med konstant spridningsrullbarhet.
    • [SPARK-28152][SQL] Lägg till en äldre konfiguration för den gamla numeriska mappningen MsSqlServerDialect.
  • den 14 januari 2020
    • Uppgraderad Java-version från 1.8.0_222 till 1.8.0_232.
  • den 19 november 2019
    • [SPARK-29743] [SQL]-exemplet bör ange needCopyResult till sant om dess underordnade behovCopyResult är sant
  • den 5 november 2019
    • dbutils.tensorboard.start() stöder nu TensorBoard 2.0 (om det installeras manuellt).
    • En bugg har åtgärdats i DBFS FUSE för att hantera monteringspunkter som har // i sin sökväg.
    • [SPARK-29081]Ersätt anrop till SerializationUtils.clone på egenskaper med en snabbare implementering
  • den 23 oktober 2019
    • [SPARK-29244][CORE] Förhindra frigjord sida i BytesToBytesMap kostnadsfritt igen
  • den 8 oktober 2019
    • Ändringar på serversidan så att Simba Apache Spark ODBC-drivrutinen kan återansluta och fortsätta efter ett anslutningsfel vid hämtning av resultat (kräver Simba Apache Spark ODBC-drivrutinsversion 2.6.10).
    • Ett problem som påverkar användningen av Optimize kommandot med tabell-ACL-aktiverade kluster har åtgärdats.
    • Åtgärdade ett problem där pyspark.ml biblioteken skulle misslyckas på grund av scala UDF-förbjudet fel i tabell-ACL och autentiseringsuppgiftsaktiverade kluster.
    • Tillåtna SerDe/SerDeUtil-metoder för genomströmning av autentiseringsuppgifter.
    • NullPointerException har åtgärdats vid kontroll av felkod i WASB-klienten.
    • Åtgärdade problemet med att användarautentiseringsuppgifter inte vidarebefordrades till jobb som skapats av dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

Se Databricks Runtime 5.4 för ML (EoS).

  • den 18 juni 2019
    • Förbättrad hantering av aktiva MLflow-körningar i Hyperopt-integrering
    • Förbättrade meddelanden i Hyperopt
    • Paketet Marchkdown har uppdaterats från 3.1 till 3.1.1

Databricks Runtime 5.4 (EoS)

Se Databricks Runtime 5.4 (EoS).

  • den 19 november 2019
    • [SPARK-29743] [SQL]-exemplet bör ange needCopyResult till sant om dess underordnade behovCopyResult är sant
  • den 8 oktober 2019
    • Ändringar på serversidan så att Simba Apache Spark ODBC-drivrutinen kan återansluta och fortsätta efter ett anslutningsfel vid hämtning av resultat (kräver simba Apache Spark ODBC-drivrutinsuppdatering till version 2.6.10).
    • NullPointerException har åtgärdats vid kontroll av felkod i WASB-klienten.
  • den 10 september 2019
    • Lägga till trådsäker iterator i BytesToBytesMap
    • En bugg som påverkar vissa globala aggregeringsfrågor har åtgärdats.
    • [SPARK-27330][SS] stöder att uppgiften avbryts i foreach-skrivaren
    • [SPARK-28642]Dölj autentiseringsuppgifter i VISA SKAPA TABELL
    • [SPARK-28699][SQL] Inaktivera användning av radixsortering för ShuffleExchangeExec i ompartitionsfall
    • [SPARK-28699][CORE] Åtgärda ett hörnfall för att avbryta obestämd fas
  • den 27 augusti 2019
    • Ett problem som påverkar vissa transform uttryck har åtgärdats
  • den 13 augusti 2019
    • Deltaströmningskälla bör kontrollera det senaste protokollet i en tabell
    • [SPARK-28489][SS]Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar
  • den 30 juli 2019
    • [SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
    • [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
    • [SPARK-27485]EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
  • den 2 juli 2019
    • Uppgraderade snappy-java från 1.1.7.1 till 1.1.7.3.
  • den 18 juni 2019
    • Förbättrad hantering av aktiva MLflow-körningar i MLlib-integrering
    • Förbättrat Databricks Advisor-meddelande om att använda diskcachelagring
    • En bugg som påverkar användningen av högre ordningsfunktioner har åtgärdats
    • En bugg som påverkar deltametadatafrågor har åtgärdats

Databricks Runtime 5.3 (EoS)

Se Databricks Runtime 5.3 (EoS).

  • den 7 november 2019
    • [SPARK-29743][SQL]-exemplet bör ange needCopyResult till sant om dess underordnade behovCopyResult är sant
  • den 8 oktober 2019
    • Ändringar på serversidan så att Simba Apache Spark ODBC-drivrutinen kan återansluta och fortsätta efter ett anslutningsfel vid hämtning av resultat (kräver simba Apache Spark ODBC-drivrutinsuppdatering till version 2.6.10).
    • NullPointerException har åtgärdats vid kontroll av felkod i WASB-klienten.
  • den 10 september 2019
    • Lägga till trådsäker iterator i BytesToBytesMap
    • En bugg som påverkar vissa globala aggregeringsfrågor har åtgärdats.
    • [SPARK-27330][SS] stöder att uppgiften avbryts i foreach-skrivaren
    • [SPARK-28642]Dölj autentiseringsuppgifter i VISA SKAPA TABELL
    • [SPARK-28699][SQL] Inaktivera användning av radixsortering för ShuffleExchangeExec i ompartitionsfall
    • [SPARK-28699][CORE] Åtgärda ett hörnfall för att avbryta obestämd fas
  • den 27 augusti 2019
    • Ett problem som påverkar vissa transform uttryck har åtgärdats
  • den 13 augusti 2019
    • Deltaströmningskälla bör kontrollera det senaste protokollet i en tabell
    • [SPARK-28489][SS]Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar
  • den 30 juli 2019
    • [SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
    • [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
    • [SPARK-27485]EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
  • den 18 juni 2019
    • Förbättrat Databricks Advisor-meddelande om att använda diskcachelagring
    • En bugg som påverkar användningen av högre ordningsfunktioner har åtgärdats
    • En bugg som påverkar deltametadatafrågor har åtgärdats
  • den 28 maj 2019
    • Förbättrad stabilitet i Delta
    • Tolerera IOExceptions vid läsning av Delta LAST_CHECKPOINT-fil
      • Återställning till misslyckad biblioteksinstallation har lagts till
  • Den 7 maj 2019
    • Port HADOOP-15778 (ABFS: Korrigera begränsning på klientsidan för läsning) till Azure Data Lake Storage Gen2-anslutningsprogrammet
    • Port HADOOP-16040 (ABFS: Felkorrigering för tolerateOobAppends-konfiguration) till Azure Data Lake Storage Gen2-anslutningsappen
    • En bugg som påverkar tabell-ACL:er har åtgärdats
    • Ett konkurrenstillstånd har åtgärdats vid inläsning av en deltaloggkontrollsummafil
    • Logiken för identifiering av deltakonflikter har åtgärdats för att inte identifiera "infoga + skriva över" som ren "tilläggsåtgärd"
    • Kontrollera att diskcachelagring inte är inaktiverat när tabell-ACL:er är aktiverade
    • [SPARK-27494][SS] Null-nycklar/värden fungerar inte i Kafka source v2
    • [SPARK-27446][R] Använd befintlig spark-konfiguration om det är tillgängligt.
    • [SPARK-27454][SPARK-27454][ML][SQL] Spark-avbildningsdatakällan misslyckas när det uppstår några olagliga avbildningar
    • [SPARK-27160][SQL] Åtgärda DecimalType när du skapar orc-filter
    • [SPARK-27338][CORE] Åtgärda dödläge mellan UnsafeExternalSorter och TaskMemoryManager

Databricks Runtime 5.2 (EoS)

Se Databricks Runtime 5.2 (EoS).

  • den 10 september 2019
    • Lägga till trådsäker iterator i BytesToBytesMap
    • En bugg som påverkar vissa globala aggregeringsfrågor har åtgärdats.
    • [SPARK-27330][SS] stöder att uppgiften avbryts i foreach-skrivaren
    • [SPARK-28642]Dölj autentiseringsuppgifter i VISA SKAPA TABELL
    • [SPARK-28699][SQL] Inaktivera användning av radixsortering för ShuffleExchangeExec i ompartitionsfall
    • [SPARK-28699][CORE] Åtgärda ett hörnfall för att avbryta obestämd fas
  • den 27 augusti 2019
    • Ett problem som påverkar vissa transform uttryck har åtgärdats
  • den 13 augusti 2019
    • Deltaströmningskälla bör kontrollera det senaste protokollet i en tabell
    • [SPARK-28489][SS]Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar
  • den 30 juli 2019
    • [SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
    • [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
    • [SPARK-27485]EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
  • den 2 juli 2019
    • Tolerera IOExceptions vid läsning av Delta LAST_CHECKPOINT-fil
  • den 18 juni 2019
    • Förbättrat Databricks Advisor-meddelande som rör användning av diskcache
    • En bugg som påverkar användningen av högre ordningsfunktioner har åtgärdats
    • En bugg som påverkar deltametadatafrågor har åtgärdats
  • den 28 maj 2019
    • Återställning till misslyckad biblioteksinstallation har lagts till
  • Den 7 maj 2019
    • Port HADOOP-15778 (ABFS: Korrigera begränsning på klientsidan för läsning) till Azure Data Lake Storage Gen2-anslutningsprogrammet
    • Port HADOOP-16040 (ABFS: Felkorrigering för tolerateOobAppends-konfiguration) till Azure Data Lake Storage Gen2-anslutningsappen
    • Ett konkurrenstillstånd har åtgärdats vid inläsning av en deltaloggkontrollsummafil
    • Logiken för identifiering av deltakonflikter har åtgärdats för att inte identifiera "infoga + skriva över" som ren "tilläggsåtgärd"
    • Kontrollera att diskcachelagring inte är inaktiverat när tabell-ACL:er är aktiverade
    • [SPARK-27494][SS] Null-nycklar/värden fungerar inte i Kafka source v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Spark-avbildningsdatakällan misslyckas när det uppstår några olagliga avbildningar
    • [SPARK-27160][SQL] Åtgärda DecimalType när du skapar orc-filter
    • [SPARK-27338][CORE] Åtgärda dödläge mellan UnsafeExternalSorter och TaskMemoryManager
  • den 26 mars 2019
    • Undvik att bädda in plattformsberoende förskjutningar bokstavligen i genererad kod i hela fasen
    • [SPARK-26665][CORE] Åtgärda en bugg som BlockTransferService.fetchBlockSync kan hänga för alltid.
    • [SPARK-27134][SQL] array_distinct funktion fungerar inte korrekt med kolumner som innehåller matrismatris.
    • [SPARK-24669][SQL] Ogiltigförklara tabeller vid DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] korrigerar utvärdering av sammanställda codegen-resultat.
    • En bugg som påverkar vissa PythonUDF:er har åtgärdats.
  • den 26 februari 2019
    • [SPARK-26864][SQL] Frågan kan returnera ett felaktigt resultat när python udf används som ett vänster-semi-kopplingsvillkor.
    • [SPARK-26887][PYTHON] Skapa datetime.date direkt i stället för att skapa datetime64 som mellanliggande data.
    • En bugg som påverkar JDBC/ODBC-servern har åtgärdats.
    • En bugg som påverkar PySpark har åtgärdats.
    • Undanta dolda filer när du skapar HadoopRDD.
    • En bugg i Delta som orsakade serialiseringsproblem har åtgärdats.
  • den 12 februari 2019
    • Ett problem som påverkar användningen av Delta med Azure ADLS Gen2-monteringspunkter har åtgärdats.
    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).
  • den 30 januari 2019
    • StackOverflowError har åtgärdats när snedkopplingstipset sattes på cachelagrad relation.
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.
    • [SPARK-26706][SQL] Korrigering illegalNumericPrecedence för ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery hanterar inte tomma poster korrekt.
    • CSV/JSON-datakällor bör undvika att globba sökvägar vid slutsatsdragning av schema.
    • Fast begränsningsslutsats för window-operatorn.
    • Ett problem som påverkade installationen av äggbibliotek med kluster med tabell-ACL aktiverat har åtgärdats.

Databricks Runtime 5.1 (EoS)

Se Databricks Runtime 5.1 (EoS).

  • den 13 augusti 2019
    • Deltaströmningskälla bör kontrollera det senaste protokollet i en tabell
    • [SPARK-28489][SS]Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar
  • den 30 juli 2019
    • [SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
    • [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
    • [SPARK-27485]EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
  • den 2 juli 2019
    • Tolerera IOExceptions vid läsning av Delta LAST_CHECKPOINT-fil
  • den 18 juni 2019
    • En bugg som påverkar användningen av högre ordningsfunktioner har åtgärdats
    • En bugg som påverkar deltametadatafrågor har åtgärdats
  • den 28 maj 2019
    • Återställning till misslyckad biblioteksinstallation har lagts till
  • Den 7 maj 2019
    • Port HADOOP-15778 (ABFS: Korrigera begränsning på klientsidan för läsning) till Azure Data Lake Storage Gen2-anslutningsprogrammet
    • Port HADOOP-16040 (ABFS: Felkorrigering för tolerateOobAppends-konfiguration) till Azure Data Lake Storage Gen2-anslutningsappen
    • Ett konkurrenstillstånd har åtgärdats vid inläsning av en deltaloggkontrollsummafil
    • Logiken för identifiering av deltakonflikter har åtgärdats för att inte identifiera "infoga + skriva över" som ren "tilläggsåtgärd"
    • [SPARK-27494][SS] Null-nycklar/värden fungerar inte i Kafka source v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Spark-avbildningsdatakällan misslyckas när det uppstår några olagliga avbildningar
    • [SPARK-27160][SQL] Åtgärda DecimalType när du skapar orc-filter
    • [SPARK-27338][CORE] Åtgärda dödläge mellan UnsafeExternalSorter och TaskMemoryManager
  • den 26 mars 2019
    • Undvik att bädda in plattformsberoende förskjutningar bokstavligen i genererad kod i hela fasen
    • En bugg som påverkar vissa PythonUDF:er har åtgärdats.
  • den 26 februari 2019
    • [SPARK-26864][SQL] Frågan kan returnera ett felaktigt resultat när python udf används som ett vänster-semi-kopplingsvillkor.
    • En bugg som påverkar JDBC/ODBC-servern har åtgärdats.
    • Undanta dolda filer när du skapar HadoopRDD.
  • den 12 februari 2019
    • Ett problem som påverkade installationen av äggbibliotek med kluster med tabell-ACL aktiverat har åtgärdats.
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.
    • [SPARK-26706][SQL] Korrigering illegalNumericPrecedence för ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery hanterar inte tomma poster korrekt.
    • Fast begränsningsslutsats för window-operatorn.
    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).
  • den 30 januari 2019
    • Ett problem som kan orsaka df.rdd.count() att UDT returnerar felaktigt svar i vissa fall har åtgärdats.
    • Ett problem som påverkar installationen av styrhytten har åtgärdats.
    • [SPARK-26267]Försök igen när du identifierar felaktiga förskjutningar från Kafka.
    • En bugg som påverkar flera filströmskällor i en strömmande fråga har åtgärdats.
    • StackOverflowError har åtgärdats när snedkopplingstipset sattes på cachelagrad relation.
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.
  • den 8 januari 2019
    • Åtgärdat problem som orsakar felet org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]join reordering bör inte ändra ordningen på utdataattribut.
    • [SPARK-26366]ReplaceExceptWithFilter bör betrakta NULL som falskt.
    • Stabilitetsförbättring för Delta Lake.
    • Delta Lake är aktiverat.
    • Åtgärdat problemet som orsakade misslyckad Azure Data Lake Storage Gen2-åtkomst när Microsoft Entra ID-genomströmning för autentiseringsuppgifter har aktiverats för Azure Data Lake Storage Gen1.
    • Databricks IO Cache är nu aktiverat för arbetsinstanstyper i Ls-serien för alla prisnivåer.

Databricks Runtime 5.0 (EoS)

Se Databricks Runtime 5.0 (EoS).

  • den 18 juni 2019
    • En bugg som påverkar användningen av högre ordningsfunktioner har åtgärdats
  • Den 7 maj 2019
    • Ett konkurrenstillstånd har åtgärdats vid inläsning av en deltaloggkontrollsummafil
    • Logiken för identifiering av deltakonflikter har åtgärdats för att inte identifiera "infoga + skriva över" som ren "tilläggsåtgärd"
    • [SPARK-27494][SS] Null-nycklar/värden fungerar inte i Kafka source v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Spark-avbildningsdatakällan misslyckas när det uppstår några olagliga avbildningar
    • [SPARK-27160][SQL] Åtgärda DecimalType när du skapar orc-filter
      • [SPARK-27338][CORE] Åtgärda dödläge mellan UnsafeExternalSorter och TaskMemoryManager
  • den 26 mars 2019
    • Undvik att bädda in plattformsberoende förskjutningar bokstavligen i genererad kod i hela fasen
    • En bugg som påverkar vissa PythonUDF:er har åtgärdats.
  • den 12 mars 2019
    • [SPARK-26864][SQL] Frågan kan returnera ett felaktigt resultat när python udf används som ett vänster-semi-kopplingsvillkor.
  • den 26 februari 2019
    • En bugg som påverkar JDBC/ODBC-servern har åtgärdats.
    • Undanta dolda filer när du skapar HadoopRDD.
  • den 12 februari 2019
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.
    • [SPARK-26706][SQL] Korrigering illegalNumericPrecedence för ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery hanterar inte tomma poster korrekt.
    • Fast begränsningsslutsats för window-operatorn.
    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).
  • den 30 januari 2019
    • Ett problem som kan orsaka df.rdd.count() att UDT returnerar felaktigt svar i vissa fall har åtgärdats.
    • [SPARK-26267]Försök igen när du identifierar felaktiga förskjutningar från Kafka.
    • En bugg som påverkar flera filströmskällor i en strömmande fråga har åtgärdats.
    • StackOverflowError har åtgärdats när snedkopplingstipset sattes på cachelagrad relation.
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.
  • den 8 januari 2019
    • Ett problem som orsakade felet org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedhar åtgärdats.
    • [SPARK-26352]join reordering bör inte ändra ordningen på utdataattribut.
    • [SPARK-26366]ReplaceExceptWithFilter bör betrakta NULL som falskt.
    • Stabilitetsförbättring för Delta Lake.
    • Delta Lake är aktiverat.
    • Databricks IO Cache är nu aktiverat för arbetsinstanstyper i Ls-serien för alla prisnivåer.
  • den 18 december 2018
    • [SPARK-26293]Cast-undantag när du har Python UDF i underfrågor
    • Ett problem som påverkar vissa frågor med hjälp av Join and Limit har åtgärdats.
    • Redigerade autentiseringsuppgifter från RDD-namn i Spark-användargränssnittet
  • den 6 december 2018
    • Åtgärdade ett problem som orsakade felaktigt frågeresultat när orderBy användes följt av groupBy omedelbart med grupp-efter-nyckel som den inledande delen av sorteringsnyckeln.
    • Uppgraderade Snowflake Connector för Spark från 2.4.9.2-spark_2.4_pre_release till 2.4.10.
    • Ignorera endast skadade filer efter en eller flera återförsök när spark.sql.files.ignoreCorruptFiles eller spark.sql.files.ignoreMissingFiles flaggan är aktiverad.
    • Ett problem som påverkar vissa självunionsfrågor har åtgärdats.
    • En bugg har åtgärdats med sparservern där sessioner ibland läckte ut när de avbröts.
    • [SPARK-26307]CTAS har åtgärdats när du infogar en partitionerad tabell med Hive SerDe.
    • [SPARK-26147]Python-UDF:er i kopplingsvillkor misslyckas även om du bara använder kolumner från en sida av kopplingen
    • [SPARK-26211]Åtgärda InSet för binär och struct och matris med null.
    • [SPARK-26181]metoden hasMinMaxStats ColumnStatsMap för är inte korrekt.
    • Ett problem som påverkar installationen av Python Wheels i miljöer utan Internetåtkomst har åtgärdats.
  • den 20 november 2018
    • Ett problem som orsakade att en notebook-fil inte kunde användas efter att en strömmande fråga avbrutits har åtgärdats.
    • Ett problem som påverkar vissa frågor med hjälp av fönsterfunktioner har åtgärdats.
    • Ett problem som påverkar en dataström från Delta har åtgärdats med flera schemaändringar.
    • Ett problem som påverkar vissa aggregeringsfrågor med vänster semi/anti-kopplingar har åtgärdats.

Databricks Runtime 4.3 (EoS)

Se Databricks Runtime 4.3 (EoS).

  • 9 april 2019

    • [SPARK-26665][CORE] Åtgärda en bugg som kan orsaka att BlockTransferService.fetchBlockSync låser sig för alltid.
    • [SPARK-24669][SQL] Ogiltigförklara tabeller vid DROP DATABASE CASCADE.

  • den 12 mars 2019

    • En bugg som påverkar kodgenereringen har åtgärdats.
    • En bugg som påverkar Delta har åtgärdats.

  • den 26 februari 2019

    • En bugg som påverkar JDBC/ODBC-servern har åtgärdats.

  • den 12 februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery hanterar inte tomma poster korrekt.
    • Exklusive dolda filer när du skapar HadoopRDD.
    • Parquet-filterkonvertering har åtgärdats för IN-predikat när dess värde är tomt.
    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).

  • 30 januari 2019

    • Ett problem som kan orsaka df.rdd.count() att UDT returnerar felaktigt svar i vissa fall har åtgärdats.
    • Korrigerade inkonsekvensen mellan en SQL-cache cachelagrad RDD och dess fysiska plan, vilket orsakar felaktigt resultat.

  • 8 januari 2019

    • Åtgärdat problemet som orsakar felet org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redigerade autentiseringsuppgifter från RDD-namn i Spark-användargränssnittet
    • [SPARK-26352]join reordering bör inte ändra ordningen på utdataattribut.
    • [SPARK-26366]ReplaceExceptWithFilter bör betrakta NULL som falskt.
    • Delta Lake är aktiverat.
    • Databricks IO Cache är nu aktiverat för arbetsinstanstyper i Ls-serien för alla prisnivåer.

  • 18 december 2018

    • [SPARK-25002]Avro: ändra namnområdet för utdataposten.
    • Ett problem som påverkar vissa frågor med hjälp av Join and Limit har åtgärdats.
    • [SPARK-26307]CTAS har åtgärdats när du infogar en partitionerad tabell med Hive SerDe.
    • Ignorera endast skadade filer efter en eller flera återförsök när spark.sql.files.ignoreCorruptFiles eller spark.sql.files.ignoreMissingFiles flaggan är aktiverad.
    • [SPARK-26181]metoden hasMinMaxStats ColumnStatsMap för är inte korrekt.
    • Ett problem som påverkar installationen av Python Wheels i miljöer utan Internetåtkomst har åtgärdats.
    • Ett prestandaproblem har åtgärdats i frågeanalys.
    • Ett problem har åtgärdats i PySpark som orsakade att DataFrame-åtgärder misslyckades med felet "anslutningen nekades".
    • Ett problem som påverkar vissa självunionsfrågor har åtgärdats.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Åtgärda tom sträng som parsas som null när nullValue har angetts.
    • [SPARK-25387]Korrigering för NPE som orsakas av felaktiga CSV-indata.
    • Ett problem som påverkar vissa aggregeringsfrågor med vänster semi/anti-kopplingar har åtgärdats.

  • den 6 november 2018

    • [SPARK-25741]Långa URL:er återges inte korrekt i webbgränssnittet.
    • [SPARK-25714]Åtgärda nullhantering i Optimizer-regeln BooleanSimplification.
    • Ett problem som påverkar rensning av temporära objekt i Synapse Analytics-anslutningsappen har åtgärdats.
    • [SPARK-25816]Åtgärda attributmatchning i kapslade extraktorer.

  • 16 oktober 2018

    • En bugg som påverkar utdata från att köras SHOW CREATE TABLE i Delta-tabeller har åtgärdats.
    • En bugg som påverkar Union åtgärden har åtgärdats.

  • den 25 september 2018

    • [SPARK-25368][SQL] Felaktig begränsnings slutsatsdragning returnerar fel resultat.
    • [SPARK-25402][SQL] Null-hantering i BooleanSimplification.
    • Har åtgärdats NotSerializableException i Avro-datakällan.

  • den 11 september 2018

    • [SPARK-25214][SS] Åtgärda problemet med att Kafka v2-källan kan returnera duplicerade poster när failOnDataLoss=false.
    • [SPARK-24987][SS] Åtgärda Kafka-konsumentläckage när inga nya förskjutningar för articlePartition.
    • Filterreduktion bör hantera null-värdet korrekt.
    • Förbättrad stabilitet i körningsmotorn.

  • 28 augusti 2018

    • En bugg i Delta Lake Delete-kommandot som felaktigt skulle ta bort de rader där villkoret utvärderas till null har åtgärdats.
    • [SPARK-25142]Lägg till felmeddelanden när Python Worker inte kunde öppna socketen i _load_from_socket.

  • den 23 augusti 2018

    • [SPARK-23935]mapEntry genererar org.codehaus.commons.compiler.CompileException.
    • Åtgärdade ett null-mappningsproblem i Parquet-läsaren.
    • [SPARK-25051][SQL] FixNullability ska inte stoppas på AnalysisBarrier.
    • [SPARK-25081]En bugg där ShuffleExternalSorter kan komma åt en utgiven minnessida när spill inte kan allokera minne har åtgärdats.
    • En interaktion mellan Databricks Delta och Pyspark som kan orsaka tillfälliga läsfel har åtgärdats.
    • [SPARK-25084]" distribuera efter på flera kolumner (radbryt inom hakparenteser) kan leda till codegen-problem.
    • [SPARK-25096]Lossa nullabiliteten om gjutningen är force-nullable.
    • Sänkte standardantalet trådar som används av Delta Lake Optimize-kommandot, vilket minskade minneskostnaderna och datainsamlingen snabbare.
    • [SPARK-25114]Åtgärda RecordBinaryComparator när subtraktion mellan två ord är delbart med Integer.MAX_VALUE.
    • Åtgärdade redigering av secret manager när kommandot delvis lyckades.

Databricks Runtime 4.2 (EoS)

Se Databricks Runtime 4.2 (EoS).

  • den 26 februari 2019

    • En bugg som påverkar JDBC/ODBC-servern har åtgärdats.

  • den 12 februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery hanterar inte tomma poster korrekt.
    • Exklusive dolda filer när du skapar HadoopRDD.
    • Parquet-filterkonvertering har åtgärdats för IN-predikat när dess värde är tomt.
    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).

  • 30 januari 2019

    • Ett problem som kan orsaka df.rdd.count() att UDT returnerar felaktigt svar i vissa fall har åtgärdats.

  • 8 januari 2019

    • Åtgärdat problem som orsakar felet org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redigerade autentiseringsuppgifter från RDD-namn i Spark-användargränssnittet
    • [SPARK-26352]join reordering bör inte ändra ordningen på utdataattribut.
    • [SPARK-26366]ReplaceExceptWithFilter bör betrakta NULL som falskt.
    • Delta Lake är aktiverat.
    • Databricks IO Cache är nu aktiverat för arbetsinstanstyper i Ls-serien för alla prisnivåer.

  • 18 december 2018

    • [SPARK-25002]Avro: ändra namnområdet för utdataposten.
    • Ett problem som påverkar vissa frågor med hjälp av Join and Limit har åtgärdats.
    • [SPARK-26307]CTAS har åtgärdats när du infogar en partitionerad tabell med Hive SerDe.
    • Ignorera endast skadade filer efter en eller flera återförsök när spark.sql.files.ignoreCorruptFiles eller spark.sql.files.ignoreMissingFiles flaggan är aktiverad.
    • [SPARK-26181]metoden hasMinMaxStats ColumnStatsMap för är inte korrekt.
    • Ett problem som påverkar installationen av Python Wheels i miljöer utan Internetåtkomst har åtgärdats.
    • Ett prestandaproblem har åtgärdats i frågeanalys.
    • Ett problem har åtgärdats i PySpark som orsakade att DataFrame-åtgärder misslyckades med felet "anslutningen nekades".
    • Ett problem som påverkar vissa självunionsfrågor har åtgärdats.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Åtgärda tom sträng som parsas som null när nullValue har angetts.
    • Ett problem som påverkar vissa aggregeringsfrågor med vänster semi/anti-kopplingar har åtgärdats.

  • den 6 november 2018

    • [SPARK-25741]Långa URL:er återges inte korrekt i webbgränssnittet.
    • [SPARK-25714]Åtgärda nullhantering i Optimizer-regeln BooleanSimplification.

  • 16 oktober 2018

    • En bugg som påverkar utdata från att köras SHOW CREATE TABLE i Delta-tabeller har åtgärdats.
    • En bugg som påverkar Union åtgärden har åtgärdats.

  • den 25 september 2018

    • [SPARK-25368][SQL] Felaktig begränsnings slutsatsdragning returnerar fel resultat.
    • [SPARK-25402][SQL] Null-hantering i BooleanSimplification.
    • Har åtgärdats NotSerializableException i Avro-datakällan.

  • den 11 september 2018

    • [SPARK-25214][SS] Åtgärda problemet med att Kafka v2-källan kan returnera duplicerade poster när failOnDataLoss=false.
    • [SPARK-24987][SS] Åtgärda Kafka-konsumentläckage när inga nya förskjutningar för articlePartition.
    • Filterreduktion bör hantera null-värdet korrekt.

  • 28 augusti 2018

    • En bugg i Delta Lake Delete-kommandot som felaktigt skulle ta bort de rader där villkoret utvärderas till null har åtgärdats.

  • den 23 augusti 2018

    • NoClassDefError har åtgärdats för deltaögonblicksbild
    • [SPARK-23935]mapEntry genererar org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Medelvärde med decimal följt av aggregering returnerar fel resultat. De felaktiga resultaten av AVERAGE kan returneras. Cast som läggs till i operatorn Average kringgås om resultatet av Divide är samma typ som det är gjutet till.
    • [SPARK-25081]En bugg där ShuffleExternalSorter kan komma åt en utgiven minnessida när spill inte kan allokera minne har åtgärdats.
    • En interaktion mellan Databricks Delta och Pyspark som kan orsaka tillfälliga läsfel har åtgärdats.
    • [SPARK-25114]Åtgärda RecordBinaryComparator när subtraktion mellan två ord är delbart med Integer.MAX_VALUE.
    • [SPARK-25084]" distribuera efter på flera kolumner (radbryt inom hakparenteser) kan leda till codegen-problem.
    • [SPARK-24934][SQL] Tillåt uttryckligen typer som stöds i övre/nedre gränser för minnesintern partitionsrensning. När komplexa datatyper används i frågefilter mot cachelagrade data returnerar Spark alltid en tom resultatuppsättning. Den minnesbaserade statsbaserade rensningen genererar felaktiga resultat eftersom null har angetts för övre/nedre gränser för komplexa typer. Korrigeringen är att inte använda minnesintern statsbaserad beskärning för komplexa typer.
    • Åtgärdade redigering av secret manager när kommandot delvis lyckades.
    • Åtgärdade ett null-mappningsproblem i Parquet-läsaren.

  • den 2 augusti 2018

    • WriteStream.table API har lagts till i Python.
    • Ett problem som påverkar Delta-kontrollpunkter har åtgärdats.
    • [SPARK-24867][SQL] Lägg till AnalysisBarrier i DataFrameWriter. SQL-cache används inte när du använder DataFrameWriter för att skriva en DataFrame med UDF. Det här är en regression som orsakas av de ändringar vi gjorde i AnalysisBarrier, eftersom inte alla Analyzer-regler är idempotenter.
    • Ett problem som kan orsaka mergeInto att kommandot ger felaktiga resultat har åtgärdats.
    • Förbättrad stabilitet vid åtkomst till Azure Data Lake Storage Gen1.
    • [SPARK-24809]Serialisering av LongHashedRelation i executor kan resultera i datafel.
    • [SPARK-24878][SQL] Korrigera omvänd funktion för matristyp av primitiv typ som innehåller null.

  • 11 juli 2018

    • Åtgärdade en bugg i frågekörningen som skulle orsaka att sammansättningar på decimalkolumner med olika precision returnerar felaktiga resultat i vissa fall.
    • NullPointerException En bugg som utlöstes under avancerade aggregeringsåtgärder som grupperingsuppsättningar har åtgärdats.

Databricks Runtime 4.1 ML (EoS)

Se Databricks Runtime 4.1 ML (EoS).

  • den 31 juli 2018
    • Azure Synapse Analytics har lagts till i ML Runtime 4.1
    • En bugg som kan orsaka felaktiga frågeresultat har åtgärdats när namnet på en partitionskolumn som används i ett predikat skiljer sig från fallet med kolumnen i tabellens schema.
    • En bugg som påverkar Spark SQL-körningsmotorn har åtgärdats.
    • En bugg som påverkar kodgenereringen har åtgärdats.
    • En bugg (java.lang.NoClassDefFoundError) som påverkar Delta Lake har åtgärdats.
    • Förbättrad felhantering i Delta Lake.
    • Ett fel har åtgärdats som gjorde att felaktiga data som hoppade över statistik samlades in för strängkolumner med högst 32 tecken.

Databricks Runtime 4.1 (EoS)

Se Databricks Runtime 4.1 (EoS).

  • 8 januari 2019

    • [SPARK-26366]ReplaceExceptWithFilter bör betrakta NULL som falskt.
    • Delta Lake är aktiverat.

  • 18 december 2018

    • [SPARK-25002]Avro: ändra namnområdet för utdataposten.
    • Ett problem som påverkar vissa frågor med hjälp av Join and Limit har åtgärdats.
    • [SPARK-26307]CTAS har åtgärdats när du infogar en partitionerad tabell med Hive SerDe.
    • Ignorera endast skadade filer efter en eller flera återförsök när spark.sql.files.ignoreCorruptFiles eller spark.sql.files.ignoreMissingFiles flaggan är aktiverad.
    • Ett problem som påverkar installationen av Python Wheels i miljöer utan Internetåtkomst har åtgärdats.
    • Ett problem har åtgärdats i PySpark som orsakade att DataFrame-åtgärder misslyckades med felet "anslutningen nekades".
    • Ett problem som påverkar vissa självunionsfrågor har åtgärdats.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Åtgärda tom sträng som parsas som null när nullValue har angetts.
    • Ett problem som påverkar vissa aggregeringsfrågor med vänster semi/anti-kopplingar har åtgärdats.

  • den 6 november 2018

    • [SPARK-25741]Långa URL:er återges inte korrekt i webbgränssnittet.
    • [SPARK-25714]Åtgärda nullhantering i Optimizer-regeln BooleanSimplification.

  • 16 oktober 2018

    • En bugg som påverkar utdata från att köras SHOW CREATE TABLE i Delta-tabeller har åtgärdats.
    • En bugg som påverkar Union åtgärden har åtgärdats.

  • den 25 september 2018

    • [SPARK-25368][SQL] Felaktig begränsnings slutsatsdragning returnerar fel resultat.
    • [SPARK-25402][SQL] Null-hantering i BooleanSimplification.
    • Har åtgärdats NotSerializableException i Avro-datakällan.

  • den 11 september 2018

    • [SPARK-25214][SS] Åtgärda problemet med att Kafka v2-källan kan returnera duplicerade poster när failOnDataLoss=false.
    • [SPARK-24987][SS] Åtgärda Kafka-konsumentläckage när inga nya förskjutningar för articlePartition.
    • Filterreduktion bör hantera null-värdet korrekt.

  • 28 augusti 2018

    • En bugg i Delta Lake Delete-kommandot som felaktigt skulle ta bort de rader där villkoret utvärderas till null har åtgärdats.
    • [SPARK-25084]" distribuera efter på flera kolumner (radbryt inom hakparenteser) kan leda till codegen-problem.
    • [SPARK-25114]Åtgärda RecordBinaryComparator när subtraktion mellan två ord är delbart med Integer.MAX_VALUE.

  • den 23 augusti 2018

    • NoClassDefError för Delta Snapshot har åtgärdats.
    • [SPARK-24957][SQL] Medelvärde med decimal följt av aggregering returnerar fel resultat. De felaktiga resultaten av AVERAGE kan returneras. Cast som läggs till i operatorn Average kringgås om resultatet av Divide är samma typ som det är gjutet till.
    • Åtgärdade ett null-mappningsproblem i Parquet-läsaren.
    • [SPARK-24934][SQL] Tillåt uttryckligen typer som stöds i övre/nedre gränser för minnesintern partitionsrensning. När komplexa datatyper används i frågefilter mot cachelagrade data returnerar Spark alltid en tom resultatuppsättning. Den minnesbaserade statsbaserade rensningen genererar felaktiga resultat eftersom null har angetts för övre/nedre gränser för komplexa typer. Korrigeringen är att inte använda minnesintern statsbaserad beskärning för komplexa typer.
    • [SPARK-25081]En bugg där ShuffleExternalSorter kan komma åt en utgiven minnessida när spill inte kan allokera minne har åtgärdats.
    • En interaktion mellan Databricks Delta och Pyspark som kan orsaka tillfälliga läsfel har åtgärdats.
    • Redigering av secret manager har åtgärdats när kommandot delvis lyckades

  • den 2 augusti 2018

    • [SPARK-24613][SQL] Cachelagring med UDF kunde inte matchas med efterföljande beroende cacheminnen. Omsluter den logiska planen med en AnalysisBarrier för körningsplankompilering i CacheManager för att undvika att planen analyseras igen. Detta är också en regression av Spark 2.3.
    • Ett problem med Synapse Analytics-anslutningsappen som påverkar tidszonskonverteringen för att skriva DateType-data har åtgärdats.
    • Ett problem som påverkar Delta-kontrollpunkter har åtgärdats.
    • Ett problem som kan orsaka mergeInto att kommandot ger felaktiga resultat har åtgärdats.
    • [SPARK-24867][SQL] Lägg till AnalysisBarrier i DataFrameWriter. SQL-cache används inte när du använder DataFrameWriter för att skriva en DataFrame med UDF. Det här är en regression som orsakas av de ändringar vi gjorde i AnalysisBarrier, eftersom inte alla Analyzer-regler är idempotenter.
    • [SPARK-24809]Serialisering av LongHashedRelation i executor kan resultera i datafel.

  • 11 juli 2018

    • Åtgärdade en bugg i frågekörningen som skulle orsaka att sammansättningar på decimalkolumner med olika precision returnerar felaktiga resultat i vissa fall.
    • NullPointerException En bugg som utlöstes under avancerade aggregeringsåtgärder som grupperingsuppsättningar har åtgärdats.

  • 28 juni 2018

    • En bugg som kan orsaka felaktiga frågeresultat har åtgärdats när namnet på en partitionskolumn som används i ett predikat skiljer sig från fallet med kolumnen i tabellens schema.

  • den 7 juni 2018

    • En bugg som påverkar Spark SQL-körningsmotorn har åtgärdats.
    • En bugg som påverkar kodgenereringen har åtgärdats.
    • En bugg (java.lang.NoClassDefFoundError) som påverkar Delta Lake har åtgärdats.
    • Förbättrad felhantering i Delta Lake.

  • 17 maj 2018

    • Ett fel har åtgärdats som gjorde att felaktiga data som hoppade över statistik samlades in för strängkolumner med högst 32 tecken.

Databricks Runtime 4.0 (EoS)

Se Databricks Runtime 4.0 (EoS).

  • den 6 november 2018

    • [SPARK-25714]Åtgärda nullhantering i Optimizer-regeln BooleanSimplification.

  • 16 oktober 2018

    • En bugg som påverkar Union åtgärden har åtgärdats.

  • den 25 september 2018

    • [SPARK-25368][SQL] Felaktig begränsnings slutsatsdragning returnerar fel resultat.
    • [SPARK-25402][SQL] Null-hantering i BooleanSimplification.
    • Har åtgärdats NotSerializableException i Avro-datakällan.

  • den 11 september 2018

    • Filterreduktion bör hantera null-värdet korrekt.

  • 28 augusti 2018

    • En bugg i Delta Lake Delete-kommandot som felaktigt skulle ta bort de rader där villkoret utvärderas till null har åtgärdats.

  • den 23 augusti 2018

    • Åtgärdade ett null-mappningsproblem i Parquet-läsaren.
    • Redigering av secret manager har åtgärdats när kommandot delvis lyckades
    • En interaktion mellan Databricks Delta och Pyspark som kan orsaka tillfälliga läsfel har åtgärdats.
    • [SPARK-25081]En bugg där ShuffleExternalSorter kan komma åt en utgiven minnessida när spill inte kan allokera minne har åtgärdats.
    • [SPARK-25114]Åtgärda RecordBinaryComparator när subtraktion mellan två ord är delbart med Integer.MAX_VALUE.

  • den 2 augusti 2018

    • [SPARK-24452]Undvik eventuellt spill i int add eller multiple.
    • [SPARK-24588]Direktuppspelningsanslutning bör kräva HashClusteredPartitioning från underordnade.
    • Ett problem som kan orsaka mergeInto att kommandot ger felaktiga resultat har åtgärdats.
    • [SPARK-24867][SQL] Lägg till AnalysisBarrier i DataFrameWriter. SQL-cache används inte när du använder DataFrameWriter för att skriva en DataFrame med UDF. Det här är en regression som orsakas av de ändringar vi gjorde i AnalysisBarrier, eftersom inte alla Analyzer-regler är idempotenter.
    • [SPARK-24809]Serialisering av LongHashedRelation i executor kan resultera i datafel.

  • 28 juni 2018

    • En bugg som kan orsaka felaktiga frågeresultat har åtgärdats när namnet på en partitionskolumn som används i ett predikat skiljer sig från fallet med kolumnen i tabellens schema.

  • den 7 juni 2018

    • En bugg som påverkar Spark SQL-körningsmotorn har åtgärdats.
    • Förbättrad felhantering i Delta Lake.

  • 17 maj 2018

    • Buggkorrigeringar för databricks-hemlighetshantering.
    • Förbättrad stabilitet vid läsning av data som lagras i Azure Data Lake Store.
    • En bugg som påverkar RDD-cachelagring har åtgärdats.
    • En bugg som påverkar Null-safe Equal i Spark SQL har åtgärdats.

  • 24 april 2018

    • Uppgraderade Azure Data Lake Store SDK från 2.0.11 till 2.2.8 för att förbättra stabiliteten i åtkomsten till Azure Data Lake Store.
    • En bugg som påverkar infogningen av överskrivningar i partitionerade Hive-tabeller har åtgärdats när spark.databricks.io.hive.fastwriter.enabled är false.
    • Ett problem som misslyckades med aktivitets serialisering har åtgärdats.
    • Förbättrad Stabilitet i Delta Lake.

  • 14 mars 2018

    • Förhindra onödiga metadatauppdateringar när du skriver till Delta Lake.
    • Ett problem som orsakas av ett konkurrenstillstånd som i sällsynta fall kan leda till förlust av vissa utdatafiler har åtgärdats.

Databricks Runtime 3.5 LTS (EoS)

Se Databricks Runtime 3.5 LTS (EoS).

  • den 7 november 2019

    • [SPARK-29743][SQL]-exemplet bör ange needCopyResult till sant om dess underordnade behovCopyResult är sant

  • 8 oktober 2019

    • Ändringar på serversidan så att Simba Apache Spark ODBC-drivrutinen kan återansluta och fortsätta efter ett anslutningsfel vid hämtning av resultat (kräver simba Apache Spark ODBC-drivrutinsuppdatering till version 2.6.10).

  • den 10 september 2019

    • [SPARK-28699][SQL] Inaktivera användning av radixsortering för ShuffleExchangeExec i ompartitionsfall

  • 9 april 2019

    • [SPARK-26665][CORE] Åtgärda en bugg som kan orsaka att BlockTransferService.fetchBlockSync låser sig för alltid.

  • den 12 februari 2019

    • Åtgärdade ett problem med att Spark-nätverksprotokoll på låg nivå kan brytas när stora RPC-felmeddelanden med kryptering är aktiverat (när spark.network.crypto.enabled är inställt på sant).

  • 30 januari 2019

    • Ett problem som kan orsaka df.rdd.count() att UDT returnerar felaktigt svar i vissa fall har åtgärdats.

  • 18 december 2018

    • Ignorera endast skadade filer efter en eller flera återförsök när spark.sql.files.ignoreCorruptFiles eller spark.sql.files.ignoreMissingFiles flaggan är aktiverad.
    • Ett problem som påverkar vissa självunionsfrågor har åtgärdats.

  • 20 november 2018

    • [SPARK-25816]Åtgärdad attributmatchning i kapslade extraktorer.

  • den 6 november 2018

    • [SPARK-25714]Åtgärda nullhantering i Optimizer-regeln BooleanSimplification.

  • 16 oktober 2018

    • En bugg som påverkar Union åtgärden har åtgärdats.

  • den 25 september 2018

    • [SPARK-25402][SQL] Null-hantering i BooleanSimplification.
    • Har åtgärdats NotSerializableException i Avro-datakällan.

  • den 11 september 2018

    • Filterreduktion bör hantera null-värdet korrekt.

  • 28 augusti 2018

    • En bugg i Delta Lake Delete-kommandot som felaktigt skulle ta bort de rader där villkoret utvärderas till null har åtgärdats.
    • [SPARK-25114]Åtgärda RecordBinaryComparator när subtraktion mellan två ord är delbart med Integer.MAX_VALUE.

  • den 23 augusti 2018

    • [SPARK-24809]Serialisering av LongHashedRelation i executor kan resultera i datafel.
    • Åtgärdade ett null-mappningsproblem i Parquet-läsaren.
    • [SPARK-25081]En bugg där ShuffleExternalSorter kan komma åt en utgiven minnessida när spill inte kan allokera minne har åtgärdats.
    • En interaktion mellan Databricks Delta och Pyspark som kan orsaka tillfälliga läsfel har åtgärdats.

  • 28 juni 2018

    • En bugg som kan orsaka felaktiga frågeresultat har åtgärdats när namnet på en partitionskolumn som används i ett predikat skiljer sig från fallet med kolumnen i tabellens schema.

  • 28 juni 2018

    • En bugg som kan orsaka felaktiga frågeresultat har åtgärdats när namnet på en partitionskolumn som används i ett predikat skiljer sig från fallet med kolumnen i tabellens schema.

  • den 7 juni 2018

    • En bugg som påverkar Spark SQL-körningsmotorn har åtgärdats.
    • Förbättrad felhantering i Delta Lake.

  • 17 maj 2018

    • Förbättrad stabilitet vid läsning av data som lagras i Azure Data Lake Store.
    • En bugg som påverkar RDD-cachelagring har åtgärdats.
    • En bugg som påverkar Null-safe Equal i Spark SQL har åtgärdats.
    • En bugg som påverkar vissa aggregeringar i strömningsfrågor har åtgärdats.

  • 24 april 2018

    • Uppgraderade Azure Data Lake Store SDK från 2.0.11 till 2.2.8 för att förbättra stabiliteten i åtkomsten till Azure Data Lake Store.
    • En bugg som påverkar infogningen av överskrivningar i partitionerade Hive-tabeller har åtgärdats när spark.databricks.io.hive.fastwriter.enabled är false.
    • Ett problem som misslyckades med aktivitets serialisering har åtgärdats.

  • den 9 mars 2018

    • Ett problem som orsakas av ett konkurrenstillstånd som i sällsynta fall kan leda till förlust av vissa utdatafiler har åtgärdats.

  • den 1 mars 2018

    • Förbättrad effektivitet för hantering av strömmar som kan ta lång tid att stoppa.
    • Ett problem som påverkar automatisk komplettering av Python har åtgärdats.
    • Tillämpade Ubuntu-säkerhetskorrigeringar.
    • Ett problem som påverkar vissa frågor med python-UDF:er och fönsterfunktioner har åtgärdats.
    • Ett problem som påverkar användningen av UDF:er i ett kluster med tabellåtkomstkontroll aktiverad har åtgärdats.

  • den 29 januari 2018

    • Ett problem som påverkar manipuleringen av tabeller som lagras i Azure Blob Storage har åtgärdats.
    • Åtgärdad aggregering efter dropDuplicates på tom DataFrame.

Databricks Runtime 3.4 (EoS)

Se Databricks Runtime 3.4 (EoS).

  • den 7 juni 2018

    • En bugg som påverkar Spark SQL-körningsmotorn har åtgärdats.
    • Förbättrad felhantering i Delta Lake.

  • 17 maj 2018

    • Förbättrad stabilitet vid läsning av data som lagras i Azure Data Lake Store.
    • En bugg som påverkar RDD-cachelagring har åtgärdats.
    • En bugg som påverkar Null-safe Equal i Spark SQL har åtgärdats.

  • 24 april 2018

    • En bugg som påverkar infogningen av överskrivningar i partitionerade Hive-tabeller har åtgärdats när spark.databricks.io.hive.fastwriter.enabled är false.

  • den 9 mars 2018

    • Ett problem som orsakas av ett konkurrenstillstånd som i sällsynta fall kan leda till förlust av vissa utdatafiler har åtgärdats.

  • 13 december 2017

    • Ett problem som påverkar UDF:er i Scala har åtgärdats.
    • Ett problem som påverkar användningen av Data Skipping Index på datakällatabeller som lagras i icke-DBFS-sökvägar har åtgärdats.

  • den 7 december 2017

    • Förbättrad shuffle stabilitet.

Databricks Runtime-versioner som inte stöds

Följ länken under underrubriken för de ursprungliga viktig informationerna.