Aktualizace údržby Databricks Runtime

Tento článek obsahuje seznam aktualizací údržby podporovaných verzí databricks Runtime. Chcete-li přidat údržbu update do stávajícího clusteru, restartujte cluster. Informace o aktualizacích údržby v nepodporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby pro Databricks Runtime (archivované).

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks nemusí update několik dní po počátečním datu vydání.

Verze Databricks Runtime

Aktualizace údržby podle verze:

• Databricks Runtime 16.0
• Databricks Runtime 15.4
• Databricks Runtime 14.3
• Databricks Runtime 14.1
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 16.0

Viz Databricks Runtime 16.0.

• 10. prosince 2024
  • (zásadní změna) Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje chybějící složenou závorku a byl dříve přijat Photon, nyní selže. Pokud chcete tento výraz opravit, můžete escapovat znak složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících znakům, které nejsou ASCII. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
  • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
  • Nyní můžete set vypršení časového limitu pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na výpočetních prostředcích bez serveru a sdílených clusterech nemají časový limit, pokud není tato vlastnost konfigurace set. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-49843][SQL] Oprava změny komentáře u columns char/varchar
  • [SPARK-49924][SQL] Zachovat containsNull po nahrazení ArrayCompact
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-48780][SQL] Zobecnit chyby v NamedParametersSupport pro lepší zpracování funkcí a procedur
  • [SPARK-49876][CONNECT] Get zbavit globálních zámků ze služby Spark Connect
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • [SPARK-49615] Oprava chyby: Ověření columnschema ML odpovídá konfiguraci Sparku spark.sql.caseSensitive
  • [SPARK-48782][SQL] Přidání podpory pro provádění procedur v catalogs
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
  • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve stream-stream join (oprava správnosti)
  • Vrátit "[SPARK-49002][SQL] Konzistentně zpracovat neplatná umístění v WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-50028][CONNECT] Nahrazení globálních zámků v posluchači serveru Spark Connect pomocí jemně odstupňovaných zámků
  • [SPARK-49615] [ML] Nastavení všech datových sad transformátorů funkcí ML schema ověření, které odpovídá konfiguraci spark.sql.caseSensitive.
  • [SPARK-50124][SQL] LIMIT/OFFSET by se mělo zachovat pořadí dat.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.4

Viz Databricks Runtime 15.4 LTS.

• 26. listopadu 2024
  • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
  • Nyní můžete set vypršení časového limitu pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na výpočetních prostředcích bez serveru a sdílených clusterech nemají časový limit, pokud není tato vlastnost konfigurace set. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-50322][SQL] Opravit parametrizovaný identifier v subdotazu
  • [SPARK-49615] [ML] Nastavení všech datových sad transformátorů funkcí ML schema ověření, které odpovídá konfiguraci spark.sql.caseSensitive.
  • [SPARK-50124][SQL] LIMIT/OFFSET by se mělo zachovat pořadí dat.
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • (zásadní změna) Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje chybějící složenou závorku a byl dříve přijat Photon, nyní selže. Pokud chcete tento výraz opravit, můžete escapovat znak složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících znakům, které nejsou ASCII. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
  • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve stream-stream join (oprava správnosti)
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
  • [SPARK-49443][SQL][PYTHON] Implementace výrazu to_variant_object a vytvoření výrazů schema_of_variant tisk OBJECT pro variantní objekty
  • [SPARK-49615] Oprava chyby: Ověření columnschema ML odpovídá konfiguraci Sparku spark.sql.caseSensitive.
• 22. října 2024
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
  • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve stream-stream join (oprava správnosti)
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
  • [SPARK-49443][SQL][PYTHON] Implementace výrazu to_variant_object a vytvoření výrazů schema_of_variant tisk OBJECT pro variantní objekty
  • [SPARK-49615] Oprava chyby: Ověření columnschema ML odpovídá konfiguraci Sparku spark.sql.caseSensitive.
• 10. října 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl měnit schema pole při ořezávání GetArrayStructFields
  • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a spuštěním plánu
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
  • [SPARK-49460][SQL] Následné kroky: Oprava potenciálního rizika NPE
• 25. září 2024
  • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
  • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
  • [SPARK-49017][SQL] příkaz Insert selže, když se používá více parameters
  • [SPARK-49451] Povolit duplicitní klíče v parse_json
  • Různé opravy chyb
• 17. září 2024
  • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupy columns
  • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Podpora cest ve stylu Windows v ArtifactManageru
  • Vrátit zpět "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark by měl přijmout proměnné délky args"
  • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
  • [SPARK-49366][CONNECT] Zacházet s uzlem 'Sjednocení' jako s listovým uzlem při řešení datového rámce column
  • [SPARK-49018][SQL] Oprava, approx_count_distinct nefunguje správně s kolací
  • [SPARK-49460][SQL] RemovecleanupResource() z EmptyRelationExec
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • [SPARK-49336][CONNECT] Limit úroveň vnoření při zkrácení zprávy protobuf
• 29. srpna 2024
  • Výstup příkazu SHOW CREATE TABLE nyní zahrnuje všechny filtry řádků nebo column masky definované v materializovaném zobrazení nebo streamovaném table. Viz SHOW CREATE TABLE. Informace o filtrech řádků a maskách column najdete v tématu Filtrování citlivých table dat pomocí filtrů řádků a mask column.
  • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Podívejte se na omezení a požadavky na streamování pro režim sdíleného přístupu Unity Catalog.
  • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
  • [SPARK-49074][SQL] Oprava varianty pomocí df.cache()
  • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
  • [SPARK-48955][SQL] Zahrnout změny ArrayCompact ve verzi 15.4
  • [SPARK-48937][SQL] Přidání podpory kolace pro řetězcové výrazy StringToMap
  • [SPARK-48929] Oprava vnitřní chyby zobrazení a vyčištění kontextu výjimek analyzátoru
  • [SPARK-49125][SQL] Povolit duplicitní column názvy ve formátu CSV
  • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-48981] Oprava metody simpleString StringType v pyspark pro kolace
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
  • [SPARK-48725][SQL] Integrace collationAwareUTF8String.lowerCaseCodePoints do řetězcových výrazů
  • [SPARK-48978][SQL] Implementace rychlé cesty ASCII v podpoře kolace pro UTF8_LCASE
  • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
  • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s watermark chybějícími v dotazech streamování v režimu připojení do architektury chyb
  • [SPARK-48977][SQL] Optimize prohledávání řetězců v rámci kolace UTF8_LCASE
  • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
  • [SPARK-48463] Podpora pro StringIndexer s vnořenými vstupy columns
  • [SPARK-48954] try_mod() nahrazuje try_remainder()
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.3

Viz Databricks Runtime 14.3 LTS.

• 26. listopadu 2024
  • [SPARK-49615] [ML] Nastavení všech datových sad transformátorů funkcí ML schema ověření, které odpovídá konfiguraci spark.sql.caseSensitive.
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve stream-stream join (oprava správnosti)
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve stream-stream join (oprava správnosti)
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl měnit schema pole při ořezávání GetArrayStructFields
  • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a spuštěním plánu
• 25. září 2024
  • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
  • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
  • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • [SPARK-49336][CONNECT] Limit úroveň vnoření při zkrácení zprávy protobuf
  • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
  • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupy columns
  • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49366][CONNECT] Zacházet s uzlem 'Sjednocení' jako s listovým uzlem při řešení datového rámce column
• 29. srpna 2024
  • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s watermark chybějícími v dotazech streamování v režimu připojení do architektury chyb
  • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
  • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
• 14. srpna 2024
  • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
  • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
• 1. srpna 2024
  • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala nullvalues.
  • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Podívejte se na podporované konfigurace Sparku parameters.
  • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Podívejte se na omezení a požadavky na streamování pro režim sdíleného přístupu Unity Catalog.
  • Výstup příkazu SHOW CREATE TABLE nyní zahrnuje všechny filtry řádků nebo column masky definované v materializovaném zobrazení nebo streamovaném table. Viz SHOW CREATE TABLE. Informace o filtrech řádků a maskách column najdete v tématu Filtrování citlivých table dat pomocí filtrů řádků a mask column.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
  • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
  • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
  • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
  • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
  • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
  • [SPARK-48463] Podpora pro StringIndexer s vnořenými vstupy columns
  • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
  • [SPARK-47713][SQL][CONNECT] Oprava vlastního selháníjoin
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti proti Delta table zdrojům jsou teď neplatné, pokud je zdroj table přepsán. Tato změna znamená, že všechny změny stavu v Delta tables nyní zneplatňují výsledky uložené v mezipaměti. K zachování stavu .checkpoint() po celou dobu životnosti datového rámce použijte table.
  • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
  • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
  • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Podívejte se na podporované konfigurace Sparku parameters.
  • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, mohou nastavit možnost zdroje dat set ignoreInvalidPartitionPaths na hodnotu true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
  • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
  • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s grupováním podle nerovnocenných columns, které byly nesprávně povoleny
  • [SPARK-48100][SQL] Oprava problémů při vynechávání vnořených poli struktur, která nejsou vybrána v schema
  • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
  • [SPARK-48252][SQL] Update CommonExpressionRef v případě potřeby
  • [SPARK-48475][PYTHON] Optimize _get_jvm_function v PySparku.
  • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • applyInPandasWithState() je k dispozici ve sdílených clusterech.
  • Opravuje chybu where v optimalizaci pořadíwindow pomocí knihovny Photon TopK, která nesprávně zpracovávala oddíly se strukturami.
  • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
  • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
  • [SPARK-48294][SQL] Zpracování malých písmen v nestedTypeMissingElementTypeError
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • ( dbutils.widgets.getAll()) je nyní podporována get všechny values widgetu vpoznámkového bloku .
  • Opravili jsme chybu ve funkci try_divide() where vstupy obsahující desetinné čárky, což vedlo k neočekávaným výjimkám.
  • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
  • [SPARK-48146][SQL] Oprava agregační funkce ve výrazu podřízený kontrolní výraz
  • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
  • [SPARK-48180][SQL] Zlepšení chybové zprávy, když volání UDTF s argumentem TABLE zapomene závorky kolem více výrazů PARTITION/ORDER BY
  • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide v případě desetinných míst
  • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda
  • [SPARK-47994][SQL] Oprava chyby s chybou CASE WHEN column push down v SQLServeru
  • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • (Změna chování) applyInPandas a mapInPandas typy UDF se teď podporují ve výpočetním režimu sdíleného přístupu, na kterém běží Databricks Runtime 14.3 a novější.
  • [SPARK-47739][SQL] Registrace logického typu avro
  • [SPARK-47941] [SS] [Připojit] Šíření chyb inicializace pracovních procesů ForeachBatch uživatelům pro PySpark
  • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
  • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
  • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
  • [SPARK-47543][CONNECT][PYTHON] Odvození diktování jako Mapype z datového rámce Pandas za účelem povolení vytváření datového rámce
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Pro vyčištění provádění použijte asynchronní zpětné volání.
  • [SPARK-47764][JÁDRO][SQL] Vyčištění závislostí náhodného prohazu na základě shuffleCleanupMode
  • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
  • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
  • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
  • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • [SPARK-47543][CONNECT][PYTHON] Odvození dict z MapType datového rámce Pandas za účelem povolení vytváření datového rámce
  • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy na straně klienta
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Ověřte název column pomocí mezipaměti schema
  • [SPARK-47862][PYTHON][CONNECT]Oprava generování souborů proto
  • Vrácení kódu [SPARK-47543][CONNECT][PYTHON] Odvozování dict z MapType datového rámce Pandas kvůli povolení vytváření datového rámce
  • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
  • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyzovat
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato update zahrnuje následující změny, které by mohly narušit existující kód:
    • Funkce definované uživatelem s návratovým typem string již implicitně nepřevádějístringvalues na stringvalues. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
    • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamptimezone.
    • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
    • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
    • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li limit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
  • Datový typ TimestampNTZ je nyní podporován jako clusteringový column při použití liquid clusteringu. Viz Použijte metodu shlukování kapalinou pro Delta tables.
  • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • [SPARK-47638][PS][CONNECT] Přeskočit ověření názvu column v PS
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Předávání tableidentifier k prohledávání řádkového datového zdroje pro strategii V2.
  • [SPARK-47044][SQL] Přidat spuštěný dotaz pro externí zdroje dat JDBC do výstupu explain
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • [SPARK-47121][JÁDRO] Vyhněte se odmítnutíExecutionExceptions během vypnutí StandaloneSchedulerBackend
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
  • [SPARK-46999][SQL] VýrazWithUnresolvedIdentifier by měl obsahovat další výrazy ve stromu výrazů.
  • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
  • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
  • [SPARK-47035][SS][CONNECT] Protokol pro naslouchací proces na straně klienta
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • Vytvoření schema s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění UPRAVIT a SELECT u LIBOVOLNÉHO SOUBORU.
  • [SPARK-47071][SQL] Vložený výraz With, pokud obsahuje speciální výraz
  • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
  • [SPARK-46993][SQL] Oprava skládání konstant pro proměnné relace
  • Aktualizace zabezpečení operačního systému.
• 3. ledna 2024
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • [SPARK-46954] XML: Zabalení InputStreamReader s BufferedReader.
  • [SPARK-46655] Přeskočte kontext dotazu zachytávání v DataFrame metodách.
  • [SPARK-44815] Cache df.schema, aby se předešlo dodatečným RPC.
  • [SPARK-46952] XML: Limit velikost poškozeného záznamu.
  • [SPARK-46794]Remove poddotazů z omezení logických RDD.
  • [SPARK-46736] zachovat prázdné pole zprávy v konektoru protobuf.
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46414] K vykreslení importů javascriptu použijte prependBaseUri.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46954] XML: Optimizeschema vyhledávání indexu.
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
  • [SPARK-46731] Správa instance zprostředkovatele úložiště stavu podle zdroje dat stavu – čtenář.
  • [SPARK-46677] Opravte dataframe["*"] řešení.
  • [SPARK-46610] Vytvořit table by měla vyvolat výjimku, pokud v možnostech nemáte hodnotu klíče.
  • [SPARK-46941] Nelze insertwindow uzel skupiny limit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • [SPARK-45433] Oprava schema odvození SOUBORU CSV/JSON, pokud časové razítka neodpovídají zadanému formátu časového razítka.
  • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
  • [SPARK-46227] Backport to 14.3.
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.1

Viz Databricks Runtime 14.1.

• 26. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
• 22. října 2024
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
• 10. října 2024
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl měnit schema pole při ořezávání GetArrayStructFields
  • Aktualizace zabezpečení operačního systému.
• 25. září 2024
  • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
  • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
  • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
  • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
• 14. srpna 2024
  • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48050][SS] Log logical plan at query start
• 1. srpna 2024
  • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala nullvalues.
  • Výstup příkazu SHOW CREATE TABLE nyní zahrnuje všechny filtry řádků nebo column masky definované v materializovaném zobrazení nebo streamovaném table. Viz SHOW CREATE TABLE. Informace o filtrech řádků a maskách column najdete v tématu Filtrování citlivých table dat pomocí filtrů řádků a mask column.
  • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
  • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti proti Delta table zdrojům jsou teď neplatné, pokud je zdroj table přepsán. Tato změna znamená, že všechny změny stavu v Delta tables nyní zneplatňují výsledky uložené v mezipaměti. K zachování stavu .checkpoint() po celou dobu životnosti datového rámce použijte table.
  • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
  • [SPARK-48475][PYTHON] Optimize _get_jvm_function v PySparku.
  • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
  • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s grupováním podle nerovnocenných columns, které byly nesprávně povoleny
  • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
  • [SPARK-48100][SQL] Oprava problémů při vynechávání vnořených poli struktur, která nejsou vybrána v schema
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • Opravuje chybu where v optimalizaci pořadíwindow pomocí knihovny Photon TopK, která nesprávně zpracovávala oddíly se strukturami.
  • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
  • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • ( dbutils.widgets.getAll()) je nyní podporována get všechny values widgetu vpoznámkového bloku .
  • [SPARK-47994][SQL] Oprava chyby s chybou CASE WHEN column push down v SQLServeru
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
  • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
  • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
  • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • [SPARK-47638][PS][CONNECT] Přeskočit ověření názvu column v PS
  • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
  • [SPARK-47309][SQL][XML] Přidat testy inferenčních jednotek schema
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
  • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
  • [SPARK-47300][SQL] quoteIfNeeded by měly identifier začíná číslicemi
  • [SPARK-47368][SQL] Remove kontrola konfigurace InferTimestampNTZ v ParquetRowConverter
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • [SPARK-47322][PYTHON][CONNECT] Učinit zpracovávání duplicitních názvů konzistentním s withColumnsRenamedcolumnwithColumnRenamed
  • [SPARK-47300] Oprava pro DecomposerSuite
  • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
  • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Předávání tableidentifier k prohledávání řádkového datového zdroje pro strategii V2.
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • [SPARK-47044][SQL] Přidat spuštěný dotaz pro externí zdroje dat JDBC do výstupu explain
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • Vytvoření schema s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění UPRAVIT a SELECT u LIBOVOLNÉHO SOUBORU.
  • Teď můžete načítat soubory XML pomocí Autoloaderu, read_files, COPY INTO, DLT a DBSQL. Podpora souborů XML může automaticky odvodit a přizpůsobit schema, obnovit data s nesrovnalostmi typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
  • [SPARK-46248][SQL] XML: Podpora pro ignoreCorruptFiles a ignorovat MožnostiMissingFiles
  • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
  • [SPARK-46954][SQL] XML: Zabalení inputStreamReader s bufferedReader
  • [SPARK-46954][SQL] XML: vyhledávání indexu Optimizeschema
  • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy kanálu CDF (Change Data Feed) v Unity Catalog materializované views nejsou podporované a pokus o spuštění dotazu CDF s Catalog materializovaném zobrazením Unity vrátí chybu. Unity Catalog streamování tables podporuje dotazy CDF na jinéAPPLY CHANGEStables v Databricks Runtime 14.1 a novějších verzích. Dotazy CDF nejsou podporovány streamováním Unity Catalogtables v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46952] XML: Limit velikost poškozeného záznamu.
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46794]Remove poddotazů z omezení logických RDD.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
  • [SPARK-46941] Nelze insertwindow uzel skupiny limit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • [SPARK-45498] Sledování: Přeskočení dokončení úkolu ze starých pokusů o fázi
  • [SPARK-46382] XML: Update doc pro ignoreSurroundingSpaces.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
  • [SPARK-46677] Opravte dataframe["*"] řešení.
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
  • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
  • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
  • [SPARK-46382] XML: Zachytávání values interspersed mezi prvky.
  • [SPARK-46769] Upřesnit odvození související s časovými razítky schema.
  • [SPARK-46610] Vytvořit table by měla vyvolat výjimku, pokud v možnostech nemáte hodnotu klíče.
  • [SPARK-45964]Remove privátního přístupového objektu SQL v balíčku XML a JSON v rámci katalyzátoru.
  • Vrátit [SPARK-46769] Upřesnit časové razítko související s schema odvozováním.
  • [SPARK-45962]RemovetreatEmptyValuesAsNulls a místo toho použijte možnost nullValue ve formátu XML.
  • [SPARK-46541] Oprava nejednoznačného odkazu column v self join.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu explain, vrácený dotazem Photon, je aktualizován, aby přidal příznak causedBroadcastJoinBuildOOM=true, když během přeskupení, které je součástí přenosu join, dojde k chybě nedostatku paměti.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46538] Oprava nejednoznačného referenčního problému column v ALSModel.transform.
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
  • [SPARK-46153] XML: Přidání podpory TimestampNTZType
  • [SPARK-46152] XML: Přidat podporu DecimalType v odvození XML schema
  • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se table nebo zobrazení nenajde.
  • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
  • [SPARK-46394] Oprava Sparkcatalogproblémy se schématy .listDatabases() se speciálními znaky při přepnutí spark.sql.legacy.keepCommandOutputSchemaset na true.
  • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
  • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
  • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46602] Propagovat allowExisting při vytváření pohledu, pokud pohled anitable neexistuje.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
  • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
  • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46370] Oprava chyby při dotazování z table po změně výchozích hodnot column.
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
• 14. prosince 2023
  • Opravili jsme problém where řídicími podtržítky v getColumns operací pocházejících z klientů JDBC nebo ODBC, které byly nesprávně zpracovány a interpretovány jako zástupné znaky.
  • [SPARK-45509] Oprava referenčního chování column df pro Spark Connect.
  • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
  • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
  • [SPARK-46028] Umožnit Column.__getitem__ přijmout vstup column.
  • [SPARK-46255] Podpora komplexního typu –> převod řetězců
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • [SPARK-45433] Oprava schema odvození SOUBORU CSV/JSON, pokud časové razítka neodpovídají zadanému formátu časového razítka.
  • [SPARK-45316] Přidat nové parametersignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
  • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kde bylo v operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretováno použití "escape" znaků pro podtržítka (where), která byla vnímána jako zástupné znaky v operacích getColumns.
  • Při ingestování dat CSV pomocí Automatického zavaděče nebo streamování tablesmohou být nyní velké soubory CSV rozděleny a zpracovávány paralelně během vyvozování závěrů a zpracování dat schema.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45620] Rozhraní API související s uživatelem definovaného uživatelem Pythonu teď používají camelCase.
  • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Connect a SQL
  • [SPARK-45770] opravené column rozlišení pomocí DataFrameDropColumns pro Dataframe.drop.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-44784] Bylo provedeno testování hermetiky SBT.
  • Aktualizace zabezpečení operačního systému.
• 10. listopadu 2023
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45250] Přidání podpory pro profil prostředků úloh na úrovni fáze pro clustery yarn, když je dynamické přidělování vypnuté.
  • [SPARK-44753] Přidání čtečky a zapisovače datových rámců XML pro PySpark SQL
  • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidání SSLFactory
  • [SPARK-45577] Opraveno UserDefinedPythonTableFunctionAnalyzeRunner tak, aby bylo možné předávat přeložené values z pojmenovaných argumentů.
  • [SPARK-45562] Nasadili jsme požadovanou možnost rowTag.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-43380] Opravili jsme zpomalení čtení Avro.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45386] Opravili jsme problém, whereStorageLevel.NONE nesprávně vrátil hodnotu 0.
  • [SPARK-44219] Přidání kontrol ověření jednotlivých pravidel pro přepsání optimalizace
  • [SPARK-45543] Opravili jsme problém whereInferWindowGroupLimit, který způsoboval problém, pokud ostatní funkce window neměli stejný window rámec jako funkce podobné pořadí.
  • Aktualizace zabezpečení operačního systému.
• 27. září 2023
  • [SPARK-44823] Aktualizováno black na verzi 23.9.1 a opravili jsme chybnou kontrolu.
  • [SPARK-45339] PySpark teď protokoluje chyby, které opakuje.
  • Vraťte [SPARK-42946] Redacted sensitive data vnořená do proměnných substitucí.
  • [SPARK-44551] Upravované komentáře k sync s OSS.
  • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
  • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
  • [SPARK-45425] Namapováno TINYINT na ShortTypeMsSqlServerDialect .
  • [SPARK-45419] Odebrání položky mapování verzí souboru větších verzí, aby se zabránilo opakovanému použití rocksdb ID souborů sst.
  • [SPARK-45488] Přidání podpory pro hodnotu v rowTag elementu
  • [SPARK-42205] Odebrali jsme protokolování při Accumulables počátečních Task/Stage událostech v JsonProtocol protokolech událostí.
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • [SPARK-45256]DurationWriter při zápisu více values než počáteční kapacita selže.
  • [SPARK-43380] Opravili jsme Avro problémy s převodem datových typů, aniž by to způsobilo regresi výkonu.
  • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
  • [SPARK-45399] Přidání možností XML pomocí newOption.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.3 LTS

Viz Databricks Runtime 13.3 LTS.

• 26. listopadu 2024
  • [SPARK-49615] [ML] Nastavení všech datových sad transformátorů funkcí ML schema ověření, které odpovídá konfiguraci spark.sql.caseSensitive.
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyby pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl měnit schema pole při ořezávání GetArrayStructFields
• 25. září 2024
  • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • [SPARK-48719][SQL] Oprava chyby výpočtu regrSlope & RegrIntercept při prvním parametru s hodnotou null
  • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupy columns
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
• 14. srpna 2024
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
• 1. srpna 2024
  • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala nullvalues.
  • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
  • [SPARK-48463] Podpora pro StringIndexer s vnořenými vstupy columns
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti proti Delta table zdrojům jsou teď neplatné, pokud je zdroj table přepsán. Tato změna znamená, že všechny změny stavu v Delta tables nyní zneplatňují výsledky uložené v mezipaměti. K zachování stavu .checkpoint() po celou dobu životnosti datového rámce použijte table.
  • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s grupováním podle nerovnocenných columns, které byly nesprávně povoleny
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
  • [SPARK-48475][PYTHON] Optimize _get_jvm_function v PySparku.
  • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
  • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • ( dbutils.widgets.getAll()) je nyní podporována get všechny values widgetu vpoznámkového bloku .
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • [SPARK-47994][SQL] Oprava chyby s chybou CASE WHEN column push down v SQLServeru
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
  • [SPARK-46822][SQL] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc
  • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
  • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • [SPARK-44653][SQL] Jiné než triviální sjednocení datových rámců by neměly přerušit ukládání do mezipaměti.
  • Různé opravy chyb
• 11. dubna 2024
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
  • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
  • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
  • [SPARK-47368][SQL] Remove kontrola konfigurace InferTimestampNTZ v ParquetRowConverter
  • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ, where stav načítání ze systému souborů DFS selže.
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-47300][SQL] quoteIfNeeded by měly identifier začíná číslicemi
  • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47145][SQL] Předávání tableidentifier k prohledávání řádkového datového zdroje pro strategii V2.
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
  • [SPARK-47044][SQL] Přidat spuštěný dotaz pro externí zdroje dat JDBC do výstupu explain
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • Vytvoření schema s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění UPRAVIT a SELECT u LIBOVOLNÉHO SOUBORU.
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy kanálu CDF (Change Data Feed) v Unity Catalog materializované views nejsou podporované a pokus o spuštění dotazu CDF s Catalog materializovaném zobrazením Unity vrátí chybu. Unity Catalog streamování tables podporuje dotazy CDF na jinéAPPLY CHANGEStables v Databricks Runtime 14.1 a novějších verzích. Dotazy CDF nejsou podporovány streamováním Unity Catalogtables v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46794]Remove poddotazů z omezení logických RDD.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46941] Nelze insertwindow uzel skupiny limit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46610] Vytvořit table by měla vyvolat výjimku, pokud v možnostech nemáte hodnotu klíče.
  • [SPARK-46383] Snižte využití haldy ovladačů snížením životnosti TaskInfo.accumulables().
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu explain, vrácený dotazem Photon, je aktualizován, aby přidal příznak causedBroadcastJoinBuildOOM=true, když během přeskupení, které je součástí přenosu join, dojde k chybě nedostatku paměti.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46370] Oprava chyby při dotazování z table po změně výchozích hodnot column.
  • [SPARK-46370] Oprava chyby při dotazování z table po změně výchozích hodnot column.
  • [SPARK-46370] Oprava chyby při dotazování z table po změně výchozích hodnot column.
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46602] Propagovat allowExisting při vytváření pohledu, pokud pohled anitable neexistuje.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-46538] Oprava nejednoznačného referenčního problému column v ALSModel.transform.
  • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46394] Oprava Sparkcatalogproblémy se schématy .listDatabases() se speciálními znaky při přepnutí spark.sql.legacy.keepCommandOutputSchemaset na true.
  • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se table nebo zobrazení nenajde.
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
• 14. prosince 2023
  • Opravili jsme problém where řídicími podtržítky v getColumns operací pocházejících z klientů JDBC nebo ODBC, které byly nesprávně zpracovány a interpretovány jako zástupné znaky.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
  • [SPARK-45433] Oprava schema odvození SOUBORU CSV/JSON, pokud časové razítka neodpovídají zadanému formátu časového razítka.
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • Aktualizace zabezpečení operačního systému.
• 10. listopadu 2023
  • Partition Uplatňování filtrů na streamovací dotazy v Delta Lake se provádí před omezováním přenosové rychlosti, aby se dosáhlo lepšího využití.
  • Změnit dotazy datového zdroje na Unity Catalog, streamování tables a materializaci views tak, aby zobrazovaly chybové zprávy.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-44219] Přidání dalších ověření podle pravidel pro přepsání optimalizace
  • [SPARK-45543] Opravili jsme problém whereInferWindowGroupLimit, který způsoboval problém, pokud ostatní funkce window neměli stejný window rámec jako funkce podobné pořadí.
  • Aktualizace zabezpečení operačního systému.
• 23. října 2023
  • [SPARK-45256] Opravili jsme problém, který whereDurationWriter při zápisu více values než počáteční kapacity selhal.
  • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Pokud chcete restore předchozí chování, setspark.sql.legacy.negativeIndexInArrayInserttrue.
  • Opravili jsme problém, kdy nebyly ignorovány poškozené soubory při povolení ignoreCorruptFiles během odvozování schema souboru CSV pomocí automatického zavaděče.
  • Vrátit [SPARK-42946].
  • [SPARK-42205] aktualizoval protokol JSON tak, aby remove protokolování v událostech zahájení úlohy nebo fáze.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45316] Přidat nové parametersignoreCorruptFiles a ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
  • [SPARK-44740] pevných metadat values artefaktů.
  • [SPARK-45360] Inicializovaná konfigurace tvůrce relací Sparku z SPARK_REMOTE.
  • [SPARK-44551] Upravované komentáře k sync s OSS.
  • [SPARK-45346] Parquet schema inferování nyní respektuje nastavení citlivé na velká a malá písmena při slučování schema.
  • [SPARK-44658]ShuffleStatus.getMapStatus nyní vrátí místo NoneSome(null).
  • [SPARK-44840] Vytvořili array_insert() jsme 1 pro záporné indexy.
• 14. září 2023
  • [SPARK-44873] Byla přidána podpora pro alter view s vnořenými columns v klientovi Hive.
  • [SPARK-44878] Bylo vypnuto striktní limit pro manažera zápisu RocksDB, aby se předešlo výjimce při vkládání při dokončení mezipaměti.
• 30. srpna 2023
  • Příkaz dbutils cp (dbutils.fs.cp) byl optimalizován pro rychlejší kopírování. Díky tomuto vylepšení můžou operace kopírování v závislosti na velikosti souboru trvat až 100krát. Tato funkce je dostupná ve všech cloudech a souborových systémech přístupných v Databricks, včetně připojení Unity CatalogVolumes a DBFS.
  • [SPARK-44455] Identifikátory uvozovek s backticks ve výsledku SHOW CREATE TABLE .
  • [SPARK-44763] Opravili jsme problém, který v binární aritmetice s intervalem zobrazoval řetězec jako dvojitý řetězec.
  • [SPARK-44871] Opravené percentile_disc chování.
  • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [SPARK-44505] Přidání přepsání pro podporu sloupcových dat v nástroji Scan for DSv2
  • [SPARK-44479] Oprava převodu protobuf z prázdného typu struktury.
  • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
  • [SPARK-42941] Přidání podpory pro StreamingQueryListener v Pythonu
  • [SPARK-44558] Export úrovně protokolu Spark Connect pro PySpark
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají hodnotu Null jako první column.
  • [SPARK-44643] Opraveno Row.__repr__ , když je pole prázdný řádek.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS

Viz Databricks Runtime 12.2 LTS.

• 26. listopadu 2024
  • Různé opravy chyb
• 10. října 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl měnit schema pole při ořezávání GetArrayStructFields
• 25. září 2024
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • Různé opravy chyb
• 17. září 2024
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
  • Různé opravy chyb
• 14. srpna 2024
  • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-48463][ML] Umožnit StringIndexer podporováním vnořeného vstupu columns
  • Aktualizace zabezpečení operačního systému.
• 1. srpna 2024
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
• 1. srpna 2024
  • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 12.2 LTS z verze 3.9.5 na verzi 3.9.19.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti proti Delta table zdrojům jsou teď neplatné, pokud je zdroj table přepsán. Tato změna znamená, že všechny změny stavu v Delta tables nyní zneplatňují výsledky uložené v mezipaměti. K zachování stavu .checkpoint() po celou dobu životnosti datového rámce použijte table.
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • [SPARK-42741][SQL] Nevybalit přetypování v binárním porovnání, pokud je literál null
  • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s grupováním podle nerovnocenných columns, které byly nesprávně povoleny
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
  • Různé opravy chyb
• 21. května 2024
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-44251][SQL] Set nulovatelné správně u sloučeného klíče join při použití úplného vnějšího join
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
  • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
  • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ, where stav načítání ze systému souborů DFS selže.
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • Vytvoření schema s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění UPRAVIT a SELECT u LIBOVOLNÉHO SOUBORU.
  • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46794]Remove poddotazů z omezení logických RDD.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46394] Oprava Sparkcatalogproblémy se schématy .listDatabases() se speciálními znaky při přepnutí spark.sql.legacy.keepCommandOutputSchemaset na true.
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-43067] Opravte umístění souboru prostředků třídy chyb v konektoru Kafka.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46602] Propagovat allowExisting při vytváření pohledu, pokud pohled anitable neexistuje.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se table nebo zobrazení nenajde.
  • [SPARK-46538] Oprava nejednoznačného referenčního problému column v ALSModel.transform.
  • [SPARK-42852] Revert NamedLambdaVariable související změny z EquivalentExpressions.
• 14. prosince 2023
  • Opravili jsme problém where řídicími podtržítky v getColumns operací pocházejících z klientů JDBC nebo ODBC, které byly nesprávně zpracovány a interpretovány jako zástupné znaky.
  • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kde bylo v operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretováno použití "escape" znaků pro podtržítka (where), která byla vnímána jako zástupné znaky v operacích getColumns.
  • [SPARK-42205] Odebrané protokolování je možné v Stage událostech a Task zahájit je.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • Partition Uplatňování filtrů na streamovací dotazy v Delta Lake se provádí před omezováním přenosové rychlosti, aby se dosáhlo lepšího využití.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • [SPARK-42553] Zajistěte alespoň jednu časovou jednotku po intervalu.
  • [SPARK-45346] Parquet schema odvozování respektuje příznak, který rozlišuje velká a malá písmena, při slučování schema.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo pro třídění partition.
• 12. září 2023
  • [SPARK-44873] Přidána podpora pro alter view s vnořenými columns v klientu Hive.
  • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
  • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
  • [SPARK-44714] Zmírnění omezení překladu LCA v souvislosti s dotazy
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44504] Úloha údržby vyčistí načtené providers při chybě zastavení.
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstup řádků, které mají Null jako první column hodnotu.
  • Aktualizace zabezpečení operačního systému.
• 29. července 2023
  • Opravili jsme problém, který wheredbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
  • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
  • Aktualizace zabezpečení operačního systému.
• 24. července 2023
  • [SPARK-44337] Opravili jsme problém, který whereset polí Any.getDefaultInstance způsoboval chyby analýzy.
  • [SPARK-44136] Opravili jsme problém, který by vedl k tomu, že se whereStateManagerget materializoval u vykonavatele namísto v rámci řidiče v FlatMapGroupsWithStateExec.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Fotonizovaná approx_count_distinct.
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
  • [SPARK-43156][SPARK-43098] Rozšířený skalární test počtu poddotazů s vypnutým vypnutým testem decorrelateInnerQuery počtu poddotazů
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
  • Opravili jsme problém v Auto Loaderu, kde byly různé zdrojové formáty souborů where nekonzistentní, když zadaný schema neobsahoval odvozené oddíly. Tento problém může způsobit neočekávaná selhání při čtení souborů s chybějícími columns v inferovaném partitionschema.
  • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
  • [SPARK-43522] Opraveno vytváření názvu struktury column s indexem pole.
  • [SPARK-43541] Při řešení výrazů propagovat všechny značky Project a chybějící columns.
  • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
  • [SPARK-43123] metadata interních polí už neuniká do catalogs.
  • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
  • [SPARK-42444]DataFrame.drop teď zpracovává duplicitní columns správně.
  • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
  • [SPARK-43286] aktualizovaný režim aes_encrypt CBC na generate náhodných id.
  • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
• 17. května 2023
  • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
  • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s Auto Loaderem v režimu vývoje failOnNewColumnsschema, columns, které mají různé datové typy, se budou číst jako null místo vyvolání chyby uvádějící, že soubor nelze číst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
  • Auto Loader teď provede následující kroky.
  • • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
  • • Zabraňuje čtení typů intervalů jako typů kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
  • • Zabraňuje typům čtení Decimal s nižší přesností.
  • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
  • [SPARK-43293]__qualified_access_only se v normálním columnsignoruje .
  • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
  • [SPARK-43085] Podpora přiřazení columnDEFAULT pro názvy table s více částmi.
  • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
  • [SPARK-43192] Odebrání ověření znakové sady uživatelského agenta
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • Pokud byl soubor Parquet přečten pouze s možností failOnUnknownFields nebo s automatickým zavaděčem v režimu vývoje failOnNewColumnsschema a columns, které měly různé datové typy, by se četly jako null, místo aby byla vyvolána chyba oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
  • Auto Loader nyní správně čte a již nezachrání IntegerShort, a Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byla dříve povolena záchranná data column, neshoda datových typů by způsobila uložení columns, i když byly čitelné.
  • [SPARK-43009] Parametrizované sql() s Any konstantami
  • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
  • [SPARK-43038] Podpora režimu CBC podle aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
  • [SPARK-43018] Oprava chyby pro příkazy INSERT pomocí literálů časového razítka
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Podpora starších formátů zdroje dat v SYNC příkazu
  • Řeší problém v chování %automatického načítání v poznámkových blocích mimo úložiště.
  • Opravili jsme problém, kdy vývoj automatického zavaděče whereschema mohl přejít do nekonečné smyčky selhávání při zjištění nového column v schema vnořeného objektu JSON.
  • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
  • [SPARK-42936] Opraví problém LCan, když je možné klauzuli vyřešit přímo podřízenou agregací.
  • [SPARK-42967] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
  • Aktualizace zabezpečení operačního systému.
• 29. března 2023

  • Databricks SQL teď podporuje zadávání výchozích values pro columnstablesDelta Lake , a to buď při table době vytváření, nebo potom. Následující příkazy INSERT, UPDATE, DELETEa MERGE můžou odkazovat na výchozí hodnotu columnpomocí explicitního klíčového slova DEFAULT. Kromě toho, pokud nějaké přiřazení INSERT obsahuje explicitní list s méně columns než cílová table, zbývající column se nahradí odpovídajícími výchozími valuescolumns (nebo NULL, pokud není zadán žádný výchozí).

    Příklad:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • Auto Loader teď zahájí alespoň jedno synchronní vyčištění protokolu RocksDB pro Trigger.AvailableNow proudů a zkontroluje, že kontrolní bod může být get pravidelně vyčištěn pro rychlé toky Auto Loaderu. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.

  • Nyní můžete upravit Delta table a přidat podporu pro funkce table pomocí DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

  • [SPARK-42521] Přidat seznamy NUL pro inSERT s méně columns než cílový table

  • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

  • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

• 8. března 2023
  • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
  • Při přidávání funkcí do Delta table pomocí vlastnosti table došlo ke změně terminologie. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
  • Od této verze je možné vytvořit nebo nahradit table s další vlastností tabledelta.ignoreProtocolDefaults tak, aby ignorovala konfigurace Sparku, které souvisejí s protokolem, včetně výchozích verzí čtečky a zapisovače a funkcí table podporovaných ve výchozím nastavení.
  • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
  • [SPARK-41793] nesprávný výsledek pro rámce window definované klauzulí rozsahu u významných desetinných míst
  • [SPARK-42484] Nebezpečná službaRowUtils – lepší chybová zpráva
  • [SPARK-42516] Při vytváření views vždy zachytit konfiguraci časového pásma relace
  • [SPARK-42635] Oprava výrazu TimestampAdd
  • [SPARK-42622] vypnuto nahrazení v values
  • [SPARK-42534] Oprava klauzule DB2Dialect Limit
  • [SPARK-42121] Přidat předdefinované table-valued funkce posexplode, posexplode_outer, json_tuple a stack
  • [SPARK-42045] Režim ANSI SQL: Zaokrouhlení nebo Bround by mělo vrátit chybu u malého, malého nebo významného celočíselného přetečení
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Viz Databricks Runtime 11.3 LTS.

• 26. listopadu 2024
  • Různé opravy chyb
• 10. října 2024
  • Různé opravy chyb
• 25. září 2024
  • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • Různé opravy chyb
• 17. září 2024
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
• 14. srpna 2024
  • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-48463][ML] Umožnit StringIndexer podporováním vnořeného vstupu columns
  • Aktualizace zabezpečení operačního systému.
• 1. srpna 2024
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
• 1. srpna 2024
  • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 11.3 LTS z verze 3.9.5 na verzi 3.9.19.
• 11. července 2024
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Set nulovatelné správně u sloučeného klíče join při použití úplného vnějšího join
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ, where stav načítání ze systému souborů DFS selže.
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
• 13. února 2024
  • [SPARK-46794]Remove poddotazů z omezení logických RDD.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46602] Propagovat allowExisting při vytváření pohledu, pokud pohled anitable neexistuje.
  • [SPARK-46394] Oprava Sparkcatalogproblémy se schématy .listDatabases() se speciálními znaky při přepnutí spark.sql.legacy.keepCommandOutputSchemaset na true.
  • [SPARK-46538] Oprava nejednoznačného referenčního problému column v ALSModel.transform.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Opravili jsme problém where řídicími podtržítky v getColumns operací pocházejících z klientů JDBC nebo ODBC, které byly nesprávně zpracovány a interpretovány jako zástupné znaky.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kde bylo v operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretováno použití "escape" znaků pro podtržítka (where), která byla vnímána jako zástupné znaky v operacích getColumns.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • Partition Uplatňování filtrů na streamovací dotazy v Delta Lake se provádí před omezováním přenosové rychlosti, aby se dosáhlo lepšího využití.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • Vrátit [SPARK-33861].
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo pro třídění partition.
  • [SPARK-45346] Parquet schema inference nyní respektuje příznak rozlišující malá a velká písmena při slučování schema.
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
  • [SPARK-44504] Úloha údržby vyčistí načtené providers při chybě zastavení.
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstup řádků, které mají Null jako první column hodnotu.
  • Aktualizace zabezpečení operačního systému.
• 27. července 2023
  • Opravili jsme problém, který wheredbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
  • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
  • Aktualizace zabezpečení operačního systému.
• 24. července 2023
  • [SPARK-44136] Opravili jsme problém, který StateManager mohl get materializovaný v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Fotonizovaná approx_count_distinct.
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Test chyby rozšířeného poddotazového poddotazu s decorrelateInnerQuery vypnutým.
  • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
  • Opravili jsme problém v Auto Loaderu, kde byly různé zdrojové formáty souborů where nekonzistentní, když zadaný schema neobsahoval odvozené oddíly. Tento problém může způsobit neočekávaná selhání při čtení souborů s chybějícími columns v inferovaném partitionschema.
  • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
  • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
  • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Viz Databricks Runtime 10.4 LTS.

• 26. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • Aktualizace zabezpečení operačního systému.
• 25. září 2024
  • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
• 14. srpna 2024
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
  • [SPARK-48463][ML] Umožnit StringIndexer podporováním vnořeného vstupu columns
• 1. srpna 2024
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Set nulovatelné správně u sloučeného klíče join při použití úplného vnějšího join
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ, where stav načítání ze systému souborů DFS selže.
  • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46538] Oprava nejednoznačného referenčního problému column v ALSModel.transform.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • Vrátit [SPARK-33861].
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Aktualizace zabezpečení operačního systému.
• 13. října 2023
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo pro třídění partition.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44504] Úloha údržby vyčistí načtené providers při chybě zastavení.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování se teď zobrazuje jako neúspěšné dotazy správně.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Test počtu rozšířených skalárních poddotazů s decorrelateInnerQuery vypnutým vypnutým.
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
  • Opravili jsme problém v Auto Loaderu, kde byly různé zdrojové formáty souborů where nekonzistentní, když zadaný schema neobsahoval odvozené oddíly. Tento problém může způsobit neočekávaná selhání při čtení souborů s chybějícími columns v inferovaném partitionschema.
  • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
  • Aktualizace zabezpečení operačního systému.
• 17. května 2023
  • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
  • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
  • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Opravili jsme problém, kdy vývoj automatického zavaděče whereschema mohl přejít do nekonečné smyčky selhávání při zjištění nového column v schema vnořeného objektu JSON.
  • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
  • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
• 29. března 2023
  • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
  • [SPARK-42635] Opravte ...
  • Aktualizace zabezpečení operačního systému.
• 14. března 2023
  • [SPARK-41162] Opravit anti-join a polo-join pro s agregacemi
  • [SPARK-33206] Oprava výpočtu váhy mezipaměti indexu náhodného prohazování u malých indexových souborů
  • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
  • Různé opravy.
• 28. února 2023
  • Podpora vygenerována pro formát data column yyyy-MM-dd. Tato změna podporuje partition prořezávání pro yyyy-MM-dd jako formát_data ve vygenerovaných columns.
  • Uživatelé teď můžou číst a zapisovat specifické Delta tables, které vyžadují Reader verze 3 a Writer verze 7, prostřednictvím Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí aktuální verze Databricks Runtime podporovat funkce table uvedené v protokolu tables.
  • Podpora vygenerována pro formát data column yyyy-MM-dd. Tato změna podporuje partition prořezávání pro yyyy-MM-dd jako formát_data ve vygenerovaných columns.
  • Aktualizace zabezpečení operačního systému.
• 16. února 2023
  • [SPARK-30220] Povolení použití poddotazů mimo uzel filtru
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2023
  • Table typy tables JDBC jsou teď ve výchozím nastavení EXTERNÍ.
• 18. ledna 2023
  • Konektor Azure Synapse vrátí popisnější chybovou zprávu, když název column neobsahuje platné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
  • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
  • [SPARK-41198] Oprava metrik ve zdroji streamování dotazů having CTE a DSv1.
  • [SPARK-41339] Místo pouhého vymazání zavřete a znovu vytvořte dávku zápisu RocksDB.
  • [SPARK-41732] Použití vyřezávání založeného na stromové struktuře pro pravidlo SessionWindowing
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2022
  • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
    • csvignoreleadingwhitespacepři set až trueodebere počáteční prázdné znaky z values během zápisu, když je tempformat od set do CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace set až false. Výchozí hodnota je true.
    • csvignoretrailingwhitespace, když settrue, odebere koncové prázdné znaky z values při zápisu, když je tempformatset na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace set až false. Výchozí hodnota je true.
  • Opravili jsme problém s analýzou JSON v Auto Loaderu, když byly všechny columns ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly set nebo set na false) a JSON obsahoval vnořené objekty.
  • Aktualizace zabezpečení operačního systému.
• 15. listopadu 2022
  • Upgradovali jsme Apache commons-text na verzi 1.10.0.
  • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schema, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Chcete-li vyjádřit výslovný souhlas s vylepšeným chováním, setspark.sql.json.enablePartialResultstrue. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
  • [SPARK-40292] Oprava názvů column ve funkci arrays_zip při odkazování na pole z vnořených struktur
  • Aktualizace zabezpečení operačního systému.
• 1. listopadu 2022
  • Opravili jsme problém, pokud Delta obsahoval uživatelsky definovanou s názvem , ale při spuštění změnit datový kanál vypnutý, data v této nesprávně vyplnili hodnotu NULL .
  • Opravili jsme problém s automatickým zavaděčem where, kdy může být soubor duplikován ve stejné mikrodávce, pokud je povoleno allowOverwrites.
  • [SPARK-40697] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
  • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
  • Aktualizace zabezpečení operačního systému.
• 18. října 2022
  • Aktualizace zabezpečení operačního systému.
• 5. října 2022
  • [SPARK-40468] Oprava column vyřazení ve sdíleném svazku clusteru při výběru _corrupt_record.
  • Aktualizace zabezpečení operačního systému.
• 22. září 2022
  • Uživatelé můžou set spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) pro opětovné povolení integrovaného seznamu funkcí Auto Loader na ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
  • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
  • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
  • [SPARK-40380] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
  • [SPARK-38404] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
  • [SPARK-40089] Oprava řazení u některých typů desetinných míst
  • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
• 6. září 2022
  • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
  • [SPARK-40218] GROUPING SETS by měly zachovat seskupení columns.
  • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
  • [SPARK-40053] Přidejte assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu.
  • [SPARK-35542] Oprava: Bucketizer vytvořený pro více columns s parameters splitsArray, inputCols a outputCols nelze po uložení načíst.
  • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
• 24. srpna 2022
  • [SPARK-39983] Neuklášejte do mezipaměti neserializované relace vysílání na ovladači.
  • [SPARK-39775] Zakázat ověřování výchozí hodnoty values při analýze schémat Avro.
  • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
  • [SPARK-37643] Pokud je parametr charVarcharAsString pravdivý, měl by dotaz predikátu datového typu char přeskočit pravidlo rpadding.
  • Aktualizace zabezpečení operačního systému.
• 9. srpna 2022
  • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
  • [SPARK-39731] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
  • Aktualizace zabezpečení operačního systému.
• 27. července 2022
  • [SPARK-39625] Přidat Dataset.as(StructType).
  • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
  • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
  • [SPARK-39570] In-line table by mělo umožňovat výrazy s aliasem.
  • [SPARK-39702] Snižte režii paměti transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel.
  • [SPARK-39575] přidat ByteBuffer#rewind po ByteBuffer#get v AvroDeserializer.
  • [SPARK-39476] Zakázat přetypování unwrap optimize při přetypování z dlouhé na plovoucí/ dvojitou nebo z celého čísla na hodnotu Float.
  • [SPARK-38868] Při optimalizaci vnějších spojení nešíření výjimek z predikátu filtru.
  • Aktualizace zabezpečení operačního systému.
• 20. července 2022
  • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
  • [SPARK-39355] Single column používá uvozovky k vytvoření UnresolvedAttribute.
  • [SPARK-39548] Příkaz CreateView s dotazem klauzule window způsobil chybu s nesprávnou definicí window, kterou se nepodařilo najít.
  • [SPARK-39419] Oprava ArraySort vyvolá výjimku, když srovnávací program vrátí hodnotu null.
  • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
  • Aktualizace zabezpečení operačního systému.
• 5. července 2022
  • [SPARK-39376] Skrýt duplikované columns v rozšíření hvězdičkou aliasů poddotazu z NATURAL/USING JOIN
  • Aktualizace zabezpečení operačního systému.
• 15. června 2022
  • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
  • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
  • [SPARK-34096] Zlepšit výkon pro "nth_value" s ignorováním hodnot null nad offsetwindow.
  • [SPARK-36718] Opravte vrácení se změnami isExtractOnly sbalit projekt.
• 2. června 2022
  • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem.
  • [SPARK-38990] Při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu se vyhněte výjimce NullPointerException.
  • Aktualizace zabezpečení operačního systému.
• 18. května 2022
  • Opravuje potenciální nevracení paměti v automatickém zavaděče.
  • [SPARK-38918] Vnořené column ořezávání by mělo odstranit atributy, které nepatří do aktuální relace.
  • [SPARK-37593] Pokud se používají G1GC a ON_HEAP, zmenšete výchozí velikost stránky LONG_ARRAY_OFFSET.
  • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu.
  • [SPARK-32268] Přidání columnPruningu v nástroji injectBloomFilter
  • [SPARK-38974] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích list.
  • [SPARK-38931] Vytvořte kořenový adresář dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu.
  • Aktualizace zabezpečení operačního systému.
• 19. dubna 2022
  • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
  • Opravili jsme problém s nefunkčními knihovnami s vymezenými poznámkovými bloky v úlohách dávkového streamování.
  • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
  • Aktualizace zabezpečení operačního systému.
• 6. dubna 2022
  • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
    • timestampadd() and dateadd(): Do výrazu časového razítka přidejte dobu trvání v zadané jednotce.
    • timestampdiff() and datediff(): Výpočet časového rozdílu mezi výrazy dvou časových razítek v zadané jednotce.
  • Parquet-MR byl upgradován na verzi 1.12.2
  • Vylepšená podpora komplexních schémat v souborech parquet
  • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
  • [SPARK-38509][SPARK-38481] Cherry-pick tři timestmapadd/diff změny.
  • [SPARK-38523] Oprava odkazující na poškozený záznam column ze souboru CSV.
  • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
  • [SPARK-38437] Lenient serializace datetime ze zdroje dat.
  • [SPARK-38180] Povolte bezpečné přetypování výrazů v korelovaných predikátech rovnosti.
  • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

Viz Databricks Runtime 9.1 LTS.

• 26. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • Aktualizace zabezpečení operačního systému.
• 25. září 2024
  • [SPARK-49000][SQL] Opravit „select count(distinct 1) z t“ where t je prázdné table rozšířením RewriteDistinctAggregates
  • Aktualizace zabezpečení operačního systému.
• 6. září 2024
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
  • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
• 14. srpna 2024
• 1. srpna 2024
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Set nulovatelné správně u sloučeného klíče join při použití úplného vnějšího join
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • Různé opravy chyb
• 11. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém where, kdy použití místní kolekce jako zdroje v příkazu MERGE může způsobit, že metrika numSourceRows hlásí dvojnásobný počet řádků než je správně.
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Aktualizace zabezpečení operačního systému.
• 13. října 2023
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • [SPARK-43098] Oprava chyby počet správnosti, pokud skalární poddotaz má klauzuli group by.
  • [SPARK-43156][SPARK-43098] Rozšíření testu chyb počtu poddotazů skalárních poddotazů s decorrelateInnerQuery vypnutým.
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery.
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
  • Opravili jsme problém v Auto Loaderu, kde byly různé zdrojové formáty souborů where nekonzistentní, když zadaný schema neobsahoval odvozené oddíly. Tento problém může způsobit neočekávaná selhání při čtení souborů s chybějícími columns v inferovaném partitionschema.
  • [SPARK-37520]startswith() Přidání funkcí a endswith() řetězců
  • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
  • Aktualizace zabezpečení operačního systému.
• 17. května 2023
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Opravili jsme problém, kdy vývoj automatického zavaděče whereschema mohl přejít do nekonečné smyčky selhávání při zjištění nového column v schema vnořeného objektu JSON.
  • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
• 29. března 2023
  • Aktualizace zabezpečení operačního systému.
• 14. března 2023
  • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
  • Různé opravy.
• 28. února 2023
  • Uživatelé teď můžou číst a zapisovat specifické Delta tables, které vyžadují Reader verze 3 a Writer verze 7, prostřednictvím Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí aktuální verze Databricks Runtime podporovat funkce table uvedené v protokolu tables.
  • Aktualizace zabezpečení operačního systému.
• 16. února 2023
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2023
  • Table typy tables JDBC jsou teď ve výchozím nastavení EXTERNÍ.
• 18. ledna 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2022
  • Opravili jsme problém s analýzou JSON v Auto Loaderu, když byly všechny columns ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly set nebo set na false) a JSON obsahoval vnořené objekty.
  • Aktualizace zabezpečení operačního systému.
• 15. listopadu 2022
  • Upgradovali jsme Apache commons-text na verzi 1.10.0.
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 1. listopadu 2022
  • Opravili jsme problém, pokud Delta obsahoval uživatelsky definovanou s názvem , ale při spuštění změnit datový kanál vypnutý, data v této nesprávně vyplnili hodnotu NULL .
  • Opravili jsme problém s automatickým zavaděčem where, kdy může být soubor duplikován ve stejné mikrodávce, pokud je povoleno allowOverwrites.
  • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
  • Aktualizace zabezpečení operačního systému.
• 18. října 2022
  • Aktualizace zabezpečení operačního systému.
• 5. října 2022
  • Různé opravy.
  • Aktualizace zabezpečení operačního systému.
• 22. září 2022
  • Uživatelé můžou set spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") pro opětovné povolení vestavěného výpisu pro automatické zpracování v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
  • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
  • [SPARK-40089] Oprava řazení u některých typů desetinných míst
  • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
• 6. září 2022
  • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
  • [SPARK-35542] Oprava: Bucketizer vytvořený pro více columns se parameters splitsArray, inputCols a outputCols nelze načíst po uložení.
  • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
• 24. srpna 2022
  • [SPARK-39666] Použití UnsafeProjection.create k respektu spark.sql.codegen.factoryMode ve výrazuEncoder
  • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
  • Aktualizace zabezpečení operačního systému.
• 9. srpna 2022
  • Aktualizace zabezpečení operačního systému.
• 27. července 2022
  • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
  • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
  • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get .AvroDeserializer
  • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
  • Aktualizace zabezpečení operačního systému.
• 13. července 2022
  • [SPARK-39419]ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
  • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
  • Aktualizace zabezpečení operačního systému.
• 5. července 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 15. června 2022
  • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
• 2. června 2022
  • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
  • Aktualizace zabezpečení operačního systému.
• 18. května 2022
  • Opravili jsme potenciální nevracení paměti v automatickém zavaděče.
  • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
  • [SPARK-38918] Vnořené column prořezávání by mělo vyfiltrovat atributy, které nepatří do aktuální relace
  • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
  • Aktualizace zabezpečení operačního systému.
• 19. dubna 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 6. dubna 2022
  • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
  • Aktualizace zabezpečení operačního systému.
• 22. března 2022
  • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s povoleným řízením přístupu table nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byla /databricks/driverslužba Active Directory .
  • [SPARK-38437] Lenient serializace datetime ze zdroje dat
  • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
  • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
• 14. března 2022
  • [SPARK-38236] absolutní cesty k souborům zadaným v table create/alter jsou považovány za relativní.
  • [SPARK-34069] přerušit vlákno úlohy, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCELset true.
• 23. února 2022
  • [SPARK-37859] SQL tables vytvořené pomocí JDBC se Sparkem 3.1 nejsou čitelné pomocí Sparku 3.2.
• 8. února 2022
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • Aktualizace zabezpečení operačního systému.
• 1. února 2022
  • Aktualizace zabezpečení operačního systému.
• 26. ledna 2022
  • Opravili jsme problém, kdy souběžné transakce where na Deltě tables mohly za určitých vzácných podmínek potvrdit v neserializovatelném pořadí.
  • Opravili jsme problém, kdy příkaz whereOPTIMIZE mohl selhat při povoleném dialektu ANSI SQL.
• 19. ledna 2022
  • Menší opravy a vylepšení zabezpečení
  • Aktualizace zabezpečení operačního systému.
• 4. listopadu 2021
  • Opravili jsme problém, který mohl způsobit selhání datových proudů strukturovaného streamování s chybou ArrayIndexOutOfBoundsException.
  • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
  • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
• 20. října 2021
  • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.