Sdílet prostřednictvím

Aktualizace údržby Databricks Runtime

  • Článek

Tento článek obsahuje seznam aktualizací údržby podporovaných verzí databricks Runtime. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster. Informace o aktualizacích údržby v nepodporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby pro Databricks Runtime (archivované).

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat několik dní po počátečním datu vydání.

Verze Databricks Runtime

Aktualizace údržby podle verze:

Databricks Runtime 16.1

Viz Databricks Runtime 16.1.

  • 27. listopadu 2024
    • Tato verze obsahuje opravu problému, který může způsobit vyřazení primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickým komprimacem pozadí.
    • V této verzi se velikost mezipaměti používaná ssd ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí ukládání do mezipaměti v Azure Databricks.
    • [SPARK-50338][CORE] Udělat výjimky LazyTry méně rozsáhlé
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.0

Viz Databricks Runtime 16.0.

  • 4. prosince 2024
    • Příkaz USE CATALOG teď podporuje klauzuli IDENTIFIER. S touto podporou můžete parametrizovat aktuální katalog na základě řetězcové proměnné nebo značky parametru.
    • Tato verze obsahuje opravu problému, který může způsobit vyřazení primárního klíče v tabulce Delta v určitých okrajových případech souvisejících s automatickou kompresí na pozadí.
    • V této verzi se velikost mezipaměti používaná ssd ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí ukládání do mezipaměti v Azure Databricks.
    • [SPARK-50322][SQL] Oprava parametrizovaného identifikátoru v dílčím dotazu
    • [SPARK-50034][CORE] Oprava nesprávného hlášení závažných chyb jako nezachycených výjimek v SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Oprava problému s přetečením MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Podpora výrazu IDENTIFIER v příkazu SETCATALOG
    • [SPARK-50426][PYTHON] Vyhněte se vyhledávání statických zdrojů dat v Pythonu při použití předdefinovaných nebo java zdrojů dat
    • [SPARK-50338][CORE] Udělat výjimky LazyTry méně rozsáhlé
    • Aktualizace zabezpečení operačního systému.
  • 10. prosince 2024
    • (zásadní změna) Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje chybějící složenou závorku a byl dříve přijat Photon, nyní selže. Pokud chcete tento výraz opravit, můžete escapovat znak složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících znakům, které nejsou ASCII. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
    • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
    • Teď můžete nastavit časový limit pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na výpočetních prostředcích bez serveru a sdílených clusterech nemají časový limit, pokud není nastavena tato vlastnost konfigurace. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Oprava změny komentáře u sloupců typu char/varchar
    • [SPARK-49924][SQL] Zachovat containsNull po nahrazení ArrayCompact
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-48780][SQL] Zobecnit chyby v NamedParametersSupport pro lepší zpracování funkcí a procedur
    • [SPARK-49876][CONNECT] Zbavit se globálních zámků ze služby Spark Connect
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci sparku spark.sql.caseSensitive
    • [SPARK-48782][SQL] Přidání podpory pro provádění procedur v katalogech
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve spojení stream-stream (oprava správnosti)
    • Vrátit "[SPARK-49002][SQL] Konzistentně zpracovat neplatná umístění v WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
    • [SPARK-50028][CONNECT] Nahrazení globálních zámků v posluchači serveru Spark Connect pomocí jemně odstupňovaných zámků
    • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
    • [SPARK-50124][SQL] LIMIT/OFFSET by se mělo zachovat pořadí dat.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.4

Viz Databricks Runtime 15.4 LTS.

  • 10. prosince 2024
    • Příkaz USE CATALOG teď podporuje klauzuli IDENTIFIER. Díky této podpoře můžete parametrizovat aktuální katalog na základě řetězcové proměnné nebo značky parametru.
    • Tato verze obsahuje opravu problému, který může způsobit vyřazení primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickým komprimacem pozadí.
    • V této verzi se velikost mezipaměti používaná ssd ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí ukládání do mezipaměti v Azure Databricks.
    • Balíček pyodbc se aktualizuje z verze 4.0.38 na verzi 4.0.39. Tato změna se vyžaduje, protože ve verzi 4.0.38 byla nalezena chyba a tato verze byla odebrána z PyPI.
    • [SPARK-50329][SQL] oprava InSet$toString
    • [SPARK-47435][SQL] Oprava problému s přetečením MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Podpora výrazu IDENTIFIER v příkazu SETCATALOG
    • [SPARK-50426][PYTHON] Vyhněte se vyhledávání statických zdrojů dat v Pythonu při použití předdefinovaných nebo java zdrojů dat
    • [SPARK-48863][SQL] Oprava výjimky ClassCastException při parsování JSON s povolenou možností "spark.sql.json.enablePartialResults"
    • [SPARK-50310][PYTHON] Přidání příznaku pro zakázání prvku DataFrameQueryContext pro PySpark
    • [15.3-15.4] [[SPARK-50034]]https://issues.apache.org/jira/browse/SPARK-50034)[CORE] Oprava chybného hlášení závažných chyb jako nezachycených výjimek v SparkUncaughtExceptionHandler
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
    • Teď můžete nastavit časový limit pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na výpočetních prostředcích bez serveru a sdílených clusterech nemají časový limit, pokud není nastavena tato vlastnost konfigurace. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Oprava parametrizovaného identifikátoru v dílčím dotazu
    • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
    • [SPARK-50124][SQL] LIMIT/OFFSET by se mělo zachovat pořadí dat.
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • (zásadní změna) Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje chybějící složenou závorku a byl dříve přijat Photon, nyní selže. Pokud chcete tento výraz opravit, můžete escapovat znak složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících znakům, které nejsou ASCII. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49829] Upravit optimalizaci přidávání vstupu do úložiště stavu ve spojení stream-stream (oprava chyb)
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49443][SQL][PYTHON] Implementace výrazu to_variant_object a vytvoření výrazů schema_of_variant tisk OBJECT pro variantní objekty
    • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci sparku spark.sql.caseSensitive.
  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49867][SQL] Zlepšení chybové zprávy, když je index mimo hranice při volání GetColumnByOrdinal
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49829] Zkontrolovat optimalizaci přidávání vstupu do stavového úložiště při propojení streamů (oprava chyb)
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49443][SQL][PYTHON] Implementace výrazu to_variant_object a vytvoření výrazů schema_of_variant tisk OBJECT pro variantní objekty
    • [SPARK-49615] Oprava chyby: Ověření schématu sloupce pro ML bude odpovídat konfiguraci Spark spark.sql.caseSensitive.
  • 10. října 2024
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t," kde t je prázdná tabulka, rozšířením strategie přepisování agregací distinct.
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
    • [SPARK-49017][SQL] Příkaz Insert selže, když se používá více parametrů
    • [SPARK-49451] Povolit duplicitní klíče v parse_json
    • Různé opravy chyb
  • 17. září 2024
    • [SPARK-48463][ML] Upravte Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OneHotEncoder, StopWordsRemover, Imputer, Interactor pro podporu vnořených vstupních sloupců
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Podpora cest ve stylu Windows v ArtifactManageru
    • Vrátit zpět "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark by měl přijmout proměnné délky args"
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49366][CONNECT] Považujte uzel sjednocení za list při řešení sloupců dataframeu.
    • [SPARK-49018][SQL] Oprava, approx_count_distinct nefunguje správně s kolací
    • [SPARK-49460][SQL] Odebrat cleanupResource() z EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-49336][CONNECT] Omezte úroveň vnoření při zkrácení zprávy protobuf.
  • 29. srpna 2024
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49074][SQL] Oprava varianty pomocí df.cache()
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-48955][SQL] Zahrnout změny ArrayCompact ve verzi 15.4
    • [SPARK-48937][SQL] Přidání podpory kolace pro řetězcové výrazy StringToMap
    • [SPARK-48929] Oprava vnitřní chyby zobrazení a vyčištění kontextu výjimek analyzátoru
    • [SPARK-49125][SQL] Povolit duplicitní názvy sloupců při zápisu CSV
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-48981] Oprava metody simpleString StringType v pyspark pro kolace
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48725][SQL] Integrace collationAwareUTF8String.lowerCaseCodePoints do řetězcových výrazů
    • [SPARK-48978][SQL] Implementace rychlé cesty ASCII v podpoře kolace pro UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu přípojení do chybového rámce
    • [SPARK-48977][SQL] Optimalizace prohledávání řetězců v rámci kolace UTF8_LCASE
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48463] Umožnit StringIndexer podporovat vnořené vstupní sloupce
    • [SPARK-48954] try_mod() nahrazuje try_remainder()
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.3

Viz Databricks Runtime 14.3 LTS.

  • 10. prosince 2024
    • Tato verze obsahuje opravu problému, který může vést k vyřazení primárního klíče na tabulce Delta v určitých hraničních případech souvisejících s automatickou kompresí na pozadí.
    • [SPARK-50329][SQL] oprava InSet$toString
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • [SPARK-49615] [ML] Zajistit, aby všechna ověření schématu datových sad převodníků atributů ML odpovídala konfiguraci „spark.sql.caseSensitive“.
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikace chybové třídy pro chybu uživatelské funkce v sinku Foreach
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyb pro uživatelskou funkci jímky Foreach
    • [SPARK-49829] Revidovat optimalizaci přidávání vstupu do úložiště stavu ve spojení stream-stream (oprava správnosti)
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
  • 25. září 2024
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49000][SQL] Oprava dotazu "select count(distinct 1) from t", kde t je prázdná tabulka, rozšířením funkce RewriteDistinctAggregates.
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezte úroveň vnoření pro zkrácení zprávy protobuf.
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-48463][ML] Umožnit Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer a Interactor podporovat vnořené vstupní sloupce
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Považovat uzel sjednocení za list při rozlišení sloupců v datovém rámci.
  • 29. srpna 2024
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojování do rámce chyb
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Vizte omezení a požadavky na streamování pro Unity Catalog ve sdíleném přístupovém režimu.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
    • [SPARK-48463] Upravit StringIndexer pro podporu vnořených vstupních sloupců
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-47713][SQL][CONNECT] Oprava selhání samoobslužného připojení
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti pro zdroje tabulek Delta jsou nyní zneplatněny, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
    • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů se skupinami podle nesouměřitelných sloupců, které byly nesprávně povoleny
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku.
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48294][SQL] Zpracování malých písmen v nestedTypeMissingElementTypeError
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • (změna chování) dbutils.widgets.getAll() je nyní podporována, aby získaly všechny hodnoty widgetů v poznámkovém bloku.
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48146][SQL] Oprava agregační funkce ve výrazu podřízený kontrolní výraz
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • [SPARK-48180][SQL] Zlepšení chybové zprávy, když volání UDTF s argumentem TABLE zapomene závorky kolem více výrazů PARTITION/ORDER BY
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide v případě desetinných míst
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda
    • [SPARK-47994][SQL] Oprava chyby ve filtru sloupců pro CASE WHEN při propagaci v SQLServeru
    • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • (Změna chování) applyInPandas a mapInPandas typy UDF se teď podporují ve výpočetním režimu sdíleného přístupu, na kterém běží Databricks Runtime 14.3 a novější.
    • [SPARK-47739][SQL] Registrace logického typu avro
    • [SPARK-47941] [SS] [Připojit] Šíření chyb inicializace pracovních procesů ForeachBatch uživatelům pro PySpark
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-47543][CONNECT][PYTHON] Odvození diktování jako Mapype z datového rámce Pandas za účelem povolení vytváření datového rámce
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Pro vyčištění provádění použijte asynchronní zpětné volání.
    • [SPARK-47764][JÁDRO][SQL] Vyčištění závislostí náhodného prohazu na základě shuffleCleanupMode
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47543][CONNECT][PYTHON] Odvození dict z MapType datového rámce Pandas za účelem povolení vytváření datového rámce
    • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy na straně klienta
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
    • [SPARK-47862][PYTHON][CONNECT]Oprava generování souborů proto
    • Vrácení kódu [SPARK-47543][CONNECT][PYTHON] Odvozování dict z MapType datového rámce Pandas kvůli povolení vytváření datového rámce
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyzovat
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
      • Funkce definované uživatelem s návratovým typem string již implicitně nepřevádějí ne-string hodnoty na hodnoty string. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
      • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamptimezone.
      • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
      • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
      • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
    • Datový typ TimestampNTZ je nyní podporován jako clusteringový sloupec s tekutým clusteringem. Viz Použijte shlukování liquid pro tabulky Delta.
    • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47638][PS][CONNECT] Přeskočit ověření názvu sloupce v PS
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do scanování řádkového datového zdroje v rámci strategie V2.
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47121][JÁDRO] Vyhněte se odmítnutíExecutionExceptions během vypnutí StandaloneSchedulerBackend
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • [SPARK-46999][SQL] VýrazWithUnresolvedIdentifier by měl obsahovat další výrazy ve stromu výrazů.
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokol pro naslouchací proces na straně klienta
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a ÚPRAVám u ANY FILE.
    • [SPARK-47071][SQL] Vložený výraz With, pokud obsahuje speciální výraz
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46993][SQL] Oprava skládání konstant pro proměnné relace
    • Aktualizace zabezpečení operačního systému.
  • 3. ledna 2024
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-46954] XML: Zabalení InputStreamReader s BufferedReader.
    • [SPARK-46655] Přeskočte kontext dotazu zachytávání v DataFrame metodách.
    • [SPARK-44815] Cache df.schema, abyste se vyhnuli dodatečnému RPC.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu.
    • [SPARK-46794] Odebrání poddotazů z omezení LogicalRDD.
    • [SPARK-46736] zachovat prázdné pole zprávy v konektoru protobuf.
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46414] K vykreslení importů javascriptu použijte prependBaseUri.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46954] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
    • [SPARK-46731] Správa instance zprostředkovatele úložiště stavu podle zdroje dat stavu – čtenář.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46610] Vytvořit tabulku by měla vyvolat výjimku, pokud v možnostech neexistuje žádná hodnota klíče.
    • [SPARK-46941] Nelze vložit uzel limitu pro skupinu oken při výpočtu top-k, pokud je přítomna funkce SizeBasedWindowFunction.
    • [SPARK-45433] Opravte odvození schématu CSV/JSON, pokud časová razítka neodpovídají zadanému formátu časového razítka.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46227] Backport to 14.3.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.1

Viz Databricks Runtime 14.1.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
  • 10. října 2024
    • [BACKPORT] [[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu chyb pro chybu uživatelské funkce FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by při vyřazování Polí GetArrayStructFields neměl měnit pole schématu
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t" kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • 14. srpna 2024
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48050][SS] Log logical plan at query start
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojům tabulek Delta jsou nyní zneplatněny, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku.
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s použitím GROUP BY na neekvivalentních sloupcích, kdy byly nesprávně povoleny.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • [SPARK-47638][PS][CONNECT] Přeskočit ověření názvu sloupce v PS
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
    • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátor začínající číslicemi.
    • [SPARK-47368][SQL] Odstranění kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47322][PYTHON][CONNECT] Umožňuje duplikování názvů sloupců withColumnsRenamed konzistentně s withColumnRenamed
    • [SPARK-47300] Oprava pro DecomposerSuite
    • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do provádění skenování zdroje dat ve formátu řádku pro strategii V2.
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění na SELECT a oprávnění ÚPRAV na libovolný soubor.
    • Teď můžete načítat soubory XML pomocí Autoloaderu, read_files, COPY INTO, DLT a DBSQL. Podpora souborů XML může automaticky odvodit a vyvíjet schéma, ukládat data s neshodami typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
    • [SPARK-46248][SQL] XML: Podpora pro ignoreCorruptFiles a ignorovat MožnostiMissingFiles
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Zabalení inputStreamReader s bufferedReader
    • [SPARK-46954][SQL] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
    • Aktualizace zabezpečení operačního systému.
  • 8. února 2024
    • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Unity Catalog podporují dotazy CDF na tabulky, které nejsou typuAPPLY CHANGES, v rámci Databricks Runtime 14.1 a novější. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu.
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46794] Odebrání poddotazů z omezení logického RDD.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46941] Nejde vložit uzel omezení pro skupiny oken při výpočtu top-k, pokud obsahuje SizeBasedWindowFunction.
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
    • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-45498] Sledování: Přeskočení dokončení úkolu ze starých pokusů o fázi
    • [SPARK-46382] XML: Aktualizace dokumentace pro ignoreSurroundingSpaces.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
    • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
    • [SPARK-46382] XML: Zachytávání hodnot mezi prvky.
    • [SPARK-46769] Zlepšení odvození schématu souvisejícího s časovým razítkem.
    • [SPARK-46610] Vytvořit tabulku by měla vyvolat výjimku, pokud v možnostech neexistuje žádná hodnota klíče.
    • [SPARK-45964] Odebrání privátního přístupového prvku SQL v balíčku XML a JSON v rámci balíčku Catalyst.
    • Vrátit [SPARK-46769] upřesnit odvození schématu související s časovým razítkem.
    • [SPARK-45962] Odebrat treatEmptyValuesAsNulls a místo toho použít možnost nullValue ve formátu XML.
    • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec při samonapojení.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když dojde k chybě nedostatku paměti během náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
    • [SPARK-46153] XML: Přidání podpory TimestampNTZType
    • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se nenajde tabulka nebo zobrazení.
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46394] Oprava problémů spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
    • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
    • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46602] propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistují.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Opravit chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se maskovaná podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně zpracovávala a interpretovala se jako zástupné znaky.
    • [SPARK-45509] Oprava chování odkazu na sloupec "df" pro Spark Connect.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
    • [SPARK-46028] Umožnit Column.__getitem__ přijímat vstupní sloupec.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • [SPARK-45433] Oprava odvozování schématu CSV/JSON, pokud časová razítka neodpovídají zadanému formátu.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • Při načítání dat CSV pomocí automatického načítání nebo streamovaných tabulek jsou teď velké soubory CSV rozděleny a je možné je zpracovávat paralelně během odvozování schématu i zpracování dat.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45620] Rozhraní API související s uživatelem definovaného uživatelem Pythonu teď používají camelCase.
    • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Connect a SQL
    • [SPARK-45770] pevné rozlišení sloupců s DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Bylo provedeno testování hermetiky SBT.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45250] Přidání podpory pro profil prostředků úloh na úrovni fáze pro clustery yarn, když je dynamické přidělování vypnuté.
    • [SPARK-44753] Přidání čtečky a zapisovače datových rámců XML pro PySpark SQL
    • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidání SSLFactory
    • [SPARK-45577] Opraveno UserDefinedPythonTableFunctionAnalyzeRunner, aby předával složené hodnoty z pojmenovaných argumentů.
    • [SPARK-45562] Nasadili jsme požadovanou možnost rowTag.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-43380] Opravili jsme zpomalení čtení Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE nesprávně vrátil hodnotu 0.
    • [SPARK-44219] Přidání kontrol ověření jednotlivých pravidel pro přepsání optimalizace
    • [SPARK-45543] Opravili jsme problém, kdy InferWindowGroupLimit vedl k problému, pokud ostatní funkce okna neměly stejný rámec okna jako funkce podobné funkcím rank.
    • Aktualizace zabezpečení operačního systému.
  • 27. září 2023
    • [SPARK-44823] Aktualizováno black na verzi 23.9.1 a opravili jsme chybnou kontrolu.
    • [SPARK-45339] PySpark teď protokoluje chyby, které opakuje.
    • Vraťte [SPARK-42946] Redacted sensitive data vnořená do proměnných substitucí.
    • [SPARK-44551] Upravili komentáře pro synchronizaci s OSS.
    • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
    • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
    • [SPARK-45425] Namapováno TINYINT na ShortTypeMsSqlServerDialect .
    • [SPARK-45419] Odebrání položky mapování verzí souboru větších verzí, aby se zabránilo opakovanému použití rocksdb ID souborů sst.
    • [SPARK-45488] Přidání podpory pro hodnotu v rowTag elementu
    • [SPARK-42205] Odebrali jsme protokolování při Accumulables počátečních Task/Stage událostech v JsonProtocol protokolech událostí.
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter selže při zápisu více hodnot než počáteční kapacita.
    • [SPARK-43380] Opravili jsme Avro problémy s převodem datových typů, aniž by to způsobilo regresi výkonu.
    • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
    • [SPARK-45399] Přidání možností XML pomocí newOption.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.3 LTS

Viz Databricks Runtime 13.3 LTS.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • [SPARK-49615] [ML] Zajistit, aby ověřování schématu datových sad transformátorů funkcí ML odpovídalo konfiguraci "spark.sql.caseSensitive".
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyb pro uživatelskou funkci jímky Foreach
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
    • [BACKPORT] [[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasifikovat třídu chyb pro uživatelskou funkci jímky Foreach
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by při vyřazování Polí GetArrayStructFields neměl měnit pole schématu
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-48719][SQL] Oprava chyby výpočtu regrSlope & RegrIntercept při prvním parametru s hodnotou null
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t" kde t je prázdná tabulka rozšířením funkce RewriteDistinctAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
  • 14. srpna 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48463] Udělat StringIndexer podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti napojené na zdroje tabulek Delta jsou nyní zneplatněny, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48503][SQL] Oprava neplatného skalárního poddotazu s klauzulí GROUP BY na nerovnocenných sloupcích, které byly nesprávně povoleny
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-46822][SQL] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-44653][SQL] Jiné než triviální sjednocení datových rámců by neměly přerušit ukládání do mezipaměti.
    • Různé opravy chyb
  • 11. dubna 2024
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • [SPARK-47368][SQL] Odebrání kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte pro případ selhání načítání ze systému souborů DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátory začínající číslicemi.
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do skenování zdroje dat pro řádková data pro strategii V2.
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním nyní vyžaduje, aby měl uživatel oprávnění k SELECT a modifikacím u JAKÉHOKOLI SOUBORU.
    • Aktualizace zabezpečení operačního systému.
  • 8. února 2024
    • Dotazy ohledně změny datového toku (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením v katalogu Unity vrátí chybu. Streamovací tabulky v Unity Catalogu podporují dotazy CDF na tabulky, které nejsouAPPLY CHANGES, v Databricks Runtime 14.1 a novější. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46794] Odebrání poddotazů z omezení logickéhordd
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46941] Nelze vložit uzel limitu skupiny oken pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46610] Vytvořit tabulku by měla vyvolat výjimku, pokud v možnostech neexistuje žádná hodnota klíče.
    • [SPARK-46383] Snižte využití haldy ovladačů snížením životnosti TaskInfo.accumulables().
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když dojde k chybě nedostatku paměti během náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46370] Opravit chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46370] Opravit chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46370] Opravit chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46602] Šířit allowExisting při vytvoření zobrazení, když zobrazení nebo tabulka neexistuje.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Oprava problémů spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavenou na hodnotu true.
    • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se nenajde tabulka nebo zobrazení.
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v getColumns operace pocházející z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
    • [SPARK-45433] Opravit odvození schématu CSV/JSON, když časová razítka neodpovídají určenému formátu časového razítka.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • Byly změněny dotazy datového přenosu v tabulkách pro streamování a materializovaných zobrazeních katalogu Unity, aby zobrazovaly chybové zprávy.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-44219] Přidání dalších ověření podle pravidel pro přepsání optimalizace
    • [SPARK-45543] Opravili jsme problém, kdy InferWindowGroupLimit způsobil potíže, pokud ostatní funkce okna neměly stejný rámec okna jako funkce typu pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 23. října 2023
    • [SPARK-45256] Byl opraven problém, kdy DurationWriter při zapisování více hodnot než počáteční kapacita selhal.
    • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert na true.
    • Opravili jsme problém, který způsoboval, že se poškozené soubory neignorovaly při odvozování schématu CSV pomocí automatického zavaděče, když je povolena ignoreCorruptFiles.
    • Vrátit [SPARK-42946].
    • [SPARK-42205] aktualizoval protokol JSON za účelem odebrání protokolování akumulovatelných položek v událostech při zahájení úloh nebo fází.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles a ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-44740] pevných hodnot metadat artefaktů.
    • [SPARK-45360] Inicializovaná konfigurace tvůrce relací Sparku z SPARK_REMOTE.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s open source softwarem.
    • [SPARK-45346] Odvození schématu Parquet nyní při slučování schémat respektuje příznaky pro rozlišování malých a velkých písmen.
    • [SPARK-44658]ShuffleStatus.getMapStatus nyní vrátí místo NoneSome(null).
    • [SPARK-44840] Vytvořili array_insert() jsme 1 pro záporné indexy.
  • 14. září 2023
    • [SPARK-44873] Byla přidána podpora pro alter view s vnořenými sloupci v Hive klientovi.
    • [SPARK-44878] Byl vypnut přísný limit pro správce zápisu RocksDB, aby se předešlo výjimce při vložení do úplné mezipaměti.
  • 30. srpna 2023
    • Příkaz dbutils cp (dbutils.fs.cp) byl optimalizován pro rychlejší kopírování. Díky tomuto vylepšení můžou operace kopírování v závislosti na velikosti souboru trvat až 100krát. Tato funkce je dostupná ve všech cloudech a souborových systémech přístupných v Databricks, včetně svazků Unity Catalog a připojení DBFS.
    • [SPARK-44455] Identifikátory uvozovek s backticks ve výsledku SHOW CREATE TABLE .
    • [SPARK-44763] Opravili jsme problém, který v binární aritmetice s intervalem zobrazoval řetězec jako dvojitý řetězec.
    • [SPARK-44871] Opravené percentile_disc chování.
    • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44505] Přidání přepsání pro podporu sloupcových dat v nástroji Scan for DSv2
    • [SPARK-44479] Oprava převodu protobuf z prázdného typu struktury.
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-42941] Přidání podpory pro StreamingQueryListener v Pythonu
    • [SPARK-44558] Export úrovně protokolu Spark Connect pro PySpark
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstup řádků, které mají hodnotu Null jako hodnotu prvního sloupce.
    • [SPARK-44643] Opraveno Row.__repr__ , když je pole prázdný řádek.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS

Viz Databricks Runtime 12.2 LTS.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Různé opravy chyb
  • 10. října 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by při vyřazování Polí GetArrayStructFields neměl měnit pole schématu
  • 25. září 2024
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • Různé opravy chyb
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • Různé opravy chyb
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Udělat z StringIndexer nástroj podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 1. srpna 2024
  • 1. srpna 2024
    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 12.2 LTS z verze 3.9.5 na verzi 3.9.19.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti proti zdrojům tabulky Delta jsou nyní zneplatněny, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-42741][SQL] Nevybalit přetypování v binárním porovnání, pokud je literál null
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů s grupováním podle nerovnocenných sloupců, které byly nesprávně povolené
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Různé opravy chyb
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-44252][SS] Definujte novou třídu chyb a aplikujte pro případ selhání načítání ze systému DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním nyní vyžaduje, aby uživatel měl oprávnění k SELECT a úpravám u jakéhokoli souboru.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46794] Odebrat poddotazy z omezení logického RDD.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46394] Oprava problémů spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavenou na hodnotu true.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-43067] Opravte umístění souboru prostředků třídy chyb v konektoru Kafka.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46602] propagovat allowExisting při vytváření zobrazení, pokud pohled/tabulka neexistuje.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se nenajde tabulka nebo zobrazení.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-42852] Revert NamedLambdaVariable související změny z EquivalentExpressions.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se escapovaná podtržítka v operacích getColumns, pocházejících z klientů JDBC nebo ODBC, nesprávně zpracovávala a interpretovala jako zástupné znaky.
    • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se uniklé podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné symboly.
    • [SPARK-42205] Odebrané protokolování je možné v Stage událostech a Task zahájit je.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553] Zajistěte alespoň jednu časovou jednotku po intervalu.
    • [SPARK-45346] Odvozování schématu pro Parquet při slučování schémat respektuje příznak rozlišující malá a velká písmena.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084]StateOperatorProgress použít přesné a vhodné číslo oddílu pro shufflování.
  • 12. září 2023
    • [SPARK-44873] Byla přidána podpora pro alter view s vnořenými sloupci v klientu Hive.
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • [SPARK-44714] Zmírnění omezení překladu LCA v souvislosti s dotazy
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené poskytovatele při chybě při zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstup řádků, které mají Null jako první hodnotu sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44337] Opravili jsme problém, kdy jakékoli pole nastavené na Any.getDefaultInstance způsobovalo chyby analýzy.
    • [SPARK-44136] Opravili jsme problém, kdy se StateManager materializoval v exekutoru místo v ovladači v FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098] Rozšířený skalární test počtu poddotazů s vypnutým vypnutým testem decorrelateInnerQuery počtu poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43522] Opraveno vytváření názvu sloupce struktury pomocí indexu pole.
    • [SPARK-43541] Rozšířit všechny značky Project při překladu výrazů a chybějících sloupců.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43123] Metadata interních polí se už nešíří do katalogů.
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42444]DataFrame.drop teď zpracovává duplicitní sloupce správně.
    • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43286] aktualizovaný režim CBC aes_encrypt pro generování náhodných id.
    • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s automatickým zavaděčem v režimu evoluce schémat failOnNewColumns, budou sloupce s různými datovými typy přečtené jako null namísto vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje čtení typů intervalů jako typů kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293]__qualified_access_only se v normálních sloupcích ignoruje.
    • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085] Podpora přiřazení DEFAULT sloupců pro názvy tabulek s více částmi.
    • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] Odebrání ověření znakové sady uživatelského agenta
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo s automatickým zavaděčem v režimu vývoje schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání IntegerShort, a Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolen zachráněný datový sloupec, neshoda datových typů způsobila, že sloupce byly uloženy, i když byly čitelné.
    • [SPARK-43009] Parametrizované sql() s Any konstantami
    • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
    • [SPARK-43038] Podpora režimu CBC podle aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • [SPARK-43018] Oprava chyby pro příkazy INSERT pomocí literálů časového razítka
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Řeší problém v chování %automatického načítání v poznámkových blocích mimo úložiště.
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42936] Opraví problém LCan, když je možné klauzuli vyřešit přímo podřízenou agregací.
    • [SPARK-42967] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.
  • 29. března 2023

    • Databricks SQL teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta Lake, a to buď při vytváření tabulky, nebo potom. Následující příkazy INSERT, UPDATE, DELETEa MERGE můžou odkazovat na výchozí hodnotu libovolného sloupce pomocí explicitního klíčového slova DEFAULT. Kromě toho platí, že pokud má přiřazení INSERT explicitní seznam méně sloupců než cílová tabulka, nahradí se odpovídající výchozí hodnoty sloupců zbývajícím sloupcům (nebo null, pokud není zadána žádná výchozí hodnota).

      Příklad:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader teď zahájí alespoň jedno synchronní vyčištění protokolů RocksDB pro Trigger.AvailableNow datové proudy a zkontroluje, jestli lze kontrolní bod pravidelně čistit pro rychle fungující automatické zavaděče datových proudů. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.

    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

    • [SPARK-42521] Přidání NULL pro INSERT u seznamů s méně sloupci než cílová tabulka

    • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

  • 8. března 2023
    • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • Od této verze je možné vytvořit nebo nahradit tabulku a s další vlastností tabulky delta.ignoreProtocolDefaults ignorovat konfigurace Sparku související s protokolem, které zahrnují výchozí verze reader a writer a funkce tabulek, které jsou podporovány ve výchozím nastavení.
    • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
    • [SPARK-41793] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u významných desetinných míst
    • [SPARK-42484] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-42516] Při vytváření zobrazení vždy zachytit konfiguraci časového pásma relace
    • [SPARK-42635] Oprava výrazu TimestampAdd
    • [SPARK-42622] Bylo vypnuto nahrazení v hodnotách
    • [SPARK-42534] Oprava omezení klauzule DB2Dialect Limit
    • [SPARK-42121] Přidat předdefinované funkce hodnotné tabulkou posexplode, posexplode_outer, json_tuple a stack
    • [SPARK-42045] Režim ANSI SQL: Zaokrouhlení nebo Bround by mělo vrátit chybu u malého, malého nebo významného celočíselného přetečení
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Viz Databricks Runtime 11.3 LTS.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Různé opravy chyb
  • 10. října 2024
    • Různé opravy chyb
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka, rozšířením funkce RewriteDistinctAggregates.
    • Různé opravy chyb
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Umožnit StringIndexer podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 1. srpna 2024
  • 1. srpna 2024
    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 11.3 LTS z verze 3.9.5 na verzi 3.9.19.
  • 11. července 2024
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte ji pro případ selhání načítání stavu ze systému souborů DFS.
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • 13. února 2024
    • [SPARK-46794] Odeberte poddotazy z omezení LogicalRDD.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46602] Předat allowExisting při vytváření zobrazení, když zobrazení nebo tabulka neexistuje.
    • [SPARK-46394] Oprava problémů spark.catalog.listDatabases() ve schématech se speciálními znaky při nastavení spark.sql.legacy.keepCommandOutputSchema na hodnotu true.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávala uniklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a byla interpretována jako zástupné znaky.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • Vrátit [SPARK-33861].
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084]StateOperatorProgress použít přesný a přiměřený počet oddílů pro náhodné třídění.
    • [SPARK-45346] odvození schématu Parquet teď při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele v případě chyby při zastavení systému.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null jako hodnotu prvního sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44136] Opravili jsme problém, kdy se StateManager mohl materializovat v exekutoru místo v ovladači při použití FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test chyby rozšířeného poddotazového poddotazu s decorrelateInnerQuery vypnutým.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v Auto Loaderu, kdy různé formáty zdrojových souborů byly nekonzistentní, když zadané schéma neobsahovalo inferované oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Viz Databricks Runtime 10.4 LTS.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t" kde t je prázdná tabulka rozšířením RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • 14. srpna 2024
  • 1. srpna 2024
  • 11. července 2024
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-44252][SS] Definujte novou třídu chyb a použijte ji pro případ, kdy selže načítání stavu z DFS.
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • [SPARK-45084]StateOperatorProgress použít přesné a vhodné číslo oddílů pro náhodné rozdělení.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele v případě chyby zastavení.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování se teď zobrazuje jako neúspěšné dotazy správně.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test počtu rozšířených skalárních poddotazů s decorrelateInnerQuery vypnutým vypnutým.
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v Auto Loaderu, kdy různé formáty zdrojových souborů vykazovaly nekonzistenci, pokud zadané schéma nezahrnovalo inferované oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy evoluce schématu automatického zavaděče může vést k nekonečné smyčce selhání při zjištění nového sloupce ve schématu vnořeného objektu JSON.
    • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
    • [SPARK-42635] Opravte ...
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-41162] Oprava anti- a semi-join pro samo-spojení s agregacemi
    • [SPARK-33206] Oprava výpočtu váhy mezipaměti indexu náhodného prohazování u malých indexových souborů
    • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
    • Různé opravy.
  • 28. února 2023
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
    • Uživatelé nyní mohou číst a zapisovat konkrétní tabulky Delta vyžadující Reader verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje prořezávání oddílů pro formát datumu yyyy-MM-dd ve generovaných sloupcích.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • [SPARK-30220] Povolení použití poddotazů mimo uzel filtru
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Konektor Azure Synapse vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41198] Opravit metriky v dotazech streamování, které mají zdroj streamování CTE a DSv1.
    • [SPARK-41339] Místo pouhého vymazání zavřete a znovu vytvořte dávku zápisu RocksDB.
    • [SPARK-41732] Použití vyřezávání založeného na stromové struktuře pro pravidlo SessionWindowing
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovávají, když je konfigurace nastavená na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavená na false. Výchozí hodnota je true.
    • Opravili jsme problém s parsováním JSON v automatickém zavaděči, když byly všechny sloupce ponechány jako řetězce (nebyly nastavenycloudFiles.inferColumnTypes nebo nastaveny na false) a JSON obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40292] Oprava názvů sloupců ve funkci arrays_zip při odkazování polí z vnořených struktur
    • Aktualizace zabezpečení operačního systému.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta funkce změna datového kanálu, data v tomto sloupci by se při spuštění MERGEnesprávně vyplnila hodnotami NULL.
    • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
    • [SPARK-40697] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • [SPARK-40468] Opravit vyřazování sloupců v CSV, když je vybrán _corrupt_record.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) a znovu aktivovat vestavěný výpis pro Auto Loader na ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-38404] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40218] GROUPING SETS by měly zachovávat sloupce seskupení.
    • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053] Přidejte assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu.
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze po uložení načíst.
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39983] Neuklášejte do mezipaměti neserializované relace vysílání na ovladači.
    • [SPARK-39775] Zakázat ověřování výchozích hodnot při analýze schémat Avro.
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643] Pokud je parametr charVarcharAsString pravdivý, měl by dotaz predikátu datového typu char přeskočit pravidlo rpadding.
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
    • [SPARK-39731] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39625] Přidat Dataset.as(StructType).
    • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39570] vložená tabulka by měla umožňovat výrazy s aliasem.
    • [SPARK-39702] Snižte režii paměti transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel.
    • [SPARK-39575] přidat ByteBuffer#rewind po ByteBuffer#get v AvroDeserializer.
    • [SPARK-39476] Zakažte rozbalování optimalizace při přetypování z datového typu Long na Float/Double nebo z Integer na Float.
    • [SPARK-38868] Při optimalizaci vnějších spojení nešíření výjimek z predikátu filtru.
    • Aktualizace zabezpečení operačního systému.
  • 20. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39355] Jeden sloupec používá uvozovky k vytvoření UnresolvedAttribute.
    • [SPARK-39548] Příkaz CreateView s dotazem klauzule okna vytváří problém s nenalezenou definicí okna.
    • [SPARK-39419] Oprava ArraySort vyvolá výjimku, když srovnávací program vrátí hodnotu null.
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376] Skrýt duplicitní sloupce při rozšiřování aliasu poddotazu v rámci NATURAL/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096] Zlepšení výkonu pro nth_value, které ignoruje nulové hodnoty v okně posunu.
    • [SPARK-36718] Opravte vrácení se změnami isExtractOnly sbalit projekt.
  • 2. června 2022
    • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem.
    • [SPARK-38990] Při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu se vyhněte výjimce NullPointerException.
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení paměti v automatickém zavaděče.
    • [SPARK-38918] Ořezávání vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-37593] Pokud se používají G1GC a ON_HEAP, zmenšete výchozí velikost stránky LONG_ARRAY_OFFSET.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu.
    • [SPARK-32268] Přidání columnPruningu v nástroji injectBloomFilter
    • [SPARK-38974] Filtrovat registrované funkce s daným názvem databáze ve funkcích seznamu.
    • [SPARK-38931] Vytvořte kořenový adresář dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu.
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
    • Opravili jsme problém s nefunkčními knihovnami s vymezenými poznámkovými bloky v úlohách dávkového streamování.
    • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
      • timestampadd() and dateadd(): Do výrazu časového razítka přidejte dobu trvání v zadané jednotce.
      • timestampdiff() and datediff(): Výpočet časového rozdílu mezi výrazy dvou časových razítek v zadané jednotce.
    • Parquet-MR byl upgradován na verzi 1.12.2
    • Vylepšená podpora komplexních schémat v souborech parquet
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick tři timestmapadd/diff změny.
    • [SPARK-38523] Oprava odkazující na sloupec poškozených záznamů ze souboru CSV.
    • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat.
    • [SPARK-38180] Povolte bezpečné přetypování výrazů v korelovaných predikátech rovnosti.
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

Viz Databricks Runtime 9.1 LTS.

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49000][SQL] Opravit „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.
  • 6. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
  • 14. srpna 2024
  • 1. srpna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Různé opravy chyb
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Aktualizace zabezpečení operačního systému.
  • 13. února 2024
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • 14. prosince 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • [SPARK-43098] Oprava chyby počet správnosti, pokud skalární poddotaz má klauzuli group by.
    • [SPARK-43156][SPARK-43098] Rozšíření testu chyb počtu poddotazů skalárních poddotazů s decorrelateInnerQuery vypnutým.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery.
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v nástroji Auto Loader, kde různé formáty zdrojových souborů byly nekonzistentní, když zadané schéma neobsahovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-37520]startswith() Přidání funkcí a endswith() řetězců
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy může schéma automatického zavádění při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky chyb.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
    • Různé opravy.
  • 28. února 2023
    • Uživatelé nyní mohou číst a zapisovat konkrétní tabulky Delta, které vyžadují Reader verze 3 a Writer verze 7, pomocí Databricks Runtime 9.1 LTS nebo vyšší. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Opravili jsme problém s parsováním JSON v Auto Loaderu, když byly všechny sloupce ponechány jako řetězce (nebude nastaveno jakocloudFiles.inferColumnTypes nebo nastaveno na false) a JSON obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale změna datového kanálu byla v této tabulce vypnuta, data v tomto sloupci by byla nesprávně vyplněna hodnotami NULL při spuštění MERGE.
    • Opravili jsme problém s Auto Loaderem, kdy může být soubor při zapnutí allowOverwrites zduplikován ve stejné mikrodávce.
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Různé opravy.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit integrovaný výpis automatického načítání v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze po uložení načíst.
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39666] Použití UnsafeProjection.create k respektu spark.sql.codegen.factoryMode ve výrazuEncoder
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get .AvroDeserializer
    • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • [SPARK-39419]ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 15. června 2022
    • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
  • 2. června 2022
    • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravili jsme potenciální nevracení paměti v automatickém zavaděče.
    • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
    • [SPARK-38918] vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 6. dubna 2022
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byla /databricks/driverslužba Active Directory .
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • 14. března 2022
    • [SPARK-38236] absolutní cesty k souborům zadaným v tabulce create/alter jsou považovány za relativní.
    • [SPARK-34069] přerušit vlákno úlohy, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCEL nastavena na hodnotu true.
  • 23. února 2022
    • [SPARK-37859] tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 se nedají číst pomocí Sparku 3.2.
  • 8. února 2022
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme problém, kdy souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek být potvrzeny v neserializovatelném pořadí.
    • Opravili jsme problém, kdy OPTIMIZE příkaz mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Menší opravy a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Opravili jsme problém, který mohl způsobit selhání datových proudů strukturovaného streamování s chybou ArrayIndexOutOfBoundsException.
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 20. října 2021
    • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.