Udostępnij za pośrednictwem

Aktualizacje konserwacji środowiska Databricks Runtime

  • Artykuł

W tym artykule wymieniono aktualizacje konserwacji dla obsługiwanych wersji środowiska Databricks Runtime. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster. Aby uzyskać informacje o aktualizacjach konserwacji w nieobsługiwanych wersjach środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane przez kilka dni po początkowej dacie wydania.

Wersje środowiska Databricks Runtime

Aktualizacje konserwacji według wydania:

Databricks Runtime 16.0

Zobacz Databricks Runtime 16.0.

  • 10 grudnia 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to 9000 (sekundy). Zadania uruchamiane na bezserwerowych środowiskach obliczeniowych oraz współdzielonych klastrach nie mają ograniczenia czasowego, chyba że ustawiono odpowiednią właściwość konfiguracyjną. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Poprawka komentarza zmiany w kolumnach char/varchar
    • [SPARK-49924][SQL] Zachowaj containsNull po zastąpieniu ArrayCompact
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-48780][SQL] Uogólnienie błędów w NamedParametersSupport do obsługi funkcji i procedur
    • [SPARK-49876][CONNECT] Pozbyć się blokad globalnych z usługi Spark Connect
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-49615] Poprawka błędu: Sprawdzanie schematu kolumn dla uczenia maszynowego zgodnie z konfiguracją platformy Spark spark.sql.caseSensitive
    • [SPARK-48782][SQL] Dodanie obsługi wykonywania procedur w katalogach
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • Przywróć "[SPARK-49002][SQL] Spójna obsługa nieprawidłowych lokalizacji w MAGAZYNIE/SCHEMACIE/TABELI/PARTYCJI/KATALOGU
    • [SPARK-50028][CONNECT] Zastąp blokady globalne w odbiorniku serwera Spark Connect precyzyjnymi blokadami
    • [SPARK-49615] [ML] Zapewnij zgodność walidacji schematu zestawu danych dla wszystkich transformatorów cech ML z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinno zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.4

Zobacz Databricks Runtime 15.4 LTS.

  • 26 listopada 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notesów działających w środowisku obliczeń bezserwerowych, wartość domyślna to 9000 (sekundy). Zadania uruchomione na bezserwerowym środowisku obliczeniowym lub w klastrach współużytkowanych nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
    • [SPARK-49615] [ML] Upewnij się, że sprawdzanie poprawności schematu zestawu danych przekształcania funkcji uczenia maszynowego jest zgodne z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinno zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49867][SQL] Poprawianie komunikatu o błędzie, gdy indeks jest poza granicami podczas wywoływania metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • [SPARK-49443][SQL][PYTHON] Implementowanie wyrażenia to_variant_object i drukowanie wyrażeń schema_of_variant dla obiektów wariantów
    • [SPARK-49615] Usterka: Sprawdzanie poprawności schematu kolumny uczenia maszynowego jest zgodne z konfiguracją spark.sql.caseSensitiveplatformy Spark.
  • 22 października 2024 r.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49867][SQL] Poprawianie komunikatu o błędzie, gdy indeks jest poza granicami podczas wywoływania metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • [SPARK-49443][SQL][PYTHON] Implementowanie wyrażenia to_variant_object i drukowanie wyrażeń schema_of_variant dla obiektów wariantów
    • [SPARK-49615] Usterka: Sprawdzanie poprawności schematu kolumny uczenia maszynowego jest zgodne z konfiguracją spark.sql.caseSensitiveplatformy Spark.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49460][SQL] Obserwowanie: naprawianie potencjalnego ryzyka NPE
  • 25 września 2024 r.
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Ponowne dołączanie próby przy nieaktywnym symbolu wykonania
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-49017][SQL] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
    • [SPARK-49451] Zezwalaj na zduplikowane klucze w parse_json.
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor obsługujące zagnieżdżone kolumny wejściowe
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][POPRAWKA-15.4.2] Obsługa ścieżek stylu systemu Windows w narzędziu ArtifactManager
    • Przywróć wartość "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark powinna akceptować wartości args o zmiennej długości"
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
    • [SPARK-49018][SQL] Naprawianie approx_count_distinct nie działa poprawnie z sortowaniem
    • [SPARK-49460][SQL] Usuń cleanupResource() z emptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
  • 29 sierpnia 2024 r.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia i wymagania dotyczące przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-49074][SQL] Naprawianie wariantu za pomocą polecenia df.cache()
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-48955][SQL] Uwzględnij zmiany ArrayCompact w wersji 15.4
    • [SPARK-48937][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap
    • [SPARK-48929] Naprawianie wewnętrznego błędu widoku i czyszczenie kontekstu wyjątku analizatora
    • [SPARK-49125][SQL] Zezwalaj na zduplikowane nazwy kolumn w zapisie w formacie CSV
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-48981] Naprawiono metodę simpleString typu StringType w narzędziu pyspark na potrzeby sortowania
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48725][SQL] Integrowanie aplikacji CollationAwareUTF8String.lowerCaseCodePoints z wyrażeniami ciągów
    • [SPARK-48978][SQL] Implementowanie szybkiej ścieżki ASCII w obsłudze sortowania dla UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Obcięcie komunikatu na potrzeby rejestrowania
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
    • [SPARK-48977][SQL] Optymalizowanie wyszukiwania ciągów w obszarze sortowania UTF8_LCASE
    • [SPARK-48889][SS] testStream do zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • [SPARK-48954] try_mod() zastępuje try_remainder()
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.3

Zobacz Databricks Runtime 15.3.

  • 26 listopada 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-49867][SQL] Poprawianie komunikatu o błędzie, gdy indeks jest poza granicami podczas wywoływania metody GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-49867][SQL] Poprawianie komunikatu o błędzie, gdy indeks jest poza granicami podczas wywoływania metody GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49492][CONNECT] Ponowne dołączanie próby przy nieaktywnym symbolu wykonania
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania parametru RegrSlope i RegrIntercept , gdy pierwszy parametr ma wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-49526][CONNECT][15.3.5] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48954] try_mod() zastępuje try_remainder()
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-49047][PYTHON][CONNECT] Obcięcie komunikatu na potrzeby rejestrowania
    • [SPARK-48740][SQL] Wczesne przechwytywanie błędu specyfikacji brakującego okna
  • 1 sierpnia 2024 r.
    • [Zmiana powodująca niezgodność] W środowisku Databricks Runtime 15.3 lub nowszym wywoływanie dowolnej funkcji zdefiniowanej przez użytkownika języka Python (UDF), funkcji agregującej zdefiniowanej przez użytkownika (UDAF) lub funkcji tabeli zdefiniowanej przez użytkownika (UDTF), która używa VARIANT typu jako argumentu lub zwracanej wartości zgłasza wyjątek. Ta zmiana jest wprowadzana w celu zapobiegania problemom, które mogą wystąpić z powodu nieprawidłowej wartości zwróconej przez jedną z tych funkcji. Aby dowiedzieć się więcej o typie VARIANT , zobacz Przechowywanie danych częściowo ustrukturyzowanych przy użyciu VARIANTów.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia i wymagania dotyczące przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-46957][CORE] Likwidowanie migrowanych plików mieszania powinno być możliwe wyczyszczenie z funkcji wykonawczej
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48713][SQL] Dodawanie sprawdzania zakresu indeksów dla elementu UnsafeRow.pointTo, gdy obiekt baseObject jest tablicą bajtów
    • [SPARK-48834][SQL] Wyłączanie danych wejściowych/wyjściowych wariantu do scalarnych funkcji zdefiniowanych przez użytkownika języka Python, funkcji ZDEFINIOWANYch przez użytkownika, funkcji UDAFs podczas kompilacji zapytań
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-48544][SQL] Zmniejsz wykorzystanie pamięci pustych zestawów bitów TreeNode
    • [SPARK-48889][SS] testStream do zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-49054][SQL] Wartość domyślna kolumny powinna obsługiwać funkcje current_*
    • [SPARK-48653][PYTHON] Naprawianie nieprawidłowych odwołań do klas błędów źródła danych języka Python
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie zakończyć się niepowodzeniem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48873][SQL] Użyj elementu UnsafeRow w analizatorze JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths źródła danych na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia z zwracanymi typem wartości logicznej
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48286] Naprawiono analizę kolumny z wyrażeniem domyślnym — dodawanie błędu napotykanego przez użytkownika
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • Przywróć wartość "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48503][14.3-15.3][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48273][master][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48556][SQL] Naprawianie nieprawidłowego komunikatu o błędzie wskazującego UNSUPPORTED_GROUPING_EXPRESSION
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.2

Zobacz Databricks Runtime 15.2.

  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49492][CONNECT] Ponowne dołączanie próby przy nieaktywnym symbolu wykonania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48740][SQL] Wczesne przechwytywanie błędu specyfikacji brakującego okna
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-49047][PYTHON][CONNECT] Obcięcie komunikatu na potrzeby rejestrowania
  • 1 sierpnia 2024 r.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia i wymagania dotyczące przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-48047][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie zakończyć się niepowodzeniem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48873][SQL] Użyj elementu UnsafeRow w analizatorze JSON.
    • [SPARK-46957][CORE] Likwidowanie migrowanych plików mieszania powinno być możliwe wyczyszczenie z funkcji wykonawczej
    • [SPARK-48889][SS] testStream do zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-48713][SQL] Dodawanie sprawdzania zakresu indeksów dla elementu UnsafeRow.pointTo, gdy obiekt baseObject jest tablicą bajtów
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48544][SQL] Zmniejsz wykorzystanie pamięci pustych zestawów bitów TreeNode
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • W notesach i zadaniach bezserwerowych tryb SQL ANSI będzie domyślnie włączony i obsługuje krótkie nazwy
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths źródła danych na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48286] Naprawiono analizę kolumny z wyrażeniem domyślnym — dodawanie błędu napotykanego przez użytkownika
    • [SPARK-48294][SQL] Obsługa małych liter w zagnieżdżonym typieMissingElementTypeError
    • [SPARK-48556][SQL] Naprawianie nieprawidłowego komunikatu o błędzie wskazującego UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia z zwracanymi typem wartości logicznej
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w udostępnionych klastrach.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48197][SQL] Unikaj błędu potwierdzenia dla nieprawidłowej funkcji lambda
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
    • [SPARK-48014][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
    • [SPARK-48016][SQL] Naprawiono usterkę w funkcji try_divide, gdy w przypadku liczby dziesiętnej
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48172][SQL] Rozwiązywanie problemów z ucieczką w backportacji JDBCDialects do wersji 15.2
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • [SPARK-48288] Dodawanie typu danych źródłowych dla wyrażenia rzutowego łącznika
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • Przywróć wartość "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Naprawiono tworzenie elementu ExecuteJobTag w elemecie ExecuteHolder
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-48146][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
    • [SPARK-48180][SQL] Poprawianie błędu, gdy wywołanie UDTF za pomocą argumentu TABLE zapomina nawiasy wokół wielu eksplorów PARTITION/ORDER BY
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.3

Zobacz Databricks Runtime 14.3 LTS.

  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Spraw, aby wszystkie przekształcenia funkcji ML zgodne były z weryfikacją schematu zestawu danych i konfiguracją "spark.sql.caseSensitive".
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasyfikowanie klasy error dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasyfikowanie klasy error dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
  • 25 września 2024 r.
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie zakończyć się niepowodzeniem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49492][CONNECT] Ponowne dołączanie próby przy nieaktywnym symbolu wykonania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor obsługujące zagnieżdżone kolumny wejściowe
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
  • 29 sierpnia 2024 r.
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Poprzednio do tej poprawki może zostać zwrócone lub zwrócone nieprawidłowe dane, ArrayIndexOutOfBoundsException gdy wystąpienie jednej z tych klas zawiera null wartości.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia i wymagania dotyczące przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48889][SS] testStream do zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-48047][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
    • [SPARK-48544][SQL] Zmniejsz wykorzystanie pamięci pustych zestawów bitów TreeNode
    • [SPARK-46957][CORE] Likwidowanie migrowanych plików mieszania powinno być możliwe wyczyszczenie z funkcji wykonawczej
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • [SPARK-47713][SQL][CONNECT] Naprawianie błędu samosprzężenia
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths źródła danych na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w udostępnionych klastrach.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
    • [SPARK-48294][SQL] Obsługa małych liter w zagnieżdżonym typieMissingElementTypeError
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • (Zmiana zachowania) jest teraz obsługiwana w celu dbutils.widgets.getAll().
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48146][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • [SPARK-48180][SQL] Poprawianie błędu, gdy wywołanie UDTF za pomocą argumentu TABLE zapomina nawiasy wokół wielu eksplorów PARTITION/ORDER BY
    • [SPARK-48016][SQL] Naprawiono usterkę w funkcji try_divide, gdy w przypadku liczby dziesiętnej
    • [SPARK-48197][SQL] Unikaj błędu potwierdzenia dla nieprawidłowej funkcji lambda
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • (Zmiana zachowania) applyInPandas i mapInPandas typy UDF są teraz obsługiwane w trybie dostępu współdzielonego z uruchomionym środowiskiem Databricks Runtime 14.3 lub nowszym.
    • [SPARK-47739][SQL] Rejestrowanie typu logicznego avro
    • [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako mapype z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Użyj asynchronicznego wywołania zwrotnego do czyszczenia wykonania
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Biblioteki Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Weryfikowanie nazwy kolumny z buforowanym schematem
    • [SPARK-47862][PYTHON][CONNECT]Naprawianie generowania plików proto
    • Przywróć "[SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas, aby umożliwić tworzenie ramki danych"
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Wprowadzenie pamięci podręcznej planu w rozwiązaniu SparkConnectPlanner w celu zwiększenia wydajności żądań analizy
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite niepowodzenie z nieprawidłowym planem
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • (Zmiana zachowania) Aby zapewnić spójne zachowanie w różnych typach obliczeniowych, funkcje zdefiniowane przez użytkownika PySpark w udostępnionych klastrach są teraz zgodne z zachowaniem funkcji zdefiniowanych przez użytkownika w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
      • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie są już niejawnie konwertowane na string wartości innestring niż wartości. Wcześniej funkcje zdefiniowane przez użytkownika z zwracanym typem str obiektu zawijają wartość zwracaną str() za pomocą funkcji niezależnie od rzeczywistego typu danych zwracanej wartości.
      • Funkcje zdefiniowane przez użytkownika z typami timestamp zwracanymi nie są już niejawnie stosowane do konwersji za timestamp pomocą timezonepolecenia .
      • Konfiguracje klastra spark.databricks.sql.externalUDF.* Spark nie mają już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach.
      • Konfiguracja spark.databricks.safespark.externalUDF.plan.limit klastra Spark nie ma już wpływu na funkcje zdefiniowane przez użytkownika PySpark, usuwając ograniczenie publicznej wersji zapoznawczej 5 funkcji zdefiniowanych przez użytkownika na zapytanie dotyczące funkcji zdefiniowanych przez użytkownika PySpark.
      • Konfiguracja spark.databricks.safespark.sandbox.size.default.mib klastra Spark nie ma już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, należy użyć z spark.databricks.pyspark.udf.isolation.memoryLimit minimalną wartością 100m.
    • Typ TimestampNTZ danych jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
    • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
    • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii w wersji 2.
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47121][CORE] Unikaj odrzucaniaexecutionExceptions podczas zamykania standaloneSchedulerBackend
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-46999][SQL] WyrażenieWithUnresolvedIdentifier powinno zawierać inne wyrażenia w drzewie wyrażeń
    • [SPARK-47129][CONNECT][SQL] Prawidłowe ResolveRelations łączenie pamięci podręcznej
    • [SPARK-47241][SQL] Rozwiązywanie problemów z kolejnością reguł dla elementu ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • [SPARK-47071][SQL] Wbudowane wyrażenie z wyrażeniem, jeśli zawiera wyrażenie specjalne
    • [SPARK-47059][SQL] Dołączanie kontekstu błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46993][SQL] Naprawianie stałego składania zmiennych sesji
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 3 stycznia 2024 r.
    • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-46954] XML: Zawijanie elementu InputStreamReader z funkcją BufferedReader.
    • [SPARK-46655] Pomiń przechwytywanie kontekstu zapytania w DataFrame metodach.
    • [SPARK-44815] Buforuj plik df.schema, aby uniknąć dodatkowego wywołania RPC.
    • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46736] zachowaj puste pole komunikatu w łączniku protobuf.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46414] Użyj prependBaseUri do renderowania importów języka JavaScript.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46954] XML: Optymalizowanie wyszukiwania indeksu schematu.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
    • [SPARK-46731] Zarządzanie wystąpieniem dostawcy magazynu stanów według źródła danych stanu — czytelnik.
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
    • [SPARK-46227] Powrót do wersji 14.3.
    • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.1

Zobacz Databricks Runtime 14.1.

  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
  • 22 października 2024 r.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
  • 10 października 2024 r.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
  • 14 sierpnia 2024 r.
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Poprzednio do tej poprawki może zostać zwrócone lub zwrócone nieprawidłowe dane, ArrayIndexOutOfBoundsException gdy wystąpienie jednej z tych klas zawiera null wartości.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite niepowodzenie z nieprawidłowym planem
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
    • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • [SPARK-47300][SQL] quoteIfNeeded identyfikator cudzysłowu rozpoczyna się od cyfr
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47300] Poprawka dotycząca decomposerSuite
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47385] Napraw kodery krotki za pomocą opcji wejściowych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii w wersji 2.
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • [SPARK-47129][CONNECT][SQL] Prawidłowe ResolveRelations łączenie pamięci podręcznej
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • Teraz można pozyskiwać pliki XML przy użyciu narzędzia Autoloader, read_files, COPY INTO, DLT i DBSQL. Obsługa plików XML może automatycznie wnioskować i rozwijać schemat, ratować dane z niezgodnościami typów, weryfikować kod XML przy użyciu XSD, obsługiwać wyrażenia SQL, takie jak from_xml, schema_of_xml i to_xml. Aby uzyskać więcej informacji, zobacz Obsługa plików XML. Jeśli wcześniej używano zewnętrznego pakietu spark-xml, zobacz tutaj , aby uzyskać wskazówki dotyczące migracji.
    • [SPARK-46248][SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
    • [SPARK-47059][SQL] Dołączanie kontekstu błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Zawijanie elementu InputStreamReader z funkcją BufferedReader
    • [SPARK-46954][SQL] XML: Optymalizowanie wyszukiwania indeksu schematu
    • [SPARK-46630][SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innychAPPLY CHANGES niż w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46684] Napraw wartość CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-45498] Obserwowanie: ignoruj ukończenie zadania ze starych prób etapu.
    • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
    • [SPARK-46382] XML: Wartość domyślna ignoruj wartościSurroundingSpaces na true.
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: zmiana interfejsu API systemu plików HDFS na ułatwienia dostępu do magazynu w chmurze.
    • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
    • [SPARK-46382] XML: przechwyć wartości przeplatane między elementami.
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-45964] Usuń prywatne metody dostępu sql w pakiecie XML i JSON w pakiecie katalizatora.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46484] Ustaw funkcje pomocnicze, aby resolveOperators zachować identyfikator planu.
    • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
    • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46337] Zachowaj CTESubstitution element PLAN_ID_TAG.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
    • [SPARK-46587] XML: Napraw konwersję dużej liczby całkowitej XSD.
    • [SPARK-45814] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46056] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-45509] Naprawiono zachowanie odwołania do kolumn df dla programu Spark Connect.
    • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
    • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
    • [SPARK-46028] Ustaw wartość accept input column (Zaakceptuj Column.__getitem__ kolumnę wejściową).
    • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
    • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-45852] Bezproblemowo radzić sobie z błędem rekursji podczas rejestrowania.
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • Podczas pozyskiwania danych CSV przy użyciu automatycznego modułu ładującego lub tabel przesyłania strumieniowego duże pliki CSV są teraz podzielone i mogą być przetwarzane równolegle podczas wnioskowania schematu i przetwarzania danych.
    • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
    • [SPARK-45620] Interfejsy API związane z funkcją UDF języka Python używają teraz camelCase.
    • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Connect i SQL.
    • [SPARK-45770] Naprawiono rozdzielczość kolumn dla DataFrameDropColumns elementu .Dataframe.drop
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Wykonane SBT testowania hermetyczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45250] Dodano obsługę profilu zasobu zadania na poziomie etapu dla klastrów yarn po wyłączeniu dynamicznej alokacji.
    • [SPARK-44753] Dodano czytnik i moduł zapisywania ramek danych XML dla języka SQL PySpark.
    • [SPARK-45396] Dodano wpis dokumentu dla modułu PySpark.ml.connect .
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano protokół SSLFactory.
    • [SPARK-45577] Naprawiono, UserDefinedPythonTableFunctionAnalyzeRunner aby przekazywać złożone wartości z nazwanych argumentów.
    • [SPARK-45562] Element "rowTag" jest wymaganą opcją.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-43380] Naprawiono spowolnienie odczytu w usłudze Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracano wartość 0.
    • [SPARK-44219] Dodano testy sprawdzania poprawności poszczególnych reguł pod kątem ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 września 2023 r.
    • [SPARK-44823] Zaktualizowano black do wersji 23.9.1 i usunięto błędne sprawdzanie.
    • [SPARK-45339] Narzędzie PySpark rejestruje teraz błędy ponawiania prób.
    • Przywróć [SPARK-42946] Zagnieżdżone poufne dane zagnieżdżone w ramach podstawień zmiennych.
    • [SPARK-44551] Edytowane komentarze do synchronizacji z systemem operacyjnym.
    • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
    • [SPARK-45279] Dołączone plan_id do wszystkich planów logicznych.
    • [SPARK-45425] Zamapowane TINYINT na ShortType .MsSqlServerDialect
    • [SPARK-45419] Usunięto wpis mapy wersji pliku większych wersji, aby uniknąć ponownego rocksdb tworzenia identyfikatorów plików sst.
    • [SPARK-45488] Dodano obsługę wartości w rowTag elemecie .
    • [SPARK-42205] Usunięto rejestrowanie w Accumulables zdarzeniach uruchamiania Task/Stage w JsonProtocol dziennikach zdarzeń.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter Kończy się niepowodzeniem podczas zapisywania większej liczby wartości niż początkowa pojemność.
    • [SPARK-43380] Rozwiązano Avro problemy z konwersją typów danych bez powodowania regresji wydajności.
    • [SPARK-45182] Dodano obsługę wycofywania etapu mapy mieszania, dzięki czemu wszystkie zadania etapu można ponowić, gdy dane wyjściowe etapu są nieokreślone.
    • [SPARK-45399] Dodano opcje XML przy użyciu polecenia newOption.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.3 LTS

Zobacz Databricks Runtime 13.3 LTS.

  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Dostosuj wszystkie transformery cech ML do sprawdzania poprawności schematu zestawu danych zgodnie z konfiguracją "spark.sql.caseSensitive".
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasyfikowanie klasy error dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Klasyfikowanie klasy error dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor obsługujące zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Poprzednio do tej poprawki może zostać zwrócone lub zwrócone nieprawidłowe dane, ArrayIndexOutOfBoundsException gdy wystąpienie jednej z tych klas zawiera null wartości.
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-46822][SQL] Z szacunkiem spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-44653][SQL] Nietrywialne związki ramek danych nie powinny przerywać buforowania
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47385] Napraw kodery krotki za pomocą opcji wejściowych.
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, w którym stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47300][SQL] quoteIfNeeded identyfikator cudzysłowu rozpoczyna się od cyfr
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii w wersji 2.
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innychAPPLY CHANGES niż w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
    • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność elementu TaskInfo.accumulables().
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46056] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • [SPARK-44582] Pomiń iterator na SMJ, jeśli został oczyszczony.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego wykazu aparatu Unity i zmaterializowane widoki w celu wyświetlania komunikatów o błędach.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 października 2023 r.
    • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter wystąpił błąd podczas zapisywania większej liczby wartości niż pojemność początkowa.
    • [SPARK-45419] Unikaj ponownego użycia rocksdb sst plików w innym rocksdb wystąpieniu, usuwając wpisy mapy wersji pliku większej wersji.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych indeksu -1. Aby przywrócić poprzednie zachowanie, ustaw wartość spark.sql.legacy.negativeIndexInArrayInserttrue.
    • Rozwiązano problem polegający na braku ignorowania uszkodzonych plików, gdy ignoreCorruptFiles jest włączony podczas wnioskowania schematu CSV z funkcją automatycznego ładowania.
    • Przywróć [SPARK-42946].
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie accumulables w zdarzeniach uruchamiania zadania lub etapu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles i do ignoreMissingFiles i HadoopRDDNewHadoopRDD .
    • [SPARK-44740] Stałe wartości metadanych artefaktów.
    • [SPARK-45360] Zainicjowano konfigurację konstruktora sesji platformy Spark z witryny SPARK_REMOTE.
    • [SPARK-44551] Edytowane komentarze do synchronizacji z systemem operacyjnym.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagi z uwzględnieniem wielkości liter podczas scalania schematu.
    • [SPARK-44658]ShuffleStatus.getMapStatus teraz zwraca None wartość zamiast Some(null).
    • [SPARK-44840] Na array_insert() podstawie wartości 1 dla indeksów ujemnych.
  • 14 września 2023 r.
    • [SPARK-44873] Dodano obsługę funkcji alter view z kolumnami zagnieżdżonym w kliencie programu Hive.
    • [SPARK-44878] Wyłącz ścisły limit menedżera zapisu, RocksDB aby uniknąć wyjątku wstawiania w pamięci podręcznej.
  • 30 sierpnia 2023 r.
    • Polecenie dbutils cp (dbutils.fs.cp) zostało zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą potrwać do 100 mniej czasu, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich chmurach i systemach plików dostępnych w usłudze Databricks, w tym w przypadku woluminów wykazu aparatu Unity i instalacji systemu plików DBFS.
    • [SPARK-44455] Identyfikatory cudzysłowów z backticks w SHOW CREATE TABLE wyniku.
    • [SPARK-44763] Rozwiązano problem pokazujący ciąg jako podwójny w arytmetyce binarnej z interwałem.
    • [SPARK-44871] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Łatwość ograniczania rozpoznawania LCA w przypadku zapytań.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44505] Dodano przesłonięć obsługę kolumnarów w obszarze Scan for DSv2 (Skanowanie pod kątem wersji DSv2).
    • [SPARK-44479] Naprawiono konwersję protobuf z pustego typu struktury.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-42941] Dodano obsługę StreamingQueryListener języka Python.
    • [SPARK-44558] Wyeksportuj poziom dziennika programu Spark Connect programu PySpark.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają wartość Null jako pierwszą wartość kolumny.
    • [SPARK-44643] Naprawiono Row.__repr__ , gdy pole jest pustym wierszem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

  • 26 listopada 2024 r.
    • Różne poprawki błędów.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • Różne poprawki błędów.
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Make StringIndexer obsługuje zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 12.2 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-42741][SQL] Nie odpakuj rzutów w porównaniu binarnym, gdy literał ma wartość null
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Różne poprawki błędów.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-44251][SQL] Ustaw poprawnie dopuszczanie wartości null dla klucza sprzężenia połączonego w pełnym zewnętrznym sprzężeniu USING
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, w którym stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • [SPARK-45582][SS] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-43067] Popraw lokalizację pliku zasobu klasy błędów w łączniku platformy Kafka.
    • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-42852] Przywróć zmiany powiązane nazwaneLambdaVariable z RównoważnychExpressions.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-44582] Pomiń iterator na SMJ, jeśli został oczyszczony.
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553] Upewnij się, że co najmniej jedna jednostka czasowa po interwale.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
  • 12 września 2023 r.
    • [SPARK-44873] Dodano obsługę polecenia alter view z kolumnami zagnieżdżonym w kliencie Programu Hive.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzonych ograniczeń rozpoznawania LCA dotyczących zapytań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance błędy analizy powodowało błędy analizy.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że StateManager funkcja wykonawcza została zmaterializowana zamiast sterownika w pliku FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędu liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
    • [SPARK-43522] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43541] Propagacja wszystkich Project tagów w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43123] Wewnętrzne metadane pól nie wyciekają już do wykazów.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
    • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych telewizorów.
    • [SPARK-43378] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów sygnatur daty lub godziny, aby uniknąć uszkodzenia dat.
      • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
    • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Automatycznie ładujący teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje zapisanie kolumn, mimo że można je było odczytać.
    • [SPARK-43009] Sparametryzowane sql() ze Any stałymi
    • [SPARK-42406] Kończenie cyklicznych pól protobuf przez usunięcie pola
    • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Zmień na drukowanie workdir , jeśli appDirs ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie
    • [SPARK-43018] Naprawiono usterkę dotyczącą poleceń INSERT z literałami znacznika czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
    • Rozwiązano problem w zachowaniu %autoreload w notesach spoza repozytorium.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928] Synchronizuje resolvePersistentFunction .
    • [SPARK-42936] Rozwiązuje problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez jego agregację podrzędną.
    • [SPARK-42967] Poprawki SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 marca 2023 r.

    • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne INSERTpolecenia , UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego DEFAULT słowa kluczowego. Ponadto, jeśli jakiekolwiek INSERT przypisanie ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

      Na przykład:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Funkcja automatycznego ładowania inicjuje teraz co najmniej jedno synchroniczne oczyszczanie dziennika bazy danych RocksDB dla Trigger.AvailableNow strumieni w celu sprawdzenia, czy punkt kontrolny może być regularnie czyszczony w przypadku szybkich strumieni automatycznego modułu ładującego. Może to spowodować, że niektóre strumienie będą trwać dłużej przed ich zamknięciem, ale pozwoli to zaoszczędzić koszty magazynowania i poprawić środowisko automatycznego modułu ładującego w przyszłych uruchomieniach.

    • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury

    • [SPARK-42521] Dodawanie list NUL dla grup INSERTs z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa

    • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider

    • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

  • 8 marca 2023 r.
    • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • Począwszy od tej wersji, można utworzyć/zastąpić tabelę dodatkową właściwością delta.ignoreProtocolDefaults tabeli, aby zignorować konfiguracje platformy Spark związane z protokołem, w tym domyślne wersje czytnika i składników zapisywania oraz funkcje tabeli obsługiwane domyślnie.
    • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
    • [SPARK-41793] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla znaczących dziesiętnych
    • [SPARK-42484] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
    • [SPARK-42516] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42635] Napraw wyrażenie TimestampAdd.
    • [SPARK-42622] Wyłącz podstawianie w wartościach
    • [SPARK-42534] Poprawka klauzuli LIMIT DB2Dialect
    • [SPARK-42121] Dodawanie wbudowanych funkcji wartości tabeli posexplode, posexplode_outer, json_tuple i stosu
    • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia małej/małej/znaczącej liczby całkowitej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

  • 26 listopada 2024 r.
    • Różne poprawki błędów.
  • 10 października 2024 r.
    • Różne poprawki błędów.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Make StringIndexer obsługuje zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ustaw poprawnie dopuszczanie wartości null dla klucza sprzężenia połączonego w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, w którym stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego
  • 13 lutego 2024 r.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
    • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • Przywróć [SPARK-33861].
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że element StateManager mógł być zmaterializowany w funkcji wykonawczej zamiast sterownika w elemecie FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
  • 14 sierpnia 2024 r.
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-48463][ML] Make StringIndexer obsługuje zagnieżdżone kolumny wejściowe
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ustaw poprawnie dopuszczanie wartości null dla klucza sprzężenia połączonego w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, w którym stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą jest teraz wyświetlany prawidłowo, gdy zapytania zakończyły się niepowodzeniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
  • 29 marca 2023 r.
    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider
    • [SPARK-42635] Napraw ...
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-41162] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-33206] Naprawianie obliczania wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
    • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • [SPARK-30220] Włącz używanie funkcji Istnieje/W podzapytaniach poza węzłem Filtr
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41198] Naprawiono metryki w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1.
    • [SPARK-41339] Zamknij i ponownie utwórz partię zapisu bazy danych RocksDB zamiast czyszczenia.
    • [SPARK-41732] Zastosuj oczyszczanie oparte na wzorcu drzewa dla reguły SessionWindowing.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Dodano następujące opcje do sterowania obsługą białych znaków:
      • csvignoreleadingwhitespace, gdy jest ustawiona wartość true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona wartość CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
    • [SPARK-40292] Naprawianie nazw kolumn w arrays_zip funkcji, gdy tablice są przywoływane z zagnieżdżonych struktur
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40697] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV, gdy _corrupt_record jest zaznaczone.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić zestaw spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w pliku Executor.updateDependencies().
    • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania.
    • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie.
    • [SPARK-40053] Dodaj assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python.
    • [SPARK-35542] Poprawka: Moduł Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po jego zapisaniu.
    • [SPARK-40079] Dodaj walidację danych wejściowych ImputerCols dla pustego przypadku wejściowego.
  • 24 sierpnia 2022 r.
    • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku.
    • [SPARK-39775] Wyłącz sprawdzanie poprawności wartości domyślnych podczas analizowania schematów Avro.
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw stan wyścigu w pliku RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625] Dodaj Dataset.as(StructType).
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV.
    • [SPARK-39104] Element InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny wątkowo.
    • [SPARK-39570] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem.
    • [SPARK-39702] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego elementu byteRawChannel.
    • [SPARK-39575] dodaj element ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer (Polecenie ByteBuffer#get in AvroDeserializer).
    • [SPARK-39476] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej.
    • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute.
    • [SPARK-39548] Polecenie CreateView z zapytaniem klauzuli okna naciśnij nieprawidłową definicję okna nie znaleziono problemu.
    • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików.
    • [SPARK-34096] Zwiększ wydajność nth_value ignorować wartości null w oknie przesunięcia.
    • [SPARK-36718] Napraw zaewidencjonuj isExtractOnly element ZwińProjekt.
  • 2 czerwca 2022 r.
    • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów miesiąca lub interwałów dnia według całkowitej liczby.
    • [SPARK-38990] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci wbudowanej w narzędziu automatycznego ładowania.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno odfiltrować atrybuty, które nie należą do bieżącej relacji.
    • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP.
    • [SPARK-39084] Napraw df.rdd.isEmpty() przy użyciu elementu TaskContext, aby zatrzymać iterator po zakończeniu zadania.
    • [SPARK-32268] Dodaj kolumnęPruning w iniekcjiBloomFilter.
    • [SPARK-38974] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy.
    • [SPARK-38931] Utwórz katalog główny dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy w punkcie kontrolnym 1.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
    • Rozwiązano problem polegający na tym, że biblioteki o zakresie notesu nie działały w zadaniach przesyłania strumieniowego wsadowego.
    • [SPARK-38616] Śledź tekst zapytania SQL w węźle TreeNode katalizatora
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
      • timestampadd() i dateadd(): Dodaj czas trwania w określonej lekcji do wyrażenia sygnatury czasowej.
      • timestampdiff() i datediff(): Oblicz różnicę czasu między wyrażeniami sygnatury dwukrotnej w określonej lekcji.
    • Parquet-MR został uaktualniony do wersji 1.12.2
    • Ulepszona obsługa kompleksowych schematów w plikach parquet
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick trzy timestmapadd/diff zmiany.
    • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV.
    • [SPARK-38237] Zezwalaj na ClusteredDistribution wymaganie pełnych kluczy klastrowania.
    • [SPARK-38437] Pobłażliwi serializacji daty/godziny ze źródła danych.
    • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości.
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
  • 14 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ustaw poprawnie dopuszczanie wartości null dla klucza sprzężenia połączonego w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-39440] Dodaj konfigurację, aby wyłączyć oś czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • [SPARK-43098] Napraw usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według.
    • [SPARK-43156][SPARK-43098] Rozszerz test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-37520]startswith() Dodawanie funkcji i endswith() string
    • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
  • 29 marca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Różne poprawki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39666] Użyj pliku UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode element ExpressionEncoder
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39575] Dodano ByteBuffer#rewind po w ByteBuffer#get pliku AvroDeserializer.
    • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • 2 czerwca 2022 r.
    • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawiono potencjalny wyciek wbudowanej pamięci w narzędziu automatycznego ładowania.
    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 6 kwietnia 2022 r.
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
    • [SPARK-38437] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • 14 marca 2022 r.
    • [SPARK-38236] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-34069] Przerywanie wątku zadania, jeśli właściwość SPARK_JOB_INTERRUPT_ON_CANCEL lokalna jest ustawiona na true.
  • 23 lutego 2022 r.
    • [SPARK-37859] Tabele SQL utworzone za pomocą JDBC z platformą Spark 3.1 nie są czytelne dla platformy Spark 3.2.
  • 8 lutego 2022 r.
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Rozwiązano problem polegający na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejserowalnej w pewnych rzadkich warunkach.
    • Rozwiązano problem polegający na OPTIMIZE tym, że polecenie mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Drobne poprawki i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Rozwiązano problem, który mógł powodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
    • Łącznik Platformy Apache Spark do udostępniania różnicowego został uaktualniony do wersji 0.2.0.
  • 20 października 2021 r.
    • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Spowoduje to dodanie obsługi typu BigNumeric.