Udostępnij za pośrednictwem

Aktualizacje konserwacji środowiska Databricks Runtime

  • Artykuł

W tym artykule wymieniono aktualizacje konserwacji dla obsługiwanych wersji środowiska Databricks Runtime. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster. Aby uzyskać informacje o aktualizacjach konserwacji w nieobsługiwanych wersjach środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane przez kilka dni po początkowej dacie wydania.

Wersje środowiska Databricks Runtime

Aktualizacje konserwacji według wydania:

Databricks Runtime 16.2

Zobacz Databricks Runtime 16.2.

  • 5 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50770][SS] Usuwanie ograniczeń pakietowych dla interfejsów API transformWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 16.1

Zobacz Databricks Runtime 16.1.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Objęte typy danych to daty, znaczniki czasu inne niż NTZ oraz liczby dziesiętne, gdy włączony jest prefersDecimal. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 listopada 2024 r.
    • Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Objęte typy danych to daty, znaczniki czasu nie-NTZ oraz liczby dziesiętne, gdy prefersDecimal jest włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 16.0

Zobacz Databricks Runtime 16.0.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Objęte typy danych to daty, znaczniki czasu poza NTZ i liczby dziesiętne po włączeniu prefersDecimal. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50705][SQL] Utwórz QueryPlan bez blokady
    • [SPARK-50492][SS] Poprawka błędu java.util.NoSuchElementException występującego po usunięciu kolumny czasu zdarzenia po zastosowaniu funkcji dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 grudnia 2024 r.
    • Instrukcja USE CATALOG obsługuje teraz klauzulę IDENTIFIER. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru.
    • Ta wersja zawiera poprawkę problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w pewnych wyjątkowych przypadkach związanych z automatycznym kompaktowaniem w tle.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
    • [SPARK-50034][CORE] Naprawienie błędnego raportowania błędów krytycznych jako nieprzechwytywane wyjątki w SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
    • [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
    • [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak split() i regexp_extract(), zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażenie split(str_col, '{'), które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz jest odrzucane. Aby naprawić to wyrażenie, możesz użyć znaku ucieczki przed nawiasem klamrowym: split(str_col, '\\{'). Zachowanie Photona i Sparka różniło się również w dopasowywaniu wyrażeń regularnych do znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to 9000 (sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Poprawa zmiany komentarza w kolumnach typu char/varchar
    • [SPARK-49924][SQL] Zachowaj containsNull po zastąpieniu ArrayCompact
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [SPARK-48780][SQL] Uogólnienie błędów w NamedParametersSupport do obsługi funkcji i procedur
    • [SPARK-49876][CONNECT] Pozbyć się blokad globalnych z usługi Spark Connect
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE
    • [SPARK-49615] Poprawka: Sprawdzanie zgodności schematu kolumn ML z konfiguracją spark.sql.caseSensitive w Spark.
    • [SPARK-48782][SQL] Dodanie wsparcia dla wykonywania procedur w katalogach
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (poprawa poprawności)
    • Przywróć "[SPARK-49002][SQL] Konsekwentna obsługa nieprawidłowych lokalizacji w WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY"
    • [SPARK-50028][CONNECT] Zastąp blokady globalne w odbiorniku serwera Spark Connect precyzyjnymi blokadami
    • [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.4

Zobacz Databricks Runtime 15.4 LTS.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Objęte typy danych to daty, znaczniki czasu niebędące NTZ oraz liczby dziesiętne po włączeniu prefersDecimal. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia w wyniku operacji dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Instrukcja USE CATALOG obsługuje teraz klauzulę IDENTIFIER. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru.
    • Ta wersja zawiera poprawkę błędu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych przypadkach brzegowych związanych z automatycznym kompaktowaniem w tle.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • Pakiet pyodbc został zaktualizowany z wersji 4.0.38 do wersji 4.0.39. Ta zmiana jest wymagana, ponieważ znaleziono usterkę w wersji 4.0.38 i usunięto tę wersję z interfejsu PyPI.
    • [SPARK-50329][SQL] fix InSet$toString
    • [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
    • [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
    • [SPARK-48863][SQL] Fix ClassCastException podczas analizowania kodu JSON z włączoną funkcją "spark.sql.json.enablePartialResults"
    • [SPARK-50310][PYTHON] Dodaj flagę, aby wyłączyć DataFrameQueryContext w PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Naprawa niepoprawnego zgłaszania błędów krytycznych jako nieuchwycone wyjątki w SparkUncaughtExceptionHandler
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to 9000 (sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
    • [SPARK-49615] [ML] Zapewnij, że wszystkie transformatory cech ML spełniają sprawdzanie zgodności schematu zestawu danych z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak split() i regexp_extract(), zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażenie split(str_col, '{'), które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz kończy się niepowodzeniem. Aby naprawić to wyrażenie, możesz użyć znaku ucieczki przed nawiasem klamrowym: split(str_col, '\\{'). Zachowanie Photon i Spark różniło się również w przypadku dopasowywania wyrażeń regularnych do niektórych znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje UnresolvedAttribute z wyjściem podrzędnym.
    • [SPARK-49867][SQL] Popraw komunikat o błędzie, gdy indeks wykracza poza granice przy wywołaniu metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do przechowywania stanów w łączeniu strumieniowym (naprawa błędów)
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE.
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażenia, gdy równoważne wyrażenia trójkowe mają różne dzieci
    • [SPARK-49443][SQL][PYTHON] Zaimplementowanie wyrażenia to_variant_object i powodowanie, że wyrażenia schema_of_variant drukują OBJECT dla obiektów wariantowych.
    • [SPARK-49615] Poprawka: sprawdzanie poprawności schematu kolumny uczenia maszynowego tak, aby było zgodne z konfiguracją Spark spark.sql.caseSensitive.
  • 22 października 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązane atrybuty z danymi wyjściowymi dziecka.
    • [SPARK-49867][SQL] Poprawianie komunikatu o błędzie, gdy indeks jest poza granicami podczas wywoływania metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Zrewiduj optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumień-strumień (poprawa poprawności)
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikowaniu mieszania przez AQE.
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażeń, gdy równoważne wyrażenia trójelementowe mają różne dzieci
    • [SPARK-49443][SQL][PYTHON] Zaimplementować wyrażenie to_variant_object i spowodować, aby wyrażenia schema_of_variant drukowały OBJECT dla obiektów wariantowych
    • [SPARK-49615] Naprawa błędu: dostosowanie walidacji schematu kolumny ML do konfiguracji Spark spark.sql.caseSensitive.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49460][SQL] Kontynuacja: naprawa potencjalnego ryzyka NPE
  • 25 września 2024 r.
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Próba ponownego dołączenia do nieaktywnego uchwytu wykonania
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-49017][SQL] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
    • [SPARK-49451] Zezwalaj na zduplikowane klucze w parse_json.
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][POPRAWKA-15.4.2] Obsługa ścieżek w stylu Windows w narzędziu ArtifactManager
    • Przywróć wartość "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark powinna akceptować wartości args o zmiennej długości"
    • [SPARK-43242][CORE] Poprawka poprawia błąd 'Nieoczekiwany typ BlockId' w diagnozowaniu korupcji mieszania
    • [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść przy rozwiązywaniu kolumn ramek danych
    • [SPARK-49018][SQL] Naprawiono funkcję approx_count_distinct, która nie działała poprawnie z sortowaniem.
    • [SPARK-49460][SQL] Usuń cleanupResource() z emptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania wiadomości protobuf
  • 29 sierpnia 2024 r.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia dotyczące przesyłania strumieniowego i wymagania dotyczące standardowego trybu dostępu w Unity Catalog.
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek pisarza / czytnika ML
    • [SPARK-49074][SQL] Naprawianie wariantu za pomocą polecenia df.cache()
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych
    • [SPARK-48955][SQL] Uwzględnij zmiany ArrayCompact w wersji 15.4
    • [SPARK-48937][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap
    • [SPARK-48929] Naprawa błędu wewnętrznego widoku i czyszczenie kontekstu wyjątku analizatora
    • [SPARK-49125][SQL] Zezwalaj na zduplikowane nazwy kolumn przy zapisie do formatu CSV
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-48981] Naprawiono metodę simpleString typu StringType w narzędziu pyspark na potrzeby sortowania
    • [SPARK-49065][SQL] Zmienianie bazy w starszych formaterach/analizatorach musi obsługiwać inne niż domyślne strefy czasowe JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48725][SQL] Integrowanie aplikacji CollationAwareUTF8String.lowerCaseCodePoints z wyrażeniami ciągów
    • [SPARK-48978][SQL] Implementowanie szybkiej ścieżki ASCII w obsłudze sortowania dla UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Skrócenie komunikatu do logowania
    • [SPARK-49146][SS] Przenieść błędy asercji związane z brakiem znaku wodnego w zapytaniach przesyłania strumieniowego w trybie dołączania do infrastruktury błędów
    • [SPARK-48977][SQL] Optymalizacja wyszukiwania ciągów przy użyciu sortowania UTF8_LCASE
    • [SPARK-48889][SS] testStream do rozładowania przechowywań stanów przed zakończeniem
    • [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
    • [SPARK-48954] try_mod() zastępuje try_remainder()
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.3

Zobacz Databricks Runtime 14.3 LTS.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Objęte typy danych to daty, znaczniki czasu nienależące do NTZ i dziesiętne po włączeniu prefersDecimal. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po funkcji dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Ta wersja zawiera poprawkę, która może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych przypadkach granicznych związanych z automatycznym kompaktowaniem danych w tle.
    • [SPARK-50329][SQL] fix InSet$toString
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Dostosuj sprawdzanie poprawności schematu zestawu danych dla wszystkich przekształcaczy funkcji uczenia maszynowego, aby było zgodne z konfiguracją „spark.sql.caseSensitive”.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumień-strumień (naprawa błędów)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wynikami podrzędnych
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażeń, gdy równoważne wyrażenia trójargumentowe mają różne składniki.
    • [SPARK-49905] Użyj specjalnego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikowaniu mieszania przez AQE.
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażeń, gdy równoważne wyrażenia ternarne mają różne elementy podrzędne
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wynikowym wyjściem podrzędnym.
    • [BACKPORT] [SPARK-49326][SS] Skategoryzuj klasę błędów dla błędu funkcji użytkownika w ujściu Foreach
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumień-strumień (naprawa błędów)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
  • 25 września 2024 r.
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie powinien kończyć się błędem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować wyrażenie zachowujące stan przed ewaluacją
    • [SPARK-49492][CONNECT] Ponowne podjęcie próby dołączenia przy nieaktywnym Zasobniku Wykonawcy
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ograniczenie poziomu zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-43242][CORE] Naprawa zgłaszanego błędu „Nieoczekiwany typ BlockId” w diagnozowaniu uszkodzeń mieszania
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor, które obsługują zagnieżdżone kolumny wejściowe
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść podczas rozwiązywania kolumn w ramkach danych
  • 29 sierpnia 2024 r.
    • [SPARK-49146][SS] Przenieść błędy asercji związane z brakiem znaku wodnego w zapytaniach przesyłania strumieniowego w trybie dołączania do infrastruktury błędów
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49263][CONNECT] Klient Spark Connect w Pythonie: spójna obsługa opcji czytania ramek danych z wartościami logicznymi
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek modułu zapisywania/czytnika uczenia maszynowego
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Przekształcanie w starszych formaterach/analizatorach musi obsługiwać inne niż domyślne strefy czasowe JVM
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątku ArrayIndexOutOfBoundsException lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartości null.
    • W obliczeniach bezserwerowych dla notesów i zadań tryb ANSI SQL jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku środowisk obliczeniowych skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego w Kafka mają teraz takie same ograniczenia jak te udokumentowane dla strumieniowania strukturalnego. Zobacz Ograniczenia streamingu i wymagania dotyczące standardowego trybu dostępu Unity Catalogu.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backportowanie poprawek modułu zapisywania ML dla platformy Spark
    • [SPARK-48889][SS] testStream w celu zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-48047][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
    • [SPARK-48544][SQL] Zmniejszenie nacisku na pamięć przez puste zestawy bitów TreeNode
    • [SPARK-46957][CORE] Likwidowanie migrowanych plików szufli powinny móc być usuwane przez wykonawcę
    • [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
    • [SPARK-47202][PYTHON] Naprawiono literówkę powodującą problemy z datami/godzinami z użyciem tzinfo.
    • [SPARK-47713][SQL][CONNECT] Naprawa błędu samosprzężenia
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę dla problemu, który uniemożliwił poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
    • W przypadku obliczeń bezserwerowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, w źródłach danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Można również użyć konfiguracji spark.sql.files.ignoreInvalidPartitionPaths w SQL. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48445][SQL] Nie integruj funkcji UDF z kosztownymi elementami
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem zagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisania PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Update CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny na obliczeniach ze standardowym trybem dostępu.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48294][SQL] Obsługa małych liter w "nestedTypeMissingElementTypeError"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • (Zmiana zachowania) dbutils.widgets.getAll() jest teraz obsługiwana w celu pobrania wszystkich wartości widżetów w notatniku.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48146][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • [SPARK-48180][SQL] Popraw błąd, gdy wywołanie UDTF z TABLE argumentem zapomina o nawiasach wokół wielu wyrażeń PARTITION/ORDER BY
    • [SPARK-48016][SQL] Naprawiono błąd w funkcji try_divide dotyczącej liczb dziesiętnych
    • [SPARK-48197][SQL] Unikaj błędu asercji z powodu nieprawidłowej funkcji lambda
    • [SPARK-47994][SQL] Poprawka usterki z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem magazynu stanów a wykonywaniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • (Zmiana zachowania) applyInPandas i mapInPandas te typy UDF są teraz obsługiwane w trybie dostępu współdzielonego z Databricks Runtime w wersji 14.3 lub nowszej.
    • [SPARK-47739][SQL] Zarejestruj typ logiczny Avro
    • [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-47543][CONNECT][PYTHON] Rozpoznawanie słownika jako MapType z ramki danych Pandas w celu utworzenia ramki danych
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Użyj asynchronicznego wywołania zwrotnego do czyszczenia procesu wykonawczego
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania zgodnie z trybem ShuffleCleanupMode
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47895][SQL] GROUP BY ALL powinno być idempotentne
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Zweryfikuj nazwę kolumny z buforowanym schematem
    • [SPARK-47862][PYTHON][CONNECT]Naprawa generowania plików proto
    • Przywróć "[SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas, aby umożliwić tworzenie ramki danych"
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Wprowadzenie pamięci podręcznej planu w rozwiązaniu SparkConnectPlanner w celu zwiększenia wydajności żądań analizy
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite zawodzi z powodu nieprawidłowego planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • ( zmiana zachowania) Aby zapewnić spójne zachowanie dla różnych typów obliczeniowych, UDF-y PySpark dla obliczeń ze standardowym trybem dostępu są teraz zgodne z zachowaniem UDF-ów w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
      • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie będą już niejawnie konwertować wartości innych niż string na wartości string. Wcześniej funkcje zdefiniowane przez użytkownika o zwracanym typie str zawijały zwracaną wartość za pomocą funkcji str(), niezależnie od rzeczywistego typu danych zwracanej wartości.
      • Funkcje zdefiniowane przez użytkownika z typami timestamp zwracania nie stosują już niejawnie konwersji na timestamp za pomocą timezone.
      • Konfiguracje klastrów Spark o numerze spark.databricks.sql.externalUDF.* nie mają już zastosowania do UDF-ów PySpark na obliczeniach z trybem dostępu standardowego.
      • Konfiguracja spark.databricks.safespark.externalUDF.plan.limit klastra Spark nie ma już wpływu na funkcje zdefiniowane przez użytkownika PySpark, co usuwa ograniczenie publicznej wersji zapoznawczej do 5 takich funkcji na jedno zapytanie.
      • Konfiguracja klastra Spark spark.databricks.safespark.sandbox.size.default.mib nie ma już zastosowania w obliczeniach ze standardowym trybem dostępu do PySpark UDF. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, użyj spark.databricks.pyspark.udf.isolation.memoryLimit z minimalną wartością 100m.
    • Typ danych TimestampNTZ jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel Delta.
    • [SPARK-47511][SQL] Kanonizuj wyrażenia With poprzez ponowne przypisanie identyfikatorów
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • [SPARK-46990][SQL] Naprawa ładowania pustych plików Avro emitowanych przez event-hubs
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla JDBC zewnętrznych źródeł danych w celu wyjaśnienia danych wyjściowych
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47121][CORE] Unikaj wyjątku RejectedExecutionExceptions podczas zamykania StandaloneSchedulerBackend.
    • Przywróć "[SPARK-46861][CORE] Uniknęto zakleszczenia w DAGScheduler"
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-46999][SQL] WyrażenieWithUnresolvedIdentifier powinno zawierać inne wyrażenia w drzewie wyrażeń
    • [SPARK-47129][CONNECT][SQL] Prawidłowe tworzenie planu połączeń z pamięcią podręczną
    • [SPARK-47241][SQL] Naprawa problemów z kolejnością reguł dla ExtractGeneratora
    • [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
    • [SPARK-47071][SQL] Wbuduj wyrażenie, jeśli zawiera ono wyrażenie specjalne
    • [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46993][SQL] Naprawianie stałego składania zmiennych sesji
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 3 stycznia 2024 r.
    • [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-46954] XML: Opakowanie InputStreamReader za pomocą BufferedReader.
    • [SPARK-46655] Pomiń przechwytywanie kontekstu zapytania w DataFrame metodach.
    • [SPARK-44815] Buforuj df.schema, aby uniknąć dodatkowych wywołań RPC.
    • [SPARK-46952] XML: ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46736] zachowaj puste pole komunikatu w łączniku protobuf.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46414] Użyj prependBaseUri do renderowania importów języka JavaScript.
    • [SPARK-46383] Zmniejsz użycie sterty sterownika poprzez skrócenie okresu istnienia TaskInfo.accumulables().
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46954] XML: Optymalizowanie wyszukiwania indeksu schematu.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
    • [SPARK-46731] Zarządzanie instancją dostawcy magazynu stanów przez źródło danych stanu — odczyt.
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
    • [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
    • [SPARK-46227] Powrót do wersji 14.3.
    • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.1

Zobacz Databricks Runtime 14.1.

  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z podrzędnymi danymi wyjściowymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
  • 22 października 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje UnresolvedAttribute z wyjściem podrzędnym
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora z zachowaniem stanu, aby zapobiec modyfikacji przetasowania przez AQE
  • 10 października 2024 r.
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować wyrażenie z zachowaniem stanu przed przetworzeniem
    • [SPARK-43242][CORE] Naprawa błędu 'Nieoczekiwany typ BlockId' w diagnozowaniu uszkodzenia danych w procesie mieszania
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient Spark Connect dla Pythona: spójna obsługa opcji czytnika DataFrame z wartościami logicznymi
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
  • 14 sierpnia 2024 r.
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Przebazowanie w starszych formaterach/analizatorach musi obsługiwać nie-domyślne strefy czasowe JVM.
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątku ArrayIndexOutOfBoundsException lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartości null.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48705][PYTHON] Jawne użycie funkcji worker_main, gdy proces zaczyna się od pyspark
    • [SPARK-47202][PYTHON] Poprawiono literówkę, która powodowała błędy w obsłudze dat i godzin z tzinfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwiał poprawne wyświetlanie karty środowiska UI Spark przy uruchamianiu w Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Popraw błędne podzapytania skalarne z grupowaniem według kolumn niewspółmiernych, które były nieprawidłowo dozwolone
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem zagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48383][SS] Zgłoś lepszy błąd dla niedopasowanych partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47895][SQL] grupowanie według 'all' powinno być idempotentne
    • [SPARK-47956][SQL] Kontrola poprawności dla nierozwiązanej referencji LCA
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i później w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite nie działa z powodu nieprawidłowego planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-47509][SQL] Blokowanie wyrażeń podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • [SPARK-46990][SQL] Naprawiono ładowanie pustych plików Avro generowanych przez centra zdarzeń
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47305][SQL] Napraw PruneFilters, aby poprawnie oznaczać flagę isStreaming dla LocalRelation, gdy plan zawiera zarówno tryb wsadowy, jak i strumieniowy.
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • [SPARK-47300][SQL] quoteIfNeeded powinien zawierać w cudzysłowie identyfikator zaczynający się od cyfr
    • [SPARK-47368][SQL] Usuń sprawdzenie konfiguracji inferTimestampNTZ w ParquetRowConverter
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47322][PYTHON][CONNECT] Ujednolić sposób obsługi duplikacji nazw kolumn withColumnsRenamed zgodnie z withColumnRenamed
    • [SPARK-47300] Poprawka dotycząca decomposerSuite
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47385] Napraw kodery dla krotek z wejściami typu Option.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47176][SQL] Stworzenie funkcji pomocniczej ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47129][CONNECT][SQL] Prawidłowe tworzenie planu połączenia pamięci podręcznej
    • Przywróć "[SPARK-46861][CORE] Uniknięcie zakleszczenia w DAGScheduler"
    • [SPARK-47044][SQL] Dodanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC do wyjaśnienia wyników
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik posiadał uprawnienia SELECT i do modyfikowania w każdym pliku.
    • Teraz można pozyskiwać pliki XML przy użyciu narzędzia Autoloader, read_files, COPY INTO, DLT i DBSQL. Obsługa plików XML może automatycznie wnioskować i rozwijać schemat, ratować dane z niezgodnościami typów, weryfikować kod XML przy użyciu XSD, obsługiwać wyrażenia SQL, takie jak from_xml, schema_of_xml i to_xml. Aby uzyskać więcej informacji, zobacz Obsługa plików XML. Jeśli wcześniej używano zewnętrznego pakietu spark-xml, zobacz tutaj , aby uzyskać wskazówki dotyczące migracji.
    • [SPARK-46248][SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
    • [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Opatulenie InputStreamReader obiektem BufferedReader
    • [SPARK-46954][SQL] XML: Optymalizowanie wyszukiwania indeksu schematu
    • [SPARK-46630][SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania zmiany kanałów danych (CDF) dotyczące zmaterializowanych widoków w Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku w Unity Catalog zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niżAPPLY CHANGES w środowisku uruchomieniowym Databricks 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego w Unity Catalog w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46952] XML: ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metrykę czasu wykonania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-45582] Upewnij się, że instancja magazynu nie jest używana po wykonaniu operacji zatwierdzenia w trybie wyjściowym dla strumieniowej agregacji.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu Unia w Avro.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46684] Popraw CoGroup.applyInPandas/Arrow, aby prawidłowo przekazywać argumenty.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-45498] Obserwowanie: ignoruj ukończenie zadania ze starych prób etapu.
    • [SPARK-46382] XML: Aktualizacja dokumentu dla ignoreSurroundingSpaces.
    • [SPARK-46383] Zmniejsz użycie sterty pamięci sterownika poprzez skrócenie czasu życia TaskInfo.accumulables().
    • [SPARK-46382] XML: Domyślne ustawienie ignorowania otaczających spacji to "true".
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-45912] Rozbudowa interfejsu API XSDToSchema: Przejście na interfejs API HDFS dla dostępności do magazynów w chmurze.
    • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
    • [SPARK-46382] XML: Zapisz wartości przeplatane między elementami.
    • [SPARK-46769] Udoskonalić wnioskowanie schematu związanego ze znacznikami czasu.
    • [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
    • [SPARK-45964] Usuń prywatne akcesorium SQL w pakiecie XML i JSON w ramach pakietu katalizatora.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-45962] Usuń treatEmptyValuesAsNulls i zamiast tego użyj opcji nullValue w formacie XML.
    • [SPARK-46541] Popraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • Węzeł shuffle planu wyjaśnienia zwrócony przez zapytanie Photon jest aktualizowany, aby dodać flagę causedBroadcastJoinBuildOOM=true w przypadku wystąpienia błędu braku pamięci podczas mieszania, które jest częścią sprzężenia emisji.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-46417] Nie zgłasza błędu podczas wywoływania funkcji hive.getTable, gdy throwException ma wartość false.
    • [SPARK-46484] Spraw, aby funkcje pomocnicze resolveOperators zachowywały identyfikator planu.
    • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
    • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla ciągów.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46337] Zachowaj CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46466] Wektoryzowany czytnik Parquet nigdy nie powinien wykonywać operacji rebase dla znacznika czasu NTZ.
    • [SPARK-46587] XML: Napraw konwersję dużych liczb całkowitych XSD.
    • [SPARK-45814] Aby uniknąć przecieku pamięci, należy wywołać metodę close() po użyciu ArrowConverters.createEmptyArrowBatch.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46056] Naprawiono błąd wektoryzowanego odczytu Parquet z wyjątkiem NPE, przy użyciu wartości domyślnej dla byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać kolejności słownika.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że ucieczone znaki podkreślenia w operacjach getColumns pochodzących od klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-45509] naprawianie zachowania odwołania do kolumn df dla programu Spark Connect.
    • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
    • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
    • [SPARK-46028] Zaakceptuj kolumnę wejściową Column.__getitem__.
    • [SPARK-46255] Obsługa konwersji typów złożonych na ciągi.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
    • [SPARK-45316] Dodawanie nowych parametrów ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-45852] Sprawnie radzić sobie z błędem rekursji podczas rejestrowania.
    • [SPARK-45920] grupowanie według pozycji powinno być idempotentne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na błędnym interpretowaniu znaków podkreślenia poprzedzonych ukośnikiem w operacjach getColumns pochodzących z klientów JDBC lub ODBC jako symbole wieloznaczne.
    • Podczas pozyskiwania danych CSV przy użyciu Auto Loadera lub tabel przesyłania strumieniowego duże pliki CSV mogą być dzielone i przetwarzane równolegle podczas analizy i wnioskowania schematu oraz przetwarzania danych.
    • [SPARK-45892] Refaktoryzacja walidacji planu optymalizatora, aby oddzielić validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45620] Interfejsy API związane z funkcją UDF języka Python używają teraz camelCase.
    • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Connect i SQL.
    • [SPARK-45770] Naprawiono rozwiązywanie kolumn za pomocą DataFrameDropColumns dla Dataframe.drop.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Zrobiono testowanie SBT hermetycznym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45250] Dodano obsługę profilu zasobów zadania na poziomie etapu dla klastrów YARN po wyłączeniu dynamicznej alokacji.
    • [SPARK-44753] Dodano czytnik i moduł zapisywania ramek danych XML dla języka SQL PySpark.
    • [SPARK-45396] Dodano wpis dokumentu dla modułu PySpark.ml.connect .
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano protokół SSLFactory.
    • [SPARK-45577] Naprawiono UserDefinedPythonTableFunctionAnalyzeRunner, aby przekazywać zagięte wartości z nazwanych argumentów.
    • [SPARK-45562] Element "rowTag" jest wymaganą opcją.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-43380] Naprawiono spowolnienie odczytu Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracała wartość 0.
    • [SPARK-44219] Dodano testy sprawdzania poprawności poszczególnych reguł pod kątem ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem, który występował, gdy InferWindowGroupLimit powodował błąd, jeśli inne funkcje okna nie miały takiej samej ramki jak funkcje tego typu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 września 2023 r.
    • [SPARK-44823] Zaktualizowano black do wersji 23.9.1 i usunięto błędne sprawdzanie.
    • [SPARK-45339] Teraz PySpark loguje błędy, które ponawia.
    • Przywróć [SPARK-42946] Wyredagowane poufne dane osadzone w ramach podstawień zmiennych.
    • [SPARK-44551] Edytowane komentarze w celu synchronizacji z OSS.
    • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
    • [SPARK-45279] Dołączone plan_id do wszystkich planów logicznych.
    • [SPARK-45425] Zamapowano TINYINT na ShortType dla MsSqlServerDialect.
    • [SPARK-45419] Usunięto wpis mapy wersji pliku dla większych wersji, aby uniknąć ponownego użycia identyfikatorów plików sst.
    • [SPARK-45488] Dodano obsługę wartości w rowTag elemecie .
    • [SPARK-42205] Usunięto rejestrowanie Accumulables w zdarzeniach uruchamiania Task/Stage w dziennikach zdarzeń JsonProtocol.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter kończy się niepowodzeniem podczas zapisywania większej liczby wartości niż pojemność początkowa.
    • [SPARK-43380] Rozwiązano Avro problemy z konwersją typów danych bez powodowania regresji wydajności.
    • [SPARK-45182] Dodano obsługę cofania etapu mapowania shuffle, dzięki czemu można ponowić wszystkie zadania na etapie, gdy dane wyjściowe etapu są nieokreślone.
    • [SPARK-45399] Dodano opcje XML przy użyciu polecenia newOption.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.3 LTS

Zobacz Databricks Runtime 13.3 LTS.

  • 11 lutego 2025 r.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po zastosowaniu dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Traktuj decimal(x, 0) tak samo jak typ całkowity w kontekście PromocjiStringów
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Upewnij się, że sprawdzanie poprawności schematu zestawu danych przekształcania funkcji uczenia maszynowego jest zgodne z konfiguracją "spark.sql.caseSensitive".
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klasyfikuj kategorię błędów dla błędu funkcji użytkownika zlewu foreach
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacjom mieszania przez AQE.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT] [SPARK-49326][SS] Skategoryzuj klasę błędu dla błędu funkcji użytkownika w zlewie foreach
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacjom mieszania przez AQE (Adaptive Query Execution)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-43242][CORE] Naprawiono błąd "Nieoczekiwany typ BlockId" w diagnozowaniu problemów z mieszaniem
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor, które obsługują zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49065][SQL] Przebazowanie w starszych formaterach/analizatorach powinno obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątku ArrayIndexOutOfBoundsException lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartości null.
    • [SPARK-47202][PYTHON] Poprawiono literówkę wpływającą na daty/godziny z tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48463] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez StringIndexer
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwiał poprawne wyświetlanie karty Środowisko interfejsu użytkownika Spark podczas uruchamiania w usługach kontenerowych Databricks.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
    • [SPARK-48481][SQL][SS] Nie stosuj optymalizacji OptimizeOneRowPlan względem zestawu danych strumieniowych
    • [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
    • [SPARK-48273][SQL] Naprawa późnego ponownego przepisania PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-46822][SQL] Uwzględniaj spark.sql.legacy.charVarcharAsString przy rzutowaniu typu JDBC na typ Catalyst w JDBC
    • [SPARK-47895][SQL] GROUP BY ALL powinno być idempotentne
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i później w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-44653][SQL] Nietrywialne łączenia ramek danych nie powinny zakłócać buforowania
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47385] Napraw kodery krotek z wejściami typu Option.
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w ParquetRowConverter
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47300][SQL] quoteIfNeeded powinien zawierać w cudzysłowie identyfikator zaczynający się od cyfr
    • [SPARK-47305][SQL] Napraw PruneFilters, aby prawidłowo oznaczyć flagę isStreaming właściwości LocalRelation, gdy plan zawiera zarówno przetwarzanie wsadowe, jak i przesyłanie strumieniowe
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47167][SQL] Dodanie konkretnej klasy dla anonimowej relacji JDBC
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla JDBC zewnętrznych źródeł danych w celu wyjaśnienia danych wyjściowych
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz od użytkownika posiadania uprawnień SELECT oraz MODYFIKUJ do DOWOLNEGO PLIKU.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania zmiany kanałów danych (CDF) dotyczące zmaterializowanych widoków w Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku w Unity Catalog zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niżAPPLY CHANGES w środowisku uruchomieniowym Databricks 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w tabelach przesyłania strumieniowego w Unity Catalog w środowisku Databricks Runtime 14.0 i wcześniejszych wersjach.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników używających JDBCRDD.
    • [SPARK-45582] Upewnij się, że instancja magazynująca nie jest używana po wywołaniu commit w trybie wyjściowym w agregacji strumieniowej.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność elementu TaskInfo.accumulables().
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • Węzeł planu wykonania shuffle zwrócony przez zapytanie Photon jest aktualizowany, aby dodać flagę causedBroadcastJoinBuildOOM=true w przypadku wystąpienia błędu braku pamięci podczas operacji mieszającej, która jest częścią sprzężenia typu broadcast.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla ciągu.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46056] Naprawiono wektoryzowany odczyt Parquet NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia zewnętrznie oznaczane w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie obsługiwane i interpretowane jako symbole wieloznaczne.
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • [SPARK-44582] Pomiń iterator w SMJ, jeśli został oczyszczony.
    • [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix w celu usunięcia podatności na ataki RCE w PyArrow.
    • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45892] Refaktoryzacja walidacji planu optymalizatora w celu oddzielenia validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty UDF stały się leniwe ml.functions.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego i zmaterializowanych widokach Unity Catalog, aby wyświetlać komunikaty o błędach.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45427] Dodano ustawienia SSL RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45541] DodanoSSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
    • [SPARK-45543] Naprawiono błąd, który występował, gdy InferWindowGroupLimit powodował konflikt, jeśli inne funkcje okna nie miały takiej samej ramki okna jak funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 października 2023 r.
    • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter nie powiodła się podczas zapisywania większej liczby wartości niż początkowa pojemność.
    • [SPARK-45419] Unikaj ponownego używania rocksdb sst plików w innej instancji rocksdb poprzez usunięcie wpisów mapy wersji plików dla większych wersji.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych, gdy używany jest indeks -1. Aby przywrócić poprzednie zachowanie, ustaw spark.sql.legacy.negativeIndexInArrayInsert na wartość true.
    • Rozwiązano problem polegający na tym, że nie ignorowano uszkodzonych plików po włączeniu ignoreCorruptFiles podczas wnioskowania schematu CSV z funkcją automatycznego ładowania.
    • Przywróć [SPARK-42946].
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie Accumulables w zdarzeniach rozpoczynania zadania lub etapu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • [SPARK-45316] Dodawanie nowych parametrów ignoreCorruptFiles i ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-44740] stałe wartości metadanych artefaktów.
    • [SPARK-45360] Zainicjowano konfigurację konstruktora sesji platformy Spark z witryny SPARK_REMOTE.
    • [SPARK-44551] Edytowane komentarze w celu synchronizacji z OSS.
    • [SPARK-45346] Rozpoznawanie schematu Parquet teraz uwzględnia flagi wrażliwe na wielkość liter podczas scalania schematu.
    • [SPARK-44658]ShuffleStatus.getMapStatus teraz zwraca None zamiast Some(null).
    • [SPARK-44840] Zmieniono na bazę 1 dla ujemnych indeksów.
  • 14 września 2023 r.
    • [SPARK-44873] Dodano obsługę alter view z kolumnami zagnieżdżonymi w kliencie programu Hive.
    • [SPARK-44878] Wyłączono ścisły limit dla menedżera zapisu RocksDB, aby uniknąć wyjątku wstawiania podczas zakończenia buforowania.
  • 30 sierpnia 2023 r.
    • Polecenie dbutils cp (dbutils.fs.cp) zostało zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą potrwać do 100 mniej czasu, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich chmurach i systemach plików dostępnych w usłudze Databricks, w tym w przypadku woluminów katalogu Unity i zamontowań DBFS.
    • [SPARK-44455] Identyfikatory cudzysłowów z backticks w SHOW CREATE TABLE wyniku.
    • [SPARK-44763] Rozwiązano problem pokazujący ciąg jako podwójny w arytmetyce binarnej z interwałem.
    • [SPARK-44871] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Łatwość ograniczania rozpoznawania LCA w przypadku zapytań.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44505] Dodano zastąpienie dla obsługi kolumnowej w skanowaniu DSv2.
    • [SPARK-44479] Naprawiono konwersję protobuf z pustego typu struktury.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-42941] Dodano obsługę StreamingQueryListener języka Python.
    • [SPARK-44558] Wyeksportuj poziom logowania dla Spark Connect w PySpark.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyjściowe wiersze miały wartość Null jako pierwszą w kolumnie.
    • [SPARK-44643] Naprawiono problem, gdy pole jest pustym wierszem Row.__repr__.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

  • 11 lutego 2025 r.
    • Żaden

  • 10 grudnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 26 listopada 2024 r.

    • Różne poprawki błędów.

  • 10 października 2024 r.

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields

  • 25 września 2024 r.

    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Różne poprawki błędów.

  • 17 września 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 sierpnia 2024 r.

    • Różne poprawki błędów.

  • 14 sierpnia 2024 r.

    • [SPARK-48941][SPARK-48970] Przeniesienie poprawek do zapisywania i odczytywania w module uczenia maszynowego
    • [SPARK-49065][SQL] Przeformatowanie dat w dziedzicznych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 sierpnia 2024 r.

  • 1 sierpnia 2024 r.

    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 12.2 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.

  • 11 lipca 2024 r.

    • (Zmiana zachowania) Buforowane ramki danych względem tabel źródłowych Delta są teraz inwalidowane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem zestawu danych strumieniowych
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-42741][SQL] Nie odpakowuj rzutowań w porównaniach binarnych, gdy literał ma wartość 'null'
    • [SPARK-48445][SQL] Nie wbudowuj UDF-ów z drogimi operacjami podrzędnymi
    • [SPARK-48503][SQL] Napraw nieprawidłowe podzapytania skalarne z grupowaniem po kolumnach, które nie są równoważne, a które były niepoprawnie dozwolone.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 17 czerwca 2024 r.

    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Różne poprawki błędów.

  • 21 maja 2024 r.

    • [SPARK-48105][SS] Naprawa warunku wyścigu pomiędzy rozładowywaniem magazynu stanów a wykonywaniem migawki
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 9 maja 2024 r.

    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • [SPARK-47973][CORE] Rejestrowanie miejsca wywołania w SparkContext.stop() oraz później w SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Kontrola poprawności dla nierozwiązanego odniesienia LCA
    • [SPARK-48018][SS] Rozwiązano problem z wartością null dla groupId powodującą błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 kwietnia 2024 r.

    • [SPARK-47305][SQL] Napraw PruneFilters, aby prawidłowo oznaczyć flagę isStreaming w LocalRelation, gdy plan obejmuje zarówno przetwarzanie wsadowe, jak i przetwarzanie strumieniowe
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2024 r.

    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • Przywróć [SPARK-46861][CORE] Unikać zakleszczenia w DAGScheduler
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 lutego 2024 r.

    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia do SELECT i do MODYFIKOWANIA w DOWOLNYM PLIKU.
    • [SPARK-45582][SS] Upewnij się, że instancja magazynu nie jest używana po wywołaniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 13 lutego 2024 r.

    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2024 r.

    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 grudnia 2023 r.

    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46417] Nie kończ wywołania hive.getTable niepowodzeniem, gdy throwException ma wartość false.
    • [SPARK-43067] Popraw lokalizację pliku zasobu klasy błędu w łączniku Kafka.
    • [SPARK-46249] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-42852] Cofnięcie zmian związanych z NamedLambdaVariable z EquivalentExpressions.

  • 14 grudnia 2023 r.

    • Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ukośnika (\) w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niewłaściwie obsługiwane i interpretowane jako symbole wieloznaczne.
    • [SPARK-44582] Pomiń iterator na SMJ, jeśli został wyczyszczony.
    • [SPARK-45920] grupowanie według numeru kolumny powinno być idempotentne.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2023 r.

    • Zainstalowano nowy pakiet, pyarrow-hotfix aby naprawić lukę bezpieczeństwa typu RCE w PyArrow.
    • Rozwiązano problem polegający na tym, że podkreślniki z ukośnikiem w operacjach getColumns pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43718] Naprawiono nullowalność dla kluczy w USING sprzężeniach.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-43973] UI (interfejs użytkownika) Structured Streaming poprawnie wyświetla nieudane zapytania.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty UDF są oceniane leniwie ml.functions.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 listopada 2023 r.

    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45427] Dodano ustawienia SSL dla RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano element SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 października 2023 r.

    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.

  • 13 października 2023 r.

    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553] Upewnij się, że interwał zawiera co najmniej jedną jednostkę czasu.
    • [SPARK-45346] wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45084]StateOperatorProgress używać dokładnego, odpowiedniego numeru partycji mieszania.

  • 12 września 2023 r.

    • [SPARK-44873] Dodano obsługę alter view z zagnieżdżonymi kolumnami w kliencie programu Hive.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Różne poprawki.

  • 30 sierpnia 2023 r.

    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44818] Naprawiono problem wyścigu dla oczekujących przerwań sygnałowych zadania wydanych przed zainicjowaniem taskThread.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzenie ograniczeń rozwiązania LCA dotyczących zapytań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • [SPARK-44504] Zadanie konserwacyjne usuwa załadowanych dostawców w przypadku błędu zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyprowadzał wiersze, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 lipca 2023 r.

    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() zwrócił INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lipca 2023 roku

    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance powodowało błędy analizy.
    • [SPARK-44136] rozwiązano problem polegający na tym, że StateManager zostały zmaterializowane w funkcji wykonawczej zamiast sterownika w FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotoniczny approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode w głównym wątku.
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędów zliczania w podzapytaniu skalarnym z wyłączoną funkcją decorrelateInnerQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0] Naprawiono IN nullowalność podzapytania ListQuery.
    • [SPARK-43522] Naprawiono nadawanie nazwy kolumnie struktury z indeksem tablicy.
    • [SPARK-43541] Przekazywanie wszystkich tagów Project podczas rozwiązywania wyrażeń i uzupełniania brakujących kolumn.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43123] Metadane wewnętrznych pól nie wyciekają już do katalogów.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
    • [SPARK-42937]PlanSubqueries teraz ustawia InSubqueryExec#shouldBroadcast na wartość true.
    • [SPARK-43286] zaktualizowano tryb CBC aes_encrypt, aby generować losowe wektory inicjalizacyjne.
    • [SPARK-43378] Poprawnie zamknij obiekty strumienia w deserializeFromChunkedBuffer.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz odporne na błędy OOM podczas skanowania szczególnie skomplikowanych plików przez dynamiczne dostosowywanie rozmiaru partii przetwarzanych danych. Metadane plików są analizowane w celu zawczasu zmniejszenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane, stanowiąc ostateczną warstwę bezpieczeństwa.
    • Jeśli plik Avro został odczytany przy użyciu opcji failOnUnknownFields lub modułu Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych będą odczytywane jako null, zamiast zgłaszania błędu informującego, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem, zalecając użytkownikom skorzystanie z opcji rescuedDataColumn.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega traktowaniu typów interwałów jako typów daty lub znacznika czasu, aby uniknąć uszkodzenia danych.
      • Zapobiega odczytywaniu typów Decimal o niższej precyzji.
    • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085] Obsługa przypisania kolumny DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z wyjściem wtórnym.
    • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko za pomocą opcji failOnUnknownFields lub z Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych zostaną odczytane jako null zamiast zgłoszenia błędu, który stwierdza, że plik nie może być odczytany. Te operacje odczytu teraz się nie powiodły i użytkownikom zaleca się użycie rescuedDataColumn opcji.
    • Automatyczny ładujący teraz poprawnie odczytuje i nie przetwarza typów Integer, Short i Byte, jeśli podano jeden z tych typów danych. Plik Parquet wskazuje na jeden z dwóch pozostałych typów. Gdy wcześniej była włączona uratowana kolumna danych, niezgodność typów danych powodowała zapisanie kolumn, mimo że można je było odczytać.
    • [SPARK-43009] Parametryzowane sql() ze Any stałymi
    • [SPARK-42406] Przerywaj rekurencyjne pola Protobuf poprzez usunięcie pola
    • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Zmień na wyświetlanie workdir, jeśli appDirs jest zerowy, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie
    • [SPARK-43018] Poprawka błędów w poleceniach INSERT z literałami znacznika czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
    • Rozwiązano problem dotyczący działania funkcji %autoreload w notebookach spoza repozytorium.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928] Synchronizuje resolvePersistentFunction .
    • [SPARK-42936] Rozwiązuje problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez jego agregację podrzędną.
    • [SPARK-42967] Naprawia, gdy zadanie rozpoczyna się po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne polecenia INSERT, UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego słowa kluczowego DEFAULT. Ponadto jeśli jakiekolwiek przypisanie INSERT ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

      Na przykład:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader inicjuje teraz co najmniej jedno synchroniczne czyszczenie dziennika RocksDB dla strumieni Trigger.AvailableNow, aby sprawdzić, czy punkt kontrolny może być regularnie czyszczony w przypadku szybko działających strumieni Auto Loader. Może to spowodować, że niektóre strumienie będą się dłużej wyłączać, ale pozwoli to zmniejszyć koszty przechowywania i poprawić działanie Auto Loader w przyszłych uruchomieniach.

    • Teraz możesz zmodyfikować tabelę Delta, aby dodać wsparcie dla funkcji tabeli przy użyciu DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać dostęp do pamięci stanu RocksDB w Structure Streaming.

    • [SPARK-42521] Dodaj wartości NULL dla INSERT-ów z listami określonymi przez użytkownika, które zawierają mniej kolumn niż tabela docelowa.

    • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia podczas zatrzymywania HDFSStateStoreProvider

    • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

  • 8 marca 2023 r.

    • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • Począwszy od tej wersji, możliwe jest utworzenie lub zastąpienie tabeli z dodatkową właściwością delta.ignoreProtocolDefaults, która pozwala ignorować konfiguracje Spark związane z protokołem, w tym domyślne wersje czytnika i zapisujących oraz funkcje tabeli wspierane domyślnie.
    • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
    • [SPARK-41793] Nieprawidłowy wynik dla ram okienkowych zdefiniowanych przez klauzulę zakresu dla istotnych miejsc dziesiętnych
    • [SPARK-42484] Lepszy komunikat o błędzie UnsafeRowUtils
    • [SPARK-42516] Zawsze zapisywać konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42635] Napraw wyrażenie TimestampAdd.
    • [SPARK-42622] Wyłączone podstawianie w wartościach
    • [SPARK-42534] Napraw klauzulę LIMIT w DB2Dialect
    • [SPARK-42121] Dodaj wbudowane funkcje tabelowane posexplode, posexplode_outer, json_tuple i stack
    • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia małej/małej/znaczącej liczby całkowitej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne CLONE mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Różne poprawki błędów.
  • 10 października 2024 r.
    • Różne poprawki błędów.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wsteczne portowanie poprawek pisarza/czytnika ML
    • [SPARK-49065][SQL] Prze podstawowe zmiany w starszych formaterach/analizatorach muszą obsługiwać strefy czasowe inne niż domyślne JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawa warunku wyścigu między zwalnianiem magazynu stanów a migawkami
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null dla groupId powodujący błąd brakującego parametru przy zgłoszeniu wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Logować miejsce wywołania w metodzie SparkContext.stop() oraz w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw atrybut nullable na zagregowanym kluczu łączenia w pełnym zewnętrznym łączeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47200][SS] Klasa błędu dla błędu w funkcji użytkownika w odbiorniku wsadowym foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że instancja magazynu nie jest używana po wywołaniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej
  • 13 lutego 2024 r.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46861] Uniknij zakleszczenia w DAGSchedulerze.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-39440] Dodaj opcję konfiguracyjną, aby wyłączyć harmonogram zdarzeń.
    • [SPARK-46249] Wymagaj blokady instancji w celu uzyskania metryk RocksDB, aby zapobiec wyścigowi z operacjami w tle.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że ucieczone znaki podkreślenia w operacjach getColumns pochodzących od klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix w celu naprawy luki w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że podkreślniki z ukośnikiem w operacjach getColumns pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-43973] Interfejs użytkownika strukturalnego przesyłania strumieniowego teraz poprawnie wyświetla zapytania zakończone niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Udfy ml.functions zdefiniowane przez użytkownika zostały uczynione leniwymi.
    • [SPARK-43718] Naprawiono możliwość przyjmowania wartości null dla kluczy w USING łączeniach.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • Przywróć [SPARK-33861].
    • [SPARK-45541] Dodano SSLFactory element.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania przy użyciu TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction już nie kończy się niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45427] Dodano ustawienia SSL dla RPC do SSLOptions i SparkTransportConf.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-45178] Przejście na uruchamianie pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania osłony.
    • [SPARK-45084]StateOperatorProgress używać dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45346] wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla będących w trakcie przetwarzania przerwań zadań wydanych przed zainicjowaniem taskThread.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44504] Zadanie konserwacyjne usuwa załadowanych dostawców w przypadku błędu zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyprowadzał wiersze, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() zwrócił INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44136] Rozwiązano problem, gdzie StateManager mógł zostać zmaterializowany w egzekutorze zamiast w sterowniku w FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje się EvalMode w głównym wątku.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w ramach RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test dotyczący błędu licznika podzapytań skalarnych przy wyłączonym decorrelateInnerQuery.
    • [SPARK-43098] Naprawiono błąd poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i od razu kończy się niepowodzeniem w trybie FAILFAST.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE Iceberga i Parqueta.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43413][11.3-13.0] Naprawiono nullowalność IN podzapytania ListQuery.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne CLONE mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Rekalibracja w starszych formaterach/analyzatorach musi obsługiwać strefy czasowe inne niż domyślne JVM
  • 14 sierpnia 2024 r.
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek modułu zapisu ML/czytnika
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Wyrzucanie lepszego komunikatu o błędzie dla niedopasowanych partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawianie warunku wyścigu między zwalnianiem magazynu stanów a migawkami
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop(), a później w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • Cofnij "[SPARK-46861][CORE] Uniknięcie zakleszczenia w DAGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że instancja magazynu nie jest używana po wywołaniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Zapobiegaj zakleszczeniu w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-39440] Dodaj opcję konfiguracyjną, aby wyłączyć oś czasu zdarzeń.
    • [SPARK-46132] Obsługa haseł dla kluczy JKS w protokole SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix w celu usunięcia luki w zabezpieczeniach PyArrow RCE.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] UDF obiekty stały się leniwe ml.functions.
    • [SPARK-43718] Naprawiono nullowalność dla kluczy w USING łączeniach.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • [SPARK-45084]StateOperatorProgress użyć dokładnego, odpowiedniego numeru partycji shuffle.
    • [SPARK-45178] Wróć do uruchamiania pojedynczej partii dla Trigger.AvailableNow z nieobsługiwanymi źródłami zamiast używania opakowania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla przerwania oczekującego zadania, wystawionego przed taskThread zainicjowaniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacyjne usuwa załadowane zasoby dostawców w przypadku błędu zatrzymania.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego w strukturze teraz poprawnie pokazuje zapytania, które zakończyły się niepowodzeniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43098] Naprawiono błąd poprawności związany z funkcją COUNT, gdy zapytanie podrzędne ma klauzulę GROUP BY
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i bezpośrednio zawodzi w FAILFAST trybie.
    • Rozwiązano problem z analizą danych odzyskanych w formacie JSON, aby zapobiec UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413] Naprawiono IN nullowalność podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane, aby zapobiec zwiększaniu rozmiaru partii, a rozmiar jest ponownie zmniejszany w przypadku ponawiania prób zadania jako ostateczna linia obrony.
    • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z wyjściem wtórnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42937]PlanSubqueries teraz ustawia InSubqueryExec#shouldBroadcast na wartość true.
    • [SPARK-42967] Naprawić SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
  • 29 marca 2023 r.
    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia podczas zatrzymywania HDFSStateStoreProvider
    • [SPARK-42635] Napraw ...
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-41162] Napraw anty- i półzłączenie w przypadku samodzielnego złączenia z agregacjami
    • [SPARK-33206] Napraw kalkulację wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
    • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Obsługa generowanej kolumny dla formatu daty yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
    • Obsługa generowanej kolumny dla yyyy-MM-dd date_format. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • [SPARK-30220] Umożliw używanie Exists/In w podzapytaniach poza węzłem Filtr
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41198] Poprawki metryk w zapytaniu przesyłanym strumieniowo, które zawiera CTE i źródło przesyłania strumieniowego DSv1.
    • [SPARK-41339] Zamknij i ponownie utwórz partię zapisu bazy danych RocksDB zamiast czyszczenia.
    • [SPARK-41732] Zastosuj przycinanie oparte na wzorcu drzewa dla reguły SessionWindowing.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować sposób traktowania wiodących i końcowych spacji podczas zapisywania danych przy użyciu łącznika Redshift. Dodano następujące opcje do sterowania obsługą białych znaków:
      • csvignoreleadingwhitespace, gdy ustawiony jest na true, usuwa początkowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartość false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, gdy jest ustawiony na true, usuwa białe znaki na końcu wartości podczas zapisywania, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartość false. Domyślna wartość to true.
    • Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (cloudFiles.inferColumnTypes nie został ustawiony lub ustawiony na false) i JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-40646] analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw spark.sql.json.enablePartialResults na wartość true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
    • [SPARK-40292] Napraw nazwy kolumn w funkcji arrays_zip gdy tablice są przywoływane z zagnieżdżonych struktur
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania MERGE.
    • Rozwiązano problem z Auto Loaderem, gdzie plik może zostać zduplikowany w tej samej mikropartii w przypadku włączenia allowOverwrites.
    • [SPARK-40697] Dodanie wyrównania znaków podczas odczytu w celu zabezpieczenia zewnętrznych plików danych
    • [SPARK-40596] Uzupełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną funkcję listowania dla Auto Loader w ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Dodanie metody hashCode() dla Literal w ArrayBasedMapData
    • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast synchronizowanej w Executor.updateDependencies().
    • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania.
    • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie.
    • [SPARK-40053] Dodaj assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python.
    • [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie może być załadowany po zapisaniu.
    • [SPARK-40079] Dodaj walidację danych wejściowych ImputerCols dla pustego przypadku wejściowego.
  • 24 sierpnia 2022 r.
    • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku.
    • [SPARK-39775] Wyłącz sprawdzanie wartości domyślnych podczas analizowania schematów Avro.
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw stan wyścigu w pliku RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu poprawionej polityki analizatora czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625] Dodaj Dataset.as(StructType).
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV.
    • [SPARK-39104] Element InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny dla wątków.
    • [SPARK-39570] tabela wbudowana powinna zezwalać na wyrażenia z aliasem.
    • [SPARK-39702] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego elementu byteRawChannel.
    • [SPARK-39575] dodać element ByteBuffer#rewind po byteBuffer#get w programie AvroDeserializer.
    • [SPARK-39476] Wyłącz optymalizację rozpakowywania rzutowania podczas rzutowania z Long na float/double lub z Integer na float.
    • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355] Pojedyncza kolumna używa cudzysłowów przy konstruowaniu atrybutu UnresolvedAttribute.
    • [SPARK-39548] polecenie CreateView z zapytaniem zawierającym klauzulę okna napotyka problem związany z nieprawidłową definicją okna, której nie można znaleźć.
    • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików.
    • [SPARK-34096] Poprawa wydajności dla nth_value, ignorując wartości null w przesuniętym oknie.
    • [SPARK-36718] Napraw isExtractOnly element CollapseProject.
  • 2 czerwca 2022 r.
    • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów rok-miesiąc lub interwałów dzień-czas przez liczbę całkowitą.
    • [SPARK-38990] Unikaj NullPointerException podczas przetwarzania formatu date_trunc/trunc jako powiązane odwołanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci wbudowanej w narzędziu automatycznego ładowania.
    • [SPARK-38918] zagnieżdżone oczyszczanie kolumn powinno odfiltrować atrybuty, które nie należą do bieżącej relacji.
    • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP.
    • [SPARK-39084] Napraw df.rdd.isEmpty() przy użyciu elementu TaskContext, aby zatrzymać iterator po zakończeniu zadania.
    • [SPARK-32268] Dodaj kolumnęPruning w iniekcjiBloomFilter.
    • [SPARK-38974] Filtruj zarejestrowane funkcje według danej nazwy bazy danych na liście funkcji.
    • [SPARK-38931] Utwórz główny katalog DFS dla menedżera RocksDBFileManager z nieznaną liczbą kluczy przy pierwszym punkcie kontrolnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
    • Rozwiązano problem polegający na tym, że biblioteki zasięgu notesu nie działały w zadaniach wsadowego przesyłania strumieniowego.
    • [SPARK-38616] Śledź tekst zapytania SQL w węźle katalizatora TreeNode
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
      • timestampadd() i dateadd(): Dodaj czas trwania w określonej jednostce do znacznika czasu.
      • timestampdiff() i datediff(): Oblicz różnicę czasu między dwoma znacznikami czasowymi w określonej jednostce.
    • Parquet-MR został uaktualniony do wersji 1.12.2
    • Ulepszona obsługa złożonych schematów w plikach Parquet
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • [SPARK-38509][SPARK-38481] Wybierz trzy timestmapadd/diff zmiany.
    • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV.
    • [SPARK-38237] Zezwalaj na ClusteredDistribution wymaganie pełnych kluczy klastrowania.
    • [SPARK-38437] Uproszczona serializacja daty i czasu ze źródła danych.
    • [SPARK-38180] Umożliwianie bezpiecznego rzutowania wyrażeń w skorelowanych predykatach równości.
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

  • 11 lutego 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Przebasażowanie w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne JVM
  • 14 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawiono warunek wyścigu między zwalnianiem magazynu stanów a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47973][CORE] Logowanie miejsca wywołania w metodzie SparkContext.stop() i później w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • Przywróć "[SPARK-46861][CORE] Uniknij zakleszczenia w DAGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-39440] Dodaj opcję konfiguracyjną do wyłączenia osi czasu zdarzeń.
    • [SPARK-46132] Obsługa hasła dostępu do kluczy JKS dla SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • [SPARK-45859] Obiekty UDF w ml.functions stały się leniwe.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania za pomocą TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactory.
    • [SPARK-42205] Usunięto akumulatory logowania w zdarzeniach początkowych etapów i zadań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • [SPARK-43098] Napraw błąd poprawności związany z funkcją COUNT, gdy zapytanie skalarne ma klauzulę GROUP BY.
    • [SPARK-43156][SPARK-43098] Rozszerz test dotyczący błędu zliczania podzapytań skalarnych przy wyłączonym decorrelateInnerQuery.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w RewriteCorrelatedScalarSubquery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i zawodzi bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-37520] Dodaj funkcje startswith() i endswith() strunowe
    • [SPARK-43413] Naprawiono IN nullowalność podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
  • 29 marca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta, wymagające wersji Reader 3 i Writer 7, z użyciem środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (cloudFiles.inferColumnTypes nie został ustawiony lub został ustawiony na false), a JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania MERGE.
    • Rozwiązano problem z Auto Loader, gdzie plik może zostać zduplikowany w tej samej mikropartii przy włączonym allowOverwrites.
    • [SPARK-40596] Uzupełnij ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Różne poprawki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić właściwość konfiguracji spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowane listowanie dla Auto Loader w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Dodaj hashCode() dla Literal w ArrayBasedMapData
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinien zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywalnej zamiast zsynchronizowanej w metodzie Executor.updateDependencies()
    • [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po jego zapisaniu.
    • [SPARK-40079] Dodaj walidację kolumn wejściowych imputera dla przypadku pustego wejścia
  • 24 sierpnia 2022 r.
    • [SPARK-39666] Użyj pliku UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode element ExpressionEncoder
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39575] Dodano ByteBuffer#rewind po ByteBuffer#get w pliku AvroDeserializer.
    • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono funkcję Auto Loader korzystającą z wbudowanych interfejsów API chmury do wyświetlania zawartości katalogu na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • 2 czerwca 2022 r.
    • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawiono potencjalny wbudowany wyciek pamięci w narzędziu Auto Loader.
    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • [SPARK-38918] przycinanie zagnieżdżonych kolumn powinno eliminować atrybuty, które nie są częścią bieżącej relacji
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 6 kwietnia 2022 r.
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
    • [SPARK-38437] Łagodna serializacja daty/godziny ze źródła danych
    • [SPARK-38180] Zezwolenie na bezpieczne rzutowania w górę w skorelowanych predykatach równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • 14 marca 2022 r.
    • [SPARK-38236] bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-34069] przerwać wątek zadania, jeśli właściwość lokalna SPARK_JOB_INTERRUPT_ON_CANCEL została ustawiona na true.
  • 23 lutego 2022 r.
    • [SPARK-37859] tabel SQL utworzonych za pomocą JDBC z platformą Spark 3.1 nie można odczytać z platformą Spark 3.2.
  • 8 lutego 2022 r.
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Rozwiązano problem polegający na tym, że współbieżne transakcje w tabelach Delta mogły być zatwierdzane w nieserializowalnej kolejności w ustalonych rzadkich sytuacjach.
    • Rozwiązano problem polegający na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Drobne poprawki i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Naprawiono problem, który mógł powodować niepowodzenie strumieni Structured Streaming z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z wyjątkiem takim jak IOException java.io.IOException: No FileSystem for scheme lub może spowodować, że zmiany w sparkContext.hadoopConfiguration nie zostaną zastosowane w zapytaniach.
    • Łącznik Apache Spark dla Delta Sharing został uaktualniony do wersji 0.2.0.
  • 20 października 2021 r.
    • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Spowoduje to dodanie obsługi typu BigNumeric.