Udostępnij za pośrednictwem

Aktualizacje konserwacji środowiska Databricks Runtime

  • Artykuł

W tym artykule wymieniono aktualizacje konserwacji dla obsługiwanych wersji środowiska Databricks Runtime. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster. Aby uzyskać informacje o aktualizacjach konserwacji w nieobsługiwanych wersjach środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).

Uwaga

Wydania są realizowane etapowo. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane przez kilka dni po początkowej dacie wydania.

Wersje środowiska Databricks Runtime

Aktualizacje konserwacyjne według wersji:

Databricks Runtime 16.2

Zobacz Databricks Runtime 16.2.

  • 11 marca 2025 r.
    • Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy SparkListenerApplicationEnd i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktora SparkListenerApplicationEnd. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasy SparkListenerApplicationEnd.
    • Przywróć "[SPARK-48273][SQL] Napraw błąd późnego przepisania PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
    • [SPARK-51065][SQL] Zabranianie schematów niepustych, gdy kodowanie Avro jest używane dla funkcji TransformWithState
    • [SPARK-51237][SS] Dodaj szczegóły dla nowych interfejsów API pomocnika transformWithState w razie potrzeby
    • [SPARK-51222][SQL] Optymalizuj ReplaceCurrentLike
    • [SPARK-51351][SS] Nie materializuj danych wyjściowych w środowisku roboczym języka Python dla usługi TWS
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • [SPARK-51249][SS] Naprawianie kodowania NoPrefixKeyStateEncoder i Avro w celu użycia poprawnej liczby bajtów wersji
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50770][SS] Usuwanie ograniczeń pakietowych dla API operatora transformWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 16.1

Zobacz Databricks Runtime 16.1.

  • 11 marca 2025 r.
    • Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy SparkListenerApplicationEnd i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktora SparkListenerApplicationEnd. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasy SparkListenerApplicationEnd.
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • Cofnij [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
    • [SPARK-51222][SQL] Optimize ReplaceCurrentLike
    • [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
    • [SPARK-50791][SQL] Naprawa NPE w obsłudze błędów przechowywania stanów
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 listopada 2024 r.
    • Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 16.0

Zobacz Databricks Runtime 16.0.

  • 11 marca 2025 r.
    • Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy SparkListenerApplicationEnd i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktora SparkListenerApplicationEnd. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasy SparkListenerApplicationEnd.
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • [SPARK-51222][SQL] Optimize ReplaceCurrentLike
    • [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
    • [SPARK-50791][SQL] Naprawianie serwera NPE w obsłudze błędów magazynu stanów
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50705][SQL] Utwórz QueryPlan bez blokady
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 grudnia 2024 r.
    • Instrukcja USE CATALOG obsługuje teraz klauzulę IDENTIFIER. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru.
    • Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
    • [SPARK-50034][CORE] Naprawienie błędnego raportowania błędów krytycznych jako nieprzechwytywane wyjątki w SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
    • [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
    • [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak split() i regexp_extract(), zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażenie split(str_col, '{'), które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz kończy się niepowodzeniem. Aby naprawić to wyrażenie, możesz użyć znaku escape przed nawiasem klamrowym: split(str_col, '\\{'). Zachowanie Photona i Sparka różniło się również w dopasowywaniu wyrażeń regularnych do znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to 9000 (sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Poprawa zmiany komentarza w kolumnach typu char/varchar
    • [SPARK-49924][SQL] Zachowaj containsNull po zastąpieniu ArrayCompact
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [SPARK-48780][SQL] Uogólnienie obsługi błędów w NamedParametersSupport, aby uwzględniały funkcje i procedury
    • [SPARK-49876][CONNECT] Pozbyć się blokad globalnych z usługi Spark Connect
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • [SPARK-49615] Poprawka: Sprawdzanie zgodności schematu kolumn ML z konfiguracją spark.sql.caseSensitive w Spark.
    • [SPARK-48782][SQL] Dodanie wsparcia dla wykonywania procedur w katalogach
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
    • Przywróć "[SPARK-49002][SQL] Konsekwentne zarządzanie nieprawidłowymi lokalizacjami w magazynie/SCHEMA/TABLE/PARTITION/DIRECTORY"
    • [SPARK-50028][CONNECT] Zastąp blokady globalne w odbiorniku serwera Spark Connect precyzyjnymi blokadami
    • [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.4

Zobacz Databricks Runtime 15.4 LTS.

  • 11 marca 2025 r.
    • Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy SparkListenerApplicationEnd i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktora SparkListenerApplicationEnd. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasy SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
    • [SPARK-50791][SQL] Naprawianie serwera NPE w obsłudze błędów magazynu stanów
    • [SPARK-50310][PYTHON] Poprawa wydajności kolumn, gdy DQC jest wyłączone
    • [SPARK-51222][SQL] Optimize ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Drobne ulepszenie rejestru w module ListenerBus dla odbiornika zapytań przesyłania strumieniowego po stronie serwera
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • W przypadku środowiska Photon, które nie ma włączonych obliczeń, mlflow-skinny jest aktualizowany do wersji 2.19.0. W przypadku obliczeń z włączoną usługą Photon mlflow-skinny pozostaje na poziomie 2.13.1.
  • 10 grudnia 2024 r.
    • Instrukcja USE CATALOG obsługuje teraz klauzulę IDENTIFIER. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru.
    • Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
    • W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu spark.databricks.io.cache.maxDiskUsage. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
    • Pakiet pyodbc został zaktualizowany z wersji 4.0.38 do wersji 4.0.39. Ta zmiana jest wymagana, ponieważ znaleziono usterkę w wersji 4.0.38 i usunięto tę wersję z interfejsu PyPI.
    • [SPARK-50329][SQL] fix InSet$toString
    • [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
    • [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
    • [SPARK-48863][SQL] Fix ClassCastException podczas analizowania kodu JSON z włączoną funkcją "spark.sql.json.enablePartialResults"
    • [SPARK-50310][PYTHON] Dodaj flagę, aby wyłączyć DataFrameQueryContext w PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Naprawienie błędnego raportowania błędów krytycznych jako nieuchwycone wyjątki w SparkUncaughtExceptionHandler
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark spark.databricks.execution.timeout. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to 9000 (sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błąd QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
    • [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak split() i regexp_extract(), zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażenie split(str_col, '{'), które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz kończy się niepowodzeniem. Aby naprawić to wyrażenie, możesz użyć znaku escape przed nawiasem klamrowym: split(str_col, '\\{'). Zachowanie Photona i Sparka różniło się również w dopasowywaniu wyrażeń regularnych do znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [SPARK-49867][SQL] Popraw komunikat o błędzie, gdy indeks wykracza poza granice przy wywołaniu metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
    • [SPARK-49443][SQL][PYTHON] Zaimplementowanie wyrażenia to_variant_object i powodowanie, że wyrażenia schema_of_variant drukują OBJECT dla obiektów wariantowych.
    • [SPARK-49615] Poprawka błędu: aby weryfikacja schematu kolumn ML była zgodna z konfiguracją Spark spark.sql.caseSensitive.
  • 22 października 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [SPARK-49867][SQL] Popraw komunikat o błędzie, gdy indeks wykracza poza granice przy wywołaniu metody GetColumnByOrdinal
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
    • [SPARK-49443][SQL][PYTHON] Zaimplementowanie wyrażenia to_variant_object i powodowanie, że wyrażenia schema_of_variant drukują OBJECT dla obiektów wariantowych.
    • [SPARK-49615] Poprawka błędu: aby weryfikacja schematu kolumn ML była zgodna z konfiguracją Spark spark.sql.caseSensitive.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49460][SQL] Kontynuacja: naprawa potencjalnego ryzyka NPE
  • 25 września 2024 r.
    • [SPARK-49628][SQL] Składanie Stałych powinno skopiować stanowe wyrażenie przed dokonaniem oceny
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Próba ponownego dołączenia do nieaktywnego ExecutionHoldera
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-49017][SQL] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
    • [SPARK-49451] Zezwalaj na zduplikowane klucze w parse_json.
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][POPRAWKA-15.4.2] Obsługa ścieżek w stylu Windows w narzędziu ArtifactManager
    • Przywróć "[SPARK-48482][PYTHON] dropDuplicates i dropDuplicatesWIthinWatermark powinny akceptować argumenty o zmiennej długości"
    • [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
    • [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść przy rozwiązywaniu kolumn ramek danych
    • [SPARK-49018][SQL] Naprawiono funkcję approx_count_distinct, która nie działała poprawnie z sortowaniem.
    • [SPARK-49460][SQL] Usuń cleanupResource() z emptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania wiadomości protobuf
  • 29 sierpnia 2024 r.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • W przypadku przetwarzania skonfigurowanego w trybie dostępu współdzielonego, operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku Strukturyzowanej Transmisji Strumieniowej. Zobacz Ograniczenia dotyczące przesyłania strumieniowego i wymagania dotyczące standardowego trybu dostępu w Unity Catalog.
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
    • [SPARK-49074][SQL] Naprawianie wariantu za pomocą polecenia df.cache()
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych
    • [SPARK-48955][SQL] Uwzględnij zmiany ArrayCompact w wersji 15.4
    • [SPARK-48937][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap
    • [SPARK-48929] Napraw błąd wewnętrzny widoku i wyczyść kontekst wyjątku analizatora
    • [SPARK-49125][SQL] Zezwalaj na zduplikowane nazwy kolumn przy zapisie do formatu CSV
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-48981] Naprawiono metodę simpleString typu StringType w narzędziu pyspark na potrzeby sortowania
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48725][SQL] Zintegrować CollationAwareUTF8String.lowerCaseCodePoints z wyrażeniami ciągowymi
    • [SPARK-48978][SQL] Zaimplementować szybką ścieżkę ASCII w obsłudze sortowania dla UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Skrócić komunikat na potrzeby logowania
    • [SPARK-49146][SS] Przenieść błędy sprawdzania związane z brakiem watermark w zapytaniach strumieniowych w trybie dodawania do systemu błędów
    • [SPARK-48977][SQL] Optymalizacja wyszukiwania ciągów przy użyciu sortowania UTF8_LCASE
    • [SPARK-48889][SS] testStream do rozładowania przechowywań stanów przed zakończeniem
    • [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
    • [SPARK-48954] try_mod() zastępuje try_remainder()
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.3

Zobacz Databricks Runtime 14.3 LTS.

  • 11 marca 2025 r.
    • Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy SparkListenerApplicationEnd i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktora SparkListenerApplicationEnd. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasy SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Napraw NPE w obsłudze błędów state store
    • [SPARK-50705][SQL] Utwórz QueryPlan bez blokady
    • [SPARK-49525][SS][CONNECT] Drobne ulepszenie rejestru w module ListenerBus dla odbiornika zapytań przesyłania strumieniowego po stronie serwera
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy prefersDecimal zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
    • [SPARK-50329][SQL] fix InSet$toString
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [BACKPORT] [SPARK-49326][SS] Klasyfikacja klasy błędu dla funkcji użytkownika ujścia foreach
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
    • [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
  • 25 września 2024 r.
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie powinien kończyć się błędem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-49628][SQL] Składanie Stałych powinno skopiować stanowe wyrażenie przed dokonaniem oceny
    • [SPARK-49492][CONNECT] Próba ponownego dołączenia do nieaktywnego ExecutionHoldera
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania wiadomości protobuf
    • [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
    • [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść przy rozwiązywaniu kolumn ramek danych
  • 29 sierpnia 2024 r.
    • [SPARK-49146][SS] Przenieść błędy sprawdzania związane z brakiem watermark w zapytaniach strumieniowych w trybie dodawania do systemu błędów
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę dla problemu, który uniemożliwił poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
    • W obliczeniach bezserwerowych dla notesów i zadań tryb ANSI SQL jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, w źródłach danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Można również użyć konfiguracji spark.sql.files.ignoreInvalidPartitionPaths w SQL. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie przypisany do lokalnego wątku (threadlocal).
    • [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
    • [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
    • [SPARK-48100][SQL] Naprawa problemów z pomijaniem pól zagnieżdżonej struktury nie wybranych w schemacie
    • [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Update CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w obliczeniach w standardowym trybie dostępu.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48294][SQL] Obsługa małych liter w "nestedTypeMissingElementTypeError"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • (Zmiana zachowania) dbutils.widgets.getAll() jest teraz obsługiwana w celu pobrania wszystkich wartości widżetów w notatniku.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48146][SQL] Napraw funkcję agregującą w wyrażeniu With
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • [SPARK-48180][SQL] Popraw komunikat błędu, gdy wywołanie UDTF z użyciem argumentu TABLE pomija nawiasy wokół wielu wyrażeń PARTITION/ORDER BY
    • [SPARK-48016][SQL] Naprawiono błąd w funkcji try_divide dotyczącej liczb dziesiętnych
    • [SPARK-48197][SQL] Unikaj błędu asercji z powodu nieprawidłowej funkcji lambda
    • [SPARK-47994][SQL] Naprawa błędu z przesuwaniem filtru kolumny CASE WHEN w SQL Server
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • (Zmiana zachowania) applyInPandas i mapInPandas typy UDF są teraz obsługiwane w trybie współdzielonego dostępu z Databricks Runtime w wersji 14.3 lub nowszej.
    • [SPARK-47739][SQL] Zarejestruj typ logiczny Avro
    • [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-47543][CONNECT][PYTHON] Rozpoznawanie słownika jako MapType z ramki danych Pandas w celu utworzenia ramki danych
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Użyj asynchronicznego wywołania zwrotnego do czyszczenia procesu wykonawczego
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania zgodnie z ShuffleCleanupMode
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignoruj znaczniki wierszy znalezionych w CDATA
    • [SPARK-47895][SQL] GROUP BY ALL powinien być idempotentny
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Zweryfikuj nazwę kolumny z buforowanym schematem
    • [SPARK-47862][PYTHON][CONNECT]Napraw generowanie plików proto
    • Przywróć "[SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Pandas, aby umożliwić tworzenie ramki danych"
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Obsługa serializacji SparkSession dla pracownika ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Wprowadzenie pamięci podręcznej planów w SparkConnectPlanner w celu poprawy wydajności zapytań analizujących
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite zawodzi z powodu nieprawidłowego planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • (Zmiana zachowania) Aby zapewnić spójne zachowanie dla różnych typów obliczeniowych, UDF-y PySpark w obliczeniach ze standardowym trybem dostępu są teraz zgodne z zachowaniem UDF-ów w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
      • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie będą już niejawnie konwertować wartości innych niż string na wartości string. Wcześniej funkcje UDF o zwracanym typie str zawijały zwracaną wartość za pomocą funkcji str(), niezależnie od rzeczywistego typu danych zwracanej wartości.
      • Funkcje zdefiniowane przez użytkownika z typami zwracania timestamp nie stosują już niejawnie konwersji na timestamp przy użyciu timezone.
      • Konfiguracje klastrów Spark o numerze spark.databricks.sql.externalUDF.* nie mają już zastosowania do UDF-ów PySpark na obliczeniach z trybem dostępu standardowego.
      • Klastra Spark spark.databricks.safespark.externalUDF.plan.limit i jego konfiguracja nie ma już wpływu na PySpark UDFs, co usuwa ograniczenie wersji publicznej podglądu do 5 UDFów na zapytanie dla PySpark UDFs.
      • Konfiguracja klastra Spark spark.databricks.safespark.sandbox.size.default.mib nie ma już zastosowania w obliczeniach ze standardowym trybem dostępu do PySpark UDF. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć UDF PySpark, użyj spark.databricks.pyspark.udf.isolation.memoryLimit z minimalną wartością 100m.
    • Typ danych TimestampNTZ jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel Delta.
    • [SPARK-47511][SQL] Kanonizuj wyrażenia With poprzez ponowne przypisanie identyfikatorów
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • [SPARK-46990][SQL] Naprawa ładowania pustych plików Avro emitowanych przez event-hubs
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47044][SQL] Dodaj wykonywane zapytanie dla zewnętrznych źródeł danych JDBC do wyjaśnienia wyników
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47121][CORE] Unikaj wystąpienia wyjątku RejectedExecutionExceptions podczas zamykania StandaloneSchedulerBackend.
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-46999][SQL] WyrażenieWithUnresolvedIdentifier powinno zawierać inne wyrażenia w drzewie wyrażeń
    • [SPARK-47129][CONNECT][SQL] Zapewnienie prawidłowego buforowania planu połączeń
    • [SPARK-47241][SQL] Naprawa problemów z kolejnością reguł dla ExtractGeneratora
    • [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
    • [SPARK-47071][SQL] Wbuduj wyrażenie, jeśli zawiera ono wyrażenie specjalne
    • [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46993][SQL] Naprawa stałego składania wyrażeń dla zmiennych sesji
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 3 stycznia 2024 r.
    • [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-46954] XML: Owijanie InputStreamReader przy użyciu BufferedReader.
    • [SPARK-46655] Pomiń przechwytywanie kontekstu zapytania w metodach DataFrame.
    • [SPARK-44815] Buforuj df.schema, aby uniknąć dodatkowych wywołań RPC.
    • [SPARK-46952] XML: ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46736] zachowaj puste pole wiadomości w łączniku protobuf.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46414] Użyj prependBaseUri do renderowania importów języka JavaScript.
    • [SPARK-46383] Zmniejsz użycie sterty sterownika poprzez skrócenie okresu istnienia TaskInfo.accumulables().
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46954] XML: Optymalizowanie wyszukiwania indeksu schematu.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
    • [SPARK-46731] Zarządzanie instancją dostawcy pamięci stanów przez odczyt z źródła danych stanu.
    • [SPARK-46677] Naprawa dataframe["*"] rozdzielczości.
    • [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
    • [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu Union w Avro.
    • [SPARK-46227] Powrót do wersji 14.3.
    • [SPARK-46822] Uwzględniaj spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.3 LTS

Zobacz Databricks Runtime 13.3 LTS.

  • 11 marca 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Traktuj decimal(x, 0) tak samo jak IntegralType w kontekście promowania łańcuchów znaków.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątku ArrayIndexOutOfBoundsException lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartości null.
    • [SPARK-47202][PYTHON] Naprawiono literówkę rozbijającą daty i godziny z użyciem tzinfo.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę dla problemu, który uniemożliwił poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
    • [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
    • [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
    • [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-46822][SQL] Uwzględniaj spark.sql.legacy.charVarcharAsString przy rzutowaniu typu JDBC na typ Catalyst w JDBC
    • [SPARK-47895][SQL] GROUP BY ALL powinien być idempotentny
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-44653][SQL] Nietrywialne łączenia ramek danych nie powinny zakłócać buforowania
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47385] Napraw kodery dla krotek z wejściami typu Option.
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
    • [SPARK-47368][SQL] Usuń sprawdzenie konfiguracji inferTimestampNTZ w ParquetRowConverter
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47300][SQL] quoteIfNeeded powinien zawierać w cudzysłowie identyfikator zaczynający się od cyfr
    • [SPARK-47305][SQL] Napraw PruneFilters, aby poprawnie oznaczać flagę isStreaming dla LocalRelation, gdy plan zawiera zarówno tryb wsadowy, jak i strumieniowy.
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Dodaj wykonywane zapytanie dla zewnętrznych źródeł danych JDBC do wyjaśnienia wyników
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania zmiany kanałów danych (CDF) dotyczące zmaterializowanych widoków w Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku w Unity Catalog zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niżAPPLY CHANGES w środowisku uruchomieniowym Databricks 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego w Unity Catalog w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-45582] Upewnij się, że instancja magazynu nie jest używana po wykonaniu operacji zatwierdzenia w trybie wyjściowym dla strumieniowej agregacji.
    • [SPARK-46396] Rozpoznawanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
    • [SPARK-46383] Zmniejsz użycie pamięci sterownika przez skrócenie żywotności TaskInfo.accumulables().
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • Węzeł shuffle planu wyjaśnienia generowanego przez zapytanie Photon jest aktualizowany, aby dodać flagę causedBroadcastJoinBuildOOM=true w przypadku wystąpienia błędu braku pamięci podczas przetasowania, które jest częścią sprzężenia nadawczego.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
    • [SPARK-46417] Nie zgłasza błędu podczas wywoływania funkcji hive.getTable, gdy throwException ma wartość false.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla ciągów.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46056] Naprawiono błąd wektoryzowanego odczytu Parquet z wyjątkiem NPE, przy użyciu wartości domyślnej dla byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
    • [SPARK-46466] Wektoryzowany czytnik Parquet nigdy nie powinien wykonywać operacji rebase dla znacznika czasu NTZ.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
    • [SPARK-45920] grupowanie według pozycji powinno być idempotentne.
    • [SPARK-44582] Pomiń iterator w SMJ, jeśli został usunięty.
    • [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45892] Refaktoryzacja walidacji planu optymalizacji, aby oddzielić validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty UDF są teraz tworzone leniwie ml.functions.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego i zmaterializowanych widokach Unity Catalog, aby wyświetlać komunikaty o błędach.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45541] DodanoSSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem, który występował, gdy InferWindowGroupLimit powodował błąd, jeśli inne funkcje okna nie miały takiej samej ramki jak funkcje tego typu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 października 2023 r.
    • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter nie powiodła się podczas zapisywania większej liczby wartości niż początkowa pojemność.
    • [SPARK-45419] Unikaj ponownego używania rocksdb sst plików w innej instancji rocksdb poprzez usunięcie wpisów mapy wersji plików dla większych wersji.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych, gdy używany jest indeks -1. Aby przywrócić poprzednie zachowanie, ustaw spark.sql.legacy.negativeIndexInArrayInsert na wartość true.
    • Rozwiązano problem polegający na tym, że nie ignorowano uszkodzonych plików po włączeniu ignoreCorruptFiles podczas wnioskowania schematu CSV z funkcją automatycznego ładowania.
    • Przywróć "[SPARK-42946]."
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie Accumulables w zdarzeniach rozpoczynania zadania lub etapu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • [SPARK-45316] Dodawanie nowych parametrów ignoreCorruptFiles i ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-44740] stałe wartości metadanych artefaktów.
    • [SPARK-45360] Zainicjowano konfigurację konstruktora sesji platformy Spark z witryny SPARK_REMOTE.
    • [SPARK-44551] Edytowane komentarze w celu synchronizacji z OSS.
    • [SPARK-45346] Rozpoznawanie schematu Parquet teraz uwzględnia flagi wrażliwe na wielkość liter podczas scalania schematu.
    • [SPARK-44658]ShuffleStatus.getMapStatus teraz zwraca None zamiast Some(null).
    • [SPARK-44840] Zmieniono na bazowanie na 1 dla indeksów ujemnych.
  • 14 września 2023 r.
    • [SPARK-44873] Dodano obsługę alter view z kolumnami zagnieżdżonymi w kliencie programu Hive.
    • [SPARK-44878] Wyłączono ścisły limit dla menedżera zapisu RocksDB, aby uniknąć błędu wstawiania podczas ukończenia buforowania.
  • 30 sierpnia 2023 r.
    • Polecenie dbutils cp (dbutils.fs.cp) zostało zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą potrwać do 100 mniej czasu, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich chmurach i systemach plików dostępnych w usłudze Databricks, w tym w przypadku woluminów katalogu Unity i zamontowań DBFS.
    • [SPARK-44455] Cytowanie identyfikatorów używając backticków w SHOW CREATE TABLE wyniku.
    • [SPARK-44763] Rozwiązano problem pokazujący ciąg jako podwójny w arytmetyce binarnej z interwałem.
    • [SPARK-44871] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzenie ograniczeń w rozpoznawaniu LCA w kontekście zapytań.
    • [SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem taskThread.
    • [SPARK-44505] Dodano nadpisanie dla obsługi kolumnowej w skanowaniu dla DSv2.
    • [SPARK-44479] Naprawiono konwersję protobuf z pustego typu struktury.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-42941] Dodano obsługę StreamingQueryListener języka Python.
    • [SPARK-44558] Wyeksportuj poziom logowania dla Spark Connect w PySpark.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyjściowe wiersze miały wartość Null jako pierwszą w kolumnie.
    • [SPARK-44643] Naprawiono problem, gdy pole jest pustym wierszem Row.__repr__.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

  • 11 marca 2025 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 10 grudnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 26 listopada 2024 r.

    • Różne poprawki błędów.

  • 10 października 2024 r.

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields

  • 25 września 2024 r.

    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Różne poprawki błędów.

  • 17 września 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 sierpnia 2024 r.

    • Różne poprawki błędów.

  • 14 sierpnia 2024 r.

    • [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 sierpnia 2024 r.

  • 1 sierpnia 2024 r.

    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 12.2 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.

  • 11 lipca 2024 r.

    • (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj .checkpoint(), aby utrwały stan tabeli przez cały okres istnienia ramki danych.
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-42741][SQL] Nie odpakowuj rzutowań w porównaniach binarnych, gdy literał ma wartość 'null'
    • [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
    • [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 17 czerwca 2024 r.

    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Różne poprawki błędów.

  • 21 maja 2024 r.

    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 9 maja 2024 r.

    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2024 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 kwietnia 2024 r.

    • [SPARK-47305][SQL] Napraw PruneFilters, aby poprawnie oznaczać flagę isStreaming dla LocalRelation, gdy plan zawiera zarówno tryb wsadowy, jak i strumieniowy.
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2024 r.

    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 lutego 2024 r.

    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
    • [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 13 lutego 2024 r.

    • [SPARK-46861] Uniknij zawieszenia w DAGScheduler.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2024 r.

    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 grudnia 2023 r.

    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46417] Nie zgłasza błędu podczas wywoływania funkcji hive.getTable, gdy throwException ma wartość false.
    • [SPARK-43067] Popraw lokalizację pliku zasobu klasy błędu w łączniku Kafka.
    • [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-42852] Cofnięcie zmian związanych z NamedLambdaVariable z EquivalentExpressions.

  • 14 grudnia 2023 r.

    • Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
    • [SPARK-44582] Pomiń iterator w SMJ, jeśli został usunięty.
    • [SPARK-45920] grupowanie według pozycji powinno być idempotentne.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2023 r.

    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na błędnym interpretowaniu znaków podkreślenia poprzedzonych ukośnikiem w operacjach getColumns pochodzących z klientów JDBC lub ODBC jako symbole wieloznaczne.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43718] Naprawiono nullowalność dla kluczy w USING sprzężeniach.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-43973] UI (interfejs użytkownika) Structured Streaming poprawnie wyświetla nieudane zapytania.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty UDF są teraz tworzone leniwie ml.functions.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 listopada 2023 r.

    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] DodanoSSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction nie zawodzi już, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 października 2023 r.

    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.

  • 13 października 2023 r.

    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553] Należy dopilnować, że po interwale jest co najmniej jedna czasowa jednostka.
    • [SPARK-45346] wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • [SPARK-45084]StateOperatorProgress używać dokładnego, odpowiedniego numeru partycji przełączania.

  • 12 września 2023 r.

    • [SPARK-44873] Dodano obsługę alter view z zagnieżdżonymi kolumnami w kliencie programu Hive.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Różne poprawki.

  • 30 sierpnia 2023 r.

    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem taskThread.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzenie ograniczeń rozwiązania LCA dotyczących zapytań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyprowadzał wiersze, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 lipca 2023 r.

    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() zwrócił INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która kolidowała z inną ścieżką lokalizacji magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lipca 2023 roku

    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance powodowało błędy analizy.
    • [SPARK-44136] rozwiązano problem polegający na tym, że StateManager został zmaterializowany w executorze zamiast w driverze w FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotonizowany approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode w głównym wątku.
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędów zliczania w podzapytaniu skalarnym z wyłączoną funkcją decorrelateInnerQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i zawodzi bezpośrednio w trybie FAILFAST.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0] Naprawiono IN nullowalność podzapytania ListQuery.
    • [SPARK-43522] Naprawiono nadawanie nazwy kolumnie struktury z indeksem tablicy.
    • [SPARK-43541] Przekazywanie wszystkich tagów Project podczas rozwiązywania wyrażeń i uzupełniania brakujących kolumn.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43123] Metadane wewnętrznych pól nie wyciekają już do katalogów.
    • [SPARK-43340] Naprawiono brakujące pole dotyczące śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
    • [SPARK-42937]PlanSubqueries teraz ustawia InSubqueryExec#shouldBroadcast na wartość true.
    • [SPARK-43286] Zaktualizowano tryb CBC aes_encrypt, aby generował losowe wektory inicjalizacyjne.
    • [SPARK-43378] Poprawnie zamknij obiekty strumienia w deserializeFromChunkedBuffer.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz odporne na błędy OOM podczas skanowania szczególnie skomplikowanych plików przez dynamiczne dostosowywanie rozmiaru partii przetwarzanych danych. Metadane plików są analizowane w celu zawczasu zmniejszenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane, stanowiąc ostateczną warstwę bezpieczeństwa.
    • Jeśli plik Avro został odczytany przy użyciu opcji failOnUnknownFields lub modułu Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych będą odczytywane jako null, zamiast zgłaszania błędu informującego, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem, zalecając użytkownikom skorzystanie z opcji rescuedDataColumn.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie przetwarza już typów Integer, Short i Byte, jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega traktowaniu typów interwałów jako typów daty lub znacznika czasu, aby uniknąć uszkodzenia danych.
      • Zapobiega odczytywaniu typów Decimal o niższej precyzji.
    • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085] Obsługa przypisania kolumny DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z wyjściem wtórnym.
    • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko za pomocą opcji failOnUnknownFields lub z Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych zostaną odczytane jako null zamiast zgłoszenia błędu, który stwierdza, że plik nie może być odczytany. Te operacje odczytu kończą się teraz niepowodzeniem, zalecając użytkownikom skorzystanie z opcji rescuedDataColumn.
    • Auto Loader teraz poprawnie odczytuje i nie ratuje typów Integer, Short i Byte, jeśli podano jeden z tych typów danych. Plik Parquet wskazuje na jeden z dwóch pozostałych typów. Gdy wcześniej była włączona uratowana kolumna danych, niezgodność typów danych powodowała zapisanie kolumn, mimo że można je było odczytać.
    • [SPARK-43009] Parametryzowane sql() ze Any stałymi
    • [SPARK-42406] Przerywaj rekurencyjne pola Protobuf poprzez usunięcie pola
    • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Zmień na wyświetlanie workdir, jeśli appDirs jest null, gdy element roboczy obsługuje WorkDirCleanup zdarzenie
    • [SPARK-43018] Poprawka błędów w poleceniach INSERT z literałami znacznika czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
    • Rozwiązano problem dotyczący działania funkcji %autoreload w notebookach spoza repozytorium.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928] Synchronizuje resolvePersistentFunction .
    • [SPARK-42936] Naprawia problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez agregat podrzędny.
    • [SPARK-42967] Rozwiązuje problem, gdy zadanie rozpoczyna się po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne polecenia INSERT, UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego słowa kluczowego DEFAULT. Ponadto jeśli jakiekolwiek przypisanie INSERT ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

      Na przykład:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader inicjuje teraz co najmniej jedno synchroniczne czyszczenie dziennika RocksDB dla strumieni Trigger.AvailableNow, aby sprawdzić, czy punkt kontrolny może być regularnie czyszczony w przypadku często uruchamianych strumieni Auto Loader. Może to spowodować, że wyłączenie niektórych strumieni zajmie więcej czasu, ale pozwoli to zmniejszyć koszty przechowywania i poprawić działanie funkcji Auto Loader w przyszłych uruchomieniach.

    • Teraz możesz zmodyfikować tabelę Delta, aby dodać wsparcie dla funkcji tabeli przy użyciu DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać dostęp do pamięci stanu RocksDB w Structure Streaming.

    • [SPARK-42521] Dodaj wartości NULL dla INSERT-ów z listami określonymi przez użytkownika, które zawierają mniej kolumn niż tabela docelowa.

    • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

    • [SPARK-42668] Przechwyć wyjątek przy próbie zamknięcia skompresowanego strumienia w trakcie zatrzymywania HDFSStateStoreProvider

    • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

  • 8 marca 2023 r.

    • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • Począwszy od tej wersji, możliwe jest utworzenie lub zastąpienie tabeli z dodatkową właściwością delta.ignoreProtocolDefaults, która pozwala ignorować konfiguracje Spark związane z protokołem, w tym domyślne wersje czytnika i zapisujących oraz funkcje tabeli wspierane domyślnie.
    • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
    • [SPARK-41793] Nieprawidłowy wynik dla ram okienkowych zdefiniowanych przez klauzulę zakresu dla znaczących cyfr dziesiętnych
    • [SPARK-42484] Lepszy komunikat o błędzie UnsafeRowUtils
    • [SPARK-42516] Zawsze zapisywać konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42635] Napraw wyrażenie TimestampAdd.
    • [SPARK-42622] Wyłączono podstawianie wartości
    • [SPARK-42534] Napraw klauzulę LIMIT w DB2Dialect
    • [SPARK-42121] Dodaj wbudowane funkcje tabelaryczne posexplode, posexplode_outer, json_tuple i stack
    • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia dla bardzo małej, małej lub znaczącej liczby całkowitej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

  • 5 marca 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne CLONE mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Różne poprawki błędów.
  • 10 października 2024 r.
    • Różne poprawki błędów.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Różne poprawki błędów.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
  • 13 lutego 2024 r.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy spark.sql.legacy.keepCommandOutputSchema jest ustawione na wartość true.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
    • [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na błędnym interpretowaniu znaków podkreślenia poprzedzonych ukośnikiem w operacjach getColumns pochodzących z klientów JDBC lub ODBC jako symbole wieloznaczne.
    • [SPARK-43973] UI (interfejs użytkownika) Structured Streaming poprawnie wyświetla nieudane zapytania.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty UDF są teraz tworzone leniwie ml.functions.
    • [SPARK-43718] Naprawiono nullowalność dla kluczy w USING sprzężeniach.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
    • [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • Przywróć [SPARK-33861].
    • [SPARK-45541] DodanoSSLFactory.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie powoduje już błędu, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • [SPARK-45084]StateOperatorProgress używać dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45346] Wnioskowanie schematu Parquet teraz uwzględnia flagę wrażliwości na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem taskThread.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner, aby wyprowadzał wiersze, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() zwrócił INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która kolidowała z inną ścieżką lokalizacji magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44136] Rozwiązano problem, gdzie StateManager mógł zostać zmaterializowany w egzekutorze zamiast w sterowniku w FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonizowany approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode w głównym wątku.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w ramach RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test dotyczący błędu licznika podzapytań skalarnych przy wyłączonym decorrelateInnerQuery.
    • [SPARK-43098] Naprawiono błąd poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i zawodzi bezpośrednio w trybie FAILFAST.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43413][11.3-13.0] Naprawiono IN nullowalność podzapytania ListQuery.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

  • 11 marca 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne CLONE mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
  • 14 sierpnia 2024 r.
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
    • [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w ALSModel.transform.
    • [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty UDF są teraz tworzone leniwie ml.functions.
    • [SPARK-43718] Naprawiono nullowalność dla kluczy w USING sprzężeniach.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • [SPARK-45084]StateOperatorProgress używać dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem taskThread.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
    • [SPARK-43973] Teraz interfejs użytkownika Structured Streaming poprawnie wyświetla zapytania, które zakończyły się niepowodzeniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43098] Naprawiono błąd poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w ramach RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test dotyczący liczby podzapytań skalarnych z wyłączoną opcją decorrelateInnerQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i zawodzi bezpośrednio w trybie FAILFAST.
    • Rozwiązano problem z analizowaniem danych odzyskanych w formacie JSON, aby uniknąć UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413] Naprawiono nullowalność IN podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz odporne na błędy OOM podczas skanowania szczególnie skomplikowanych plików przez dynamiczne dostosowywanie rozmiaru partii przetwarzanych danych. Metadane plików są analizowane w celu zawczasu zmniejszenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane, stanowiąc ostateczną warstwę bezpieczeństwa.
    • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z wyjściem wtórnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42937]PlanSubqueries teraz ustawia InSubqueryExec#shouldBroadcast na wartość true.
    • [SPARK-42967] Naprawić SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
  • 29 marca 2023 r.
    • [SPARK-42668] Przechwyć wyjątek przy próbie zamknięcia skompresowanego strumienia w trakcie zatrzymywania HDFSStateStoreProvider
    • [SPARK-42635] Napraw ...
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-41162] Napraw anty- i półzłączenie w przypadku samodzielnego złączenia z agregacjami
    • [SPARK-33206] Napraw kalkulację wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
    • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Obsługa generowanej kolumny dla formatu daty yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta wymagające wersji odczytu 3 i wersji zapisu 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
    • Obsługa generowanej kolumny dla formatu daty yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • [SPARK-30220] Umożliwienie używania podzapytań Exists/In poza węzłem Filtr
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41198] Napraw metryki w zapytaniu przesyłanym strumieniowo zawierającym CTE i źródło przesyłania strumieniowego DSv1.
    • [SPARK-41339] Zamknij i ponownie utwórz partię zapisu w RocksDB zamiast tylko ją czyścić.
    • [SPARK-41732] Zastosuj przycinanie oparte na wzorcu drzewa dla reguły SessionWindowing.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych spacji podczas zapisywania danych przy użyciu konektora Redshift. Dodano następujące opcje do zarządzania obsługą białych znaków:
      • csvignoreleadingwhitespace, gdy ustawiony jest na true, usuwa początkowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartość false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, gdy jest ustawiony na true, usuwa białe znaki na końcu wartości podczas zapisywania, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartość false. Domyślna wartość to true.
    • Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (cloudFiles.inferColumnTypes nie został ustawiony lub ustawiony na false) i JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-40646] analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw spark.sql.json.enablePartialResults na wartość true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
    • [SPARK-40292] Napraw nazwy kolumn w funkcji arrays_zip gdy tablice są przywoływane z zagnieżdżonych struktur
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania MERGE.
    • Naprawiono problem z Auto Loaderem, w którym plik może zostać zduplikowany w tej samej mikropartii po włączeniu allowOverwrites.
    • [SPARK-40697] Dodanie wyrównania znaków podczas odczytu w celu zabezpieczenia zewnętrznych plików danych
    • [SPARK-40596] Uzupełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną listę dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do zwiększenia kosztów przechowywania dla klientów.
    • [SPARK-40315] Dodanie metody hashCode() dla Literal w ArrayBasedMapData
    • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380] Napraw składanie stałych elementu InvokeLike, aby uniknąć nieserializowalnego literału osadzonego w planie
    • [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast synchronizowanej w Executor.updateDependencies().
    • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania.
    • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie.
    • [SPARK-40053] Dodaj assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python.
    • [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie może być załadowany po zapisaniu.
    • [SPARK-40079] Dodaj walidację danych wejściowych ImputerCols dla pustego przypadku wejściowego.
  • 24 sierpnia 2022 r.
    • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku.
    • [SPARK-39775] Wyłącz sprawdzanie wartości domyślnych podczas analizowania schematów Avro.
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw warunek wyścigu w RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu poprawionej polityki analizatora czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625] Dodaj Dataset.as(StructType).
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV.
    • [SPARK-39104] Element InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny dla wątków.
    • [SPARK-39570] tabela wbudowana powinna zezwalać na wyrażenia z aliasem.
    • [SPARK-39702] Ogranicz zużycie pamięci przez TransportCipher$EncryptedMessage poprzez wykorzystanie wspólnego byteRawChannel.
    • [SPARK-39575] dodać element ByteBuffer#rewind po byteBuffer#get w programie AvroDeserializer.
    • [SPARK-39476] Wyłącz optymalizację rozpakowywania rzutowania podczas rzutowania z Long na float/double lub z Integer na float.
    • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355] Pojedyncza kolumna używa cudzysłowów do konstruowania atrybutu UnresolvedAttribute.
    • [SPARK-39548] polecenie CreateView z zapytaniem zawierającym klauzulę okna powoduje problem z powodu nieprawidłowej definicji okna, która nie została znaleziona.
    • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików.
    • [SPARK-34096] Poprawa wydajności dla nth_value, ignorując wartości null w przesuniętym oknie.
    • [SPARK-36718] Napraw sprawdzanie w CollapseProject.
  • 2 czerwca 2022 r.
    • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów rok-miesiąc lub interwałów dzień-czas przez liczbę całkowitą.
    • [SPARK-38990] Unikaj NullPointerException podczas oceny formatu date_trunc/trunc jako referencji powiązanej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci wbudowanej w Auto Loaderze.
    • [SPARK-38918] Przycinanie zagnieżdżonych kolumn powinno odfiltrować atrybuty, które nie należą do bieżącej relacji.
    • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP.
    • [SPARK-39084] Napraw df.rdd.isEmpty() przy użyciu elementu TaskContext, aby zatrzymać iterator po zakończeniu zadania.
    • [SPARK-32268] Dodaj ColumnPruning przy użyciu injectBloomFilter.
    • [SPARK-38974] Filtruj zarejestrowane funkcje według danej nazwy bazy danych na liście funkcji.
    • [SPARK-38931] Utwórz główny katalog DFS dla RocksDBFileManager z nieznaną liczbą kluczy podczas pierwszego punktu kontrolnego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
    • Rozwiązano problem z brakiem działania bibliotek powiązanych z notesem w zadaniach przetwarzania wsadowego strumieniowego.
    • [SPARK-38616] Śledź tekst zapytania SQL w węźle TreeNode w Catalyst
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
      • timestampadd() i dateadd(): Dodaj czas trwania w wybranej jednostce do znacznika czasu.
      • timestampdiff() i datediff(): Oblicz różnicę czasu między dwoma wyrażeniami znaczników czasu w określonej jednostce.
    • Parquet-MR został uaktualniony do wersji 1.12.2
    • Ulepszona obsługa kompleksowych schematów w plikach „Parquet”
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • [SPARK-38509][SPARK-38481] Wybierz selektywnie trzy timestmapadd/diff zmiany.
    • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV.
    • [SPARK-38237] Umożliwienie ClusteredDistribution wymogu pełnych kluczy klastrowania.
    • [SPARK-38437] Uproszczona serializacja daty i czasu ze źródła danych.
    • [SPARK-38180] Umożliwić bezpieczne rzutowanie w górę wyrażeń w predykatach skorelowanej równości.
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

  • 11 marca 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lutego 2025 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 września 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
  • 14 sierpnia 2024 r.
  • 1 sierpnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • Różne poprawki błędów.
  • 11 kwietnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lutego 2024 r.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 grudnia 2023 r.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
    • [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
  • 14 grudnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix, aby naprawić lukę w zabezpieczeniach PyArrow RCE.
    • [SPARK-45859] Obiekty UDF są teraz tworzone leniwie ml.functions.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] DodanoSSLFactory.
    • [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • [SPARK-43098] Napraw błąd poprawności związany z funkcją COUNT, gdy zapytanie skalarne ma klauzulę GROUP BY.
    • [SPARK-43156][SPARK-43098] Rozszerz test dotyczący błędu zliczania podzapytań skalarnych przy wyłączonym decorrelateInnerQuery.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w RewriteCorrelatedScalarSubquery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i zawodzi bezpośrednio w trybie FAILFAST.
    • Rozwiązano problem z analizowaniem danych odzyskanych w formacie JSON, aby uniknąć UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-37520] Dodaj funkcje startswith() i endswith() strunowe
    • [SPARK-43413] Naprawiono nullowalność IN podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42967] Naprawić SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
  • 29 marca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta wymagające wersji odczytu 3 i wersji zapisu 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (cloudFiles.inferColumnTypes nie został ustawiony lub ustawiony na false) i JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania MERGE.
    • Naprawiono problem z Auto Loaderem, w którym plik może zostać zduplikowany w tej samej mikropartii po włączeniu allowOverwrites.
    • [SPARK-40596] Uzupełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Różne poprawki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić ustawienie spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną funkcję listowania dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do zwiększenia kosztów przechowywania dla klientów.
    • [SPARK-40315] Dodanie metody hashCode() dla Literal w ArrayBasedMapData
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywalnej zamiast zsynchronizowanej w metodzie Executor.updateDependencies()
    • [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po jego zapisaniu.
    • [SPARK-40079] Dodaj walidację kolumn wejściowych imputera dla przypadku pustego wejścia
  • 24 sierpnia 2022 r.
    • [SPARK-39666] Użyj metody UnsafeProjection.create, aby przestrzegać spark.sql.codegen.factoryMode w ramach ExpressionEncoder
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39575] Dodano ByteBuffer#rewind po ByteBuffer#get w pliku AvroDeserializer.
    • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono blokadę między komponentami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • 2 czerwca 2022 r.
    • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawiono potencjalny wbudowany wyciek pamięci w narzędziu Auto Loader.
    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • [SPARK-38918] filtrowanie zagnieżdżonych kolumn powinno eliminować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 6 kwietnia 2022 r.
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabel lub przekazywaniem poświadczeń na katalog główny użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
    • [SPARK-38437] Łagodna serializacja daty/godziny ze źródła danych
    • [SPARK-38180] Umożliwienie bezpiecznego rzutowania w górę w skorelowanych predykatach równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • 14 marca 2022 r.
    • [SPARK-38236] bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-34069] przerwać wątek zadania, jeśli właściwość lokalna SPARK_JOB_INTERRUPT_ON_CANCEL została ustawiona na true.
  • 23 lutego 2022 r.
    • [SPARK-37859] tabel SQL utworzonych za pomocą JDBC z platformą Spark 3.1 nie można odczytać z platformą Spark 3.2.
  • 8 lutego 2022 r.
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Rozwiązano problem polegający na tym, że równoczesne transakcje w tabelach Delta mogły być zatwierdzane w nieserializowalnej kolejności w pewnych rzadkich warunkach.
    • Rozwiązano problem polegający na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Drobne poprawki i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Naprawiono problem, który mógł powodować niepowodzenie strumieni Structured Streaming z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania, występując jako wyjątek IOException, taki jak java.io.IOException: No FileSystem for scheme, lub może sprawić, że zmiany w sparkContext.hadoopConfiguration nie zostaną uwzględnione w zapytaniach.
    • Łącznik Apache Spark dla Delta Sharing został uaktualniony do wersji 0.2.0.
  • 20 października 2021 r.
    • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Dodaje obsługę dla typu BigNumeric.