Udostępnij za pośrednictwem

Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane)

  • Artykuł

Ta zarchiwizowana strona zawiera listę aktualizacji konserwacji wydanych dla wersji środowiska Databricks Runtime, które nie są już obsługiwane. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster.

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana. Produkty, usługi lub technologie wymienione w tej zawartości osiągnęły koniec wsparcia. Zobacz notatki o wydaniu Databricks Runtime - wersje i zgodność.

Uwaga

Ten artykuł zawiera odwołania do terminu białą listę, który nie jest używany przez usługę Azure Databricks. Po usunięciu tego terminu z oprogramowania usuniemy go również z artykułu.

Wersje środowiska Databricks Runtime

Aktualizacje serwisowe według wydania:

Aby uzyskać informacje o aktualizacjach konserwacji obsługiwanych wersji środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime.

Databricks Runtime 15.3

Zobacz Databricks Runtime 15.3 (EoS).

  • 26 listopada 2024 r.
    • W tej wersji można teraz wykonywać zapytania dotyczące funkcji vector_search przy użyciu query_text dla wprowadzania tekstu lub query_vector na potrzeby osadzania danych wejściowych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby uniemożliwić modyfikację mieszania przez funkcję AQE.
    • [SPARK-49867][SQL] Ulepsz komunikat o błędzie, gdy indeks jest poza zakresem przy wywołaniu GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację przy łączeniu strumień-strumień poprzez dodawanie danych wejściowych do magazynu stanowego (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje NierozwiązanyAtrybut z danymi wyjściowymi podrzędnego elementu
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez adaptacyjną realizację zapytań (AQE)
    • [SPARK-49867][SQL] Ulepsz komunikat o błędzie, gdy indeks jest poza zakresem przy wywołaniu GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację procesu dodawania danych wejściowych do magazynu stanów w łączeniu strumień-strumień (poprawka dotycząca poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49492][CONNECT] Ponowna próba dołączenia przy nieaktywnym uchwycie wykonania
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować wyrażenie stanowe przed przetworzeniem
    • [SPARK-49000][SQL] Poprawka działania "select count(distinct 1) from t", gdzie t jest pustą tabelą, przez rozszerzenie funkcji RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-48719][SQL] Napraw usterkę obliczania RegrSlope & RegrIntercept, gdy pierwszy parametr ma wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-49526][CONNECT][15.3.5] Obsługa ścieżek stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49366][CONNECT] Traktuj węzeł Union jako liść podczas rozwiązywania kolumny ramki danych
    • [SPARK-43242][CORE] Napraw błąd „Nieoczekiwany typ BlockId” przy diagnozowaniu uszkodzenia procesu mieszania.
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49146][SS] Przenieść błędy asercji związane z brakiem znacznika czasu w zapytaniach przesyłanych strumieniowo w trybie dołączania do frameworku błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Backport poprawek dotyczących zapisu/odczytu uczenia maszynowego
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48954] try_mod() zastępuje try_remainder()
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Rebasing w starszych formaterach/analitykach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
    • [SPARK-49047][PYTHON][CONNECT] Skrócenie komunikatu do rejestrowania
    • [SPARK-48740][SQL] Wczesne wykrywanie błędu specyfikacji brakującego okna
  • 1 sierpnia 2024 r.
    • [Zmiana łamiąca zgodność] W środowisku Databricks Runtime 15.3 lub nowszym, wywołanie dowolnej funkcji zdefiniowanej przez użytkownika w Pythonie (UDF), agregującej (UDAF) lub tabeli (UDTF), która używa typu VARIANT jako argumentu lub wartości zwracanej, zgłasza wyjątek. Ta zmiana jest wprowadzana w celu zapobiegania problemom, które mogą wystąpić z powodu nieprawidłowej wartości zwróconej przez jedną z tych funkcji. Aby dowiedzieć się więcej o typie VARIANT, patrz używaj VARIANTów do przechowywania częściowo ustrukturyzowanych danych.
    • W przypadku bezserwerowych obliczeń dla notebooków i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego w Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku Strukturalnego przesyłania strumieniowego. Zobacz Ograniczenia dotyczące przesyłania strumieniowego i wymagania dotyczące standardowego trybu dostępu w Unity Catalog.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-46957][CORE] Likwidacja migrowanych plików tasowania powinna być możliwa do wykonania przez egzekutor.
    • [SPARK-48648][PYTHON][CONNECT] Zadbaj o to, aby element SparkConnectClient.tags był poprawnie lokalny dla wątku.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48713][SQL] Dodaj weryfikację zakresu indeksu dla metody UnsafeRow.pointTo, jeśli obiekt baseObject jest tablicą bajtów
    • [SPARK-48834][SQL] Wyłączanie wariantu danych wejściowych/wyjściowych dla skalarnych UDF-ów Pythona, UDTF-ów, UDAF-ów podczas kompilacji zapytań
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48705][PYTHON] Należy jawnie użyć worker_main, gdy uruchamia się z pyspark.
    • [SPARK-48544][SQL] Zmniejsz obciążenie pamięci pustych bitowych zestawów TreeNode
    • [SPARK-48889][SS] testStream do zwolnienia pamięci magazynów stanu przed zakończeniem
    • [SPARK-49054][SQL] Wartość domyślna kolumny powinna obsługiwać funkcje current_*
    • [SPARK-48653][PYTHON] Naprawianie nieprawidłowych odwołań do klas błędów źródła danych języka Python
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie zakończyć się niepowodzeniem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48873][SQL] Użyj elementu UnsafeRow w analizatorze JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwiał poprawne wyświetlanie karty Środowisko w interfejsie użytkownika Spark podczas uruchamiania w usługach Kontenerowych Databricks.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths źródła danych na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48100][SQL] Napraw problemy z pomijaniem zagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia z typem zwracanej wartości logicznej
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48286] Naprawiono analizę kolumny z istniejącym wyrażeniem domyślnym — dodano komunikat o błędzie dla użytkownika
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem danych strumieniowych.
    • Przywróć "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48503][14.3-15.3][SQL] Naprawa nieprawidłowych skalarnych podzapytań z grupowaniem wg nierównoważnych kolumn, które były niepoprawnie dozwolone
    • [SPARK-48445][SQL] Nie wbudowuj UDF z kosztownymi składnikami
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48273][master][SQL] Poprawka późnego ponownego zapisywania PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48556][SQL] Poprawka nieprawidłowego komunikatu o błędzie wskazującego na UNSUPPORTED_GROUPING_EXPRESSION
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.2

Zobacz Databricks Runtime 15.2 (EoS).

  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumień-strumień (poprawka poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z danymi wyjściowymi elementu podrzędnego
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 października 2024 r.
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE.
    • [SPARK-48843][15.3,15.2] Zapobieganie nieskończonej pętli za pomocą parametrów BindParameters
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumieniowym (naprawa poprawności)
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-49782][SQL] Zasada ResolveDataFrameDropColumns rozwiązuje NierozwiązanyAtrybut za pomocą podrzędnych danych wyjściowych
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażenia, gdy równoważne wyrażenia ternarne mają różne dzieci
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49000][SQL] Poprawiono problem z "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie funkcji RewriteDistinctAggregates
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować wyrażenie z utrzymywanym stanem przed oceną
    • [SPARK-49492][CONNECT] Próba ponownego dołączenia przy nieaktywnym obiekcie wykonawczym
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
    • [SPARK-43242][CORE] Poprawka rzuca błąd "Nieoczekiwany typ BlockId" w diagnozowaniu uszkodzenia procesu mieszania danych
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49263][CONNECT] Klient Spark Connect w Pythonie: spójna obsługa logicznych opcji czytnika DataFrame
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Przeniesienie poprawek pisarza/czytnika ML do starszej wersji
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48740][SQL] Wczesne wykrywanie błędu brakującej specyfikacji okna
    • [SPARK-49065][SQL] Dostosowywanie w starszych formaterach/analizatorach musi wspierać strefy czasowe inne niż domyślne JVM
    • [SPARK-49047][PYTHON][CONNECT] Obcięcie komunikatu na potrzeby logowania
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Buforowane ramki danych względem tabel Delta są teraz unieważniane, jeśli tabela źródłowa zostanie nadpisana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę do problemu, który uniemożliwiał poprawne wyświetlanie karty Środowisko interfejsu użytkownika Spark podczas uruchamiania w Usługach Kontenerowych Databricks.
    • W notesach i zadaniach bezserwerowych tryb SQL ANSI będzie domyślnie włączony i obsługuje krótkie nazwy
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, można ustawić opcję ignoreInvalidPartitionPaths na wartość true w źródłach danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48273][SQL] Naprawa późnej zmiany PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Przywrócić [SPARK-39195][SQL] Spark OutputCommitCoordinator powinien przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48100][SQL] Naprawa problemów z pomijaniem zagnieżdżonych pól struktury, które nie są wybrane w schemacie
    • [SPARK-48286] Naprawa analizy kolumny z wyrażeniem domyślnym — dodanie błędu widocznego dla użytkownika
    • [SPARK-48294][SQL] Obsługa małych liter w nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Poprawka nieprawidłowego komunikatu o błędzie wskazującego na UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48503][SQL] Napraw błędne podzapytania skalarnych z grupowaniem po nieekwiwalentnych kolumnach, które zostały niepoprawnie dozwolone
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48481][SQL][SS] Nie stosuj optymalizacji OptimizeOneRowPlan na danych strumieniowych
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia ze zwracanym typem wartości logicznej
    • [SPARK-48383][SS] Generowanie lepszego komunikatu o błędzie w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w udostępnionych klastrach.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48197][SQL] Uniknięcie błędu asercji dla nieprawidłowej funkcji lambda
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48014][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
    • [SPARK-48016][SQL] Naprawiono usterkę w funkcji try_divide dla liczb dziesiętnych.
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48172][SQL] Rozwiązywanie problemów z ucieczką w zapleczu JDBCDialects do wersji 15.2
    • [SPARK-48105][SS] Naprawa sytuacji wyścigu między zwalnianiem magazynu stanowego a tworzeniem migawki
    • [SPARK-48288] Dodaj typ danych źródłowych dla wyrażenia rzutowania łącznika
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • Przywróć "[SPARK-47406][SQL] Obsłuż TIMESTAMP i DATETIME w MYSQLDialect"
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Poprawka tworzenia elementu ExecuteJobTag w elemecie ExecuteHolder
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-48146][SQL] Naprawić funkcję agregującą w asercji podrzędnej wyrażenia typu "WITH"
    • [SPARK-48180][SQL] Popraw błąd, gdy wywołanie UDTF z TABLE arg zapomina o nawiasach wokół wielu PARTITION/ORDER BY wyrażeń
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.1

Zobacz Databricks Runtime 15.1 (EoS).

  • 22 października 2024 r.
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-46632][SQL] Naprawa eliminacji podwyrażeń, gdy równoważne wyrażenia ternarne mają różne dzieci
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązane atrybuty w wynikach elementów podrzędnych
    • [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-49492][CONNECT] Ponowiono próbę dołączenia do nieaktywnej jednostki wykonawczej
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania komunikatu protobuf
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Naprawa zgłaszania wyjątku 'Nieoczekiwany typ BlockId' podczas diagnozowania korupcji w procesie shuffle
    • [SPARK-49366][CONNECT] Należy traktować węzeł Union jako liść w rozwiązywaniu kolumn ramki danych
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójne zarządzanie opcjami logicznymi w czytniku struktury danych (DataFrame)
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49146][SS] Przeniesienie błędów asercji związanych z brakiem znacznika wodnego w zapytaniach przesyłanych strumieniowo w trybie dołączania do mechanizmu obsługi błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wprowadzenie poprawek pisarza/czytnika ML z nowszych wersji
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Przeformatowywanie w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne JVM
    • [SPARK-49047][PYTHON][CONNECT] Skrócenie komunikatu na potrzeby logowania
    • [SPARK-48740][SQL] Wczesne wykrywanie błędu braku specyfikacji okna
  • 1 sierpnia 2024 r.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane w odniesieniu do źródeł tabeli Delta są teraz unieważniane, jeśli tabela źródłowa zostanie nadpisana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwiał poprawne wyświetlanie karty Środowisko w interfejsie użytkownika Spark podczas uruchamiania w usługach kontenerowych Databricks.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, w przypadku źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję źródła danych ignoreInvalidPartitionPaths na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48481][SQL][SS] Nie stosuj planu OptimizeOneRowPlan względem strumieniowego zestawu danych
    • [SPARK-48100][SQL] Napraw problemy z pomijaniem pól zagnieżdżonej struktury, które nie są wybrane w schemacie
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia z zwracanymi typem wartości logicznej
    • [SPARK-48445][SQL] Nie wstawiaj funkcji zdefiniowanych przez użytkownika (UDF) z kosztownymi elementami potomnymi
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48503][SQL] Naprawa nieprawidłowych podzapytań skalarnych z grupowaniem według różnych kolumn, które były niepoprawnie dozwolone
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48294][SQL] Przetwarzanie małych liter w NestedTypeMissingElementTypeError
    • [SPARK-48286] Naprawiono analizę kolumny z domyślnym wyrażeniem — dodano komunikat o błędzie widoczny dla użytkownika
    • [SPARK-47309][SQL] XML: Dodawanie testów wnioskowania schematu dla tagów wartości
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-48273][SQL] Naprawa opóźnionego przepisania PlanWithUnresolvedIdentifier
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w udostępnionych klastrach.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności związanych z tasowaniem w oparciu o tryb ShuffleCleanupMode
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48016][SQL] Naprawiono usterkę w funkcji try_divide przy użyciu liczb dziesiętnych.
    • [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem magazynu stanów a tworzeniem migawek
    • [SPARK-48197][SQL] Unikaj błędu asercji dla nieprawidłowej funkcji lambda
    • [SPARK-48180][SQL] Popraw błąd, gdy wywołanie UDTF z TABLE arg zapomina o nawiasach wokół wielu PARTITION/ORDER BY wyrażeń
    • [SPARK-48014][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48146][SQL] Napraw funkcję agregującą w wyrażeniu pochodnym asercji
    • [SPARK-47994][SQL] Naprawiono błąd związany z przepychaniem filtrów kolumny CASE WHEN w systemie SQLServer
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict as MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47739][SQL] Rejestruj typ logiczny avro
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Dodaj spark.sql.execution.arrow.pyspark.fallback.enabled do listy nieobsługiwanych
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Użyj asynchronicznego wywołania zwrotnego do czyszczenia po wykonaniu
    • [SPARK-47956][SQL] Weryfikacja poprawności dla nierozwiązanego odniesienia LCA
    • [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
    • [SPARK-48018][SS] Naprawiono problem z wartością null groupId, powodujący błąd z brakującym parametrem podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47907][SQL] Umieść huk pod konfiguracją
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() oraz później w SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.0

Zobacz Databricks Runtime 15.0 (EoS).

  • 30 maja 2024 r.
  • 25 kwietnia 2024 r.
    • [SPARK-47786]SELECT DISTINCT () nie powinny stać się SELECT DISTINCT struct() (przywróć poprzednie zachowanie)
    • [SPARK-47802][SQL] Przywróć () ze znaczenia struct z powrotem do znaczenia *
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • [SPARK-47722] Przed zamknięciem poczekaj na zakończenie pracy w tle bazy danych RocksDB
    • [SPARK-47081][CONNECT][OBSERWUJ] Poprawa użyteczności obsługiwacza postępu
    • [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
    • [SPARK-47669][SQL][CONNECT][PYTHON] Dodawać Column.try_cast
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Weryfikowanie nazwy kolumny przy użyciu buforowanego schematu
    • [SPARK-47818][CONNECT][Cherry-pick-15.0] Wprowadzenie pamięci podręcznej planu w rozwiązaniu SparkConnectPlanner w celu zwiększenia wydajności żądań analizy
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] Funkcja przestawna powinna nie działać, gdy liczba unikalnych wartości jest zbyt duża
    • [SPARK-47713][SQL][CONNECT] Naprawianie błędu samosprzężenia
    • [SPARK-47812][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite napotyka błąd z powodu nieprawidłowego planu
    • [SPARK-47862][PYTHON][CONNECT]Naprawa generowania plików proto
    • [SPARK-47800][SQL] Utwórz nową metodę konwersji identyfikatora na tableIdentifier
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 3 kwietnia 2024 r.
    • (Zmiana zachowania) Aby zapewnić spójne zachowanie we wszystkich typach obliczeń, funkcje zdefiniowane przez użytkownika (UDF) PySpark na udostępnionych klastrach są teraz zgodne z funkcjami w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
      • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie konwertują już niejawnie wartości innych niż string na wartości string. Wcześniej funkcje definiowane przez użytkownika z typem zwracanym str zawijały wartość zwracaną funkcją str() niezależnie od rzeczywistego typu danych tej wartości.
      • Funkcje zdefiniowane przez użytkownika o typach zwracanych timestamp nie stosują już niejawnie konwersji na timestamp przy użyciu timezone.
      • Konfiguracje klastra spark.databricks.sql.externalUDF.* Spark nie mają już zastosowania do UDFów PySpark w udostępnionych klastrach.
      • Konfiguracja klastra Spark spark.databricks.safespark.externalUDF.plan.limit nie ma już wpływu na funkcje zdefiniowane przez użytkownika (UDF) PySpark, co oznacza zniesienie ograniczenia publicznej wersji zapoznawczej do 5 UDF na zapytanie.
      • Konfiguracja klastra Spark spark.databricks.safespark.sandbox.size.default.mib nie ma już zastosowania do PySpark UDFs na udostępnionych klastrach. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, użyj spark.databricks.pyspark.udf.isolation.memoryLimit z minimalną wartością 100m.
    • Typ TimestampNTZ danych jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • [SPARK-46990][SQL] Naprawa ładowania pustych plików Avro emitowanych przez Event Hubs
    • [SPARK-47033][SQL] Poprawka EXECUTE IMMEDIATE USING nie rozpoznaje nazw zmiennych sesji
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • [SPARK-47561][SQL] Rozwiązywanie problemów z kolejnością reguł analizatora dotyczących aliasu
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-46906][BACKPORT][SS] Dodawanie sprawdzania zmiany operatora stanowego dla przesyłania strumieniowego
    • [SPARK-47569][SQL] Nie zezwalaj na porównywanie wariantu.
    • [SPARK-47241][SQL] Napraw problemy z kolejnością reguł dla ExtractGenerator
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded należy umieścić w cudzysłowie identyfikator zaczynający się od cyfr
    • [SPARK-47009][SQL][Sortowanie] Włącz obsługę tworzenia tabeli na potrzeby sortowania
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47544][PYTHON] Metoda konstruktora SparkSession jest niezgodna z funkcją IntelliSense w Visual Studio Code
    • [SPARK-47511][SQL] Kanonizuj wyrażenia "With" poprzez ponowne przypisanie identyfikatorów
    • [SPARK-47385] Napraw enkodery krotek z danymi wejściowymi typu Option.
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby poprawnie oznaczyć flagę isStreaming w kontekście LocalRelation, gdy plan zawiera zarówno przetwarzanie wsadowe, jak i strumieniowe.
    • [SPARK-47380][CONNECT] Upewnij się, że SparkSession jest taka sama po stronie serwera
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.2

Zobacz Databricks Runtime 14.2 (EoS).

  • 22 października 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z danymi wyjściowymi podrzędnymi
    • [SPARK-49905] Użycie dedykowanego ShuffleOrigin dla operatora stanowego w celu zapobiegania modyfikacjom shuffle przez AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
  • 25 września 2024 r.
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować wyrażenie stanowe przed ewaluacją
    • [SPARK-49000][SQL] Napraw "select count(distinct 1) from t", gdzie t jest pustą tabelą, rozszerzając RewriteDistinctAggregates
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ identyfikatora bloku" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49146][SS] Przeniesienie błędów asercji związanych z brakiem watermarku w zapytaniach przesyłanych strumieniowo w trybie dołączania do struktury błędów
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
  • 14 sierpnia 2024 r.
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Zmiana podstawy w starszych formaterach/analizatorach musi obsługiwać inne niż domyślne strefy czasowe JVM
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tę poprawką, gdy wystąpienie jednej z tych klas zawierało wartości null, mogło wystąpić ArrayIndexOutOfBoundsException lub mogły być zwrócone nieprawidłowe dane.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-47202][PYTHON] Poprawiono literówkę, która powodowała problemy z datami/godzinami z tzinfo.
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (c0:Zmiana zachowania) Buforowane ramki danych w odniesieniu do źródeł tabel Delta są teraz unieważniane, jeśli tabela źródłowa zostanie zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik Snowflake JDBC został zaktualizowany do wersji 3.16.1
    • Ta wersja zawiera poprawkę dla problemu, który uniemożliwiał poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w Databricks Container Services.
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48273][SQL] Naprawa późnego przepisywania "PlanWithUnresolvedIdentifier"
    • [SPARK-48503][SQL] Napraw nieprawidłowe podzapytania skalarne z grupowaniem według nieekwiwalentnych kolumn, które były nieprawidłowo akceptowane
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem zagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48445][SQL] Nie wstawiaj funkcji zdefiniowanych przez użytkownika (UDF) z kosztownymi elementami podrzędnymi
    • [SPARK-48383][SS] Rzucenie lepszego błędu w przypadku niedopasowania partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • (Zmiana zachowania) dbutils.widgets.getAll() jest teraz obsługiwana w celu uzyskania wszystkich wartości widgetów w notebooku.
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48197][SQL] Unikaj błędu asercji dla nieprawidłowej funkcji lambda
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-48105][SS] Naprawienie warunku wyścigu między zwalnianiem magazynu stanów a migawkami
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47812][CONNECT] Obsługa serializacji sesji Spark dla agenta ForEachBatch
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47973][CORE] Rejestrowanie miejsca wywołania w SparkContext.stop() i później w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite błąd z powodu nieprawidłowego planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-46990][SQL] Naprawa ładowania pustych plików Avro emitowanych przez centry zdarzeń
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47385] Napraw enkodery krotek z wejściami typu Option.
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47218] [SQL] XML: Zmieniono SchemaOfXml, aby nie działało w trybie DROPMALFORMED.
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby ustawić flagę isStreaming właściwości LocalRelation prawidłowo, gdy plan ma zarówno przetwarzanie wsadowe, jak i strumieniowe.
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded identyfikatory rozpoczynające się od cyfr powinny być ujmowane w cudzysłów
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
    • [SPARK-47121][CORE] Unikaj RejectedExecutionExceptions podczas zamykania StandaloneSchedulerBackend
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii w wersji 2.
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47129][CONNECT][SQL] Prawidłowe tworzenie planu połączeń z pamięcią podręczną
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem, w którym używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows raportowała dwukrotnie większą niż poprawna liczbę wierszy.
    • Aby utworzyć schemat ze zdefiniowaną lokalizacją, użytkownik musi teraz mieć przywileje SELECT oraz MODYFIKUJ w DOWOLNYM PLIKU.
    • Teraz można pozyskiwać pliki XML przy użyciu narzędzia Autoloader, read_files, COPY INTO, DLT i DBSQL. Obsługa plików XML może automatycznie wnioskować i rozwijać schemat, ratować dane z niezgodnościami typów, weryfikować kod XML przy użyciu XSD, obsługiwać wyrażenia SQL, takie jak from_xml, schema_of_xml i to_xml. Aby uzyskać więcej informacji, zobacz Obsługa plików XML. Jeśli wcześniej używano zewnętrznego pakietu spark-xml, zobacz tutaj , aby uzyskać wskazówki dotyczące migracji.
    • [SPARK-46954][SQL] XML: Opakować InputStreamReader w BufferedReader
    • [SPARK-46630][SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
    • [SPARK-46248][SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
    • [SPARK-46954][SQL] XML: Optymalizowanie wyszukiwania indeksu schematu
    • [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46993][SQL] Naprawa stałego zwijania dla zmiennych sesji
  • 8 lutego 2024 r.
    • Zapytania dotyczące zmiany danych (CDF) w zmaterializowanych widokach Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF z takim widokiem zwraca błąd. Tabele przesyłania strumieniowego w katalogu Unity obsługują zapytania CDF na tabelach innych niż APPLY CHANGES w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel strumieniowych katalogu Unity w Databricks Runtime 14.0 i wcześniejszych wersjach.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu Union w formacie Avro.
    • [SPARK-46822] Należy uwzględnić spark.sql.legacy.charVarcharAsString podczas konwersji typu jdbc do typu catalyst w jdbc.
    • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
    • [SPARK-46861] Unikaj zawieszenia w DAGScheduler.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-46933] Dodaj miarę czasu wykonywania zapytania do łączników używających JDBCRDD.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
    • [SPARK-46382] XML: wyłapuj wartości wplecione pomiędzy elementami.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46677] Naprawa rozdzielczości dataframe["*"].
    • [SPARK-46382] XML: Domyślna wartość dla ignorowania otaczających spacji to true.
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-45964] Usuń prywatne akcesory SQL w pakiecie XML i JSON pod pakietem katalizatora.
    • [SPARK-46581] Aktualizuj komentarz dotyczący isZero w AccumulatorV2.
    • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: Zmiana na interfejs API HDFS w celu ułatwienia dostępu do przechowywania w chmurze.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46660] ReattachExecute wymaga aktualizacji aktywności komponentu SessionHolder.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-46383] Zmniejsz użycie pamięci sterty przez zmniejszenie czasu życia TaskInfo.accumulables().
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46684] Napraw CoGroup.applyInPandas/Arrow, aby prawidłowo przekazywał argumenty.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w łączeniu własnym.
    • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46484] Spraw, aby funkcje pomocnicze resolveOperators zachowały identyfikator planu.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Wyłącz podzapytania skorelowane OFFSET, aby naprawić usterkę poprawności.
    • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
    • [SPARK-46602] Przenoś allowExisting podczas tworzenia widoku, gdy widok/tabela nie istnieje.
    • [SPARK-45814] Spraw, aby ArrowConverters.createEmptyArrowBatch wywołało close(), aby uniknąć przecieku pamięci.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla tekstu.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
    • [SPARK-46056][BACKPORT] Naprawa wektoryzowanego odczytu Parquet NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46466] Wektorowy czytnik formatu parquet nigdy nie powinien repozycjonować znaczników czasu ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
    • [SPARK-46036] Usuwanie klasy error z funkcji raise_error.
    • [SPARK-46294] Uporządkuj semantykę inicjalizacji i wartości zerowej.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: Naprawiono konwersję dużej liczby całkowitej XSD.
    • [SPARK-46396] Interpretacja znacznika czasu nie powinna zgłaszać wyjątku.
    • [SPARK-46241] Napraw procedurę obsługi błędów, aby nie wchodziła w nieskończoną rekursję.
    • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46265] Asercje w addArtifact RPC sprawiają, że klient połączenia stał się niekompatybilny ze starszymi klastrami.
    • [SPARK-46308] Zakaz rekursywnej obsługi błędów.
    • [SPARK-46337] Upewnij się, że CTESubstitution zachowuje PLAN_ID_TAG.
  • 14 grudnia 2023 r.
    • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
    • [SPARK-45730] Spraw, aby X509TrustManagerSuite działało bardziej stabilnie.
    • [SPARK-45852] Elegancko radzić sobie z błędem rekursji podczas logowania.
    • [SPARK-45808] Lepsza obsługa błędów dla wyjątków SQL.
    • [SPARK-45920] grupowanie według porządków powinno być idempotentne.
    • Cofnij "[SPARK-45649] Ujednolicenie struktury przygotowywania dla OffsetWindowFunctionFrame".
    • [SPARK-45733] Obsługa wielu zasad ponawiania prób.
    • [SPARK-45509] Naprawiono zachowanie odwołania do kolumn df dla programu Spark Connect.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym powinien najpierw zachować cyfry całkowite.
    • [SPARK-45136] Rozszerzenie obsługi ClosureCleaner o wsparcie dla Ammonite.
    • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
    • [SPARK-45859] Utwórz obiekty UDF w ml.functions z opóźnieniem.
    • [SPARK-46028] Spraw, by Column.__getitem__ akceptował kolumnę wejściową.
    • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
    • pl-PL: [SPARK-45892] Refaktoryzacja walidacji planu optymalizatora w celu oddzielenia validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45844] Wprowadź ignorowanie wielkości liter dla XML.
    • [SPARK-45770] Wprowadzić plan DataFrameDropColumns dla Dataframe.drop.
    • [SPARK-44790] XML: implementacja i powiązania to_xml dla języka Python, connect i języka SQL.
    • [SPARK-45851] Obsługa wielu zasad w kliencie scala.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix w celu skorygowania luki w zabezpieczeniach RCE PyArrow.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia w sekwencjach ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Klient języka Python dla programu Spark Connect przechwytuje teraz błędy rekursji podczas konwersji tekstu.
    • [SPARK-45808] Ulepszona obsługa błędów dla wyjątków SQL.
    • [SPARK-45920]GROUP BY porządkowy nie zastępuje porządkowego.
    • Przywróć [SPARK-45649].
    • [SPARK-45733] Dodano obsługę wielu zasad ponawiania prób.
    • [SPARK-45509] Poprawiono działanie odwołań do kolumn w Spark Connect.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz AggregateFunctions w CollectMetrics.
    • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym zachowuje teraz cyfry całkowite jako pierwsze.
    • [SPARK-45136] Ulepsz ClosureCleaner dodając obsługę Ammonite.
    • [SPARK-45859] Obiekty UDF zostały ustawione jako leniwe ml.functions.
    • [SPARK-46028]Column.__getitem__ akceptuje kolumny wejściowe.
    • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
    • [SPARK-45892] Refaktoryzacja walidacji planu optymalizatora w celu oddzielenia validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45844] Wprowadź niezależność od wielkości liter dla XML.
    • [SPARK-45770] Naprawiono ustawienia kolumn DataFrameDropColumns dla Dataframe.drop.
    • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Connect i SQL.
    • [SPARK-45851] Dodano obsługę wielu zasad w kliencie Scala.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.1

Zobacz Databricks Runtime 14.1 (EoS).

  • 10 grudnia 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 listopada 2024 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 listopada 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z danymi wyjściowymi potomnymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
  • 22 października 2024 r.
    • [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem elementów podrzędnych
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania przez AQE.
  • 10 października 2024 r.
    • [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49628][SQL] ConstantFolding powinno skopiować stanowe wyrażenia przed ewaluacją
    • [SPARK-43242][CORE] Naprawiono błąd 'Unexpected type of BlockId' w diagnozowaniu uszkodzenia tasowania
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez zastosowanie metody RewriteDistinctAggregates.
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji logicznych czytnika danych DataFrame
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
  • 14 sierpnia 2024 r.
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Przekształcanie w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne JVM
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do rzucenia ArrayIndexOutOfBoundsException lub zwrócenia nieprawidłowych danych, gdy wystąpienie jednej z tych klas zawierało null wartości.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych keszowane względem źródeł tabeli Delta są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Ta wersja zawiera poprawkę dla problemu, który uniemożliwiał poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem zestawu danych strumieniowych
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48503][SQL] Napraw nieprawidłowe podzapytania skalarne z grupowaniem po kolumnach nieekwiwalentnych, które zostały niepoprawnie dopuszczone
    • [SPARK-48273][SQL] Naprawa późnego przepisywania PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem zagnieżdżonych pól struktury, które nie są zaznaczone w schemacie
    • [SPARK-48383][SS] Zgłoś lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • (Zmiana zachowania) dbutils.widgets.getAll() jest teraz obsługiwana, aby uzyskać wszystkie wartości widżetów w notesie.
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • [SPARK-48105][SS] Naprawienie wyścigu między zwalnianiem przechowywania stanów i tworzeniem migawki
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47371] [SQL] XML: Ignorowanie tagów wierszy znalezionych w CDATA
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47956][SQL] Sprawdzenie poprawności dla nierozwiązanej referencji LCA
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47973][CORE] Rejestrowanie lokalizacji wywołania w SparkContext.stop() i potem w SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite nie powiódł się z powodu nieprawidłowego planu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższej kolejności
    • [SPARK-46990][SQL] Napraw ładowanie pustych plików Avro emitowanych przez centra zdarzeń
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47305][SQL] Napraw funkcję PruneFilters, aby oznaczyć flagę isStreaming w LocalRelation poprawnie, gdy plan ma zarówno batch, jak i przesyłanie strumieniowe
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • [SPARK-47300][SQL] quoteIfNeeded identyfikatory zaczynające się od cyfr powinny być ujęte w cudzysłów
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47300] Poprawka dotycząca decomposerSuite
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47385] Napraw kodery dla krotek z wejściami typu Option.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do wykonania skanowania źródła danych wierszy dla strategii V2.
    • [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
    • [SPARK-47129][CONNECT][SQL] Zapewnij prawidłowe połączenie planu pamięci podręcznej
    • Przywróć "[SPARK-46861][CORE] Unikanie zakleszczenia w DAGScheduler"
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Naprawiono problem, w którym używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała liczbę wierszy jako dwukrotnie większą niż poprawna.
    • Aby utworzyć schemat ze zdefiniowaną lokalizacją, użytkownik musi teraz mieć przywileje SELECT oraz MODYFIKUJ w DOWOLNYM PLIKU.
    • Teraz można pozyskiwać pliki XML przy użyciu narzędzia Autoloader, read_files, COPY INTO, DLT i DBSQL. Obsługa plików XML może automatycznie wnioskować i rozwijać schemat, ratować dane z niezgodnościami typów, weryfikować kod XML przy użyciu XSD, obsługiwać wyrażenia SQL, takie jak from_xml, schema_of_xml i to_xml. Aby uzyskać więcej informacji, zobacz Obsługa plików XML. Jeśli wcześniej używano zewnętrznego pakietu spark-xml, zobacz tutaj , aby uzyskać wskazówki dotyczące migracji.
    • [SPARK-46248][SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
    • [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Owijanie InputStreamReader przy użyciu BufferedReader
    • [SPARK-46954][SQL] XML: Optymalizowanie wyszukiwania indeksu schematu
    • [SPARK-46630][SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 lutego 2024 r.
    • Zapytania kanału danych (CDF) dotyczące zmaterializowanych widoków w Katalogu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF z użyciem zmaterializowanego widoku Katalogu Unity zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niżAPPLY CHANGES w środowisku uruchomieniowym Databricks 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego w Unity Catalog w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponownym podjęciu próby wykonania etapu nadrzędnego, którego nie można określić, jak określono przez sumę kontrolną.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46933] Dodaj metrykę czasu wykonania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu Union w Avro.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46822] Należy uwzględniać spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu Catalyst w jdbc.
    • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46684] Napraw działanie CoGroup.applyInPandas/Arrow, aby prawidłowo przekazywać argumenty.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-45498] Kontynuacja: ignoruj ukończenie zadań ze starych prób etapów.
    • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
    • [SPARK-46383] Zmniejszenie użycia sterty pamięci sterownika poprzez skrócenie żywotności TaskInfo.accumulables().
    • [SPARK-46382] XML: Domyślnie ignoruj otaczające spacje ustawione na prawda.
    • [SPARK-46677] Naprawa dataframe["*"] rozdzielczości.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: zmiana na interfejs API HDFS dla lepszej dostępności do magazynów w chmurze.
    • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
    • [SPARK-46382] XML: przechwyć wartości przeplatane między elementami.
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-45964] Usuń prywatny akcesor SQL w pakiecie XML i JSON w pakiecie Catalyst.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany, aby dodać causedBroadcastJoinBuildOOM=true flagę, gdy podczas mieszania, będącego częścią łączenia transmisyjnego, wystąpi błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46417] Nie kończ działania błędem przy wywołaniu hive.getTable, gdy throwException ma wartość false.
    • [SPARK-46484] Zadbaj, aby funkcje pomocnicze resolveOperators zachowały identyfikator planu.
    • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
    • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla typu string.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46337] Spraw, aby CTESubstitution zachował PLAN_ID_TAG.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
    • [SPARK-46587] XML: Napraw konwersję dużej liczby całkowitej XSD.
    • [SPARK-45814] Wywołaj metodę close() w ArrowConverters.createEmptyArrowBatch, aby uniknąć przecieku pamięci.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46602] Propaguj allowExisting podczas tworzenia widoku, jeśli widok lub tabela nie istnieje.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46056] Naprawiono wektoryzowany odczyt Parquet, który powodował NPE z wartością domyślną typu "byteArrayDecimalType".
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać kolejności słownika.
    • [SPARK-46250] Stabilizuj test_parity_listener.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
  • 14 grudnia 2023 r.
    • Rozwiązano problem, w którym ucieczone znaki podkreślenia w operacjach getColumns z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako znaki wieloznaczne.
    • [SPARK-45509] Naprawiono zachowanie odwołania do kolumn df dla programu Spark Connect.
    • [SPARK-45844] Zaimplementuj niezależność od wielkości liter dla XML.
    • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
    • [SPARK-46028] Spraw, aby Column.__getitem__ akceptował kolumnę wejściową.
    • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znaczników czasu.
    • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-45852] Bezproblemowo radzić sobie z błędem rekursji podczas rejestrowania.
    • [SPARK-45920] grupowanie według porządków powinno być idempotentne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet, pyarrow-hotfix w celu naprawienia luki w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że ucieczkowe znaki podkreślenia w operacjach getColumns pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • Podczas pozyskiwania danych CSV za pomocą Auto Loader lub tabel przesyłania strumieniowego, duże pliki CSV mogą być teraz podzielone i przetwarzane równolegle, zarówno podczas wnioskowania schematu, jak i przetwarzania danych.
    • [SPARK-45892] Zrefaktoruj walidację planu optymalizatora, aby oddzielić validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45620] Interfejsy API związane z funkcją UDF języka Python używają teraz camelCase.
    • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Connect i SQL.
    • [SPARK-45770] Naprawiono rozwiązywanie kolumn z DataFrameDropColumns dla Dataframe.drop.
    • [SPARK-45859] UDF-y ustawiono na leniwe ml.functions .
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Uczynił testowanie SBT hermetycznym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45250] Dodano obsługę profilu zasobów zadań na poziomie etapu dla klastrów YARN, gdy dynamiczna alokacja jest wyłączona.
    • [SPARK-44753] Dodano czytnik i moduł zapisywania ramek danych XML dla języka SQL PySpark.
    • [SPARK-45396] Dodano wpis dokumentu dla modułu PySpark.ml.connect .
    • [SPARK-45584] Naprawiono problem z uruchamianiem podzapytania związany z TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano protokół SSLFactory.
    • [SPARK-45577] Naprawiono UserDefinedPythonTableFunctionAnalyzeRunner, aby przekazywać zagięte wartości z nazwanych argumentów.
    • [SPARK-45562] Element "rowTag" jest wymaganą opcją.
    • [SPARK-45427] Dodano ustawienia SSL dla RPC do SSLOptions i SparkTransportConf.
    • [SPARK-43380] Naprawiono spowolnienie odczytu Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracano wartość 0.
    • [SPARK-44219] Dodano kontrole poprawności poszczególnych reguł pod kątem przekształceń optymalizacyjnych.
    • [SPARK-45543] Rozwiązano problem z InferWindowGroupLimit, który występował, gdy inne funkcje okna nie miały takiej samej ramki okna jak funkcje podobne do funkcji rankingowych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 września 2023 r.
    • [SPARK-44823] Zaktualizowano black do wersji 23.9.1 i usunięto błędne sprawdzanie.
    • [SPARK-45339] Teraz PySpark loguje błędy, które ponawia.
    • Przywróć [SPARK-42946] Wyredagowane poufne dane osadzone w ramach podstawień zmiennych.
    • [SPARK-44551] Edytowane komentarze, aby zsynchronizować z oprogramowaniem open source.
    • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
    • [SPARK-45279] Dołączono plan_id do wszystkich planów logicznych.
    • [SPARK-45425] Zamapowano TINYINT na ShortType dla MsSqlServerDialect.
    • [SPARK-45419] Usunięto wpis mapy wersji pliku dla większych wersji, aby uniknąć ponownego użycia identyfikatorów plików sst.
    • [SPARK-45488] Dodano obsługę wartości w rowTag elemecie .
    • [SPARK-42205] Usunięto rejestrowanie Accumulables w zdarzeniach uruchamiania Task/Stage w dziennikach zdarzeń JsonProtocol.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter kończy się niepowodzeniem podczas zapisywania większej liczby wartości niż pojemność początkowa.
    • [SPARK-43380] Rozwiązano Avro problemy z konwersją typów danych bez powodowania regresji wydajności.
    • [SPARK-45182] Dodano obsługę wycofywania etapu mapy shuffle, dzięki czemu wszystkie zadania etapu można zrestartować, gdy dane wyjściowe etapu są nieokreślone.
    • [SPARK-45399] Dodano opcje XML przy użyciu polecenia newOption.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.0

Zobacz Databricks Runtime 14.0 (EoS).

  • 8 lutego 2024 r.
    • [SPARK-46396] Inferencja znacznika czasu nie powinna zgłaszać wyjątku.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
    • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu „union” w formacie Avro.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-45582] Upewnij się, że instancja sklepu nie jest używana po wywołaniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-45498] Dalsze działania: ignoruj ukończenie zadania z poprzednich prób etapu.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46383] Zmniejsz użycie pamięci sterownika, skracając czas życia TaskInfo.accumulables().
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-46677] Naprawa dataframe["*"] rozdzielczości.
    • [SPARK-46684] Naprawiono CoGroup.applyInPandas/Arrow, aby prawidłowo przekazywać argumenty.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu objaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, które jest częścią łączenia rozgłoszeniowego, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Wywołaj metodę close() w ArrowConverters.createEmptyArrowBatch, aby uniknąć przecieku pamięci.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46484] Spraw, aby resolveOperators funkcje pomocnicze zachowywały identyfikator planu.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
    • [SPARK-46056] Naprawiono wektoryzowany odczyt Parquet NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla ciągu.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46417] Nie występuje błąd podczas wywoływania hive.getTable, gdy throwException jest ustawione na false.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46337] Zachowaj CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, jeśli widok lub tabela nie istnieje.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać kolejności słownika.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia z ucieczką w operacjach getColumns pochodzących od klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-46255] Obsługa konwersji typu złożonego na ciągi.
    • [SPARK-46028] Umożliw Column.__getitem__ akceptację kolumny wejściowej.
    • [SPARK-45920] grupowanie według indeksów powinno być idempotentne.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znaczników czasu.
    • [SPARK-45509] Napraw zachowanie odwołań do kolumn df w Spark Connect.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet pyarrow-hotfix w celu usunięcia luki w zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że uciekające znaki podkreślenia w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • Podczas pozyskiwania danych CSV przy użyciu Auto Loader lub tabel przesyłania strumieniowego, duże pliki CSV są obecnie możliwe do podzielenia i mogą być przetwarzane równolegle, zarówno podczas wnioskowania schematu, jak i przetwarzania danych.
    • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
    • [SPARK-45859] Obiekty UDF są wykonywane leniwie ml.functions.
    • Przywróć [SPARK-45592].
    • [SPARK-45892] Refaktoryzacja walidacji planu optymalizatora w celu rozdzielenia validateSchemaOutput i validateExprIdUniqueness.
    • [SPARK-45592] Rozwiązano problem z poprawnością w AQE dotyczący InMemoryTableScanExec.
    • [SPARK-45620] Interfejsy API związane z funkcjami UDF w Pythonie używają teraz camelCase.
    • [SPARK-44784] Uczyniono testowanie SBT hermetycznym.
    • [SPARK-45770] Naprawiono rozdzielczość kolumn z DataFrameDropColumns dla Dataframe.drop.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • Zmieniono zapytania o kanał danych w tabelach przesyłania strumieniowego w Unity Catalog i zmaterializowanych widokach w celu wyświetlania komunikatów o błędach.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45427] Dodano ustawienia SSL RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45541] Dodano SSLFactoryelement.
    • [SPARK-45430]FramelessOffsetWindowFunction nigdy już nie kończy się niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że generowały błąd, jeśli inne funkcje okna nie miały tej samej ramki okna co funkcje typu rank.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • [SPARK-45396] Dodano wpis do dokumentacji dla modułu PySpark.ml.connect, oraz dodano Evaluator do __all__ na ml.connect.
    • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter wystąpił błąd podczas zapisywania większej liczby wartości niż pojemność początkowa.
    • [SPARK-45279] Dołączono plan_id do wszystkich planów logicznych.
    • [SPARK-45250] Dodano obsługę profilu zasobów zadań na poziomie etapu dla klastrów YARN po wyłączeniu dynamicznej alokacji.
    • [SPARK-45182] Dodano obsługę wycofywania etapu mapowania shuffle, dzięki czemu wszystkie zadania danego etapu można ponowić, gdy dane wyjściowe tego etapu są nieokreślone.
    • [SPARK-45419] Unikaj ponownego użycia rocksdb sst plików w innej instancji rocksdb, usuwając wpisy mapy wersji pliku dotyczące większych wersji.
    • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracano wartość 0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Obecnie wstawia nowy element na końcu tablic wejściowych, używając indeksu -1. Aby przywrócić poprzednie zachowanie, ustaw wartość spark.sql.legacy.negativeIndexInArrayInserttrue.
    • Usługa Azure Databricks nie ignoruje już uszkodzonych plików przy użyciu Auto Loader, gdy włączono wnioskowanie schematu CSV ignoreCorruptFiles.
    • [SPARK-45227] Rozwiązano subtelny problem z bezpieczeństwem wątków w programie CoarseGrainedExecutorBackend.
    • [SPARK-44658]ShuffleStatus.getMapStatus powinien zwracać None zamiast Some(null).
    • [SPARK-44910]Encoders.bean nie obsługuje superklas z argumentami typu ogólnego.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagi rozróżniania wielkości liter podczas scalania schematu.
    • Przywróć [SPARK-42946].
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie kumulatywne w zdarzeniach rozpoczęcia zadania lub etapu.
    • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
    • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-44909] Pomiń uruchamianie serwera przesyłania strumieniowego dziennika dystrybutora, jeśli nie jest dostępny.
    • [SPARK-45084]StateOperatorProgress teraz używa dokładnego numeru partycji mieszania.
    • [SPARK-45371] Rozwiązano problemy z cieniowaniem w kliencie Spark Connect Scala.
    • [SPARK-45178] Przywrócenie do uruchamiania pojedynczego zestawu dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania opakowania.
    • [SPARK-44840] Ustaw array_insert() na bazę 1 dla ujemnych indeksów.
    • [SPARK-44551] Edytowano komentarze, aby zsynchronizować z oprogramowaniem open source.
    • [SPARK-45078] Funkcja ArrayInsert wykonuje teraz jawne rzutowanie, gdy typ elementu nie jest równy typowi składnika pochodnego.
    • [SPARK-45339] Narzędzie PySpark rejestruje teraz błędy ponawiania prób.
    • [SPARK-45057] Unikaj uzyskiwania blokady odczytu, gdy keepReadLock jest fałszem.
    • [SPARK-44908] Naprawiono funkcjonalność parametru krzyżowego foldCol.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.1

Zobacz Databricks Runtime 13.1 (EoS).

  • 29 listopada 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43802] Rozwiązano problem polegający na tym, że generowanie kodu dla wyrażeń unhex i unbase64 kończyło się niepowodzeniem.
    • [SPARK-43718] Naprawiono nulowalność dla kluczy w USING łączeniach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczeniem przepustowości, aby osiągnąć lepsze wykorzystanie.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego usługi Unity Catalog i zmaterializowanych widokach w celu wyświetlenia komunikatów o błędach.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania przy użyciu TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie powoduje już błędu, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Przywróć [SPARK-42946].
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Nie ignoruj już uszkodzonych plików, gdy ignoreCorruptFiles jest włączona podczas wnioskowania schematu CSV za pomocą Auto Loader.
    • [SPARK-44658]ShuffleStatus.getMapStatus zwraca None zamiast Some(null).
    • [SPARK-45178] Zamiast użycia wrappera, powrót do uruchamiania pojedynczej partii dla nieobsługiwanych źródeł.
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie Accumulables w zdarzeniach rozpoczynania zadania lub etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 12 września 2023 r.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • SPARK-44878 Wyłączył ścisły limit dla menedżera RocksDB zapisu, aby uniknąć wyjątku wstawiania po zakończeniu buforowania.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44871] Naprawiono zachowanie percentile_disc.
    • [SPARK-44714] Złagodzenie ograniczeń dotyczących rozwiązywania LCA w odniesieniu do zapytań.
    • [SPARK-44245]PySpark.sql.dataframe sample() Testy dokumentacji są teraz tylko ilustracyjne.
    • [SPARK-44818] Naprawiono problem konkurencji dla oczekujących przerwań zadania wydanych przed zainicjowaniem taskThread.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44643] Naprawiono Row.__repr__, gdy wiersz był pusty.
    • [SPARK-44504] Zadanie konserwacji usuwa teraz załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44479] Naprawiono protobuf konwersję z pustego typu struktury.
    • [SPARK-44464] Naprawiono działanie polegające na generowaniu wierszy wyjściowych, które mają Null jako pierwszą wartość kolumny.
    • Różne poprawki.
  • 27 lipca 2023 r.
    • Rozwiązano problem, w którym dbutils.fs.ls() zwrócił INVALID_PARAMETER_VALUE.LOCATION_OVERLAP przy wywołaniu dla ścieżki lokalizacji magazynu, która nakładała się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • [SPARK-44448] Usunięto nieprawidłową usterkę wyników z DenseRankLimitIterator i InferWindowGroupLimit.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • Przywróć [SPARK-42323].
    • [SPARK-41848] Rozwiązano problem z przepełnionym harmonogramem zadania przy użyciu TaskResourceProfile.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że StateManager został zmaterializowany w wykonawcy zamiast w sterowniku w FlatMapGroupsWithStateExec.
    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance powodowało błędy analizy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Analizator JSON w trybie failOnUnknownFields teraz usuwa rekord w trybie DROPMALFORMED i kończy się niepowodzeniem bezpośrednio w trybie FAILFAST.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Pole PubSubRecord atrybutów jest przechowywane jako kod JSON zamiast ciągu z mapy Scala w celu bardziej prostej serializacji i deserializacji.
    • Polecenie EXPLAIN EXTENDED zwraca teraz uprawnienia do pamięci podręcznej wyników zapytania.
    • Popraw wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE Iceberg i Parquet.
    • [SPARK-43032] Poprawka usterek języka Python SQM.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43340] Obsługa brakującego pola śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43541] Propagacja wszystkich Project tagów podczas rozwiązywania wyrażeń i brakujących kolumn.
    • [SPARK-43300]NonFateSharingCache opakowanie dla Guava Cache.
    • [SPARK-43378] Poprawnie zamknij obiekty strumieniowe w deserializeFromChunkedBuffer.
    • [SPARK-42852] Przywróć powiązane zmiany z EquivalentExpressions.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43413] Napraw IN podzapytanie ListQuery pod kątem nullowalności.
    • [SPARK-43889] Dodaj sprawdzanie nazwy kolumny, __dir__() aby odfiltrować nazwy kolumn podatnych na błędy.
    • [SPARK-43043] Ulepszono wydajność MapOutputTrackerfunkcji .updateMapOutput
    • [SPARK-43522] Naprawiono tworzenie nazwy kolumny strukturalnej z wykorzystaniem indeksu tablicy.
    • [SPARK-43457] Rozszerz agent użytkownika o wersje systemu operacyjnego, Pythona i Sparka.
    • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych wektorów inicjacyjnych.
    • [SPARK-42851] Ochrona EquivalentExpressions.addExpr() za pomocą polecenia supportedExpression().
    • Przywróć [SPARK-43183].
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

  • 29 listopada 2023 r.

    • Rozwiązano problem polegający na błędnym interpretowaniu jako symbole wieloznaczne znaków podkreślenia, którym dodano znak ucieczki, w operacjach pochodzących z klientów JDBC lub ODBC.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43718] Naprawiono obsługę wartości null dla kluczy w USING łączeniach.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-43973] Interfejs użytkownika Structured Streaming teraz prawidłowo wyświetla zapytania, które zakończyły się niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty UDF są inicjalizowane leniwie ml.functions.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 listopada 2023 r.

    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45427] Dodano ustawienia SSL dla RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 października 2023 r.

    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.

  • 13 października 2023

    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553] Upewnij się, że w interwale istnieje co najmniej jedna jednostka czasowa.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczego przetwarzania wsadowego dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania wrappera.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.

  • 12 września 2023 r.

    • [SPARK-44873] Dodano obsługę z kolumnami zagnieżdżonymi w kliencie programu Hive.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Różne poprawki.

  • 30 sierpnia 2023 r.

    • [SPARK-44485] Zoptymalizowane.
    • [SPARK-44818] Naprawiono wyścig dla oczekującego przerwania zadania wystawionego zanim taskThread zostanie zainicjowane.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzono ograniczenie rozpoznawania LCA w odniesieniu do zapytań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44464] Poprawiono mechanizm applyInPandasWithStatePythonRunner do generowania wierszy wyjściowych, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 lipca 2023 r.

    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() zwracało INVALID_PARAMETER_VALUE.LOCATION_OVERLAP, gdy wywołano ścieżkę lokalizacji magazynu, która kolidowała z inną zewnętrzną lub zarządzaną lokalizacją magazynu.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lipca 2023 roku

    • [SPARK-44337] Rozwiązano problem, w którym ustawienie dowolnego pola na Any.getDefaultInstance powodowało błędy analizy.
    • [SPARK-44136] Rozwiązano problem, w którym StateManager był materializowany w wykonawcy zamiast w driverze w FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotonyzowany approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43156][SPARK-43098] Test błędu liczenia podzapytań skalarnych rozszerzony przy wyłączonym decorrelateInnerQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i bezpośrednio zawodzi w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych dzięki technologiom Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0] Naprawiono IN nullowalność ListQuery podzapytania.
    • [SPARK-43522] Naprawiono generowanie nazwy kolumny strukturalnej z indeksu tablicy.
    • [SPARK-43541] Propagowanie wszystkich Project tagów podczas rozpoznawania wyrażeń i brakujących kolumn.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43123] Wewnętrzne metadane pól nie wyciekają już do wykazów.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
    • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC do generowania losowych wektorów inicjalizujących.
    • [SPARK-43378] Poprawnie zamknij obiekty strumieniowe w deserializeFromChunkedBuffer.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane, aby prewencyjnie zmniejszyć rozmiar partii i ponownie zmniejszane w przypadku ponownych prób zadania, jako ostateczne zabezpieczenie.
    • Jeśli plik Avro został odczytany przy użyciu opcji failOnUnknownFields lub Automatycznego Ładowania w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych zostaną odczytane jako null zamiast wyrzucając błąd informujący, że nie można odczytać pliku. Te odczyty kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z opcji rescuedDataColumn.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie obsługuje już typów Integer, Short oraz Byte, jeśli zostanie podany jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Uniemożliwia odczytywanie typów interwałów jako typów daty lub znacznika czasu, aby uniknąć uszkodzeń dat.
      • Zapobiega odczytywaniu Decimal typów z niższą precyzją.
    • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem, a użytkownikom zaleca się korzystanie z opcji rescuedDataColumn.
    • Automatyczny ładownik teraz poprawnie odczytuje i nie obsługuje typów Integer, Short oraz Byte, jeśli jeden z tych typów danych jest dostarczany. Plik Parquet wskazuje na jeden z dwóch innych typów. Kiedy wcześniej przywrócona kolumna danych była aktywna, niezgodność typów danych powodowała zapisanie kolumn, mimo że były one czytelne.
    • [SPARK-43009] Sparametryzowane sql() ze Any stałymi
    • [SPARK-42406] Zakończenie cyklicznych pól Protobuf poprzez usunięcie pola
    • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Zmień, aby wydrukować workdir, jeśli appDirs ma wartość null, gdy pracownik obsługuje WorkDirCleanup zdarzenie
    • [SPARK-43018] Poprawka usterki w przypadku poleceń INSERT z literałami znacznika czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
    • Rozwiązano problem w działaniu %autoreload w notatnikach spoza repozytorium.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928] Synchronizuje resolvePersistentFunction .
    • [SPARK-42936] Rozwiązuje problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez jego agregację podrzędną.
    • [SPARK-42967] Naprawia SparkListenerTaskStart.stageAttemptId problemy, gdy zadanie rozpoczyna się po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne INSERT, UPDATE, DELETE i MERGE mogą odwoływać się do domyślnej wartości dowolnej kolumny przy użyciu jawnego słowa kluczowego DEFAULT. Ponadto, jeśli jakiekolwiek INSERT przypisanie ma jawną listę z mniejszą liczbą kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są stosowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

      Na przykład:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader inicjuje teraz co najmniej jedno synchroniczne oczyszczanie logów RocksDB dla strumieni Trigger.AvailableNow w celu sprawdzenia, czy punkt kontrolny może być regularnie czyszczony w przypadku szybko działających strumieni Auto Loader. Może to spowodować, że zamknięcie niektórych strumieni potrwa dłużej, ale pozwoli to zaoszczędzić koszty przechowywania i poprawić wydajność Auto Loader w przyszłych uruchomieniach.

    • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby pozyskać magazyn stanów bazy danych RocksDB w Structured Streaming

    • [SPARK-42521] Dodawanie NULL-i dla instrukcji INSERT z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa

    • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

    • [SPARK-42668] Przechwytywanie wyjątku podczas próby zamknięcia skompresowanego strumienia w funkcji zatrzymywania HDFSStateStoreProvider

    • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

  • 8 marca 2023 r.

    • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • Począwszy od tej wersji, można utworzyć/zastąpić tabelę dodatkową właściwością delta.ignoreProtocolDefaults tabeli, aby zignorować konfiguracje platformy Spark związane z protokołem, w tym domyślne wersje czytnika i składników zapisywania oraz funkcje tabeli obsługiwane domyślnie.
    • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
    • [SPARK-41793] Niepoprawny wynik ram okiennych zdefiniowanych przez klauzulę zakresu dla znaczących cyfr dziesiętnych
    • [SPARK-42484] Lepsza wiadomość o błędzie dla UnsafeRowUtils
    • [SPARK-42516] Zawsze zapisz ustawienia strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42635] Napraw wyrażenie TimestampAdd.
    • [SPARK-42622] Wyłącz podstawianie w wartościach
    • [SPARK-42534] Poprawa klauzuli LIMIT dialectu DB2
    • [SPARK-42121] Dodaj wbudowane funkcje tabelowe posexplode, posexplode_outer, json_tuple i stack
    • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący niewielkiego/małego/znaczącego przepełnienia liczb całkowitych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

  • 29 listopada 2023 r.
    • Rozwiązano problem, w którym podkreślenia z poprzedzeniem ukośnikiem odwrotnym w operacjach getColumns pochodzących od klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-43973] Interfejs użytkownika dla strumieniowej transmisji o strukturze teraz poprawnie wyświetla zapytania zakończone niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Funkcje definiowane przez użytkownika (UDF) uczyniono leniwymi ml.functions.
    • [SPARK-43718] Naprawiono obsługę wartości null dla kluczy w USING sprzężeniach.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • Przywróć [SPARK-33861].
    • [SPARK-45541] Dodano SSLFactory.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania przy użyciu TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45427] Dodano ustawienia SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-45178] Przejście na uruchamianie pojedynczej partii w przypadku nieobsługiwanych źródeł zamiast używania opakowania.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono warunek wyścigu dla oczekujących przerwań zadania wydanych przed taskThread zainicjowaniem.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane TreeNode.generateTreeString.
    • [SPARK-44504] Zadanie konserwacji usuwa załadowanych dostawców w przypadku błędu zatrzymania systemu.
    • [SPARK-44464] Naprawiono problem związany z applyInPandasWithStatePythonRunner tak, aby wiersze wyjściowe miały Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2023 r.
    • Rozwiązano problem, w którym dbutils.fs.ls() zwracała INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu dla ścieżki lokalizacji magazynu, która kolidowała z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że element StateManager mógł być zmaterializowany w funkcji wykonawczej zamiast sterownika w elemecie FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonyzowany approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzono test błędu liczenia podzapytań skalarnych przy wyłączonej opcji decorrelateInnerQuery.
    • [SPARK-43098] Naprawiono błąd w poprawności funkcji COUNT, gdy podzapytanie skalarne posiada klauzulę GROUP BY
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych z Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43413][11.3-13.0] Naprawiono IN nullowalność podzapytania ListQuery.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

  • 29 listopada 2023 r.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty UDF w ml.functions są leniwe.
    • [SPARK-43718] Naprawiono właściwości nullability dla kluczy w USING sprzężeniach.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Usunięto możliwości logowania w zdarzeniach rozpoczynania etapu i zadania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania opakowania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-43973] Interfejs użytkownika Structured Streaming teraz prawidłowo wyświetla zakończone niepowodzeniem zapytania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43098] Naprawiono usterkę dotyczącą poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY
    • [SPARK-40862] Obsługa nieagregowanych podzapytań w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i zawodzi bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych z odzysku w formacie JSON, aby zapobiec powstawaniu UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413] Naprawiono IN nullowość podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane, aby zapobiegawczo zmniejszyć rozmiar partii i są ponownie zmniejszane przy ponownych próbach wykonania zadania jako ostateczna sieć bezpieczeństwa.
    • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z drugorzędnymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42937]PlanSubqueries teraz ustawia InSubqueryExec#shouldBroadcast na wartość true.
    • [SPARK-42967] Poprawiono element SparkListenerTaskStart.stageAttemptId w sytuacji, gdy zadanie jest uruchomione po anulowaniu etapu.
  • 29 marca 2023 r.
    • [SPARK-42668] Przechwytywanie wyjątku podczas próby zamknięcia skompresowanego strumienia przy zatrzymywaniu HDFSStateStoreProvider
    • [SPARK-42635] Napraw ...
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-41162] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-33206] Napraw obliczanie wagi pamięci podręcznej indeksu shuffle dla małych plików indeksowych
    • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Obsługa generowanej kolumny dla formatu daty rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, funkcje tabel wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Obsługa generowanej kolumny dla date_format yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • [SPARK-30220] Umożliwienie używania subzapytań Exists/In poza węzłem Filtru
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41198] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41339] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732] Zastosowanie przycinania opartego na wzorcach drzew w regule SessionWindowing
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych spacji przy zapisywaniu danych za pomocą łącznika Redshift. Dodano następujące opcje do zarządzania obsługą białych znaków.
      • csvignoreleadingwhitespace, gdy jest ustawiony na true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiony na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, gdy ustawione na true, usuwa kończące białe znaki z wartości podczas zapisu, jeśli tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
    • Rozwiązano problem z analizowaniem JSON w Auto Loader, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false), a JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby włączyć ulepszone działanie, ustaw spark.sql.json.enablePartialResults na true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
    • [SPARK-40292] Naprawianie nazw kolumn w arrays_zip funkcji, gdy tablice są przywoływane z zagnieżdżonych struktur
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40697] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596] Wypełnić ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV, gdy _corrupt_record jest zaznaczone.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną listę dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, co mogło doprowadzić do zwiększenia kosztów przechowywania dla klientów.
    • [SPARK-40315] Dodaj hashCode() dla Literału z ArrayBasedMapData
    • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380] Napraw stałe składanie elementu InvokeLike, aby uniknąć nieserializowalnego literału osadzonego w planie
    • [SPARK-38404] Ulepsz rozpoznawanie CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które czynią dane wyjściowe węzłów projekcji unikatowymi
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywalnej zamiast zsynchronizowanej blokady w funkcji Executor.updateDependencies()
    • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079] Dodać walidację inputCols w Imputerze dla przypadku pustego wejścia
  • 24 sierpnia 2022 r.
    • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw stan wyścigu w pliku RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625] Dodawanie Dataset.as(StructType)
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny wątkowo
    • [SPARK-39570] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • [SPARK-39702] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575] dodaj ByteBuffer#rewind po ByteBuffer#get w AvroDeserializerze
    • [SPARK-39476] Wyłącz optymalizację odpakowania rzutowania podczas rzutowania z Long na Float/ Double lub z Integer na Float
    • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
    • [SPARK-39548] Polecenie CreateView z zapytaniem z klauzulą okna powoduje problem z nieprawidłową definicją okna.
    • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do uzyskiwania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzaniu aliasu podzapytania z NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
    • [SPARK-36718] Naprawa sprawdzania w CollapseProject
  • 2 czerwca 2022 r.
    • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów rok-miesiąc lub interwałów dzień-czas przez liczbę całkowitą
    • [SPARK-38990] Unikaj wystąpienia NullPointerException podczas oceniania formatu date_trunc/trunc jako referencja zdefiniowana
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wbudowany wyciek pamięci w Auto Loaderu.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268] Dodawanie kolumnyPruning w iniekcjiBloomFilter
    • [SPARK-38974] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38931] Utworzenie katalogu głównego dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy podczas pierwszego punktu kontrolnego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
    • Rozwiązano problem z bibliotekami ograniczonymi do notesu, które nie działały w zadaniach strumieniowych wsadowych.
    • [SPARK-38616] Śledź tekst zapytania SQL w węźle Catalyst TreeNode
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
      • timestampadd() i dateadd(): Dodaj czas trwania w określonej jednostce do wyrażenia znacznika czasowego.
      • timestampdiff() i datediff(): Oblicz różnicę czasu między dwoma znacznikami czasu w określonej jednostce.
    • Parquet-MR został uaktualniony do wersji 1.12.2
    • Ulepszona obsługa pełnych schematów w plikach typu parquet
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • [SPARK-38509][SPARK-38481] Wybierz trzy timestmapadd/diff zmiany.
    • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV
    • [SPARK-38237] Zezwalaj ClusteredDistribution na wymaganie pełnych kluczy klastrowania
    • [SPARK-38437] Pobłażliwa serializacja daty/godziny z źródła danych
    • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w górę w skorelowanych wyrażeniach warunków równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

  • 29 listopada 2023 r.
    • [SPARK-45859] Obiekty UDF w ml.functions zostały zainicjowane leniwie.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45427] Dodano ustawienia SSL dla RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchomienia podzapytania z TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactory element.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • [SPARK-43098] Naprawiono błąd poprawności przy użyciu funkcji COUNT, gdy podzapytanie skalarne zawiera klauzulę grupowania według
    • [SPARK-43156][SPARK-43098] Rozszerz test błędu liczenia podzapytań skalarnych przy wyłączonej opcji decorrelateInnerQuery.
    • [SPARK-40862] Obsługa niezagregowanych podzapytań w funkcji RewriteCorrelatedScalarSubquery
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED, a w trybie FAILFAST kończy się natychmiastowym niepowodzeniem.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec UnknownFieldException.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-37520] Dodaj funkcje startswith() i endswith() string
    • [SPARK-43413] Naprawiono IN nullowalność podzapytania ListQuery.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
  • 29 marca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta, wymagające wersji Reader 3 i Writer 7, przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby osiągnąć sukces, funkcje tabel wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Rozwiązano problem z analizowaniem JSON w Auto Loader, gdy wszystkie kolumny były pozostawione jako ciągi znaków (nie były ustawione lub były ustawione na false), a JSON zawierał zagnieżdżone obiekty.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikropartii, jeśli allowOverwrites jest włączony
    • [SPARK-40596] Wypełnianie modułu Decommission komunikatami w kontekście ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Różne poprawki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić ustawienie spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną funkcję listowania dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale mogło doprowadzić do zwiększenia kosztów przechowywania dla klientów.
    • [SPARK-40315] Dodaj hashCode() dla Literału ArrayBasedMapData
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w metodzie Executor.updateDependencies()
    • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39666] Użyj metody UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode w ExpressionEncoder
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39575] Dodano ByteBuffer#rewind po ByteBuffer#get w AvroDeserializer.
    • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader na potrzeby listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • 2 czerwca 2022 r.
    • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawiono potencjalny wyciek wbudowanej pamięci w module automatycznego ładowania.
    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 6 kwietnia 2022 r.
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notebooków w klastrach o wysokiej współbieżności z kontrolą dostępu do tabeli lub przekazywaniem poświadczeń, tak aby prowadził do katalogu domowego użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
    • [SPARK-38437] Pobłażliwe podejście do serializacji dat i czasu ze źródła danych
    • [SPARK-38180] Zezwolenie na bezpieczne rzutowanie wyrażeń w skorelowanych predykatach równościowych
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • 14 marca 2022 r.
    • [SPARK-38236] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-34069] Przerywanie wątku zadania, jeśli właściwość SPARK_JOB_INTERRUPT_ON_CANCEL lokalna jest ustawiona na true.
  • 23 lutego 2022 r.
    • [SPARK-37859] Tabele SQL utworzone za pomocą JDBC z platformą Spark 3.1 nie są czytelne dla platformy Spark 3.2.
  • 8 lutego 2022 r.
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Rozwiązano problem polegający na tym, że współbieżne transakcje na tabelach Delta mogły być zatwierdzane w nieserializowalnej kolejności w pewnych rzadkich warunkach.
    • Rozwiązano problem, w którym polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Drobne poprawki i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Rozwiązano problem, który mógł powodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania poprzez wystąpienie wyjątku takiego jak IOException java.io.IOException: No FileSystem for scheme lub który może sprawić, że modyfikacje sparkContext.hadoopConfiguration nie zostaną wprowadzone w życie w zapytaniach.
    • Konektor Apache Spark dla Delta Sharing został zaktualizowany do 0.2.0.
  • 20 października 2021 r.
    • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Dodaje obsługę typu BigNumeric.

Databricks Runtime 13.0 (EoS)

Zobacz Databricks Runtime 13.0 (EoS).

  • 13 października 2023

    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553][SQL] Zapewnij co najmniej jedną jednostkę czasu po interwale.
    • [SPARK-45178] Zastosowanie uruchamiania pojedynczej partii dla Trigger.AvailableNow z nieobsługiwanymi źródłami zamiast używania opakowania.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus zwraca None zamiast Some(null).
    • [SPARK-42205][CORE] Usuń rejestrowanie funkcji Accumulables w zdarzeniach uruchamiania zadania/etapu w programie JsonProtocol.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 12 września 2023 r.

    • [SPARK-44485][SQL] Zoptymalizuj TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • Różne poprawki błędów.

  • 30 sierpnia 2023 r.

    • [SPARK-44818][Backport] Naprawiono stan wyścigu dla oczekujących przerwania zadania wydanych przed taskThread zainicjowaniem.
    • [SPARK-44714] Złagodzenie ograniczeń związanych z rozpoznawaniem LCA dla zapytań.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() Testy dokumentu są teraz ilustracyjne.
    • [SPARK-44871][11.3-13.0][SQL] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • [SPARK-44643][SQL][PYTHON] Poprawka Row.__repr__ , gdy wiersz jest pusty.
    • [SPARK-44504][Backport] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44479][CONNECT][PYTHON] Naprawiono protobuf konwersję z pustego typu struktury.
    • [SPARK-44464][SS] Naprawiono applyInPandasWithStatePythonRunner w celu wyświetlania wierszy, które mają Null jako wartość pierwszej kolumny.
    • Różne poprawki błędów.

  • 29 lipca 2023 r.

    • Usunięto usterkę, w której dbutils.fs.ls() zwracało INVALID_PARAMETER_VALUE.LOCATION_OVERLAP w przypadku wywołania dla ścieżki lokalizacji magazynu, która konfliktowała z innymi lokalizacjami magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lipca 2023 roku

    • [SPARK-44337][PROTOBUF] Naprawiono problem, w którym dowolne ustawienie pola na Any.getDefaultInstance powodowało błędy analizy.
    • [SPARK-44136] [SS] Rozwiązano problem, w którym StateManager został zmaterializowany w wykonawcy zamiast w sterowniku w kontekście FlatMapGroupsWithStateExec.
    • Przywróć [SPARK-42323][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_2332.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerzenie testu wykrywającego błędy w obliczaniu liczby podzapytań skalarnych z wyłączoną funkcją decorrelateInnerQuery
    • [SPARK-43779][SQL] ParseToDate teraz ładuje EvalMode w głównym wątku.
    • [SPARK-42937][SQL] PlanSubqueries powinna mieć ustawioną InSubqueryExec#shouldBroadcast wartość true
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i zawodzi od razu w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowej z użyciem SHALLOW CLONE Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-43300][CORE] NonFateSharingCache opakowanie dla Guava Cache.
    • [SPARK-43378][CORE] Poprawnie zamknij obiekty strumienia w deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Użyj rejestrów 8-bitowych do reprezentowania zestawów DataSketches.
    • [SPARK-43522][SQL] Poprawiono błąd związany z tworzeniem nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN nullowalność podzapytania ListQuery.
    • [SPARK-43043][CORE] Zwiększona MapOutputTracker.updateMapOutput wydajność.
    • [SPARK-16484][SQL] Dodano obsługę funkcji DataSketches HllSketch.
    • [SPARK-43123][SQL] Wewnętrzne metadane pól nie wyciekają już do wykazów.
    • [SPARK-42851][SQL] Ochrona EquivalentExpressions.addExpr() za pomocą polecenia supportedExpression().
    • [SPARK-43336][SQL] Rzutowanie między Timestamp a TimestampNTZ wymaga określenia strefy czasowej.
    • [SPARK-43286][SQL] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych wektorów początkowych.
    • [SPARK-42852][SQL] Przywrócono powiązane zmiany związane z EquivalentExpressions.
    • [SPARK-43541][SQL] Rozpowszechniaj wszystkie Project tagi podczas rozwiązywania wyrażeń i odnajdowania brakujących kolumn.
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 maja 2023 r.

  • 17 maja 2023 r.

    • Naprawiono regresję polegającą na tym, że _metadata.file_path i _metadata.file_name zwracały niepoprawnie sformatowane ciągi. Na przykład teraz ścieżka ze spacjami jest reprezentowana jako s3://test-bucket/some%20directory/some%20data.csv zamiast s3://test-bucket/some directory/some data.csv.
    • Skanowanie Parquet jest teraz odporne na OOM podczas skanowania nietypowo ustrukturyzowanych plików przez dynamiczne dostosowywanie się rozmiaru partii danych. Metadane plików są analizowane w celu wstępnego obniżenia rozmiaru partii, a podczas ponownych prób zadania są ponownie obniżane jako ostateczna sieć bezpieczeństwa.
      • Jeśli plik Avro został odczytany tylko z opcją failOnUnknownFields lub za pomocą Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te odczyty teraz się nie udają i zaleca się użytkownikom użycie opcji rescuedDataColumn.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i przestaje obsługiwać typy Integer, Short oraz Byte jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów dat lub znaczników czasu, aby uniknąć błędnych dat.
      • Zapobiega odczytywaniu Decimal typów o niższej precyzji.
    • [SPARK-43172] [CONNECT] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293][SQL] __qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085][SQL] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • [SPARK-43192] [CONNECT] Usunięto weryfikację zestawu znaków agenta użytkownika.

  • 25 kwietnia 2023 r.

    • Tabelę delty można zmodyfikować, aby dodać obsługę funkcji tabeli delty przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).
    • Polecenie SYNC obsługuje teraz starsze formaty źródeł danych.
    • Usunięto usterkę polegającą na tym, że używanie formatatora języka Python przed uruchomieniem innych poleceń w notesie języka Python mogło spowodować brak ścieżki notesu z sys.path.
    • Usługa Azure Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel delty. INSERT, UPDATE, DELETE i MERGE mogą odwoływać się do wartości domyślnej kolumny przy użyciu słowa kluczowego DEFAULT. W przypadku INSERT poleceń z jawną listą mniej kolumn niż tabela docelowa odpowiednie wartości domyślne kolumn są zastępowane pozostałymi kolumnami (lub NULL jeśli nie określono wartości domyślnej).

  • Naprawia usterkę polegającą na tym, że nie można było używać terminalu internetowego do uzyskiwania dostępu do plików w /Workspace programie dla niektórych użytkowników.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z opcji rescuedDataColumn.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shortjeśli Byte podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje uratowanie kolumn, mimo że można je było odczytać.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury.
    • [SPARK-39221][SQL] Zapewnij poprawne redagowanie informacji wrażliwych na karcie zadania/etapu serwera Thrift.
    • [SPARK-42971][CORE] Zmiana, aby wydrukować workdir jeśli appDirs jest null, gdy proces roboczy obsługuje wydarzenie WorkDirCleanup.
    • [SPARK-42936][SQL] Napraw usterkę LCA, gdy klauzula posiadania może zostać rozwiązana bezpośrednio przez jej agregację podrzędną.
    • [SPARK-43018][SQL] Naprawiono usterkę dla INSERT poleceń z literałami znacznika czasu.
    • Przywróć [SPARK-42754][SQL][UI] Rozwiązano problem ze zgodnością z poprzednimi wersjami w zagnieżdżonym uruchomieniu SQL.
    • Przywróć [SPARK-41498] propagowanie metadanych przez Union.
    • [SPARK-43038][SQL] Obsługa trybu CBC przez .aes_encrypt()/aes_decrypt()
    • [SPARK-42928][SQL] Ustaw resolvePersistentFunction synchronizację.
    • [SPARK-42521][SQL] Dodaj NULL wartości dla INSERT z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa.
    • [SPARK-41391][SQL] Nazwa kolumny wyjściowej groupBy.agg(count_distinct) była niepoprawna.
    • [SPARK-42548][SQL] Dodaj ReferenceAllColumns , aby pominąć przepisanie atrybutów.
    • [SPARK-42423][SQL] Dodaj początek i długość bloku pliku kolumny metadanych.
    • [SPARK-42796][SQL] Obsługa dostępu do kolumn w CachedBatch.
    • [SPARK-42266][PYTHON] Usuń katalog nadrzędny przy uruchamianiu shell.py przy użyciu IPython.
    • [SPARK-43011][SQL] array_insert powinna zakończyć się niepowodzeniem z powodu indeksu 0.
    • [SPARK-41874][CONNECT][PYTHON] Obsługa SameSemantics programu Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Obsługa sparametryzowanego zapytania w podzapytaniu i CTE.
    • [SPARK-42967][CORE] Napraw SparkListenerTaskStart.stageAttemptId gdy zadanie zostanie rozpoczęte po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.1 (EoS)

Zobacz Databricks Runtime 12.1 (EoS).

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Sfotonizowany approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779][SQL] ParseToDate teraz ładuje się w głównym wątku.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerz test liczenia błędów podzapytań skalarnych z wyłączoną funkcją decorrelateInnerQuery
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w trybie failOnUnknownFields usuwa rekord w trybie DROPMALFORMED i zawodzi bezpośrednio w trybie FAILFAST.
    • Zwiększ wydajność aktualizacji przyrostowej z SHALLOW CLONE Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN wartość null podzapytania ListQuery .
    • [SPARK-43522][SQL] Naprawiono tworzenie nazwy kolumny struktury przy pomocy indeksu tablicy.
    • [SPARK-42444][PYTHON] DataFrame.drop teraz obsługuje prawidłowo zduplikowane kolumny.
    • [SPARK-43541][SQL] Propaguj wszystkie Project tagi podczas rozwiązywania wyrażeń i brakujących kolumn.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42937][SQL] PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43378][CORE] Poprawnie zamknij obiekty strumienia w deserializeFromChunkedBuffer.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane, aby prewencyjnie zmniejszyć rozmiar partii, a następnie rozmiar ten jest ponownie obniżany przy ponawianiu prób zadania, jako ostateczna ochrona.
    • Jeśli plik Avro został odczytany tylko z opcją failOnUnknownFields lub z Auto Loaderem w trybie ewolucji schematu failOnNewColumns, kolumny z różnymi typami danych odczytuje się jako null zamiast wywoływania błędu informującego, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem, a użytkownikom zalecamy korzystanie z opcji rescuedDataColumn.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie przywraca już typów Integer, Short, Byte jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega traktowaniu typów interwałów jako typów dat lub znaczników czasu, aby uniknąć zniekształcenia dat.
      • Zapobiega odczytywaniu Decimal typów o niższej precyzji.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z opcją failOnUnknownFields lub za pomocą Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z opcji rescuedDataColumn.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje typy Integer, Short, Byte i nie ratuje tych typów danych, jeśli którykolwiek z nich jest podany. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy odzyskiwanie kolumn danych było wcześniej włączone, niezgodność typów danych powodowała odzyskiwanie kolumn, mimo że można było je odczytać.
    • [SPARK-43009][SQL] Sparametryzowane sql() ze Any stałymi.
    • [SPARK-42971][CORE] Zmień, aby drukować workdir, jeśli appDirs jest pusta, gdy proces roboczy obsługuje zdarzenie WorkDirCleanup.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2023 r.

    • Obsługa formatów starszych źródeł danych w poleceniu SYNC.
    • Naprawia błąd w zachowaniu %autoreload w notebookach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Synchronizuje resolvePersistentFunction .
    • [SPARK-42967][CORE] Naprawia SparkListenerTaskStart.stageAttemptId gdy zadanie rozpoczyna się po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • Automatyczny moduł ładowania teraz wyzwala co najmniej jedno synchroniczne czyszczenie dziennika RocksDB dla Trigger.AvailableNow strumieni, aby zapewnić regularne czyszczenie punktu kontrolnego dla szybko działających strumieni. Może to spowodować, że niektóre strumienie będą trwały dłużej przed ich zamknięciem, ale pozwoli to zaoszczędzić koszty magazynowania i poprawić doświadczenie z Auto Loader w przyszłych uruchomieniach.
    • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Przechwycenie wyjątku podczas próby zamknięcia skompresowanego strumienia w HDFSStateStoreProvider podczas przerwania
    • [SPARK-42794][SS] Zwiększ lockAcquireTimeoutMs do 2 minut w celu uzyskania dostępu do magazynu stanów RocksDB w Strukturalnym Strumieniowaniu

  • 14 marca 2023

    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W przypadku kompatybilności wstecznej użycie 'delta.feature.featureName'='enabled' nadal działa i będzie działać w przyszłości.
    • [SPARK-42622][CORE] Wyłącz zamianę w wartościach
    • [SPARK-42534][SQL] Naprawa klauzuli LIMIT dla DB2Dialect
    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-42516][SQL] Zawsze zapisz konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42484] [SQL] Lepszy komunikat o błędzie w UnsafeRowUtils
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lutego 2023

    • Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i używa domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

    Przykład konfiguracji połączenia PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Przykład konfiguracji połączenia usługi Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Unikaj zakłócania konfiguracji rejestrowania z biblioteki pyspark.pandas
    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania
    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast apply w konwersji filtrów od wersji 1 do wersji 2
    • Przywracanie [SPARK-41848][CORE] Naprawianie zadania nadmiernie zaplanowanego za pomocą polecenia TaskResourceProfile
    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonizowania dużych drzew wyrażeń przemiennych.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • SYNC polecenie obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem Unity, ale następnie usunięta i utworzona ponownie, kolejna synchronizacja będzie działać, zamiast zgłaszać kod stanu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide używa dziesiętnych (1, 0) do reprezentacji 0
    • [SPARK-36173][CORE] Umożliwienie pobierania liczby CPU w TaskContext
    • [SPARK-41848][CORE] Rozwiązywanie problemów z nadmiernym harmonogramem zadania za pomocą elementu TaskResourceProfile
    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST

  • 31 stycznia 2023 r.

    • Aby utworzyć schemat ze zdefiniowaną lokalizacją, użytkownik musi teraz mieć przywileje SELECT oraz MODYFIKUJ w DOWOLNYM PLIKU.
    • [SPARK-41581][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Naprawiono test Kafka w celu zweryfikowania utraconych partycji w związku z powolnymi operacjami Kafka
    • [SPARK-41580][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Obsługa sparametryzowanego kodu SQL przez sql()
    • [SPARK-41579][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Kontynuacja] Naprawianie regresji synchronizacji kodu dla funkcji ConvertToLocalRelation
    • [SPARK-41576][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2054
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.0 (EoS)

Zobacz Databricks Runtime 12.0 (EoS).

  • 15 czerwca 2023 r.

    • Fotonizowane approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerzanie testu błędów liczby podzapytań skalarnych za pomocą funkcji decorrelateInnerQuery wyłączone
    • [SPARK-43779][SQL] teraz ładuje się EvalMode w głównym wątku.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowej z użyciem SHALLOW CLONE Iceberga i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-42444][PYTHON] DataFrame.drop teraz obsługuje prawidłowo zduplikowane kolumny.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN zerowalność podzapytań ListQuery.
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43522][SQL] Naprawiono problem z tworzeniem nazwy kolumny w strukturze przy użyciu indeksu tablicy.
    • [SPARK-43541][SQL] Propaguj wszystkie Project tagi podczas rozwiązywania wyrażeń i uzupełniania brakujących kolumn.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42937][SQL] PlanSubqueries ustaw InSubqueryExec#shouldBroadcast na true.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu prewencyjnego obniżenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane jako ostateczne zabezpieczenie.
    • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie przetwarza typów Integer, Short, Byte, jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów przedziałów czasowych jako typów dat lub znaczników czasu w celu uniknięcia uszkodzenia dat.
      • Zapobiega odczytywaniu typów Decimal o niższej precyzji.
    • [SPARK-43172] [CONNECT] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-41520][SQL] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z opcją failOnUnknownFields lub z Auto Loader w trybie ewolucji schematu failOnNewColumns, kolumny, które miały różne typy danych, odczytywane są jako null zamiast zgłaszać błąd o niemożności odczytania pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zaleca się użytkownikom korzystanie z opcji rescuedDataColumn.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje typów Integer, Short, Byte, jeśli podany jest jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy wcześniej włączono uratowaną kolumnę danych, niezgodność typów danych powodowała uratowanie kolumn, mimo że można je było odczytać.
    • [SPARK-42971][CORE] Zmień, aby drukować workdir, jeśli appDirs jest null, gdy pracownik obsługuje zdarzenie WorkDirCleanup
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługuje formaty starszych źródeł danych w poleceniu SYNC.
    • Naprawia usterkę w zachowaniu %autoreload w notatnikach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Synchronizuje resolvePersistentFunction .
    • [SPARK-42967][CORE] Poprawki stosowane, gdy zadanie rozpoczyna się po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut podczas pozyskiwania stanowej bazy danych RocksDB w Przetwarzaniu Strumieniowym
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w HDFSStateStoreProvider w trakcie przerywania
    • Różne poprawki błędów.

  • 14 marca 2023

    • [SPARK-42534][SQL] Poprawka klauzuli LIMIT dla DB2Dialect
    • [SPARK-42622][CORE] Wyłącz podstawianie w wartościach
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • [SPARK-42484] [SQL] Lepszy komunikat o błędzie w UnsafeRowUtils
    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-42516][SQL] Zawsze przechwytuj konfigurację strefy czasowej sesji podczas tworzenia widoków
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lutego 2023

    • Standardowe opcje połączenia dla federacji zapytaniowej

      Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i będzie używać domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

      Przykład konfiguracji połączenia PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Przykład konfiguracji połączenia usługi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Przywracanie [SPARK-41848][CORE] Naprawianie zadania nadmiernie zaplanowanego za pomocą polecenia TaskResourceProfile

    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonizowania dużych drzew wyrażeń przemiennych

    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast apply przy konwersji filtru z wersji 1 do wersji 2

    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele delty, które wymagają czytnika w wersji 3 i składnika zapisywania w wersji 7, przy użyciu środowiska Databricks Runtime 9.1 lub nowszego. Aby odnieść sukces, funkcje tabel wyszczególnione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
    • SYNC polecenie obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z Unity Catalog, ale następnie usunięta i utworzona ponownie, kolejna ponowna synchronizacja będzie działać zamiast zwracać kod błędu TABLE_ALREADY_EXISTS.
    • [SPARK-36173][CORE] Obsługa pobierania numeru procesora CPU w obiekcie TaskContext
    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST
    • [SPARK-41848][CORE] Rozwiązywanie problemów z nadmiernym harmonogramem zadania za pomocą elementu TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide używa dziesiętnej (1, 0) do reprezentowania 0

  • 25 stycznia 2023 r.

    • [SPARK-41660][SQL] Propagacja kolumn metadanych tylko w przypadku ich użycia
    • [SPARK-41379][SS][PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
    • [SPARK-41669][SQL] Wczesne przycinanie w canCollapseExpressions
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 stycznia 2023 r.

    • REFRESH FUNCTION Polecenie SQL obsługuje teraz funkcje SQL i funkcje tabel SQL. Na przykład polecenie może służyć do odświeżania trwałej funkcji SQL, która została zaktualizowana w innej sesji SQL.
    • Źródło danych JDBC (Java Database Connectivity) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona przez ustawienie spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled na false.
    • W klastrach tablic ACL w trybie zgodności z poprzednimi wersjami, tworzenie funkcji odwołujących się do klas JVM teraz wymaga uprawnienia MODIFY_CLASSPATH.
    • Źródło danych JDBC (Java Database Connectivity) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona, ustawiając spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled na false.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Strumieniowe przesyłanie danych w ramach Spark Structured Streaming działa teraz z formatem „deltasharing” na tabeli Delta Sharing jako źródle.
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41733][SQL][SS] Zastosowanie przycinania bazującego na wzorcach drzew dla reguły ResolveWindowTime
    • [SPARK-39591][SS] Śledzenie postępu asynchronicznego
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41198][SS] Naprawa metryk w zapytaniu przesyłanym strumieniowo posiadającym źródło przesyłania strumieniowego oparte na CTE i DSv1
    • [SPARK-41539][SQL] Przemapowanie statystyk i ograniczeń względem danych wyjściowych w planie logicznym dla LogicalRDD
    • [SPARK-41732][SQL][SS] Stosowanie przycinania opartego na wzorcu drzewnym dla reguły SessionWindowing
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41261][PYTHON][SS] Rozwiązano problem z funkcją applyInPandasWithState, gdy kolumny kluczy grupowania nie są umieszczone w porządku chronologicznym
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wcześniejszego obniżenia rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznego zabezpieczenia.
    • Naprawiono błąd, który powodował, że zadania usługi Azure Databricks były utrwalane po nieudanej próbie połączenia z magazynem metadanych podczas inicjowania klastra.
    • [SPARK-41520][SQL] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z drugorzędnymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko przy użyciu opcji failOnUnknownFields lub modułu automatycznego ładowania działającego w trybie ewolucji schematu failOnNewColumns, kolumny o różnych typach danych będą odczytywane jako null, zamiast zgłaszać błąd dotyczący niemożności odczytania pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z opcji rescuedDataColumn.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i już nie ratuje typów Integer, Short, Byte jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy kolumna z uratowanymi danymi była wcześniej włączona, niezgodność typów danych spowodowała uratowanie kolumn, nawet jeśli można je było odczytać.
    • [SPARK-42937][SQL] PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC.
    • Naprawia usterkę w działaniu %autoreload w notatnikach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Zsynchronizuj polecenie resolvePersistentFunction.
    • [SPARK-42967][CORE] Poprawa SparkListenerTaskStart.stageAttemptId, gdy zadanie zostaje uruchomione po anulowaniu etapu.

  • 29 marca 2023 r.

    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów w RocksDB w Streamingu Strukturalnym
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Złap wyjątek podczas próby zamknięcia skompresowanego strumienia w HDFSStateStoreProvider anulowanie
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2023

    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • [SPARK-42484] [SQL] Lepszy komunikat o błędzie w UnsafeRowUtils
    • [SPARK-42534][SQL] Poprawka klauzuli LIMIT w DB2Dialect
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42516][SQL] Zawsze zachowuj konfigurację strefy czasowej sesji podczas tworzenia widoków
    • Różne poprawki błędów.

  • 28 lutego 2023 r.

    • Standardowe opcje połączenia dla federacji zapytań

      Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i używa domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

      Przykład konfiguracji połączenia PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Przykład konfiguracji połączenia usługi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki generowania kodu dla złożonego wyrażenia z funkcją CAST

    • [SPARK-41989][PYTHON] Unikaj zrywania konfiguracji rejestrowania w pyspark.pandas

    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania

    • [SPARK-41360][CORE] Unikaj ponownej rejestracji elementu BlockManager, jeśli egzekutor został utracony

    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonizacji dużych drzew wyrażeń przemiennych.

    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast apply w konwersji filtru z wersji 1 na wersję 2

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele Delta, które wymagają użycia czytnika w wersji 3 oraz zapisującego w wersji 7, przy użyciu środowiska Databricks Runtime w wersji 9.1 lub nowszej. Aby odnieść sukces, funkcje wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • SYNC polecenie obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem Unity, ale następnie usunięta i utworzona ponownie, możliwe jest jej ponowne zsynchronizowanie bez zgłaszania kodu stanu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide używa dziesiętnej (1, 0) do przedstawienia 0
    • [SPARK-40382][SQL] Grupowanie unikatowych wyrażeń agregacji według semantycznie równoważnych elementów podrzędnych RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 stycznia 2023 r.

    • [SPARK-41379][SS][PYTHON] Udostępnienie sklonowanej sesji Spark w DataFrame w funkcji użytkowej dla foreachBatch sink w PySpark
    • [SPARK-41660][SQL] Propagacja kolumn metadanych tylko w przypadku ich użycia
    • [SPARK-41669][SQL] Wczesne przycinanie w canCollapseExpressions
    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • REFRESH FUNCTION Polecenie SQL obsługuje teraz funkcje SQL i funkcje tabel SQL. Na przykład polecenie może służyć do odświeżania trwałej funkcji SQL, która została zaktualizowana w innej sesji SQL.
    • Źródło danych JDBC (Java Database Connectivity) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona po ustawieniu spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled na false.
    • Źródło danych JDBC (Java Database Connectivity) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona poprzez ustawienie parametru spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled na false.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawienie metryk w zapytaniu strumieniowym z wykorzystaniem CTE i źródła przesyłania strumieniowego DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41539][SQL] Przemapowanie statystyk i ograniczeń na dane wyjściowe w planie logicznym dla LogicalRDD
    • [SPARK-39591][SS] Śledzenie postępu asynchronicznego
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41261][PYTHON][SS] Naprawiono problem z applyInPandasWithState, gdy kolumny kluczy grupujących nie są uporządkowane w kolejności od najwcześniejszych
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Stosowanie przycinania opartego na wzorcu drzewa do reguły SessionWindowing
    • [SPARK-38277][SS] Wyczyść partię danych po zatwierdzeniu przechowywania stanów w RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Do zarządzania białymi znakami dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, gdy zostanie ustawiony na true, usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiony na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
    • Usunięto błąd w procesie parsowania JSON w Auto Loaderze, gdy wszystkie kolumny pozostawiono jako ciągi znakowe (cloudFiles.inferColumnTypes nie ustawiono lub ustawiono na false), a JSON zawierał zagnieżdżone obiekty.
    • Uaktualnij snowflake-jdbc zależność do wersji 3.13.22.
    • Typy tabel JDBC są teraz domyślnie ustawione jako ZEWNETRZNE.
    • [SPARK-40906][SQL] Mode powinno skopiować klucze przed wstawieniem do mapy
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • ACL tabel i udostępnione klastry UC umożliwiają teraz używanie metody Dataset.toJSON z Pythona.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszony zestaw zachowań spark.sql.json.enablePartialResults do true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • [SPARK-40903][SQL] Unikaj zmieniania kolejności dodawania liczb dziesiętnych dla kanonizacji, jeśli typ danych zostanie zmieniony
    • [SPARK-40618][SQL] Usunięto usterkę w regule MergeScalarSubqueries z zagnieżdżonym podzapytaniem przy użyciu śledzenia odwołań
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 listopada 2022 r.

    • Strukturalne przesyłanie strumieniowe w katalogu Unity teraz obsługuje odświeżanie tymczasowych tokenów dostępu. Obciążenia przesyłania strumieniowego uruchamiane za pomocą katalogu Unity na uniwersalnych lub zadaniowych klastrach nie kończą się już niepowodzeniem po wygaśnięciu początkowego tokenu.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem, gdzie uruchomienie MERGE i użycie dokładnie 99 kolumn ze źródła w warunku mogło doprowadzić do java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że plik mógł zostać zduplikowany w tej samej mikropartii, gdy allowOverwrites jest włączony.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Dodano obsługę funkcji CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] Uzupełnianie ExecutorDecommission wiadomościami w ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Naprawiono element NPE w elemecie applyInPandasWithState, gdy schemat wejściowy ma kolumny "non-nullable"
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.2 (EoS)

Zobacz Databricks Runtime 11.2 (EoS).

  • 28 lutego 2023 r.
    • [SPARK-42286][SQL] Przywrócenie poprzedniej ścieżki generowania kodu dla złożonego wyrażenia w funkcji CAST
    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele delty, które wymagają czytnika w wersji 3 i składnika zapisywania w wersji 7, przy użyciu środowiska Databricks Runtime 9.1 lub nowszego. Aby osiągnąć sukces, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • SYNC polecenie obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z Unity Catalog, ale następnie została usunięta i utworzona ponownie, kolejna re-synchronizacja zadziała zamiast zgłaszania kodu statusu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide używa typu dziesiętnego (1, 0) do reprezentacji zera.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel JDBC są teraz domyślnie ustawione jako ZEWNĘTRZNE.
    • [SPARK-41379][SS][PYTHON] Udostępnienie sklonowanej sesji Spark w DataFrame w funkcji użytkownika dla ujścia foreachBatch w PySpark
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawiono metryki w zapytaniu strumieniowym mającym źródło przesyłania strumieniowego CTE i DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41539][SQL] Mapowanie statystyk i ograniczeń względem wyjścia w planie logicznym dla LogicalRDD
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Zastosowanie przycinania opartego na wzorze drzewnym dla reguły SessionWindowing
    • [SPARK-38277][SS] Wyczyść partię zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą skonfigurować sposób traktowania wiodących i końcowych białych znaków podczas zapisywania danych za pomocą łącznika Redshift. Do obsługi białych znaków dodano następujące opcje:
      • csvignoreleadingwhitespace, gdy ustawiony na wartość true, usuwa wiodące spacje z wartości podczas zapisu, gdy tempformat jest ustawiona na wartość CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na wartość true, usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawione na wartość CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
    • Usunięto usterkę przy parsowaniu JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie były ustawione lub były ustawione na false), a JSON zawierał zagnieżdżone obiekty.
    • [SPARK-40906][SQL] Mode powinien skopiować klucze przed wstawieniem do mapy
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszoną funkcjonalność, ustaw spark.sql.json.enablePartialResults na true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • [SPARK-40618][SQL] Naprawiono błąd w regule MergeScalarSubqueries z zagnieżdżonymi podzapytaniami z wykorzystaniem śledzenia odwołań
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem polegający na tym, że uruchamianie MERGE i używanie dokładnie 99 kolumn ze źródła w warunku mogło spowodować java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrocząstce, gdy allowOverwrites jest włączony
    • [SPARK-40596][CORE] Wypełnij ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 października 2022 r.
    • Rozwiązano problem z użyciem COPY INTO z tymczasowymi poświadczeniami w klastrach/magazynach obsługujących katalog Unity.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywne listowanie dla Auto Loadera w usłudze ADLS. Natywne listowanie zostało wcześniej wyłączone z powodu problemów z wydajnością, ale mogło doprowadzić do wzrostu kosztów przechowywania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji serwisowej.
    • [SPARK-40315][SQL]Obsługa kodowania/dekodowania adresu URL jako wbudowanej funkcji i porządkowania funkcji związanych z adresem URL
    • [SPARK-40156][SQL]url_decode() powinna zwrócić klasę błędu
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Napraw metryki strumieniowe podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • [SPARK-40055][SQL] listCatalogs powinna również zwrócić spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Dodaj hashCode() dla Literal of ArrayBasedMapData
    • [SPARK-40389][SQL] Liczby dziesiętne nie mogą być rzutowane na typy całkowite, jeśli rzutowanie może spowodować przepełnienie.
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-40066][SQL][KONTYNUACJA] Sprawdź, czy ElementAt został rozwiązany przed pobraniem jego dataType
    • [SPARK-40109][SQL] Nowa funkcja SQL: get()
    • [SPARK-40066][SQL] Tryb ANSI: zawsze zwraca wartość null w nieprawidłowym dostępie do kolumny mapy
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue platformy SparkSQL nie obsługuje prawidłowo typów byte, short ani float.
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-35542][ML] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami
    • [SPARK-40079] Dodaj walidację kolumn imputera inputCols dla pustego przypadku wejściowego
    • [SPARK-39912]SPARK-39828[SQL] Doprecyzuj CatalogImpl

Databricks Runtime 11.1 (EoS)

Zobacz Databricks Runtime 11.1 (EoS).

  • 31 stycznia 2023 r.

    • [SPARK-41379][SS][PYTHON] Zapewnienie sklonowanej sesji Spark w DataFrame w funkcji użytkownika dla sinku foreachBatch w PySpark
    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Zastosuj przycinanie oparte na wzorcu drzewa dla zasady SessionWindowing
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych spacji i odstępów podczas zapisywania danych przy użyciu łącznika Redshift. Aby zarządzać białymi znakami, dodano następujące opcje:
      • csvignoreleadingwhitespace, ustawiany na true, usuwa wiodące spacje z wartości podczas zapisu, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, ustawiony na true, usuwa końcowe spacje z wartości podczas zapisu, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
    • Usunięto usterkę podczas analizowania kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione w postaci ciągów (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i kiedy JSON zawierał zagnieżdżone obiekty.
    • [SPARK-39650][SS] Naprawiono nieprawidłowy schemat wartości w deduplikacji przesyłania strumieniowego przy zachowaniu zgodności wstecznej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 listopada 2022 r.

    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem polegający na tym, że uruchamianie MERGE i używanie dokładnie 99 kolumn ze źródła w warunku mogło spowodować wystąpienie java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Rozwiązano problem z funkcją Auto Loader, który polegał na tym, że plik mógł być zduplikowany w tej samej mikropartii, gdy allowOverwrites jest włączony.
    • [SPARK-40697][SQL] Dodaj wypełnienie znaków po stronie odczytu dla pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 października 2022 r.

    • Rozwiązano problem z użyciem COPY INTO z tymczasowymi poświadczeniami w klastrach/magazynach obsługujących katalog Unity.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 5 października 2022 r.

    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywne listowanie dla Auto Loader na ADLS. Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 podczas poprzedniej poprawki konserwacyjnej.
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Napraw metryki przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • [SPARK-40055][SQL] listCatalogs powinna również zwrócić spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2022 r.

    • [SPARK-40315][SQL] Dodaj hashCode() dla Literału w ArrayBasedMapData
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen

  • 6 września 2022 r.

    • Zaktualizowaliśmy model uprawnień w kontrolkach dostępu do tabel (ACL tabel), aby tylko uprawnienia MODIFY były potrzebne do zmiany schematu lub właściwości tabeli przy użyciu ALTER TABLE. Wcześniej te operacje wymagały od użytkownika posiadania tabeli. Posiadanie jest nadal wymagane, aby udzielić uprawnień do tabeli, zmienić jej właściciela, zmienić jej lokalizację lub zmienić nazwę. Ta zmiana powoduje, że model uprawnień dla ACL tabeli jest bardziej spójny z katalogiem Unity.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue w SparkSQL nie obsługuje prawidłowo typów byte, short ani float.
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodaj walidację inputCols imputera dla przypadku pustego wejścia

  • 24 sierpnia 2022 r.

    • Udziały, dostawcy i adresaci obsługują teraz polecenia SQL w celu zmiany właściciela, dodawania komentarzy i zmiany nazwy.
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39912][SPARK-39828][SQL] Doprecyzuj CatalogImpl
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach podzielonych na partycje
    • [SPARK-39867][SQL] Limit globalny nie powinien dziedziczyć parametru OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-39839][SQL] Obsługa specjalnego przypadku liczby dziesiętnej o zmiennej długości z niezerowym offsetAndSize w weryfikacji integralności strukturalnej UnsafeRow
    • [SPARK-39713][SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
    • [SPARK-39847][SS] Napraw warunek wyścigu w RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu polityki poprawionego analizatora czasu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 10 sierpnia 2022 r.

    • W przypadku tabel delty z kontrolą dostępu do tabel automatyczna ewolucja schematu za pomocą instrukcji DML, takich jak INSERT i MERGE jest teraz dostępna dla wszystkich użytkowników, którzy mają MODIFY uprawnienia do takich tabel. Ponadto uprawnienia wymagane do wykonania ewolucji schematu za pomocą COPY INTO są teraz zmniejszane z OWNER do MODIFY, co zapewnia spójność z innymi poleceniami. Te zmiany sprawiają, że model zabezpieczeń ACL tabeli jest bardziej spójny z modelem zabezpieczeń katalogu Unity oraz innymi operacjami, takimi jak zamiana tabeli.
    • [SPARK-39889] Ulepszanie komunikatu o błędzie dzielenia o 0
    • [SPARK-39795] [SQL] Nowa funkcja SQL: try_to_timestamp
    • [SPARK-39749] Zawsze używaj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego jako ciągu w trybie ANSI
    • [SPARK-39625] Zmienianie nazwy df.as na df.to
    • [SPARK-39787] [SQL] Użyj klasy błędu w przypadku błędu analizowania funkcji to_timestamp
    • [SPARK-39625] [SQL] Dodawanie Dataset.as(StructType)
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39579] [SQL][python][R] Umożliwienie kompatybilności ListFunctions/getFunction/functionExists z trójwarstwową przestrzenią nazw
    • [SPARK-39702] [CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575] [AVRO] dodaj operację ByteBuffer#rewind po ByteBuffer#get w AvroDeserializer
    • [SPARK-39265] [SQL] Naprawianie błędu testu po włączeniu SPARK_ANSI_SQL_MODE
    • [SPARK-39441] [SQL] Przyspieszenie deduplikacji relacji
    • [SPARK-39497] [SQL] Poprawa komunikatu o błędzie analizy brakującej kolumny klucza mapy
    • [SPARK-39476] [SQL] Wyłącz optymalizację rzutowania Unwrap przy rzutowaniu z Long na Float/ Double lub z Integer na Float
    • [SPARK-39434] [SQL] Zapewnij kontekst zapytania dla błędu czasu wykonywania, gdy indeks tablicy jest poza zakresem

Databricks Runtime 11.0 (EoS)

Zobacz Databricks Runtime 11.0 (EoS).

  • 29 listopada 2022 r.
    • Użytkownicy mogą ustawiać zachowanie wiodących i końcowych spacji podczas zapisywania danych za pomocą łącznika Redshift. Do zarządzania białymi znakami dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na false. Domyślna wartość to true.
      • csvignoretrailingwhitespace, po ustawieniu na true, usuwa końcowe spacje z wartości podczas zapisu, gdy tempformat jest ustawione na CSV lub CSV GZIP. Odstępy są zachowywane, gdy ustawienie konfiguracji to false. Domyślna wartość to true.
    • Naprawiono błąd związany z analizowaniem JSON w narzędziu do automatycznego ładowania, który występował, gdy wszystkie kolumny były pozostawione jako ciągi znaków (cloudFiles.inferColumnTypes nie było ustawione lub było ustawione na false), a JSON zawierał zagnieżdżone obiekty.
    • [SPARK-39650][SS] Poprawiono błędny schemat wartości w deduplikacji przesyłania strumieniowego z zachowaniem zgodności z poprzednimi wersjami
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone działanie, ustaw spark.sql.json.enablePartialResults na true. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
  • 1 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z Auto Loaderem, który polegał na tym, że plik mógł być zduplikowany w tym samym mikropakiecie, gdy allowOverwrites jest włączony.
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywne listowanie dla Automatycznego Ładowacza w usłudze Azure Data Lake Storage (ADLS). Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersjach DBR 10.4 i 9.1 w poprzedniej aktualizacji serwisowej.
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Napraw metryki przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Dodaj hashCode() dla Literału ArrayBasedMapData
    • [SPARK-40380][SQL] Popraw mechanizm stałego składania InvokeLike, aby uniknąć osadzenia nieserializowalnego literału w planie
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen
  • 6 września 2022 r.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue platformy SparkSQL nieprawidłowo obsługuje typy byte, short lub float
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodać walidację inputCols dla imputera w przypadku pustego wejścia
  • 24 sierpnia 2022 r.
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach partycjonowanych
    • [SPARK-39867][SQL] Limit globalny nie powinien dziedziczyć parametru OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39713][SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
    • [SPARK-39847] Napraw warunek wyścigu w RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" zgodnie z zasadą analizatora czasu SKORYGOWANA
    • [SPARK-39889] Ulepszanie komunikatu o błędzie dzielenia o 0
    • [SPARK-39795][SQL] Nowa funkcja SQL: try_to_timestamp
    • [SPARK-39749] Zawsze używaj zwykłej reprezentacji łańcucha przy przekształcaniu liczby dziesiętnej na ciąg znaków w trybie ANSI
    • [SPARK-39625][SQL] Dodawanie Dataset.to(StructType)
    • [SPARK-39787][SQL] Użyj klasy błędu w błędzie parsowania funkcji to_timestamp
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575][AVRO] dodaj ByteBuffer#rewind po ByteBuffer#get w AvroDeserializer
    • [SPARK-39497][SQL] Poprawienie wyjątku analizy dotyczącego brakującej kolumny klucza mapy
    • [SPARK-39441][SQL] Przyspiesz deduplikację relacji
    • [SPARK-39476][SQL] Wyłącz optymalizację rzutowania z pominięciem, gdy rzutujesz z Long na Float/Double lub z Integer na Float.
    • [SPARK-39434][SQL] Umożliw kontekst zapytania z błędem czasu wykonania, gdy indeks tablicy jest poza zakresem.
    • [SPARK-39570][SQL] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • Rozwiązano problem związany z funkcją TVF cloud_files_state podczas pracy na ścieżkach innych niż DBFS.
    • Wyłączono użycie funkcji Auto Loader do korzystania z natywnych interfejsów API chmury w celu wyświetlania listy katalogów na platformie Azure.
    • [SPARK-38796][SQL] Aktualizowanie funkcji to_number i try_to_number w celu umożliwienia żądania ściągnięcia z liczbami dodatnimi
    • [SPARK-39272][SQL] Zwiększ pozycję początkową kontekstu zapytania o 1
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Ulepszenie komunikatów o błędach dla zakresu klas błędów.
    • [SPARK-39451][SQL] Obsługa interwałów rzutowania do całkowitoliczników w trybie ANSI
    • [SPARK-39361] Nie używaj rozszerzonego wzorca konwersji zgłaszanej w usłudze Log4J2 w domyślnych konfiguracjach rejestrowania
    • [SPARK-39354][SQL] Upewnij się, że pokazuj Table or view not found, nawet wtedy, gdy są dataTypeMismatchError powiązane z Filter w tym samym czasie
    • [SPARK-38675][CORE] Napraw warunek wyścigu podczas odblokowywania w menedżerze BlockInfoManager
    • [SPARK-39392][SQL] Uściślij komunikaty o błędach ANSI dla wskazówek funkcji try_*
    • [SPARK-39214][SQL][3.3] Poprawianie błędów związanych z rzutowaniem
    • [SPARK-37939][SQL] Używanie klas błędów w błędach analizowania właściwości
    • [SPARK-39085][SQL] Przenieś komunikat o błędzie INCONSISTENT_BEHAVIOR_CROSS_VERSION do error-classes.json
    • pl-PL: [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z użyciem NATURAL/USING JOIN
    • [SPARK-39283][CORE] Naprawa blokady między TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 10.5 (EoS)

Zobacz Databricks Runtime 10.5 (EoS).

  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie ExecutorDecommission wiadomościami w ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć listę natywną dla Auto Loadera w usłudze ADLS. Natywne umieszczanie było wcześniej wyłączone z powodu problemów z wydajnością, ale mogło prowadzić do wzrostu kosztów przechowywania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji konserwacyjnej.
    • reload4j zostało uaktualnione do wersji 1.2.19 w celu naprawienia luk w zabezpieczeniach.
    • [SPARK-40460][SS] Napraw metryki przesyłania strumieniowego przy wyborze _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Dodaj hashCode() dla Literal z ArrayBasedMapData
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380][SQL] Napraw stałe składanie wyrażeń InvokeLike, aby uniknąć nieserializowalnego literału osadzonego w planie
    • [SPARK-38404][SQL] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 września 2022 r.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodaj walidację kolumn wejściowych Imputer dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach podzielonych na partycje
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643][SQL] gdy parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw warunek wyścigu w RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu polityki poprawionego parsera czasu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625][SQL] Dodawanie Dataset.as(StructType)
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39570][SQL] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575][AVRO] dodaj ByteBuffer#rewind po ByteBuffer#get w AvroDeserializer
    • [SPARK-39476][SQL] Wyłącz optymalizację rzutowania Unwrap przy rzutowaniu z Long na Float/Double lub z Integer na Float
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355][SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
    • [SPARK-39548][SQL] Polecenie CreateView z zapytaniem zawierającym klauzulę okna napotkało problem z powodu braku prawidłowej definicji okna.
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Wyłączono użycie natywnych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • pl-PL: [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z użyciem NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między komponentami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Poprawa wydajności funkcji nth_value z pominięciem wartości null w oknie przesunięcia
    • [SPARK-36718][SQL][KONTYNUACJA] Napraw sprawdzenie isExtractOnly w CollapseProject
  • 2 czerwca 2022 r.
    • [SPARK-39166][SQL] Podaj kontekst zapytania o błędzie środowiska uruchomieniowego dla arytmetyki binarnej, gdy WSCG jest wyłączona
    • [SPARK-39093][SQL] Unikaj błędu kompilacji kodu podczas dzielenia interwałów roku-miesiąca lub dnia-czasu przez liczbę całkowitą
    • [SPARK-38990][SQL] Unikaj NullPointerException podczas oceniania formatu date_trunc/trunc jako odwołania powiązanego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w narzędziu automatycznego ładowania.
    • [SPARK-38868][SQL]Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych
    • [SPARK-38796][SQL] Implementowanie funkcji to_number i try_to_number SQL zgodnie z nową specyfikacją
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-38929][SQL] Ulepsz komunikaty o błędach w przypadku niepowodzeń rzutowania w ANSI
    • [SPARK-38926][SQL] Typy danych wyjściowych w komunikatach o błędach w stylu SQL
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268][SQL] Dodaj ColumnPruning w injectBloomFilter
    • [SPARK-38908][SQL] Uwzględnienie kontekstu zapytania w błędzie wykonywania rzutowania z ciągu na liczbę/datę/sygnaturę czasową/wartość logiczną
    • [SPARK-39046][SQL] Zwraca pusty ciąg kontekstu, jeśli właściwość TreeNode.origin jest niepoprawnie ustawiona
    • [SPARK-38974][SQL] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38762][SQL] Udostępnij kontekst zapytania w błędach przepełnienia liczby dziesiętnej
    • [SPARK-38931][SS] Utwórz katalog główny dfs dla menedżera RocksDBFileManager z nieznaną liczbą kluczy przy pierwszym punkcie kontrolnym
    • [SPARK-38992][CORE] Unikać używania bash -c w ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Podaj kontekst zapytania w przypadku błędu, gdy klucz mapy nie istnieje
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • [SPARK-38698][SQL] Podaj kontekst zapytania w błędzie wykonania funkcji Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Uczynienie NewInstance niemożliwym do złożenia w celu naprawienia problemu z uszkodzeniem buforu agregacji
    • [SPARK-38809][SS] Zaimplementuj opcję pomijania wartości null w implementacji symetrycznego skrótu łączeń strumień-strumień
    • [SPARK-38676][SQL] Podaj kontekst zapytania SQL w komunikacie o błędzie czasu wykonywania polecenia Add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Python MonitorThread powinna wykryć zakleszczenie z powodu blokowania operacji we/wy
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 10.3 (EoS)

Zobacz Databricks Runtime 10.3 (EoS).

  • 27 lipca 2022 r.
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna dla wątków
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39476][SQL] Wyłącz optymalizację rozpakowanie przy rzutowaniu z Long na Float/Double lub z Integer na Float
    • [SPARK-39548][SQL] Polecenie CreateView z zapytaniem z klauzulą okna napotkało problem związany z brakiem zdefiniowanej definicji okna.
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • pl-PL: [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z użyciem NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Poprawa wydajności dla nth_value ignorując wartości null w oknie przesunięcia
    • [SPARK-36718][SQL][KONTYNUACJA] Naprawa sprawdzania w ZwijanieProjektu
  • 2 czerwca 2022 r.
    • [SPARK-38990][SQL] Unikaj NullPointerException przy ocenianiu formatu date_trunc/trunc jako powiązane odwołanie
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci systemowej w Auto Loaderze.
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-37593][CORE] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268][SQL] Dodaj ColumnPruning do injectBloomFilter
    • [SPARK-38974][SQL] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 maja 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
  • 19 kwietnia 2022 r.
    • [SPARK-38616][SQL] Monitoruj tekst zapytania SQL w TreeNode Catalyst
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono katalog roboczy notesów w klastrach o dużej współbieżności z włączoną kontrolą dostępu do tabel lub przekazywaniem poświadczeń na katalog domowy użytkownika. Wcześniej katalog roboczy był /databricks/driver.
    • [SPARK-38437][SQL] Pobłażliwa serializacja dat i godzin ze źródła danych
    • [SPARK-38180][SQL] Umożliwienie bezpiecznego rozszerzającego rzutowania w skorelowanych predykatach równości.
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Lepsze wykrywanie konfliktów w przypadku pustych transakcji w Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwalaj na przypisanie magazynu pomiędzy TimestampNTZ a Datą/Znacznikiem czasu
  • 23 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń sprawdzanie nazwy pola podczas odczytu/zapisu danych w formacie Parquet

Databricks Runtime 10.2 (EoS)

Zobacz Databricks Runtime 10.2 (EoS).

  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
  • 2 czerwca 2022 r.
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-38990][SQL] Unikaj NullPointerException podczas oceniania formatu date_trunc/trunc jako odwołania do zmiennej powiązanej
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w Auto Loaderze.
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bit dla źródła danych MSSQL
    • [SPARK-38931][SS] Utworzyć katalog główny dfs dla RocksDBFileManager z nieznaną liczbą kluczy podczas pierwszego punktu kontrolnego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 maja 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono aktualny katalog roboczy zeszytów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej katalog roboczy był /databricks/driver.
    • [SPARK-38437][SQL] Pobłażliwa serializacja daty/godziny z źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne wyrażenia rzutowania w górę w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu w czasie wykonania w HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszono wykrywanie konfliktów transakcyjnych dla pustych transakcji w Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwól na przypisanie pomiędzy TimestampNTZ a Data/Znacznik czasu
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na typ struktury na potrzeby generowania oczyszczania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń sprawdzanie nazwy pola podczas odczytywania/zapisywania danych w Parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto błąd, który powodował, że współbieżne transakcje z tabelami Delta mogły zostać zatwierdzone w kolejności nieserializowalnej w pewnych rzadkich warunkach.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Wprowadzono obsługę osadzania tymczasowych poświadczeń w COPY INTO, aby ładować dane źródłowe bez wymagania uprawnień ANY_FILE SQL.
    • Poprawki błędów i ulepszenia zabezpieczeń.
  • 20 grudnia 2021 r.
    • Usunięto rzadką usterkę z filtrowaniem opartym na indeksie kolumn Parquet.

Databricks Runtime 10.1 (EoS)

Zobacz Databricks Runtime 10.1 (EoS).

  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Poprawa wydajności funkcji nth_value z ignorowaniem wartości null w oknie przesunięcia.
  • 2 czerwca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w funkcji automatycznego ładowania.
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • [SPARK-37270][SQL] Naprawa wypychania zwijanego do gałęzi CaseWhen, jeśli wartość elseValue jest pusta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • [SPARK-38437][SQL] Łagodna serializacja daty/godziny ze źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne rzutowanie w górę w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcji dla pustych transakcji w usłudze Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwól na przypisanie pomiędzy TimestampNTZ a Date/Timestamp
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na StructType w kontekście generowania przycinania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń sprawdzanie nazwy pola podczas odczytywania/zapisywania danych w formacie Parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że współbieżne transakcje w tabelach Delta mogły być zatwierdzane w kolejności nieserializowalnej w pewnych rzadkich przypadkach.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Wprowadzono obsługę osadzania tymczasowych poświadczeń w COPY INTO, aby ładować dane źródłowe bez wymagania uprawnień ANY_FILE SQL.
    • Rozwiązano problem z brakiem pamięci z buforowaniem wyników zapytania w określonych warunkach.
    • Rozwiązano problem z USE DATABASE, który występował, gdy użytkownik przełączał bieżący katalog na katalog inny niż domyślny.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 grudnia 2021 r.
    • Usunięto rzadką usterkę z filtrowaniem opartym na indeksie kolumn Parquet.

Databricks Runtime 10.0 (EoS)

Zobacz Databricks Runtime 10.0 (EoS).

  • 19 kwietnia 2022 r.
    • [SPARK-37270][SQL] Poprawa przenoszenia elementów możliwych do złożenia do gałęzi CaseWhen, jeśli wartość elseValue jest pusta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • [SPARK-38437][SQL] Pobłażliwa serializacja daty i godziny z źródła danych
    • [SPARK-38180][SQL] Zezwól na bezpieczne rzutowanie wyrażeń w predykatach korelacyjnych równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu w czasie wykonania w HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcyjnych dla pustych transakcji w Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania przerywania bariery powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Umożliwiaj przypisanie między TimestampNTZ a Datą/Znacznikiem czasu
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na typ struktury na potrzeby generowania oczyszczania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń sprawdzanie nazwy pola podczas odczytu/zapisu danych w formacie Parquet.
    • [SPARK-36905][SQL] Naprawa odczytu widoków Hive bez jawnych nazw kolumn
    • [SPARK-37859][SQL] Rozwiązano problem polegający na tym, że tabele SQL utworzone za pomocą interfejsu JDBC z platformą Spark 3.1 nie są czytelne w wersji 3.2
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że współbieżne transakcje w tabelach Delta mogły być zatwierdzane w kolejności nieserializowalnej pod pewnymi rzadkimi warunkami.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 grudnia 2021 r.
    • Usunięto rzadki błąd związany z filtrowaniem opartym na indeksie kolumn Parquet.
  • 9 listopada 2021 r.
    • Wprowadzono dodatkowe flagi konfiguracji, aby umożliwić szczegółową kontrolę zachowań ANSI.
  • 4 listopada 2021 r.
    • Usunięto usterkę, która mogła spowodować niepowodzenie strukturalnego przesyłania strumieniowego przez ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z IOException podobnym do java.io.IOException: No FileSystem for scheme lub może spowodować, że modyfikacje sparkContext.hadoopConfiguration nie będą wprowadzone w zapytaniach.
    • Konektor Apache Spark dla Delta Sharing został zaktualizowany do wersji 0.2.0.
  • 30 listopada 2021 r.
    • Rozwiązano problem z analizowaniem znacznika czasu, który polegał na tym, że ciąg strefy czasowej bez dwukropka był uznawany za nieprawidłowy.
    • Rozwiązano problem związany z brakiem pamięci przy buforowaniu wyników zapytania pod pewnymi warunkami.
    • Naprawiono problem z USE DATABASE podczas przełączania przez użytkownika bieżącego katalogu na inny niż domyślny.

Databricks Runtime 9.0 (EoS)

Zobacz Databricks Runtime 9.0 (EoS).

  • 8 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Usunięto usterkę, który mógł powodować awarię strumieni Structured Streaming z powodu błędu typu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z wyjątkiem IOException, takim jak java.io.IOException: No FileSystem for scheme, lub może powodować, że modyfikacje sparkContext.hadoopConfiguration nie będą miały efektu w zapytaniach.
    • Łącznik Apache Spark Connector for Delta Sharing został uaktualniony do wersji 0.2.0.
  • 22 września 2021 r.
    • Naprawiono błąd w procesie rzutowania tablicy Spark z wartością null na ciąg znaków
  • 15 września 2021 r.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 września 2021 r.
    • Dodano obsługę nazwy schematu (format databaseName.schemaName.tableName) jako nazwy tabeli docelowej dla łącznika Azure Synapse.
    • Dodano obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • [SPARK-33527][SQL] Rozszerzono funkcję dekodowania tak, aby była spójna z głównymi bazami danych.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie w CoarseGrainedExecutorBackend.onDisconnected, aby uniknąć executorsconnected i zapobiec zawieszeniu podczas zamykania funkcji wykonawczej.
  • 25 sierpnia 2021 r.
    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawiono przerwany link do najlepszego notesu wersji próbnej na stronie eksperymentu rozwiązania AutoML.

Databricks Runtime 8.4 (EoS)

Zobacz Databricks Runtime 8.4 (EoS).

  • 19 stycznia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 4 listopada 2021 r.

    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni Structured Streaming z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z IOException, jak java.io.IOException: No FileSystem for scheme, lub który może spowodować, że modyfikacje sparkContext.hadoopConfiguration nie będą zastosowane w zapytaniach.
    • Łącznik Apache Spark dla Delta Sharing został uaktualniony do wersji 0.2.0.

  • 22 września 2021 r.

    • Sterownik Spark JDBC został uaktualniony do wersji 2.6.19.1030
    • [SPARK-36734][SQL] Uaktualnianie usługi ORC do wersji 1.5.1

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 września 2021 r.

    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie w CoarseGrainedExecutorBackend.onDisconnected, aby uniknąć executorsconnected i zapobiec zawieszeniu się zamykania wykonawcy.

  • 25 sierpnia 2021 r.

    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawia usterkę w przekazywaniu poświadczeń spowodowaną przez nową optymalizację pobierania wstępnego Parquet, gdzie poświadczenia użytkownika mogą nie zostać odnalezione przy uzyskiwaniu dostępu do plików.

  • 11 sierpnia 2021 r.

    • Naprawiono problem z niezgodnością RocksDB, który uniemożliwia działanie starszej wersji środowiska Databricks Runtime 8.4. Dzięki temu poprawiono zgodność z usługą Auto Loader, COPY INTOi stanowymi aplikacjami przesyłania strumieniowego.
    • Naprawia usterkę podczas używania modułu ładującego automatycznego do odczytywania plików CSV z niezgodnymi plikami nagłówków. Jeśli nazwy kolumn nie są zgodne, kolumna zostanie wypełniona wartościami null. Teraz, jeśli podano schemat, zakłada, że schemat jest taki sam i zapisze tylko niezgodności kolumn, jeśli uratowane kolumny danych są włączone.
    • Dodaje nową opcję o nazwie externalDataSource do łącznika usługi Azure Synapse, aby usunąć wymogi CONTROL dotyczące uprawnień w bazie danych do odczytu przy użyciu PolyBase.

  • 29 lipca 2021 r.

    • [SPARK-36034][BUILD] Przebaseuj datę/godzinę w filtrach przeniesionych do Parquet
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

Databricks Runtime 8.3 (EoS)

Zobacz Databricks Runtime 8.3 (EoS).

  • 19 stycznia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 4 listopada 2021 r.

    • Usunięto błąd, który mógł powodować niepowodzenie strumieni Structured Streaming z powodu wyjątku ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z powodu IOException, takiego jak java.io.IOException: No FileSystem for scheme, lub może sprawić, że modyfikacje sparkContext.hadoopConfiguration nie zostaną zastosowane w zapytaniach.

  • 22 września 2021 r.

    • Sterownik Spark JDBC został uaktualniony do wersji 2.6.19.1030

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabel char/varchar orc utworzonych i zapisanych przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawia usterkę w przekazywaniu poświadczeń spowodowaną przez nową optymalizację prefetch dla Parquet, w wyniku której przekazywane poświadczenie użytkownika może nie zostać odnalezione podczas uzyskiwania dostępu do plików.

  • 11 sierpnia 2021 r.

    • Naprawia usterkę przy użyciu Automatycznego Ładowacza do odczytywania plików CSV z niezgodnymi nagłówkami. Jeśli nazwy kolumn nie są zgodne, kolumna zostanie wypełniona wartościami null. Teraz, jeśli podano schemat, zakłada, że schemat jest taki sam i zapisze tylko niezgodności kolumn, jeśli uratowane kolumny danych są włączone.

  • 29 lipca 2021 r.

    • Uaktualnianie łącznika Usługi Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Zmień datę/godzinę w wypchniętych filtrach do Parquet
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Wprowadzono database.schema.table format konektora Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.

  • 15 czerwca 2021 r.

    • Usunięto usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej
    • Dodaje polecenia SQL CREATE GROUP, DROP GROUP, ALTER GROUPSHOW GROUPS, i SHOW USERS . Aby uzyskać więcej informacji, zobacz Oświadczenia dotyczące zabezpieczeń i Pokaż oświadczenia.

Databricks Runtime 8.2 (EoS)

Zobacz Databricks Runtime 8.2 (EoS).

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc utworzonych i zapisanych przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Zmień datę/godzinę w wypchniętych filtrach do parquet.

  • 29 lipca 2021 r.

    • Aktualizacja łącznika Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagowanie prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Wprowadzono database.schema.table format dla łącznika platformy Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.
    • Usunięto usterkę uniemożliwiającą użytkownikom przechodzenie do starszych dostępnych wersji w tabelach Delta.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że master usuwa zadania wykonawcze, które nie wysłały stanu zakończenia
    • Rozwiązano problem z systemem OOM, który polegał na tym, że automatyczne ładowanie raportuje metryki postępu przesyłania strumieniowego ze strukturą.

Databricks Runtime 8.1 (EoS)

Zobacz Databricks Runtime 8.1 (EoS).

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc utworzonej i zapisanej przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Rebazuj datę/godzinę w wypchniętych filtrach do Parquet.

  • 29 lipca 2021 r.

    • Zaktualizować łącznik Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Usunięto usterkę uniemożliwiającą użytkownikom przechodzenie do starszych dostępnych wersji z tabeli Delta.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i w przypadku utraty procesów wykonawczych.

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • Rozwiązano problem z systemem OOM, który polegał na tym, że automatyczne ładowanie raportuje metryki postępu przesyłania strumieniowego ze strukturą.

  • 27 kwietnia 2021 r.

    • [SPARK-34245][CORE] Upewnij się, że Master usuwa egzekutory, które nie zdołały wysłać stanu zakończenia
    • [SPARK-34856][SQL] Tryb ANSI: zezwalaj na rzutowanie złożonych typów na typ ciągowy
    • [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
    • [SPARK-34769][SQL] AnsiTypeCoercion: zwraca najwęższy możliwy typ konwertowalny spośród TypeCollection
    • [SPARK-34614][SQL] Tryb ANSI: Rzutowanie ciągu na wartość logiczną spowoduje zgłoszenie wyjątku przy błędzie parsowania
    • [SPARK-33794][SQL] Tryb ANSI: poprawiono wyrażenie NextDay, aby zgłosić wyjątek IllegalArgumentException środowiska uruchomieniowego podczas odbierania nieprawidłowych danych wejściowych.

Databricks Runtime 8.0 (EoS)

Zobacz Databricks Runtime 8.0 (EoS).

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Zmień datę/godzinę w filtrowaniu przeniesionym do Parquet.

  • 29 lipca 2021 r.

    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Usunięto usterkę uniemożliwiającą użytkownikom przenoszenie się do wcześniejszych dostępnych wersji tabeli Delta.

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że Master usuwa egzekutory, którym nie udało się przesłać stanu zakończenia

  • 24 marca 2021 r.

    • [SPARK-34681][SQL] Usunięto usterkę dotyczącą pełnego zewnętrznego połączenia z mieszaniem skrótu podczas budowania po lewej stronie z nie-równym warunkiem
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
    • [SPARK-34613][SQL] Naprawa problemu z widokiem, który nie uwzględnia konfiguracji wyłączania wskazówek

  • wtorek, 9 marca 2021 r.

    • [SPARK-34543][SQL] Uwzględnij spark.sql.caseSensitive konfigurację przy rozpoznawaniu specyfikacji partycji w wersji 1 SET LOCATION
    • [SPARK-34392][SQL] Obsługa elementu ZoneOffset +h:mm w narzędziu DateTimeUtils. getZoneId
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • [SPARK-34436][SQL] Wsparcie DPP dla wyrażeń LIKE ANY/ALL

Databricks Runtime 7.6 (EoS)

Zobacz Databricks Runtime 7.6 (EoS).

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Przebuduj datę/godzinę w przekazanych w dół filtrach do Parquet.

  • 29 lipca 2021 r.

    • [SPARK-32998][BUILD] Dodaj możliwość zastąpienia domyślnych repozytoriów zdalnych jedynie repozytoriami wewnętrznymi

  • 14 lipca 2021 r.

    • Usunięto usterkę uniemożliwiającą użytkownikom cofanie się do starszych dostępnych wersji przy użyciu tabel Delta.

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że Master usuwa egzekutory, które nie zdołały przesłać stanu zakończenia

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Popraw kolejność blockIds podczas używania FetchShuffleBlocks do pobierania bloków

  • 9 marca 2021 r.

    • (Tylko platforma Azure) Naprawiono usterkę automatycznego modułu ładującego, która może powodować wyjątek NullPointerException podczas używania środowiska Databricks Runtime 7.6 do uruchamiania starego strumienia automatycznego ładowania utworzonego w środowisku Databricks Runtime 7.2
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • Nieznany węzeł liścia SparkPlan nie jest poprawnie obsługiwany w elemencie SizeInBytesOnlyStatsSparkPlanVisitor
    • Przywróć schemat wyjściowy SHOW DATABASES
    • [Delta][8.0, 7.6] Naprawiono usterkę obliczania w logice automatycznego dostrajania rozmiaru pliku
    • Wyłącz sprawdzanie przestarzałości plików tabeli Delta w dyskowej pamięci podręcznej
    • [SQL] Użyj poprawnego dynamicznego klucza kompilacji oczyszczania, gdy znajduje się wskazówka sprzężenia zakresu
    • Wyłączanie obsługi typów znaków w ścieżce kodu innej niż SQL
    • Unikaj NPE w elemencie DataFrameReader.schema
    • Naprawianie serwera NPE, gdy odpowiedź EventGridClient nie ma jednostki
    • Naprawa błędu odczytu zamkniętego strumienia w narzędziu Azure Auto Loader
    • [SQL] Nie generuj zaleceń dotyczących liczby partycji mieszania, gdy AOS jest włączony

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu true, usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-34260][SQL] Naprawiono błąd UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego.

Databricks Runtime 7.5 (EoS)

Zobacz Databricks Runtime 7.5 (EoS).

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że Master usuwa wykonawców, którzy nie przesłali zakończonego stanu

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Napraw kolejność identyfikatorów bloków podczas pobierania bloków za pomocą FetchShuffleBlocks

  • wtorek, 9 marca 2021 r.

    • (Tylko platforma Azure) Naprawiono błąd Auto Loadera, który może powodować wyjątek NullPointerException podczas używania środowiska Databricks Runtime 7.5 do uruchamiania starego strumienia AutoLoadera utworzonego w środowisku Databricks Runtime 7.2.
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • Nieznany węzeł liścia SparkPlan nie jest poprawnie obsługiwany w elemencie SizeInBytesOnlyStatsSparkPlanVisitor
    • Przywróć schemat wyjściowy SHOW DATABASES
    • Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SQL] Użyj poprawnego dynamicznego klucza przycinania, gdy obecna jest wskazówka sprzężenia zakresu
    • Wyłączanie obsługi typów znaków w ścieżce kodu innej niż SQL
    • Unikaj błędu Null Pointer Exception (NPE) w metodzie DataFrameReader.schema
    • Naprawianie serwera NPE, gdy odpowiedź EventGridClient nie ma jednostki
    • Napraw usterkę związaną z odczytem zamkniętego strumienia w narzędziu Azure Auto Loader

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości "true", usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają w FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-34260][SQL] Poprawiono błąd UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresji doświadczali użytkownicy wykonujący zapytania za pośrednictwem ODBC/JDBC z włączoną serializacją Arrow.
    • Wprowadzono kontrole czasu zapisu do klienta Hive, aby zapobiec uszkodzeniu metadanych w metastore Hive dla tabel Delta.
    • Naprawiono regresję, która uniemożliwiła uruchomienie DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię Bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacyjnym z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i wskazać, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale wynik samołączenia nie zawiera wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub transformacja następująca po dołączeniu DataFrame odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Uaktualnij zestaw Azure Storage SDK z wersji 2.3.8 do 2.3.9.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33480][SQL] aktualizuje komunikat o błędzie sprawdzania długości wstawiania tabeli char/varchar

Databricks Runtime 7.3 LTS (EoS)

Zobacz Databricks Runtime 7.3 LTS (EoS).

  • 10 września 2023 r.

    • Różne poprawki błędów.

  • 30 sierpnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • [SPARK-43413][SQL] Naprawiono IN podzapytanie ListQuery nullowalność.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.

  • 17 maja 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 11 kwietnia 2023

    • [SPARK-42967][CORE] Poprawiono wartość SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
    • Różne poprawki błędów.

  • 29 marca 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2023

    • Różne poprawki błędów.

  • 28 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2023 r.

    • Typy tabel JDBC są teraz domyślnie oznaczone jako „ZEWNĘTRZNE”.

  • 18 stycznia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Różne poprawki błędów.

  • 15 listopada 2022 r.

    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 1 listopada 2022 r.

    • [SPARK-38542][SQL] UnsafeHashedRelation powinien serializować numKeys out

  • 18 października 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • środa, 5 października 2022 r.

    • Różne poprawki błędów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2022 r.

    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych

  • 6 września 2022 r.

    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodaj walidację inputCols dla Imputera dla przypadku pustego wejścia

  • 24 sierpnia 2022 r.

    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 9 sierpnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 27 lipca 2022 r.

    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 13 lipca 2022 r.

    • [SPARK-32680][SQL] Nie przetwarzaj wstępnie V2 CTAS z nierozstrzygniętym zapytaniem
    • Wyłączono funkcję Auto Loader polegającą na korzystaniu z natywnych interfejsów API chmury do wyświetlania listy katalogów w usłudze Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 5 lipca 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 2 czerwca 2022 roku

    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 maja 2022 r.

    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 19 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 6 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 14 marca 2022 r.

    • Usuwanie klas podatnych na zagrożenia z pliku jar log4j 1.2.17
    • Różne poprawki błędów.

  • 23 lutego 2022 r.

    • [SPARK-37859][SQL] Nie sprawdzaj metadanych podczas porównywania schematów

  • 8 lutego 2022 r.

    • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 lutego 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 26 stycznia 2022 r.

    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.

  • 19 stycznia 2022 r.

    • Kanał domyślny Conda jest usuwany z wersji 7.3 ML LTS
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 7 grudnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 4 listopada 2021 r.

    • Naprawiono błąd, który mógł powodować awarie strumieni Structured Streaming z powodu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z IOException podobnym do java.io.IOException: No FileSystem for scheme lub które mogą powodować, że modyfikacje sparkContext.hadoopConfiguration nie będą miały skutku w zapytaniach.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli ORC typu char/varchar, gdy jest tworzona i zapisywana przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie w CoarseGrainedExecutorBackend.onDisconnected, aby uniknąć executorsconnected i zapobiec zawieszeniu się zamykania funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 29 lipca 2021 r.

    • [SPARK-36034][BUILD] Zmień datę/godzinę w wypchniętych filtrach do Parquet
    • [SPARK-34508][BUILD] Pomiń HiveExternalCatalogVersionsSuite , jeśli sieć nie działa

  • 14 lipca 2021 r.

    • Wprowadzono database.schema.table format łącznika usługi Azure Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.
    • Usunięto usterkę uniemożliwiającą użytkownikom cofanie się w czasie do starszych dostępnych wersji w tabelach Delta.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej
    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że Master usuwa egzekutory, które nie zdołały wysłać stanu zakończenia.
    • [SPARK-35045][SQL] Dodano opcję wewnętrzną do kontrolowania buforu wejściowego w Univocity

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Napraw kolejność blockIds podczas pobierania bloków przy użyciu FetchShuffleBlocks
    • [SPARK-33118][SQL]CREATE TEMPORARY TABLE nie działa z lokalizacją

  • wtorek, 9 marca 2021 r.

    • Zaktualizowany sterownik systemu plików Blob usługi Azure dla usługi Azure Data Lake Storage jest teraz domyślnie włączony. Zapewnia ona wiele ulepszeń stabilności.
    • Napraw separator ścieżki w systemie Windows dla databricks-connect get-jar-dir
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • [DBCONNECT] Dodano obsługę flatMapCoGroupsInPandas w usłudze Databricks Connect 7.3
    • Przywróć schemat wyjściowy SHOW DATABASES
    • [SQL] Użyj poprawnego dynamicznego klucza do przycinania, przy podanej wskazówce dołączenia zakresu
    • Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SQL] Nie generuj porad dotyczących numeru partycji mieszania, gdy usługa AOS jest włączona

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu na wartość true, Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają, do FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-33579][Interfejs użytkownika] Napraw pustą stronę funkcji wykonawczej za serwerem proxy.
    • [SPARK-20044][Interfejs użytkownika] Obsługa interfejsu użytkownika Spark za frontowym serwerem proxy z użyciem prefiksu ścieżki.
    • [SPARK-33277][PYSPARK][SQL] Użyj elementu ContextAwareIterator, aby przestać pobierać dane po zakończeniu zadania.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Użytkownicy przeprowadzający zapytania za pośrednictwem ODBC/JDBC z włączoną serializacją Arrow doświadczali regresji.
    • Naprawiono regresję, która powodowała niepowodzenie uruchomienia DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię bash.

  • 20 stycznia 2021 r.

    • Naprawiono błąd regresji w wydaniu konserwacyjnym z 12 stycznia 2021 r., które mogą spowodować niepoprawny wyjątek AnalysisException i stwierdzić, że kolumna jest niejednoznaczna w złączeniu wewnętrznym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33592][ML][PYTHON] Parametry modułu sprawdzania poprawności uczenia maszynowego Pyspark w narzędziu do szacowaniaParamMap mogą zostać utracone po zapisaniu i ponownym załadowaniu
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan przy join, aby nie zakłócać działania DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-33587][CORE] Zabić executora przy zagnieżdżonych błędach krytycznych
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33316][SQL] Obsługa schematu avro dopuszczanego do wartości null dla schematu katalizatora bez wartości null w zapisie Avro
    • Zadania platformy Spark uruchamiane przy użyciu usługi Databricks Connect mogą zawieszać się na czas nieokreślony z Executor$TaskRunner.$anonfun$copySessionState w śladzie stosu wykonawcy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesi się z powodu błędu niebędącego wyjątkiem
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy rzutować datę na ciąg znaków
    • [SPARK-33260][SQL] Napraw nieprawidłowe wyniki SortExec, kiedy sortOrder jest Stream

  • 5 listopada 2020 r.

    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser().
    • Naprawiono usterkę nieskończonej pętli, gdy czytnik Avro odczytuje bajty MAGIC.
    • Dodaj obsługę uprawnień USAGE.
    • Ulepszenia wydajności sprawdzania uprawnień w kontroli dostępu do tabel.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Można odczytywać i zapisywać dane z DBFS przy użyciu punktu montowania FUSE pod adresem /dbfs/, gdy używany jest klaster z włączonym przekazywaniem poświadczeń i wysoką współbieżnością. Montaże standardowe są obsługiwane, ale montaże, które wymagają poświadczeń przekazywania, nie są jeszcze obsługiwane.
    • [SPARK-32999][SQL] Użyj metody Utils.getSimpleName, aby uniknąć problemów z błędnie sformułowaną nazwą klasy w TreeNode.
    • [SPARK-32585][SQL] Obsługa wyliczenia scala w scalaReflection
    • Naprawiono listowanie katalogów w montowaniu FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 29 września 2020 r.

    • [SPARK-32718][SQL] Usuń niepotrzebne słowa kluczowe dla jednostek interwału
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji na Long.MAX_VALUE, aby pominąć konsolidację netty FrameBuffers, co zapobiega java.lang.IndexOutOfBoundsException w skrajnych przypadkach.

  • 25 kwietnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Różne poprawki błędów.

  • 29 marca 2023 r.

    • Różne poprawki błędów.

  • 14 marca 2023

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 28 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2023 r.

    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 1 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 października 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 5 października 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 24 sierpnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 9 sierpnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 27 lipca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 5 lipca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 2 czerwca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 18 maja 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 19 kwietnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • Różne poprawki błędów.
    • 6 kwietnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • Różne poprawki błędów.
    • 14 marca 2022 r.
      • Różne poprawki błędów.
    • 23 lutego 2022 r.
      • Różne poprawki błędów.
    • 8 lutego 2022 r.
      • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 1 lutego 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 19 stycznia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 22 września 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 30 kwietnia 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • 12 stycznia 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 8 grudnia 2020 r.
      • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 1 grudnia 2020 r.
    • [SPARK-33260][SQL] Naprawa nieprawidłowych wyników w SortExec, gdy sortOrder jest Stream
    • 3 listopada 2020 r.
      • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
      • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • wtorek, 13 października 2020 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.

Rozszerzona obsługa środowiska Databricks Runtime 6.4 (EoS)

Zobacz Databricks Runtime 6.4 (EoS) i Databricks Runtime 6.4 Extended Support (EoS).

  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.
  • 2 czerwca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.
  • 6 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.
  • 14 marca 2022 r.
    • Usuwanie klas podatnych na zagrożenia z pliku jar log4j 1.2.17
    • Różne poprawki błędów.
  • 23 lutego 2022 r.
    • Różne poprawki błędów.
  • 8 lutego 2022 r.
    • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 grudnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2021 r.
    • [SPARK-35576][SQL] Zasłoń poufne informacje w wyniku polecenia SET
  • 7 czerwca 2021 r.
    • Dodaj nową konfigurację o nazwie spark.sql.maven.additionalRemoteRepositories, będącą ciągiem konfiguracji dodatkowego opcjonalnego zdalnego lustra maven, rozdzielaną przecinkami. Wartość domyślna to https://maven-central.storage-download.googleapis.com/maven2/.
  • 30 kwietnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
  • 9 marca 2021 r.
    • Port HADOOP-17215 do sterownika systemu plików Blob Azure (obsługa warunkowego zastępowania).
    • Napraw separator ścieżki w systemie Windows dla databricks-connect get-jar-dir
    • Dodano obsługę magazynu metadanych Hive w wersji 2.3.5, 2.3.6 i 2.3.7
    • Element "totalResultsCollected" został zgłoszony nieprawidłowo po awarii.
  • 24 lutego 2021 r.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu na wartość true, Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które mają użytkownicy, do FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
  • 4 lutego 2021 r.
    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była napotykana przez użytkowników uruchamiających zapytania za pośrednictwem ODBC/JDBC z włączoną serializacją Arrow.
    • Naprawiono regresję, która powodowała niepowodzenie uruchomienia DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię w Bash.
  • 12 stycznia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 grudnia 2020 r.
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [Środowisko 6.4 ML GPU] Wcześniej zainstalowano nieprawidłową wersję (2.7.8-1+cuda11.1) NCCL. Ta wersja poprawia ją do wersji 2.4.8-1+cuda10.0 zgodnej z cudA 10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33260][SQL] Naprawiono nieprawidłowe wyniki z SortExec, gdy sortOrder jest Stream
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
  • 3 listopada 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • Naprawiono błąd czytnika Avro polegający na nieskończonej pętli podczas odczytu bajtów MAGIC.
  • 13 października 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć napotkania niepoprawnej nazwy klasy w TreeNode
    • Naprawiono wylistowywanie katalogów w montażu FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads
  • 24 września 2020 r.
    • Naprawiono poprzednie ograniczenie, w którym w klastrze standardowym przekazywanie nadal ograniczało możliwość korzystania przez użytkownika z wybranej implementacji systemu plików. Teraz użytkownicy będą mogli uzyskiwać dostęp do lokalnych systemów plików bez ograniczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz funkcję podtrzymywania aktywnego połączenia TCP (keep alive) dla połączeń wykonywanych przez sterownik WASB.
  • 25 sierpnia 2020 r.
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS przy użyciu Trigger.Once.
  • 11 sierpnia 2020 r.
    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania przez ContextCleaner
  • 3 sierpnia 2020 r.
    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z włączoną obsługą przekaźnikową.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 7 lipca 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.
  • 21 kwietnia 2020 r.
    • [SPARK-31312][SQL] Instancja klasy Cache dla instancji UDF w HiveFunctionWrapper
  • 7 kwietnia 2020 r.
    • Aby rozwiązać problem z niedziałającym pandas udf w wersjach PyArrow 0.15.0 i nowszych, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby umożliwić obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].
  • 10 marca 2020 r.
    • Zoptymalizowane skalowanie automatyczne jest teraz domyślnie używane w klastrach interaktywnych w planie zabezpieczeń.
    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Zobacz Databricks Runtime 5.5 LTS (EoS) i Databricks Runtime 5.5 Extended Support (EoS).

  • 8 grudnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 sierpnia 2021 r.
    • Obniżono wcześniej zaktualizowane pakiety Pythona w wersji 5.5 ML z rozszerzonym wsparciem, aby zachować lepszą zgodność z wersją 5.5 ML LTS (obecnie przestarzałą). Aby uzyskać zaktualizowane różnice między dwiema wersjami, zobacz [_]/release-notes/runtime/5.5xml.md).
  • 15 czerwca 2021 r.
    • [SPARK-35576][SQL] Zredaguj poufne informacje w wynikach polecenia SET
  • 7 czerwca 2021 r.
    • Dodaj nową konfigurację o nazwie spark.sql.maven.additionalRemoteRepositories, będącą ciągiem znaków rozdzielanym przecinkami, dla opcjonalnego dodatkowego zdalnego repozytorium maven. Wartość domyślna to https://maven-central.storage-download.googleapis.com/maven2/.
  • 30 kwietnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
  • 9 marca 2021 r.
    • Port HADOOP-17215 do sterownika systemu plików Azure Blob (obsługa warunkowego nadpisywania).
  • 24 lutego 2021 r.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje, które użytkownicy mają, ze wszystkich baz danych do FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
  • 12 stycznia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Poprawka dla [HADOOP-17130].
  • 8 grudnia 2020 r.
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33260][SQL] Napraw nieprawidłowe wyniki SortExec, gdy sortOrder jest strumieniem
    • [SPARK-32635][SQL] Naprawianie propagacji składanej

  • 29 października 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć błędu źle sformułowanej nazwy klasy w TreeNode.

  • 24 września 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

  • 18 sierpnia 2020 r.

    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania przez moduł ContextCleaner

  • 3 sierpnia 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego

  • 7 lipca 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.

  • 21 kwietnia 2020 r.

    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z niedziałaniem pandas udf z PyArrow w wersji 0.15.0 lub nowszej, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 25 marca 2020 r.

    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

  • 10 marzec 2020 r.

    • Dane wyjściowe zadania, takie jak dane dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu stdout ze sterownika poprzez ustawienie konfiguracji Spark na wartość true. Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notatnika.

  • 18 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z usługą Azure Data Lake Storage (ADLS) powoduje spadek wydajności z powodu nieprawidłowej lokalnej obsługi wątków, gdy włączone jest wstępne pobieranie danych przez klienta ADLS. Ta wersja wyłącza prefetching ADLS, gdy przekazywanie poświadczeń jest włączone, aż do momentu wprowadzenia odpowiedniej poprawki.

  • 28 stycznia 2020 r.

    • [SPARK-30447][SQL] Problem z nullowalnością w propagacji stałych.

  • 14 stycznia 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.

  • 19 listopada 2019 r.

    • [SPARK-29743] [SQL] próbka powinna ustawić parametr needCopyResult na wartość true, jeśli podrzędny needCopyResult ma wartość true.
    • Wersja języka R została niezamierzona uaktualniona do wersji 3.6.1 z wersji 3.6.0. Obniżyliśmy go z powrotem do wersji 3.6.0.

  • 5 listopada 2019 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_212 do wersji 1.8.0_222.

  • 23 października 2019 r.

    • [SPARK-29244][CORE] Zapobieganie ponownemu zwolnieniu strony w BytesToBytesMap

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga sterownika Simba Apache Spark ODBC w wersji 2.6.10).
    • Rozwiązano problem dotyczący używania polecenia Optimize z klastrami, w których włączono listę kontrolną dostępu (ACL) dla tabeli.
    • Rozwiązano problem polegający na tym, że pyspark.ml biblioteki przestały działać z powodu błędu zabronionego UDF w Scala na klastrach z włączonym ACL tabeli i przekazywaniem poświadczeń.
    • Dozwolone metody SerDe i SerDeUtil na potrzeby przekazywania poświadczeń.
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.

  • 24 września 2019 r.

    • Zwiększona stabilność modułu zapisywania Parquet.
    • Rozwiązano problem polegający na tym, że zapytanie Thrift, które zostało anulowane przed rozpoczęciem wykonywania, mogło utknąć w stanie ROZPOCZĘTE.

  • 10 września 2019 r.

    • Dodaj iterator wątkowo-bezpieczny do BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Zezwalanie Pythonowi na dołączenie do wątku połączenia w celu propagacji błędów
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • Ulepszona redaction poświadczeń.
    • [SPARK-27330][SS] obsługa przerywania zadania w foreach writer
    • [SPARK-28642]Ukryj poświadczenia w SHOW CREATE TABLE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla operacji ShuffleExchangeExec w przypadku repartycjonowania

  • 27 sierpnia 2019 r.

    • [SPARK-20906][SQL] Pozwól na określenie przez użytkownika schematu w interfejsie API to_avro z rejestrem schematów
    • [SPARK-27838][SQL] Obsługa użytkownika dostarczyła schemat avro bez wartości null dla schematu katalizatora dopuszczanego do wartości null bez żadnego rekordu null
    • Poprawa podróży w czasie usługi Delta Lake
    • Rozwiązano problem dotyczący określonego transform wyrażenia
    • Obsługuje zmienne emisji po włączeniu izolacji procesu

  • 13 sierpnia 2019 r.

    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28260]Dodawanie stanu CLOSED do elementu ExecutionState
    • [SPARK-28489][SS]Naprawiono błąd, przez który platforma KafkaOffsetRangeCalculator.getRanges może gubić przesunięcia

  • 30 lipca 2019 r.

    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część ułamkowa sekundy w CalendarInterval powinna być uzupełniona przed analizowaniem.
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
    • [SPARK-28355][CORE][PYTHON] Użyj ustawień Spark dla progu, przy którym funkcja UDF jest kompresowana w trakcie emisji

Rozszerzona obsługa usługi Databricks Light 2.4

Zobacz Databricks Light 2.4 (EoS) i Databricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

Zobacz Databricks Runtime 7.4 (EoS).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Zapewnij, że Master usuwa egzekutory, które nie wysłały stanu zakończenia
    • [SPARK-35045][SQL] Dodaj wewnętrzną opcję sterowania buforem wejściowym w univocity oraz konfigurację dla rozmiaru buforu wejściowego CSV.

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Napraw kolejność blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks

  • 9 marca 2021 r.

    • Zaktualizowany sterownik systemu plików Blob dla usługi Azure Data Lake Storage jest teraz domyślnie włączony. Zapewnia ona wiele ulepszeń stabilności.
    • [ES-67926][ui] Poprawić link href w wizualizacji DAG Spark
    • [ES-65064] Przywróć schemat wyjściowy SHOW DATABASES
    • [SC-70522][sql] Użyj poprawnego dynamicznego klucza przycinania podczas budowy, gdy obecna jest wskazówka sprzężenia zakresu.
    • [SC-35081] Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SC-70640] Naprawa NPE, gdy odpowiedź EventGridClient nie ma obiektu
    • [SC-70220][sql] Nie generuj wskazówek dotyczących liczby partycji shuffle, gdy AOS jest włączony

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który powodował, że Spark zwracał nieprawidłowe wyniki, gdy precyzja dziesiętna i skala pliku Parquet różniły się od schematu Sparka.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych użytkowników do FunctionRegistry. Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-33579][Interfejs użytkownika] Napraw pustą stronę executora przez serwer proxy.
    • [SPARK-20044][Interfejs użytkownika] Obsługa interfejsu użytkownika platformy Spark za odwróconym serwerem proxy front-end przy użyciu prefiksu ścieżki.
    • [SPARK-33277][PYSPARK][SQL] Użyj elementu ContextAwareIterator, aby przestać konsumować po zakończeniu zadania.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamiających zapytania za pośrednictwem ODBC/JDBC z włączoną serializacją Arrow.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacyjnym z 12 stycznia 2021 r., która może prowadzić do niepoprawnego wyjątku AnalysisException, informującego, że kolumna jest niejednoznaczna w przypadku sprzężenia własnego. Ta regresja występuje, gdy użytkownik wykonuje operację łączenia ramki danych z jej pochodną ramką danych (tzw. samosprzężenie) przy następujących warunkach:
      • Te dwa DataFrame'y mają wspólne kolumny, ale wynik sprzężenia samodzielnego nie ma wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do niezależnych kolumn. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w join(), aby nie zakłócić działania DetectAmbiguousSelfJoin

  • 8 grudnia 2020 r.

    • [SPARK-33587][CORE] Zakończ proces wykonawczy przy zagnieżdżonych błędach krytycznych
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33316][SQL] Obsługa schematu avro dopuszczanego do wartości null dla schematu katalizatora bez wartości null w zapisie Avro
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu, który nie jest związany z wyjątkiem.
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z CreateArray nie respektuje indeksu opartego na jednym.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy rzutuje się datę na ciąg znaków.
    • [SPARK-33260][SQL] Napraw nieprawidłowe wyniki z modułu SortExec, gdy sortOrder jest Stream
    • [SPARK-33272][SQL] przycinanie mapowania atrybutów w ramach QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (EoS)

Zobacz Databricks Runtime 7.2 (EoS).

  • 4 lutego 2021 r.
    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja wystąpiła u użytkowników uruchamiających zapytania przez ODBC/JDBC z włączoną serializacją Arrow.
    • Naprawiono regresję, która powodowała, że DBFS FUSE nie uruchamiał się, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię Bash.
  • 20 stycznia 2021 r.
    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i wskazywać, że kolumna jest niejednoznaczna w zapytaniu typu self join. Ta regresja występuje, gdy użytkownik łączy ramkę danych z jej pochodną ramką danych (tzw. samołączenie) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe łączenia wewnętrznego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po połączeniu Dataframe odnosi się do kolumn, które nie są wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)
  • 12 stycznia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w join(), aby nie zakłócać działania funkcji DetectAmbiguousSelfJoin
  • 8 grudnia 2020 r.
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33404][SQL] Naprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu niebędącego wyjątkiem
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33306][SQL] Strefa czasowa jest wymagana podczas konwersji daty do ciągu znaków.
    • [SPARK-33260][SQL] Napraw nieprawidłowe wyniki w SortExec, gdy sortOrder to Stream
  • 3 listopada 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli w czytniku Avro podczas odczytywania bajtów MAGIC.
  • wtorek, 13 października 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj metody Utils.getSimpleName, aby uniknąć problemów z nieprawidłowymi nazwami klas w strukturze TreeNode
    • Naprawiono wyświetlanie katalogów na montowaniu FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML.
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads
  • 29 września 2020 r.
    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie AlreadyOptimized, aby zapobiec ponownej analizy V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji na Long.MAX_VALUE, aby pominąć konsolidację netty FrameBuffers, co uniemożliwia java.lang.IndexOutOfBoundsException w przypadkach brzegowych.
  • 24 września 2020 r.
    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Kopiuj tagi wyłącznie do węzłów bez tagów przy przekształcaniu planów
    • [SPARK-32659][SQL] Naprawiono problem z danymi dotyczącymi dynamicznego oczyszczania partycji na typie nieatomowym
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Zobacz Databricks Runtime 7.1 (EoS).

  • 4 lutego 2021 r.
    • Naprawiono regresję, która powodowała niepowodzenie uruchamiania DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię Bash.
  • 20 stycznia 2021 r.
    • Naprawiono regresję w wydaniu konserwacyjnym z 12 stycznia 2021 r., która może spowodować nieprawidłowe wystąpienie wyjątku AnalysisException i wskazać, że kolumna jest niejednoznaczna w samodzielnym sprzężeniu. Ta regresja występuje, gdy użytkownik łączy ramkę danych z jej pochodną ramką danych (tzw. samołączenie) przy następujących warunkach:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia wewnętrznego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • W pochodnej ramce danych niektóre kolumny są wykluczane za pomocą metod select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po połączeniu DataFrame odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)
  • 12 stycznia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w łączeniu, aby nie przerywać DetectAmbiguousSelfJoin
  • 8 grudnia 2020 r.
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • Zadania platformy Spark uruchamiane przy użyciu usługi Databricks Connect mogą zawiesić się na czas nieokreślony z Executor$TaskRunner.$anonfun$copySessionState w śledzeniu stosu funkcji wykonawczej.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu nie dotyczącego wyjątku
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z funkcją CreateArray nie respektuje indeksowania opartego na jedynce.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana przy rzutowaniu daty na ciąg
  • 3 listopada 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli w czytniku Avro przy odczycie bajtów MAGIC.
  • wtorek, 13 października 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć napotkania źle sformułowanej nazwy klasy w kontekście węzła TreeNode.
    • Naprawiono wyświetlanie katalogów w montowaniu FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads
  • 29 września 2020 r.
    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie AlreadyOptimized, aby zapobiec ponownej analizie V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji na Long.MAX_VALUE, aby pominąć konsolidację netty FrameBuffers, co uniemożliwia w nietypowych przypadkach java.lang.IndexOutOfBoundsException.
  • 24 września 2020 r.
    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Kopiowanie tagów tylko do węzła bez tagów podczas przekształcania planów
    • [SPARK-32659][SQL] Naprawiono problem z danymi związany z dynamicznym oczyszczaniem partycji po wstawieniu w kontekście typów nieatomowych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
  • 25 sierpnia 2020 r.
    • [SPARK-32159][SQL] Rozwiązywanie problemów z integracją między elementami Aggregator[Array[_], _, _] i UnresolvedMapObjects
    • [SPARK-32559][SQL] Napraw logikę przycinania w elemecie UTF8String.toInt/toLong, która nie obsługiwała poprawnie znaków innych niż ASCII
    • [SPARK-32543][R] Usuń arrow::as_tibble użycie w SparkR
    • [SPARK-32091][CORE] Ignoruj błąd przekroczenia limitu czasu podczas usuwania bloków na utraconym wykonawcy
    • Rozwiązano problem dotyczący łącznika usługi Azure Synapse z poświadczeniami MSI
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32594][SQL] Naprawianie serializacji dat wstawionych do tabel programu Hive
    • [SPARK-32237][SQL] Rozwiąż wskazówkę w CTE
    • [SPARK-32431][SQL] Sprawdzenie zduplikowanych kolumn zagnieżdżonych podczas odczytu z wbudowanych źródeł danych
    • [SPARK-32467][Interfejs użytkownika] Unikaj dwukrotnego kodowania adresu URL przekierowania https
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z Trigger.Once.
  • 11 sierpnia 2020 r.
    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight powinien przepisać tylko atrybuty węzłów nadrzędnych planu konfliktu
    • [SPARK-32234][SQL] Polecenia spark SQL kończą się niepowodzeniem podczas wybierania tabel ORC
  • 3 sierpnia 2020 r.
    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą passthrough.

Databricks Runtime 7.0 (EoS)

Zobacz Databricks Runtime 7.0 (EoS).

  • 4 lutego 2021 r.
    • Naprawiono błąd regresji, który powodował niepowodzenie uruchomienia programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierały nieprawidłową składnię Bash.
  • 20 stycznia 2021 r.
    • Naprawiono problem regresji w wydaniu konserwacyjnym z 12 stycznia 2021 r., który może spowodować niepoprawny wyjątek AnalysisException, powodując komunikat, że kolumna jest niejednoznaczna w sprzężeniu zwrotnym. Ta regresja występuje, gdy użytkownik łączy ramkę danych z jej pochodną ramką danych (tzw. samopołączenie) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pomocą select, groupBy lub window.
      • Warunek łączenia lub następująca transformacja po połączeniu ramki danych odnosi się do kolumn, które nie są wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)
  • 12 stycznia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w łączeniu(), aby nie zakłócać działania mechanizmu DetectAmbiguousSelfJoin
  • 8 grudnia 2020 r.
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33404][SQL] Naprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja PySpark zawiesza się z powodu błędu niebędącego wyjątkiem
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 grudnia 2020 r.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy konwertuje się datę na ciąg znaków
  • 3 listopada 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.
  • 13 października 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj funkcji Utils.getSimpleName, aby uniknąć błędu związanego z niepoprawną nazwą klasy w kontekście TreeNode.
    • Naprawiono wyszczególnianie katalogów w montowaniu FUSE, które zawierają nazwy plików z niewłaściwymi znakami XML.
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads
  • 29 września 2020 r.
    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie AlreadyOptimized, aby zapobiec ponownej analizie V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji na Long.MAX_VALUE, aby pominąć konsolidację netty FrameBuffers, co uniemożliwia java.lang.IndexOutOfBoundsException w skrajnych przypadkach.
  • 24 września 2020 r.
    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Tagi kopiowane są tylko do węzłów bez tagów podczas przekształcania planów
    • [SPARK-32659][SQL] Naprawiono problem z danymi związanymi z wstawionym dynamicznym przycinaniem partycji na typie nie-atomowym.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
  • 25 sierpnia 2020 r.
    • [SPARK-32159][SQL] Rozwiązywanie problemów z integracją między elementami Aggregator[Array[_], _, _] i UnresolvedMapObjects
    • [SPARK-32559][SQL] Napraw logikę przycinania w elemecie UTF8String.toInt/toLong, która nie obsługiwała poprawnie znaków innych niż ASCII
    • [SPARK-32543][R] Usuń użycie arrow::as_tibble w SparkR
    • [SPARK-32091][CORE] Zignoruj błąd przekroczenia limitu czasu podczas usuwania bloków na utraconym wykonawcy
    • Rozwiązano problem dotyczący łącznika usługi Azure Synapse przy użyciu poświadczeń MSI
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32594][SQL] Naprawianie serializacji dat wstawionych do tabel programu Hive
    • [SPARK-32237][SQL] Rozwiązywanie wskazówki w CTE
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • [SPARK-32467][Interfejs użytkownika] Unikaj dwukrotnego kodowania adresu URL przekierowania https
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z opcji Trigger.Once.
  • 11 sierpnia 2020 r.
    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight powinien przepisać tylko atrybuty dotyczące węzłów nadrzędnych w ramach planu konfliktu
    • [SPARK-32234][SQL] Polecenia spark SQL kończą się niepowodzeniem podczas wybierania tabel ORC
    • Teraz możesz użyć funkcji transformacji LDA w klastrze z włączoną funkcją przekazywania.

Databricks Runtime 6.6 (EoS)

Zobacz Databricks Runtime 6.6 (EoS).

  • 1 grudnia 2020 r.
    • [SPARK-33260][SQL] Napraw nieprawidłowe wyniki SortExec, gdy sortOrder to Stream
    • [SPARK-32635][SQL] Naprawa propagacji składanej
  • 3 listopada 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.
  • wtorek, 13 października 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć napotkania źle sformułowanej nazwy klasy w TreeNode
    • Naprawiono listowanie katalogów w montażu FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML.
    • System montowania FUSE nie używa już ListMultipartUploads
  • 24 września 2020 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz utrzymanie aktywności TCP dla połączeń wykonanych przez sterownik WASB.
  • 25 sierpnia 2020 r.
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z funkcji "Trigger.Once".
  • 11 sierpnia 2020 r.
    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania z modułu ContextCleaner
    • [SPARK-31967][Interfejs użytkownika] Przejście na wersję vis.js 4.21.0, by naprawić regresję w czasie ładowania interfejsu użytkownika zadań
  • 3 sierpnia 2020 r.
    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z włączoną obsługą przekazywania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 6.5 (EoS)

Zobacz Databricks Runtime 6.5 (EoS).

  • 24 września 2020 r.
    • Naprawiono wcześniejsze ograniczenie polegające na tym, że przekazywanie w klastrze standardowym nadal ograniczało implementację systemu plików używanego przez użytkownika. Teraz użytkownicy będą mogli uzyskiwać dostęp do lokalnych systemów plików bez ograniczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz utrzymywanie aktywności TCP dla połączeń realizowanych przez sterownik WASB.
  • 25 sierpnia 2020 r.
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.
  • 11 sierpnia 2020 r.
    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania w ContextCleaner
  • 3 sierpnia 2020 r.
    • Teraz możesz użyć funkcji transformacji LDA w klastrze z obsługą przekazywania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 7 lipca 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_242 do 1.8.0_252.
  • 21 kwietnia 2020 r.
    • [SPARK-31312][SQL] Instancja klasy Cache dla wystąpienia funkcji UDF w HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

Zobacz Databricks Runtime 6.3 (EoS).

  • 7 lipca 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.

  • 21 kwietnia 2020 r.

    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z biblioteką pandas udf nie działającą z wersją PyArrow 0.15.0 i nowszymi, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 10 marzec 2020 r.

    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

  • 18 lutego 2020 r.

    • Przekazywanie poświadczeń w ADLS ma spadek wydajności z powodu nieprawidłowej obsługi lokalnych zasobów wątków, gdy włączone jest wstępne pobieranie przez klienta ADLS. Ta wersja wyłącza prefetching ADLS, gdy przekazywanie poświadczeń jest włączone, do momentu wdrożenia właściwej poprawki.

  • 11 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • [SPARK-30447][SQL] Kwestia nullowalności w propagacji stałej
    • [SPARK-28152][SQL] Dodawanie starszego konfiktu dla starego mapowania liczb MsSqlServerDialect
    • Domyślna lista funkcji nadpisywania została ustawiona, aby modele ML rozszerzające MLWriter mogły wywołać tę funkcję.

Databricks Runtime 6.2 (EoS)

Zobacz Databricks Runtime 6.2 (EoS).

  • 21 kwietnia 2020 r.

    • [SPARK-31312][SQL] Zapisywanie w pamięci podręcznej instancji klasy Cache dla instancji funkcji zdefiniowanej przez użytkownika w HiveFunctionWrapper.

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z niedziałającą funkcją pandas udf w przypadku użycia PyArrow w wersji 0.15.0 lub wyższej, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby zapewnić obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 25 marca 2020 r.

    • Dane wyjściowe zadania, takie jak dane wyjściowe logów emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu stdout z drivera, ustawiając konfigurację spark.databricks.driver.disableScalaOutput Spark na true. Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notatnika.

  • 10 marzec 2020 r.

    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

  • 18 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z ADLS doświadcza spadku wydajności z powodu nieprawidłowej obsługi lokalnej zmiennej wątku, gdy włączone jest wstępnie ładowanie klienta ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS, gdy włączone jest przekazywanie poświadczeń, do czasu uzyskania odpowiedniego rozwiązania.

  • 28 stycznia 2020 r.

    • Funkcja nadpisywania składników modeli uczenia maszynowego znajdujących się na liście dozwolonych dla klastrów z włączoną opcją przekazywania poświadczeń, aby zapisywanie modelu mogło używać trybu nadpisywania w tych klastrach.
    • [SPARK-30447][SQL] Problem z nullowalnością w propagacji stałej.
    • [SPARK-28152][SQL] Dodaj dziedziczną konfigurację do starego mapowania liczbowego w MsSqlServerDialect.

  • 14 stycznia 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.

  • 10 grudnia 2019 r.

    • [SPARK-29904][SQL] Analizowanie sygnatur czasowych z dokładnością do mikrosekund przez źródła danych JSON/CSV.

Databricks Runtime 6.1 (EoS)

Zobacz Databricks Runtime 6.1 (EoS).

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z niedziałającą biblioteką pandas udf z PyArrow 0.15.0 lub nowszymi wersjami, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 25 marca 2020 r.

    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika przesyłane do stdout, podlegają ograniczeniu rozmiaru do 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu wyjścia stdout ze sterownika przez ustawienie konfiguracji Spark na wartość spark.databricks.driver.disableScalaOutputtrue. Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych w przypadku zadań JAR, ponieważ spowoduje to wyłączenie wyników notatnika.

  • 10 marzec 2020 r.

    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

  • 18 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z usługą ADLS powoduje spadek wydajności z powodu nieprawidłowej obsługi wątku lokalnego, kiedy włączone jest wstępne pobieranie danych przez klienta ADLS. Ta wersja wyłącza wstępne pobieranie ADLS, gdy przekazywanie poświadczeń jest włączone, do czasu zapewnienia odpowiedniej poprawki.

  • 28 stycznia 2020 r.

    • [SPARK-30447][SQL] Problem z nullowalnością w propagacji stałej.
    • [SPARK-28152][SQL] Dodaj konfigurację zgodności dla starego mapowania numerycznego w MsSqlServerDialect.

  • 14 stycznia 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.

  • 7 listopada 2019 r.

  • 5 listopada 2019 r.

    • Usunięto usterkę w DBFS FUSE, aby obsługiwać punkty montowania mające // w jego ścieżce.
    • [SPARK-29081] Zastąp wywołania SerializationUtils.clone we właściwościach szybszą implementacją
    • [SPARK-29244][CORE] Zapobieganie ponownemu zwolnieniu strony w BytesToBytesMap
    • (6.1 ML) Biblioteka mkl w wersji 2019.4 została zainstalowana przypadkowo. Obniżyliśmy wersję mkl do 2019.3, aby dopasować ją do dystrybucji Anaconda 2019.03.

Databricks Runtime 6.0 (EoS)

Zobacz Databricks Runtime 6.0 (EoS).

  • 25 marca 2020 r.

    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu elementu stdout ze sterownika, ustawiając konfigurację platformy spark.databricks.driver.disableScalaOutput Spark na true. Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notebooka.

  • 18 lutego 2020 r.

    • Przekazywanie poświadczeń przy użyciu usługi ADLS powoduje spadek wydajności z powodu niepoprawnej obsługi lokalnej wątku, gdy włączone jest wstępne pobieranie przez klienta ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS, gdy przekazywanie poświadczeń jest włączone, do czasu, gdy znajdziemy odpowiednie rozwiązanie.

  • 11 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek

  • 28 stycznia 2020 r.

    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej.
    • [SPARK-28152][SQL] Dodaj konfigurację zgodności wstecznej dla starego mapowania liczb MsSqlServerDialect.

  • 14 stycznia 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.

  • 19 listopada 2019 r.

    • [SPARK-29743] [SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true

  • 5 listopada 2019 r.

    • dbutils.tensorboard.start() Teraz obsługuje program TensorBoard 2.0 (jeśli został zainstalowany ręcznie).
    • Poprawiono błąd w DBFS FUSE, aby obsługiwać punkty montowania mające // w swojej ścieżce.
    • [SPARK-29081]Zastąp wywołania funkcji SerializationUtils.clone we właściwościach szybszą implementacją

  • 23 października 2019 r.

    • [SPARK-29244][CORE] Zapobieganie ponownemu zwolnieniu zwolnionej strony w BytesToBytesMap

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga sterownika Simba Apache Spark ODBC w wersji 2.6.10).
    • Rozwiązano problem dotyczący używania polecenia Optimize w klastrach z włączonymi listami ACL dla tabel.
    • Rozwiązano problem polegający na tym, że pyspark.ml biblioteki zawodziły z powodu błędu wykonania funkcji Scala UDF na klastrach z włączonym ACL tabeli i przekazywaniem poświadczeń.
    • Dozwolone metody SerDe/SerDeUtil dla przekazywania poświadczeń.
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.
    • Rozwiązano problem polegający na tym, że poświadczenia użytkownika nie były przekazywane do zadań utworzonych przez dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

Zobacz Databricks Runtime 5.4 for ML (EoS).

  • 18 czerwca 2019 r.
    • Ulepszona obsługa aktywnych eksperymentów MLflow w integracji z Hyperopt
    • Ulepszone komunikaty w funkcji Hyperopt
    • Zaktualizowano pakiet Marchkdown z wersji 3.1 do 3.1.1

Databricks Runtime 5.4 (EoS)

Zobacz Databricks Runtime 5.4 (EoS).

  • 19 listopada 2019 r.
    • [SPARK-29743] [SQL] przykład powinien ustawić needCopyResult na true, jeśli jego podrzędny element ma needCopyResult ustawiony na true
  • 8 października 2019 r.
    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.
  • 10 września 2019 r.
    • Dodaj iterator bezpieczny dla wątków do BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa anulowania zadania w foreach writer
    • [SPARK-28642]Ukryj poświadczenia w SHOW CREATE TABLE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku operacji z ponownym partycjonowaniem.
    • [SPARK-28699][CORE] Naprawiono przypadek graniczny dotyczący przerywania etapu nieokreślonego
  • 27 sierpnia 2019 r.
    • Rozwiązano problem dotyczący niektórych transform wyrażeń
  • 13 sierpnia 2019 r.
    • Źródło przesyłania strumieniowego Delta powinno sprawdzić protokół najnowszej tabeli.
    • [SPARK-28489][SS]Naprawiono usterkę, przez którą KafkaOffsetRangeCalculator.getRanges może gubić przesunięcia.
  • 30 lipca 2019 r.
    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
  • 2 lipca 2019 r.
    • Uaktualniono program snappy-java z wersji 1.1.7.1 do wersji 1.1.7.3.
  • 18 czerwca 2019 r.
    • Ulepszona obsługa aktywnych przebiegów MLflow w integracji z MLlib.
    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem buforowania dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta

Databricks Runtime 5.3 (EoS)

Zobacz Databricks Runtime 5.3 (EoS).

  • 7 listopada 2019 r.

    • [SPARK-29743][SQL] próbka powinna ustawić właściwość needCopyResult na wartość true, jeśli jej podrzędny element needCopyResult ma wartość true

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.

  • 10 września 2019 r.

    • Dodaj wątkowo bezpieczny iterator do BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa przerywania zadania w module zapisywania foreach
    • [SPARK-28642]Ukryj poświadczenia w SHOW CREATE TABLE
    • [SPARK-28699][SQL] Wyłącz używanie algorytmu radix sort dla operatora ShuffleExchangeExec w przypadku ponownego partycjonowania
    • [SPARK-28699][CORE] Naprawiono specyficzny przypadek w przypadku przerywania etapu nieokreślonego

  • 27 sierpnia 2019 r.

    • Rozwiązano problem dotyczący niektórych transform wyrażeń

  • 13 sierpnia 2019 r.

    • Źródło przesyłania strumieniowego Delta powinno sprawdzić najnowszy protokół tabeli.
    • [SPARK-28489][SS]Naprawiono błąd, przez który KafkaOffsetRangeCalculator.getRanges może pomijać przesunięcia

  • 30 lipca 2019 r.

    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy

  • 18 czerwca 2019 r.

    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem buforowania dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta

  • 28 maja 2019 r.

    • Poprawiona stabilność Delty
    • Tolerowanie operacji IOExceptions podczas odczytywania pliku usługi Delta LAST_CHECKPOINT
      • Dodano funkcję odzyskiwania dla nieudanej instalacji biblioteki.

  • 7 maja 2019 r.

    • Port HADOOP-15778 (ABFS: Naprawianie ograniczania przepustowości po stronie klienta na potrzeby odczytu) do łącznika usługi Azure Data Lake Storage
    • Przenieś HADOOP-16040 (ABFS: Poprawka błędu konfiguracji dla tolerateOobAppends) do konektora Azure Data Lake Storage.
    • Usunięto usterkę wpływającą na ACL tabeli
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów Delta, aby nie identyfikować operacji "wstaw + nadpisz" jako czystej operacji "dołączania".
    • Upewnij się, że buforowanie dysku nie jest wyłączone, gdy ACL tabeli są włączone.
    • [SPARK-27494][ss] Klucze/wartości null nie działają w źródle Kafka w wersji 2
    • [SPARK-27446][r] Użyj istniejącej conf platformy Spark, jeśli jest dostępna.
    • [SPARK-27454][spark-27454][ML][sql] Źródło danych obrazu platformy Spark kończy się niepowodzeniem w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][sql] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][core] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager

Databricks Runtime 5.2 (EoS)

Zobacz Databricks Runtime 5.2 (EoS).

  • 10 września 2019 r.

    • Dodaj iterator bezpieczny dla wątków do BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa przerwania zadania w pisarzu foreach
    • [SPARK-28642]Ukryj poświadczenia w SHOW CREATE TABLE
    • [SPARK-28699][SQL] Wyłączyć używanie sortowania radix dla elementu ShuffleExchangeExec podczas ponownego partycjonowania
    • [SPARK-28699][CORE] Naprawiono przypadek narożny w przypadku przerywania etapu nieokreślony

  • 27 sierpnia 2019 r.

    • Rozwiązano problem dotyczący niektórych transform wyrażeń

  • 13 sierpnia 2019 r.

    • Źródło przesyłania strumieniowego Delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28489][SS]Naprawiono błąd, przez który metoda KafkaOffsetRangeCalculator.getRanges mogła pomijać przesunięcia.

  • 30 lipca 2019 r.

    • [SPARK-28015][SQL] Sprawdź, czy funkcja stringToDate() zużywa całe dane wejściowe dla formatów yyyy oraz yyyy-[m]m
    • [SPARK-28308][CORE] Część podsekundowa CalendarInterval powinna być wyzerowana przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy

  • 2 lipca 2019 r.

    • Tolerowanie wyjątków IO podczas odczytywania pliku Delta LAST_CHECKPOINT

  • 18 czerwca 2019 r.

    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem pamięci podręcznej dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta

  • 28 maja 2019 r.

    • Dodano odzyskiwanie do nieudanej instalacji biblioteki

  • 7 maja 2019 r.

    • Port HADOOP-15778 (ABFS: Poprawka ograniczania przepustowości po stronie klienta dla odczytu) do łącznika Azure Data Lake Storage
    • Port HADOOP-16040 (ABFS: Poprawka dla ustawienia tolerateOobAppends) do łącznika Azure Data Lake Storage.
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów Delta, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dodawania"
    • Upewnij się, że buforowanie dysku nie jest wyłączone, gdy listy kontroli dostępu danych tabeli są włączone.
    • [SPARK-27494][ss] Klucze/wartości null nie działają w źródle Kafka wersja 2
    • [SPARK-27454][spark-27454][ML][sql] Źródło danych obrazu Spark zawodzi w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][sql] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][core] Naprawa zakleszczenia między komponentami UnsafeExternalSorter i TaskMemoryManager

  • 26 marca 2019 r.

    • Unikaj osadzania przesunięć zależnych od platformy dosłownie w całym etapie wygenerowanego kodu
    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.
    • [SPARK-27134][SQL] funkcja array_distinct nie działa poprawnie z kolumnami zawierającymi tablicę tablic.
    • [SPARK-24669][SQL] Wykonaj unieważnienie tabel w przypadku DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] naprawa zagregowanej oceny wyników generowania kodu.
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.

  • 26 lutego 2019 r.

    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja UDF w języku Python jest używana jako warunek sprzężenia typu left-semi.
    • [SPARK-26887][PYTHON] Utwórz datetime.date bezpośrednio zamiast tworzyć dane pośrednie datetime64.
    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Usunięto usterkę wpływającą na PySpark.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.
    • Usunięto usterkę w funkcji Delta, która spowodowała problemy z serializacji.

  • 12 lutego 2019 r.

    • Rozwiązano problem dotyczący używania funkcji Delta z punktami instalacji usługi Azure ADLS.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Naprawiono błąd StackOverflowError podczas stosowania wskazówki dotyczącej asymetrycznego sprzężenia na buforowanej relacji.
    • Naprawiono niespójność między buforowanym RDD w pamięci podręcznej SQL oraz planem fizycznym, co powoduje nieprawidłowy wynik.
    • [SPARK-26706][SQL] Poprawa illegalNumericPrecedence dla typu ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu.
    • Naprawiono wnioskowanie ograniczeń dla operatora okna.
    • Rozwiązano problem dotyczący instalacji bibliotek 'egg' w klastrach z włączoną listą kontroli dostępu (ACL) tabeli.

Databricks Runtime 5.1 (EoS)

Zobacz Databricks Runtime 5.1 (EoS).

  • 13 sierpnia 2019 r.

    • Źródło przesyłania strumieniowego delta powinno sprawdzić aktualny protokół tabeli.
    • [SPARK-28489][SS]Naprawiono błąd, w wyniku którego KafkaOffsetRangeCalculator.getRanges może pomijać przesunięcia

  • 30 lipca 2019 r.

    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy

  • 2 lipca 2019 r.

    • Tolerowanie wyjątków IOExceptions podczas odczytywania pliku Delta LAST_CHECKPOINT

  • 18 czerwca 2019 r.

    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta

  • 28 maja 2019 r.

    • Dodano funkcję odzyskiwania w przypadku nieudanej instalacji biblioteki.

  • 7 maja 2019 r.

    • Port HADOOP-15778 (ABFS: Naprawianie ograniczania przepustowości po stronie klienta na potrzeby odczytu) do łącznika usługi Azure Data Lake Storage
    • Port HADOOP-16040 (ABFS: Poprawka błędu dotyczącego konfiguracji tolerateOobAppends) do łącznika Azure Data Lake Storage
    • Naprawiono sytuację wyścigu podczas ładowania pliku sumy kontrolnej dziennika Delta.
    • Naprawiono logikę wykrywania konfliktów Delta, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dołączania".
    • [SPARK-27494][ss] Klucze/wartości null nie działają w źródle Kafka wersja 2
    • [SPARK-27454][spark-27454][ML][sql] Źródło danych obrazu platformy Spark zawodzi, gdy napotka nielegalne obrazy.
    • [SPARK-27160][sql] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][core] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager

  • 26 marca 2019 r.

    • Unikaj dosłownego osadzania przesunięć zależnych od platformy w kodzie generowanym na cały etap
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.

  • 26 lutego 2019 r.

    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja Python UDF jest używana jako kondycja łączenia lewo-semi.
    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.

  • 12 lutego 2019 r.

    • Rozwiązano problem dotyczący instalowania bibliotek Egg w klastrach z włączonym ACL tabeli.
    • Naprawiono niespójność pomiędzy buforowanym RDD pamięci podręcznej SQL a jego planem fizycznym, co prowadziło do nieprawidłowych wyników.
    • [SPARK-26706][SQL] Poprawka dla typu Byte.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Naprawiono wnioskowanie ograniczeń dla operatora Window.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować, że df.rdd.count() w przypadku użycia UDT zwraca nieprawidłową odpowiedź w niektórych sytuacjach.
    • Rozwiązano problem dotyczący instalacji podszybi.
    • [SPARK-26267]Ponawiaj próbę w przypadku wykrycia nieprawidłowych przesunięć z Kafka.
    • Usunięto usterkę, która wpływa na wiele źródeł strumienia plików w zapytaniu przesyłanym strumieniowo.
    • Naprawiono błąd StackOverflowError podczas umieszczania niesymetrycznej wskazówki sprzężenia w buforowanej relacji.
    • Naprawiono niespójność między buforowanym RDD pamięci podręcznej SQL a jego planem fizycznym, co powoduje nieprawidłowy wynik.

  • 8 stycznia 2019 r.

    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien traktować wartość NULL jako fałsz.
    • Poprawa stabilności Delta Lake.
    • Usługa Delta Lake jest włączona.
    • Rozwiązano problem powodujący niepowodzenie dostępu do Azure Data Lake Storage, gdy dla Azure Data Lake Storage Gen1 włączone jest Microsoft Entra ID Credential Passthrough.
    • Pamięć podręczna IO usługi Databricks jest teraz włączona dla typów wystąpień procesu roboczego serii Ls dla wszystkich warstw cenowych.

Databricks Runtime 5.0 (EoS)

Zobacz Databricks Runtime 5.0 (EoS).

  • 18 czerwca 2019 r.

    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności

  • 7 maja 2019 r.

    • Naprawiono sytuację rywalizacji podczas ładowania pliku kontrolnego dziennika Delta.
    • Naprawiono logikę wykrywania konfliktów w Delta, aby nie identyfikować operacji "wstawianie + nadpisanie" jako czystej operacji "dodawania".
    • [SPARK-27494][ss] Klucze/wartości null nie działają w źródle Kafka w wersji 2.
    • [SPARK-27454][spark-27454][ML][sql] Źródło danych obrazu platformy Spark zawodzi w przypadku napotkania niektórych nieważnych obrazów
    • [SPARK-27160][sql] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
      • [SPARK-27338][core] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager

  • 26 marca 2019 r.

    • Unikaj dosłownego osadzania przesunięć zależnych od platformy w kodzie generowanym na cały etap.
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.

  • 12 marca 2019 r.

    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja udf języka Python jest używana jako warunek sprzężenia po lewej stronie.

  • 26 lutego 2019 r.

    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.

  • 12 lutego 2019 r.

    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
    • [SPARK-26706][SQL] Poprawka illegalNumericPrecedence typu ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Naprawiono wnioskowanie ograniczeń dla operatora okna.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować, że df.rdd.count() z UDT zwraca nieprawidłową odpowiedź w niektórych przypadkach.
    • [SPARK-26267]Spróbuj ponownie podczas wykrywania nieprawidłowych przesunięć z platformy Kafka.
    • Usunięto usterkę, która wpływa na wiele źródeł strumienia plików w zapytaniu przesyłanym strumieniowo.
    • Naprawiono błąd StackOverflowError podczas umieszczania niesymetrycznej wskazówki sprzężenia w buforowanej relacji.
    • Naprawiono niespójność między buforowanym RDD w pamięci podręcznej SQL a jego planem fizycznym, co powodowało nieprawidłowe wyniki.

  • 8 stycznia 2019 r.

    • Rozwiązano problem, który spowodował błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Poprawa stabilności dla Delta Lake.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna IO Databricks jest teraz włączona dla typów wystąpień worker serii Ls we wszystkich warstwach cenowych.

  • 18 grudnia 2018 r.

    • [SPARK-26293]Rzutowanie wyjątku podczas używania funkcji zdefiniowanej przez użytkownika języka Python w podzapytaniu
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu Join i Limit.
    • Ukryto dane uwierzytelniające w nazwach RDD w interfejsie użytkownika Spark

  • 6 grudnia 2018 r.

    • Rozwiązano problem, który spowodował niepoprawny wynik zapytania podczas używania elementu orderBy, po którym następuje natychmiastowe użycie polecenia groupBy z kluczem grupowania jako wiodącą częścią klucza sort-by.
    • Uaktualniono łącznik snowflake dla platformy Spark z wersji 2.4.9.2-spark_2.4_pre_release do wersji 2.4.10.
    • Ignoruj uszkodzone pliki tylko po jednej lub kilku próbach ponowienia, gdy włączona jest flaga spark.sql.files.ignoreCorruptFiles lub spark.sql.files.ignoreMissingFiles.
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.
    • Poprawiono błąd z serwerem thrift, w którym sesje czasami wyciekają, gdy zostaną anulowane.
    • [SPARK-26307]Naprawiono CTAS przy INSERT tabeli podzielonej na partycje z użyciem Hive SerDe.
    • [SPARK-26147]UDF-y Python w warunku łączenia zawodzą nawet gdy używane są kolumny tylko z jednej strony łączenia
    • [SPARK-26211]Poprawiono InSet dla danych binarnych oraz struktur i tablic z wartością null.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.

  • 20 listopada 2018 r.

    • Rozwiązano problem, który powodował, że po anulowaniu zapytania przesyłania strumieniowego nie można było używać notatnika.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji okna.
    • Rozwiązano problem wpływający na strumień z Delta z wieloma zmianami schematu.
    • Rozwiązano problem dotyczący niektórych zapytań agregacyjnych z lewymi złączeniami pół/anty.

Databricks Runtime 4.3 (EoS)

Zobacz Databricks Runtime 4.3 (EoS).

  • 9 kwietnia 2019 r.

    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.
    • [SPARK-24669][SQL] Wykonaj unieważnienie tabel w przypadku DROP DATABASE CASCADE.

  • 12 marca 2019 r.

    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę wpływającą na Delta.

  • 26 lutego 2019 r.

    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.

  • 12 lutego 2019 r.

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Wykluczanie ukrytych plików podczas kompilowania usługi HadoopRDD.
    • Naprawiono konwersję filtru Parquet dla predykatu IN, gdy jego wartość jest pusta.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować, że df.rdd.count() z UDT zwraca nieprawidłową odpowiedź w niektórych przypadkach.
    • Naprawiono niespójność między buforowanym RDD pamięci podręcznej SQL a jego planem fizycznym, co powodowało nieprawidłowe wyniki.

  • 8 stycznia 2019 r.

    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Ukryto dane uwierzytelniające w nazwach RDD w Spark UI
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ReplaceExceptWithFilter powinien traktować wartość NULL jako False.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna IO Databricks jest teraz włączona dla typów instancji pracowników serii Ls dla wszystkich poziomów cenowych.

  • 18 grudnia 2018 r.

    • [SPARK-25002]Avro: zrewiduj przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji Join i Limit.
    • [SPARK-26307]Naprawiono CTAS przy INSERT tabeli podzielonej na partycje z użyciem Hive SerDe.
    • Ignoruj uszkodzone pliki dopiero po co najmniej jednym ponowieniu próby, gdy flaga spark.sql.files.ignoreCorruptFiles lub spark.sql.files.ignoreMissingFiles jest włączona.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem z wydajnością w analizatorze zapytań.
    • Rozwiązano problem w PySpark, który powodował, że działania DataFrame kończyły się niepowodzeniem z powodu błędu "odmowa połączenia".
    • Naprawiono problem wpływający na niektóre zapytania samopołączenia.

  • 20 listopada 2018 r.

    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • [SPARK-25387]Poprawka dotycząca NPE spowodowanego nieprawidłowymi danymi wejściowymi CSV.
    • Rozwiązano problem dotyczący niektórych zapytań agregacyjnych z połączeniami Left Semi/Anti.

  • 6 listopada 2018 r.

    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714]Naprawa obsługi wartości null w regule optymalizera BooleanSimplification.
    • Rozwiązano problem wpływający na czyszczenie obiektów tymczasowych w łączniku usługi Synapse Analytics.
    • [SPARK-25816]Napraw rozpoznawanie atrybutów w zagnieżdżonych ekstraktorach.
  • 16 października 2018 r.
    • Usunięto usterkę wpływającą na wynik działania SHOW CREATE TABLE w tabelach Delta.
    • Usunięto usterkę wpływającą na Union operację.
  • 25 września 2018 r.
    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w uproszczeniu logicznym.
    • Naprawiono NotSerializableException w źródle danych Avro.
  • 11 września 2018 r.
    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Napraw przeciek konsumenta platformy Kafka, gdy nie ma nowych przesunięć dla partycji artykułu.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
    • Poprawiona stabilność silnika wykonawczego.
  • 28 sierpnia 2018 r.
    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25142]Dodaj komunikaty o błędach, gdy proces roboczy języka Python nie może otworzyć gniazda w programie _load_from_socket.
  • 23 sierpnia 2018 r.
    • [SPARK-23935]mapEntry zgłasza błąd org.codehaus.commons.compiler.CompileException.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-25051][SQL] FixNullability nie powinien zatrzymywać się na AnalysisBarrier.
    • [SPARK-25081]Naprawiono błąd, w wyniku którego ShuffleExternalSorter mógł uzyskać dostęp do zwolnionej strony pamięci, gdy przesypanie nie powiodło się z powodu braku możliwości przydzielenia pamięci.
    • Naprawiono interakcję między biblioteką Databricks Delta i Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • [SPARK-25084]"distribute by" w wielu kolumnach (umieszczenie w nawiasach) może prowadzić do problemów z generowaniem kodu.
    • [SPARK-25096]Poluzuj nullowalność, jeśli rzutowanie jest wymuszalnie nullowalne.
    • Obniżyła domyślną liczbę wątków używanych przez polecenie Delta Lake Optimize, zmniejszając obciążenie pamięcią i szybciej zatwierdzając dane.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.
    • Naprawiono usuwanie danych tajnych przez menedżera, gdy polecenie częściowo zakończyło się powodzeniem.

Databricks Runtime 4.2 (EoS)

Zobacz Databricks Runtime 4.2 (EoS).

  • 26 lutego 2019 r.

    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.

  • 12 lutego 2019 r.

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Wykluczanie ukrytych plików podczas kompilowania usługi HadoopRDD.
    • Naprawiono konwersję filtru Parquet dla predykatu IN, gdy jego wartość jest pusta.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który w niektórych przypadkach może powodować, że df.rdd.count() z UDT zwraca nieprawidłową odpowiedź.

  • wtorek, 8 stycznia 2019 r.

    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Usunięto dane uwierzytelniające z nazw RDD w interfejsie użytkownika Spark
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien traktować wartość NULL jako fałsz.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna we/wy Databricks jest teraz włączona dla typów instancji roboczych serii Ls dla wszystkich poziomów cenowych.

  • 18 grudnia 2018 r.

    • [SPARK-25002]Avro: zrewidować przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań z użyciem funkcji Sprzężenia i Limit.
    • [SPARK-26307]Naprawiono CTAS przy INSERT tabeli podzielonej na partycje z użyciem Hive SerDe.
    • Ignoruj uszkodzone pliki tylko po co najmniej jednej próbie ponowienia, gdy spark.sql.files.ignoreCorruptFiles lub spark.sql.files.ignoreMissingFiles flaga jest włączona.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem z wydajnością w analizatorze zapytań.
    • Rozwiązano problem w programie PySpark, który powodował błąd podczas wykonywania operacji na DataFrame z powodu błędu "odmowa połączenia".
    • Rozwiązano problem dotyczący niektórych zapytań typu self-union.

  • 20 listopada 2018 r.

    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • Rozwiązano problem dotyczący niektórych zapytań agregacyjnych z selektywnymi sprzężeniami pół-lewo/anty-lewo.

  • 6 listopada 2018 r.

    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714] Poprawiono obsługę wartości null w regule optymalizacji BooleanSimplification.
  • 16 października 2018 r.
    • Usunięto usterkę wpływającą na wynik działania SHOW CREATE TABLE na tabelach Delta.
    • Usunięto usterkę wpływającą na Union operację.
  • 25 września 2018 r.
    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w elementach BooleanSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.
  • 11 września 2018 r.
    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Napraw wyciek konsumenta Kafka, gdy nie ma nowych przesunięć dla artykułPartition.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
  • 28 sierpnia 2018 r.
    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
  • 23 sierpnia 2018 r.
    • Naprawiono błąd NoClassDefError dla migawki delty
    • [SPARK-23935]mapEntry zgłasza błąd org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Średnia z wartością dziesiętną, po której następuje agregacja, zwraca nieprawidłowy wynik. Mogą zostać zwrócone nieprawidłowe wyniki funkcji AVERAGE. Funkcja CAST dodana w operatorze Average zostanie zignorowana, jeśli wynik dzielenia ma ten sam typ, do którego jest rzutowany.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci w przypadku niepowodzenia próby przydzielenia pamięci podczas przelewania.
    • Naprawiono interakcję między Delta Databricks a narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.
    • [SPARK-25084] Użycie "distribute by" dla wielu kolumn (zawiniętych w nawiasy) może prowadzić do problemów z generowaniem kodu.
    • [SPARK-24934][SQL] Jawnie lista dozwolonych obsługiwanych typów w granicach górnych/dolnych dla oczyszczania partycji w pamięci. Gdy złożone typy danych są używane w filtrach zapytań względem buforowanych danych, platforma Spark zawsze zwraca pusty zestaw wyników. Oczyszczanie oparte na statystykach w pamięci generuje nieprawidłowe wyniki, ponieważ wartość null jest ustawiona dla górnych/dolnych granic dla typów złożonych. Poprawka polega na tym, że nie należy używać przycinania opartego na statystykach w pamięci dla typów złożonych.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem.
    • Rozwiązano problem z mapą dopuszczającą wartości null w czytniku Parquet.
  • 2 sierpnia 2018 r.
    • W języku Python dodano interfejs API writeStream.table.
    • Rozwiązano problem dotyczący punktów kontrolnych Delta.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. Pamięć podręczna SQL nie jest używana przy użyciu DataFrameWriter do zapisywania DataFrame z użyciem funkcji UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • Rozwiązano problem, który mógł powodować, że polecenie mergeInto generowało nieprawidłowe wyniki.
    • Zwiększona stabilność dostępu do usługi Azure Data Lake Storage Gen1.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
    • [SPARK-24878][SQL] Poprawiono funkcję odwrotną dla typu tablicy typu pierwotnego zawierającego wartość null.
  • 11 lipca 2018 r.
    • Usunięto usterkę w wykonywaniu zapytań, która powodowała, że agregacje na kolumnach dziesiętnych o różnej precyzji zwracały nieprawidłowe wyniki w niektórych przypadkach.
    • Usunięto usterkę NullPointerException zgłaszaną podczas zaawansowanych operacji agregacji, takich jak zestawy grupowania.

Databricks Runtime 4.1 ML (EoS)

Zobacz Databricks Runtime 4.1 ML (EoS).

  • 31 lipca 2018 r.
    • Dodano usługę Azure Synapse Analytics do środowiska ML Runtime 4.1
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
    • Usunięto usterkę wpływającą na silnik wykonywania Spark SQL.
    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę (java.lang.NoClassDefFoundError) wpływającą na usługę Delta Lake.
    • Ulepszona obsługa błędów w Delta Lake.
    • Usunięto błąd powodujący zbieranie nieprawidłowych statystyk pomijania danych dla kolumn tekstowych o długości 32 znaki lub większej.

Databricks Runtime 4.1 (EoS)

Zobacz Databricks Runtime 4.1 (EoS).

  • 8 stycznia 2019 r.
    • [SPARK-26366]ZastąpExceptWithFilter powinien traktować NULL jako wartość fałszywą.
    • Usługa Delta Lake jest włączona.
  • 18 grudnia 2018 r.
    • [SPARK-25002]Avro: zrewidować przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu JOIN i LIMIT.
    • [SPARK-26307]Naprawiono CTAS przy INSERT tabeli podzielonej na partycje z użyciem Hive SerDe.
    • Ignoruj uszkodzone pliki dopiero po jednej lub kilku próbach ponowienia, gdy jest włączona flaga spark.sql.files.ignoreCorruptFiles albo spark.sql.files.ignoreMissingFiles.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem w PySpark, który spowodował niepowodzenie akcji DataFrame z błędem "odmowa połączenia".
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.
  • 20 listopada 2018 r.
    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • Rozwiązano problem dotyczący niektórych zapytań agregujących z łączeniami lewostronnymi typu pół/anty.
  • 6 listopada 2018 r.
    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714] Naprawiono obsługę wartości null w regule BooleanSimplification w optymalizatorze.
  • 16 października 2018 r.
    • Usunięto błąd wpływający na dane wyjściowe wynikające z uruchamiania SHOW CREATE TABLE na tabelach Delta.
    • Usunięto usterkę wpływającą na Union operację.
  • 25 września 2018 r.
    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w uproszczaniu logicznym.
    • Naprawiono NotSerializableException w źródle danych Avro.
  • 11 września 2018 r.
    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Naprawiono przeciek klientów Kafka, gdy brak nowych przesunięć dla articlePartition.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
  • 28 sierpnia 2018 r.
    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25084] instrukcja 'distribute by' w wielu kolumnach (opcja umieszczania w nawiasach) może prowadzić do problemu z generowaniem kodu.
    • [SPARK-25114]Popraw funkcję RecordBinaryComparator, gdy odejmowanie między dwoma słowami jest podzielne przez Integer.MAX_VALUE.
  • 23 sierpnia 2018 r.
    • Naprawiono błąd NoClassDefError dla migawki delty.
    • [SPARK-24957][SQL] Średnia z wartością dziesiętną, po której następuje agregacja, zwraca nieprawidłowy wynik. Mogą zostać zwrócone nieprawidłowe wyniki komendy AVERAGE. Funkcja CAST dodana w operatorze Average zostanie pominięta, jeśli wynik dzielenia jest tym samym typem, do którego jest rzutowany.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-24934][SQL] Jawnie lista dozwolonych obsługiwanych typów w granicach górnych/dolnych dla oczyszczania partycji w pamięci. Gdy złożone typy danych są używane w filtrach zapytań względem buforowanych danych, platforma Spark zawsze zwraca pusty zestaw wyników. Oczyszczanie oparte na statystykach w pamięci generuje nieprawidłowe wyniki, ponieważ wartość null jest ustawiona dla górnych/dolnych granic dla typów złożonych. Poprawka polega na tym, że nie należy używać przycinania opartego na statystykach w pamięci dla typów złożonych.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy proces przelewania danych nie miał możliwości przydzielenia pamięci.
    • Naprawiono interakcję między Databricks Delta a narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem
  • 2 sierpnia 2018 r.
    • [SPARK-24613][SQL] Pamięci podręcznej z funkcją UDF nie można dopasować do kolejnych zależnych pamięci podręcznych. Opakowuje plan logiczny za pomocą narzędzia AnalysisBarrier do kompilacji planu wykonywania w narzędziu CacheManager, aby uniknąć ponownego analizowania planu. Jest to również regresja platformy Spark 2.3.
    • Rozwiązano problem z łącznikiem Synapse Analytics wpływającym na konwersję strefy czasowej podczas zapisywania danych typu daty.
    • Rozwiązano problem dotyczący punktów kontrolnych Delta.
    • Rozwiązano problem, który mógł powodować, że polecenie mergeInto generowało nieprawidłowe wyniki.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. SQL Cache nie jest używany, gdy DataFrameWriter zapisuje ramkę danych przy użyciu UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
  • 11 lipca 2018 r.
    • Usunięto usterkę w wykonywaniu zapytań, która w niektórych przypadkach powodowała, że agregacje w kolumnach dziesiętnych z różną precyzją zwracały nieprawidłowe wyniki.
    • Usunięto usterkę NullPointerException występującą podczas zaawansowanych operacji agregacji, takich jak zgrupowania zestawów.
  • 28 czerwca 2018 r.
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
  • 7 czerwca 2018 r.
    • Usunięto błąd wpływający na silnik wykonawczy Spark SQL.
    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę (java.lang.NoClassDefFoundError) wpływającą na usługę Delta Lake.
    • Ulepszona obsługa błędów w technologii Delta Lake.
  • 17 maja 2018 r.
    • Naprawiono błąd powodujący zbieranie nieprawidłowych statystyk pomijania danych dla kolumn zawierających ciągi o długości 32 znaków lub więcej.

Databricks Runtime 4.0 (EoS)

Zobacz Databricks Runtime 4.0 (EoS).

  • 6 listopada 2018 r.
    • [SPARK-25714] Naprawiono obsługę wartości null w regule optymalizacji BooleanSimplification.
  • 16 października 2018 r.
    • Usunięto usterkę wpływającą na Union operację.
  • 25 września 2018 r.
    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w upraszczaniu logicznym.
    • Naprawiono NotSerializableException w źródle danych Avro.
  • 11 września 2018 r.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
  • 28 sierpnia 2018 r.
    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
  • 23 sierpnia 2018 r.
    • Rozwiązano problem z możliwością przechowywania wartości null w mapie w czytniku Parquet.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem
    • Naprawiono interakcję między Databricks Delta a PySpark, która mogła powodować przejściowe błędy odczytu.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że mechanizm ShuffleExternalSorter mógł uzyskać dostęp do zwolnionej strony pamięci w przypadku awarii alokacji pamięci.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.
  • 2 sierpnia 2018 r.
    • [SPARK-24452]Unikaj możliwego przepełnienia przy dodawaniu lub mnożeniu wartości typu int.
    • [SPARK-24588]Dołączanie strumieniowe powinno wymagać HashClusteredPartitioning od podrzędnych komponentów.
    • Usunięto problem, który mógł powodować, że polecenie mergeInto generowało niepoprawne wyniki.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. Pamięć podręczna SQL nie jest używana podczas użycia DataFrameWriter do zapisywania DataFrame z UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
  • 28 czerwca 2018 r.
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
  • 7 czerwca 2018 r.
    • Usunięto usterkę wpływającą na aparat wykonywania Spark SQL.
    • Ulepszona obsługa błędów w Delta Lake.
  • 17 maja 2018 r.
    • Naprawa błędów zarządzania sekretami w Databricks.
    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę wpływającą na buforowanie RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.
  • 24 kwietnia 2018 r.
    • Uaktualniono zestaw AZURE Data Lake Store SDK z wersji 2.0.11 do 2.2.8, aby zwiększyć stabilność dostępu do usługi Azure Data Lake Store.
    • Usunięto usterkę dotyczącą wstawiania nadpisań do partycjonowanych tabel Hive, gdy spark.databricks.io.hive.fastwriter.enabled jest false.
    • Rozwiązano problem polegający na tym, że serializacja zadań zakończyła się niepowodzeniem.
    • Ulepszona stabilność usługi Delta Lake.
  • 14 marca 2018 r.
    • Zapobiegaj niepotrzebnym aktualizacjom metadanych podczas zapisywania w usłudze Delta Lake.
    • Rozwiązano problem spowodowany przez warunek wyścigu, który w rzadkich okolicznościach może prowadzić do utraty niektórych plików wyjściowych.

Databricks Runtime 3.5 LTS (EoS)

Zobacz Databricks Runtime 3.5 LTS (EoS).

  • 7 listopada 2019 r.

    • [SPARK-29743][SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).

  • 10 września 2019 r.

    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla ShuffleExchangeExec w przypadku ponownego partycjonowania

  • 9 kwietnia 2019 r.

    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.

  • 12 lutego 2019 r.

    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować, że df.rdd.count() zwraca nieprawidłową odpowiedź w niektórych przypadkach.

  • 18 grudnia 2018 r.

    • Ignoruj uszkodzone pliki tylko po jednorazowej lub większej liczbie ponowień, gdy flaga spark.sql.files.ignoreCorruptFiles lub spark.sql.files.ignoreMissingFiles jest włączona.
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.

  • 20 listopada 2018 r.

    • [SPARK-25816]Naprawiono rozpoznawanie atrybutów w zagnieżdżonych ekstraktorach.

  • 6 listopada 2018 r.

    • [SPARK-25714] Naprawiono obsługę wartości null w regule optymalizatora BooleanSimplification.
  • 16 października 2018 r.
    • Usunięto usterkę wpływającą na Union operację.
  • 25 września 2018 r.
    • [SPARK-25402][SQL] Obsługa wartości null w uproszczeniu logicznym.
    • Naprawiono NotSerializableException w źródle danych Avro.
  • 11 września 2018 r.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
  • 28 sierpnia 2018 r.
    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25114]Napraw RecordBinaryComparator, jeśli odejmowanie między dwoma słowami jest podzielne przez Integer.MAX_VALUE.
  • 23 sierpnia 2018 r.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-25081]Naprawiono błąd, w wyniku którego ShuffleExternalSorter mógł uzyskać dostęp do zwolnionej strony pamięci, gdy podczas przelewania nie udało się przydzielić pamięci.
    • Naprawiono interakcję pomiędzy Databricks Delta a modułem Pyspark, co mogło spowodować przejściowe błędy odczytu.
  • 28 czerwca 2018 r.
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
  • 28 czerwca 2018 r.
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
  • 7 czerwca 2018 r.
    • Usunięto usterkę wpływającą na silnik wykonawczy Spark SQL.
    • Ulepszona obsługa błędów w systemie Delta Lake.
  • 17 maja 2018 r.
    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę dotyczącą buforowania RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.
    • Usunięto błąd wpływający na niektóre agregacje w zapytaniach strumieniowych.
  • 24 kwietnia 2018 r.
    • Uaktualniono zestaw AZURE Data Lake Store SDK z wersji 2.0.11 do 2.2.8, aby zwiększyć stabilność dostępu do usługi Azure Data Lake Store.
    • Usunięto usterkę wpływającą na wstawianie zastąpień do partycjonowanych tabel Hive, gdy spark.databricks.io.hive.fastwriter.enabled jest false.
    • Rozwiązano problem polegający na tym, że serializacja zadań zakończyła się niepowodzeniem.
  • 9 marca 2018 r.
    • Rozwiązano problem spowodowany przez rywalizację w dostępie do zasobów, która w rzadkich przypadkach może prowadzić do utraty niektórych plików wyjściowych.
  • 1 marca 2018 r.
    • Poprawiono wydajność obsługi strumieni, które mogą długo trwać, zanim się zatrzymają.
    • Rozwiązano problem dotyczący autouzupełniania języka Python.
    • Zastosowano poprawki zabezpieczeń systemu Ubuntu.
    • Rozwiązano problem dotyczący niektórych zapytań korzystających z funkcji UDF i okien języka Python.
    • Rozwiązano problem wpływający na używanie funkcji zdefiniowanych przez użytkownika (UDF) w klastrze z włączoną kontrolą dostępu do tabeli.
  • 29 stycznia 2018 r.
    • Rozwiązano problem wpływający na manipulowanie tabelami przechowywanymi w usłudze Azure Blob Storage.
    • Naprawiono agregację po zastosowaniu dropDuplicates na pustym DataFrame.

Databricks Runtime 3.4 (EoS)

Zobacz Databricks Runtime 3.4 (EoS).

  • 7 czerwca 2018 r.
    • Usunięto usterkę wpływającą na aparat wykonywania Spark SQL.
    • Ulepszona obsługa błędów w Delta Lake.
  • 17 maja 2018 r.
    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę wpływającą na buforowanie RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.
  • 24 kwietnia 2018 r.
    • Usunięto usterkę dotyczącą wstawiania nadpisań do tabel Hive z partycjami, gdy spark.databricks.io.hive.fastwriter.enabled jest false.
  • 9 marca 2018 r.
    • Rozwiązano problem spowodowany przez warunek wyścigu, który w rzadkich okolicznościach może prowadzić do utraty niektórych plików wyjściowych.
  • 13 grudnia 2017 r.
    • Rozwiązano problem dotyczący UDF (funkcji zdefiniowanych przez użytkownika) w języku Scala.
    • Rozwiązano problem wpływający na użycie indeksu pomijania danych w tabelach źródeł danych przechowywanych w ścieżkach systemu plików innych niż DBFS.
  • 7 grudnia 2017 r.
    • Ulepszona stabilność mieszania.

Nieobsługiwane wersje środowiska Databricks Runtime

W przypadku oryginalnych informacji o wersji skorzystaj z linku poniżej podtytułem.