Aktualizacje konserwacji środowiska Databricks Runtime
W tym artykule wymieniono aktualizacje konserwacji dla obsługiwanych wersji środowiska Databricks Runtime. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster. Aby uzyskać informacje o aktualizacjach konserwacji w nieobsługiwanych wersjach środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).
Uwaga
Wydania są realizowane etapowo. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane przez kilka dni po początkowej dacie wydania.
Wersje środowiska Databricks Runtime
Aktualizacje konserwacyjne według wersji:
- Databricks Runtime 16.2
- Databricks Runtime 16.1
- Databricks Runtime 16.0
- Databricks Runtime 15.4
- Databricks Runtime 14.3
- Databricks Runtime 13.3 LTS
- Databricks Runtime 12.2 LTS
- Databricks Runtime 11.3 LTS
- Databricks Runtime 10.4 LTS
- Databricks Runtime 9.1 LTS
Databricks Runtime 16.2
Zobacz Databricks Runtime 16.2.
- 11 marca 2025 r.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
SparkListenerApplicationEnd
i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktoraSparkListenerApplicationEnd
. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasySparkListenerApplicationEnd
. - Przywróć "[SPARK-48273][SQL] Napraw błąd późnego przepisania PlanWithUnresolvedIdentifier"
- [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
- [SPARK-51065][SQL] Zabranianie schematów niepustych, gdy kodowanie Avro jest używane dla funkcji TransformWithState
- [SPARK-51237][SS] Dodaj szczegóły dla nowych interfejsów API pomocnika transformWithState w razie potrzeby
- [SPARK-51222][SQL] Optymalizuj ReplaceCurrentLike
- [SPARK-51351][SS] Nie materializuj danych wyjściowych w środowisku roboczym języka Python dla usługi TWS
- [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
- [SPARK-51249][SS] Naprawianie kodowania NoPrefixKeyStateEncoder i Avro w celu użycia poprawnej liczby bajtów wersji
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
- 5 lutego 2025 r.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. - [SPARK-50770][SS] Usuwanie ograniczeń pakietowych dla API operatora transformWithState
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
Databricks Runtime 16.1
Zobacz Databricks Runtime 16.1.
- 11 marca 2025 r.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
SparkListenerApplicationEnd
i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktoraSparkListenerApplicationEnd
. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasySparkListenerApplicationEnd
. - [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
- Cofnij [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
- [SPARK-51222][SQL] Optimize ReplaceCurrentLike
- [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
- [SPARK-50791][SQL] Naprawa NPE w obsłudze błędów przechowywania stanów
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. - [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
- 27 listopada 2024 r.
- Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. - W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu
spark.databricks.io.cache.maxDiskUsage
. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks. - [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
- Aktualizacje zabezpieczeń systemu operacyjnego.
Databricks Runtime 16.0
Zobacz Databricks Runtime 16.0.
- 11 marca 2025 r.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
SparkListenerApplicationEnd
i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktoraSparkListenerApplicationEnd
. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasySparkListenerApplicationEnd
. - [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
- [SPARK-51222][SQL] Optimize ReplaceCurrentLike
- [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
- [SPARK-50791][SQL] Naprawianie serwera NPE w obsłudze błędów magazynu stanów
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. -
[SPARK-50705][SQL] Utwórz
QueryPlan
bez blokady - [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
- 4 grudnia 2024 r.
- Instrukcja
USE CATALOG
obsługuje teraz klauzulęIDENTIFIER
. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru. - Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
- W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu
spark.databricks.io.cache.maxDiskUsage
. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks. - [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
-
[SPARK-50034][CORE] Naprawienie błędnego raportowania błędów krytycznych jako nieprzechwytywane wyjątki w
SparkUncaughtExceptionHandler
- [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
- [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
- [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
- [SPARK-50338][CORE] Spraw, aby wyjątki LazyTry były mniej rozwlekłe
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Instrukcja
- 10 grudnia 2024 r.
- (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak
split()
iregexp_extract()
, zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażeniesplit(str_col, '{')
, które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz kończy się niepowodzeniem. Aby naprawić to wyrażenie, możesz użyć znaku escape przed nawiasem klamrowym:split(str_col, '\\{')
. Zachowanie Photona i Sparka różniło się również w dopasowywaniu wyrażeń regularnych do znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark. - W tej wersji można teraz wykonywać zapytania dotyczące funkcji
vector_search
przy użyciuquery_text
dla wprowadzania tekstu lubquery_vector
na potrzeby osadzania danych wejściowych. - Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark
spark.databricks.execution.timeout
. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to9000
(sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błądQUERY_EXECUTION_TIMEOUT_EXCEEDED
. - [SPARK-49843][SQL] Poprawa zmiany komentarza w kolumnach typu char/varchar
-
[SPARK-49924][SQL] Zachowaj
containsNull
po zastąpieniuArrayCompact
- [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
- [SPARK-48780][SQL] Uogólnienie obsługi błędów w NamedParametersSupport, aby uwzględniały funkcje i procedury
- [SPARK-49876][CONNECT] Pozbyć się blokad globalnych z usługi Spark Connect
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- [SPARK-49615] Poprawka: Sprawdzanie zgodności schematu kolumn ML z konfiguracją spark.sql.caseSensitive w Spark.
- [SPARK-48782][SQL] Dodanie wsparcia dla wykonywania procedur w katalogach
- [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
- [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
- Przywróć "[SPARK-49002][SQL] Konsekwentne zarządzanie nieprawidłowymi lokalizacjami w magazynie/SCHEMA/TABLE/PARTITION/DIRECTORY"
- [SPARK-50028][CONNECT] Zastąp blokady globalne w odbiorniku serwera Spark Connect precyzyjnymi blokadami
- [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
- [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak
Databricks Runtime 15.4
Zobacz Databricks Runtime 15.4 LTS.
- 11 marca 2025 r.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
SparkListenerApplicationEnd
i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktoraSparkListenerApplicationEnd
. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasySparkListenerApplicationEnd
. - [SPARK-50985][SS] Klasyfikowanie błędu niezgodności przesunięcia czasowego Kafka zamiast twierdzenia i zgłaszania błędu braku serwera w usłudze KafkaTokenProvider
- [SPARK-50791][SQL] Naprawianie serwera NPE w obsłudze błędów magazynu stanów
- [SPARK-50310][PYTHON] Poprawa wydajności kolumn, gdy DQC jest wyłączone
- [SPARK-51222][SQL] Optimize ReplaceCurrentLike
- [SPARK-49525][SS][CONNECT] Drobne ulepszenie rejestru w module ListenerBus dla odbiornika zapytań przesyłania strumieniowego po stronie serwera
- [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. - [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
- Aktualizacje zabezpieczeń systemu operacyjnego.
- W przypadku środowiska Photon, które nie ma włączonych obliczeń,
mlflow-skinny
jest aktualizowany do wersji 2.19.0. W przypadku obliczeń z włączoną usługą Photonmlflow-skinny
pozostaje na poziomie 2.13.1.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
- 10 grudnia 2024 r.
- Instrukcja
USE CATALOG
obsługuje teraz klauzulęIDENTIFIER
. Dzięki tej obsłudze można sparametryzować bieżący wykaz na podstawie zmiennej ciągu lub znacznika parametru. - Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
- W tej wersji rozmiar pamięci podręcznej używany przez dysk SSD w węźle obliczeniowym usługi Databricks dynamicznie rozszerza się do początkowego rozmiaru dysku SSD i zmniejsza się w razie potrzeby do limitu
spark.databricks.io.cache.maxDiskUsage
. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks. - Pakiet pyodbc został zaktualizowany z wersji 4.0.38 do wersji 4.0.39. Ta zmiana jest wymagana, ponieważ znaleziono usterkę w wersji 4.0.38 i usunięto tę wersję z interfejsu PyPI.
- [SPARK-50329][SQL] fix InSet$toString
- [SPARK-47435][SQL] Naprawa problemu z przepełnieniem MySQL UNSIGNED TINYINT
- [SPARK-49757][SQL] Obsługa wyrażenia IDENTIFIER w instrukcji SETCATALOG
- [SPARK-50426][PYTHON] Unikaj wyszukiwania statycznego źródła danych języka Python podczas używania wbudowanych lub java źródeł danych
- [SPARK-48863][SQL] Fix ClassCastException podczas analizowania kodu JSON z włączoną funkcją "spark.sql.json.enablePartialResults"
- [SPARK-50310][PYTHON] Dodaj flagę, aby wyłączyć DataFrameQueryContext w PySpark
- [15.3-15.4] [SPARK-50034][CORE] Naprawienie błędnego raportowania błędów krytycznych jako nieuchwycone wyjątki w
SparkUncaughtExceptionHandler
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Instrukcja
- 26 listopada 2024 r.
- W tej wersji można teraz wykonywać zapytania dotyczące funkcji
vector_search
przy użyciuquery_text
dla wprowadzania tekstu lubquery_vector
na potrzeby osadzania danych wejściowych. - Teraz można ustawić limit czasu dla zapytań Spark Connect przy użyciu właściwości konfiguracji platformy Spark
spark.databricks.execution.timeout
. W przypadku notatników działających w obliczeniach bezserwerowych wartość domyślna to9000
(sekundy). Zadania uruchomione na bezserwerowych obliczeniach i obliczeniach ze standardowym trybem dostępu nie mają limitu czasu, chyba że ta właściwość konfiguracji jest ustawiona. Wykonanie, które trwa dłużej niż określony limit czasu, powoduje błądQUERY_EXECUTION_TIMEOUT_EXCEEDED
. - [SPARK-50322][SQL] Poprawiono identyfikator sparametryzowany w zapytaniu podrzędnym
- [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
- [SPARK-50124][SQL] LIMIT/OFFSET powinny zachować kolejność danych
- Aktualizacje zabezpieczeń systemu operacyjnego.
- W tej wersji można teraz wykonywać zapytania dotyczące funkcji
- 5 listopada 2024 r.
- (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak
split()
iregexp_extract()
, zaakceptowały niektóre wyrażenia regularne odrzucone przez analizator Spark. Aby zachować spójność z platformą Apache Spark, zapytania Photon nie będą teraz działać w przypadku wyrażeń regularnych, które platforma Spark uważa za nieprawidłowe. Ze względu na tę zmianę możesz zobaczyć błędy, jeśli kod platformy Spark zawiera nieprawidłowe wyrażenia regularne. Na przykład, wyrażeniesplit(str_col, '{')
, które zawiera niepasujący nawias i zostało wcześniej zaakceptowane przez Photon, teraz kończy się niepowodzeniem. Aby naprawić to wyrażenie, możesz użyć znaku escape przed nawiasem klamrowym:split(str_col, '\\{')
. Zachowanie Photona i Sparka różniło się również w dopasowywaniu wyrażeń regularnych do znaków spoza ASCII. Jest to również aktualizowane, aby aplikacja Photon odpowiadała zachowaniu platformy Apache Spark. - [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
- [SPARK-49867][SQL] Popraw komunikat o błędzie, gdy indeks wykracza poza granice przy wywołaniu metody GetColumnByOrdinal
- [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
- [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
- [SPARK-49443][SQL][PYTHON] Zaimplementowanie wyrażenia to_variant_object i powodowanie, że wyrażenia schema_of_variant drukują OBJECT dla obiektów wariantowych.
-
[SPARK-49615] Poprawka błędu: aby weryfikacja schematu kolumn ML była zgodna z konfiguracją Spark
spark.sql.caseSensitive
.
- (Zmiana powodująca niezgodność) W środowisku Databricks Runtime 15.4 lub nowszym obsługa wyrażeń regularnych w aplikacji Photon jest aktualizowana w celu dopasowania do zachowania obsługi wyrażeń regularnych platformy Apache Spark. Wcześniej funkcje wyrażeń regularnych uruchamiane przez aplikację Photon, takie jak
- 22 października 2024 r.
- [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
- [SPARK-49867][SQL] Popraw komunikat o błędzie, gdy indeks wykracza poza granice przy wywołaniu metody GetColumnByOrdinal
- [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
- [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
- [SPARK-49443][SQL][PYTHON] Zaimplementowanie wyrażenia to_variant_object i powodowanie, że wyrażenia schema_of_variant drukują OBJECT dla obiektów wariantowych.
-
[SPARK-49615] Poprawka błędu: aby weryfikacja schematu kolumn ML była zgodna z konfiguracją Spark
spark.sql.caseSensitive
.
- 10 października 2024 r.
- [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
- [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
- [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
- [SPARK-49460][SQL] Kontynuacja: naprawa potencjalnego ryzyka NPE
- 25 września 2024 r.
- [SPARK-49628][SQL] Składanie Stałych powinno skopiować stanowe wyrażenie przed dokonaniem oceny
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- [SPARK-49492][CONNECT] Próba ponownego dołączenia do nieaktywnego ExecutionHoldera
- [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
- [SPARK-49017][SQL] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
- [SPARK-49451] Zezwalaj na zduplikowane klucze w parse_json.
- Różne poprawki błędów.
- 17 września 2024 r.
- [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
- [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
- [SPARK-49526][CONNECT][POPRAWKA-15.4.2] Obsługa ścieżek w stylu Windows w narzędziu ArtifactManager
- Przywróć "[SPARK-48482][PYTHON] dropDuplicates i dropDuplicatesWIthinWatermark powinny akceptować argumenty o zmiennej długości"
- [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
- [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść przy rozwiązywaniu kolumn ramek danych
- [SPARK-49018][SQL] Naprawiono funkcję approx_count_distinct, która nie działała poprawnie z sortowaniem.
-
[SPARK-49460][SQL] Usuń
cleanupResource()
z emptyRelationExec - [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
- [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania wiadomości protobuf
- 29 sierpnia 2024 r.
- Dane wyjściowe instrukcji
SHOW CREATE TABLE
zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn. - W przypadku przetwarzania skonfigurowanego w trybie dostępu współdzielonego, operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku Strukturyzowanej Transmisji Strumieniowej. Zobacz Ograniczenia dotyczące przesyłania strumieniowego i wymagania dotyczące standardowego trybu dostępu w Unity Catalog.
- [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
-
[SPARK-49074][SQL] Naprawianie wariantu za pomocą polecenia
df.cache()
- [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych
- [SPARK-48955][SQL] Uwzględnij zmiany ArrayCompact w wersji 15.4
- [SPARK-48937][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap
- [SPARK-48929] Napraw błąd wewnętrzny widoku i wyczyść kontekst wyjątku analizatora
- [SPARK-49125][SQL] Zezwalaj na zduplikowane nazwy kolumn przy zapisie do formatu CSV
- [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
- [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
- [SPARK-48981] Naprawiono metodę simpleString typu StringType w narzędziu pyspark na potrzeby sortowania
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
- [SPARK-48725][SQL] Zintegrować CollationAwareUTF8String.lowerCaseCodePoints z wyrażeniami ciągowymi
- [SPARK-48978][SQL] Zaimplementować szybką ścieżkę ASCII w obsłudze sortowania dla UTF8_LCASE
- [SPARK-49047][PYTHON][CONNECT] Skrócić komunikat na potrzeby logowania
- [SPARK-49146][SS] Przenieść błędy sprawdzania związane z brakiem watermark w zapytaniach strumieniowych w trybie dodawania do systemu błędów
- [SPARK-48977][SQL] Optymalizacja wyszukiwania ciągów przy użyciu sortowania UTF8_LCASE
- [SPARK-48889][SS] testStream do rozładowania przechowywań stanów przed zakończeniem
- [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
- [SPARK-48954] try_mod() zastępuje try_remainder()
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Dane wyjściowe instrukcji
Databricks Runtime 14.3
Zobacz Databricks Runtime 14.3 LTS.
- 11 marca 2025 r.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
SparkListenerApplicationEnd
i został skompilowany dla Apache Spark. Ta niezgodność wynikała ze scalenia SPARK-46399 z Apache Spark. Zmiana zawarta w scalaniu dodała argument domyślny do konstruktoraSparkListenerApplicationEnd
. Aby przywrócić zgodność binarną, ta poprawka dodaje jeden konstruktor argumentu do klasySparkListenerApplicationEnd
. - [SPARK-50791][SQL] Napraw NPE w obsłudze błędów state store
-
[SPARK-50705][SQL] Utwórz
QueryPlan
bez blokady - [SPARK-49525][SS][CONNECT] Drobne ulepszenie rejestru w module ListenerBus dla odbiornika zapytań przesyłania strumieniowego po stronie serwera
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Środowisko Databricks Runtime w wersji 14.3 lub nowszej zawiera poprawkę dotyczącą problemu, który spowodował niezgodności binarne z kodem, który tworzył wystąpienie klasy
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
prefersDecimal
zostaje włączone. Aby dowiedzieć się więcej na temat uratowanych kolumn danych, zobacz Co to jest uratowana kolumna danych?. - [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
- [SPARK-51084][SQL] Przypisz odpowiednią klasę błędów dla negativeScaleNotAllowedError
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę problemu mającego wpływ na konwersję niektórych typów danych podczas serializacji uratowanych kolumn danych XML. Obejmowane typy danych to daty, sygnatury czasowe inne niż NTZ i wartości dziesiętne, gdy
- 10 grudnia 2024 r.
- Ta wersja zawiera rozwiązanie problemu, który może skutkować usunięciem klucza podstawowego z tabeli Delta w niektórych sytuacjach granicznych związanych z automatycznym kompaktowaniem w tle.
- [SPARK-50329][SQL] fix InSet$toString
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 listopada 2024 r.
- [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 listopada 2024 r.
- [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
- [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
- [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
- [BACKPORT] [SPARK-49326][SS] Klasyfikacja klasy błędu dla funkcji użytkownika ujścia foreach
- [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
- [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 października 2024 r.
- [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
- [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- [SPARK-46632][SQL] Poprawa usuwania podwyrażeń, gdy równoważne wyrażenia trójkowe mają różne argumenty
- [SPARK-49782][SQL] Reguła ResolveDataFrameDropColumns rozwiązuje nierozwiązany atrybut z wyjściem podrzędnym
- [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
- [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w łączeniu strumieniowym (korekta poprawności)
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 października 2024 r.
- [BACKPORT] [SPARK-49474][SS] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
- [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
- [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
- 25 września 2024 r.
- [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie powinien kończyć się błędem, jeśli sesja została już zamknięta przez serwer
- [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- [SPARK-49628][SQL] Składanie Stałych powinno skopiować stanowe wyrażenie przed dokonaniem oceny
- [SPARK-49492][CONNECT] Próba ponownego dołączenia do nieaktywnego ExecutionHoldera
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 września 2024 r.
- [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas skracania wiadomości protobuf
- [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
- [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
- [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
- [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
- [SPARK-49366][CONNECT] Traktuj węzeł typu Union jako liść przy rozwiązywaniu kolumn ramek danych
- 29 sierpnia 2024 r.
- [SPARK-49146][SS] Przenieść błędy sprawdzania związane z brakiem watermark w zapytaniach strumieniowych w trybie dodawania do systemu błędów
-
[SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania
_proto_to_string
, gdy poziom INFO nie jest włączony - [SPARK-49263][CONNECT] Klient Spark Connect w języku Python: spójna obsługa opcji czytnika DataFrame dla wartości logicznych
- 14 sierpnia 2024 r.
- [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
- [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
- [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
- [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
- 1 sierpnia 2024 r.
- Ta wersja zawiera poprawkę błędów dla
ColumnVector
klas iColumnarArray
w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątkuArrayIndexOutOfBoundsException
lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartościnull
. - W obliczeniach bezserwerowych dla notesów i zadań tryb ANSI SQL jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
- W przypadku przetwarzania skonfigurowanego w trybie dostępu współdzielonego, operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku Strukturyzowanej Transmisji Strumieniowej. Zobacz Ograniczenia dotyczące przesyłania strumieniowego i wymagania dotyczące standardowego trybu dostępu w Unity Catalog.
- Dane wyjściowe instrukcji
SHOW CREATE TABLE
zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE. Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn. - [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
- [SPARK-48889][SS] testStream do rozładowania przechowywań stanów przed zakończeniem
- [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
- [SPARK-48047][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
- [SPARK-48544][SQL] Zmniejsz obciążenie pamięci przez puste TreeNode BitSets
- [SPARK-46957][CORE] Likwidacja migrowanych plików transferowych powinna być możliwa do wykonania przez wykonawcę.
- [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
- [SPARK-47202][PYTHON] Naprawiono literówkę rozbijającą daty i godziny z użyciem tzinfo.
- [SPARK-47713][SQL][CONNECT] Naprawa błędu samosprzężenia
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę błędów dla
- 11 lipca 2024 r.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
.checkpoint()
, aby utrwały stan tabeli przez cały okres istnienia ramki danych. - Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
- Ta wersja zawiera poprawkę dla problemu, który uniemożliwił poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
- W obliczeniach bezserwerowych dla notesów i zadań tryb ANSI SQL jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
- Aby zignorować nieprawidłowe partycje podczas odczytywania danych, w źródłach danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Można również użyć konfiguracji spark.sql.files.ignoreInvalidPartitionPaths w SQL. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
- [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie przypisany do lokalnego wątku (threadlocal).
- [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
- [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
- [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
- [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
- [SPARK-48100][SQL] Naprawa problemów z pomijaniem pól zagnieżdżonej struktury nie wybranych w schemacie
- [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
- [SPARK-48252][SQL] Update CommonExpressionRef w razie potrzeby
- [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
- [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
- 17 czerwca 2024 r.
-
applyInPandasWithState()
jest dostępny w obliczeniach w standardowym trybie dostępu. - Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
- [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
-
[SPARK-48276][PYTHON][CONNECT] Dodaj brakującą
__repr__
metodę dlaSQLExpression
- [SPARK-48294][SQL] Obsługa małych liter w "nestedTypeMissingElementTypeError"
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
- 21 maja 2024 r.
- (Zmiana zachowania)
dbutils.widgets.getAll()
jest teraz obsługiwana w celu pobrania wszystkich wartości widżetów w notatniku. - Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
- [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
- [SPARK-48146][SQL] Napraw funkcję agregującą w wyrażeniu With
- [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
- [SPARK-48180][SQL] Popraw komunikat błędu, gdy wywołanie UDTF z użyciem argumentu TABLE pomija nawiasy wokół wielu wyrażeń PARTITION/ORDER BY
- [SPARK-48016][SQL] Naprawiono błąd w funkcji try_divide dotyczącej liczb dziesiętnych
- [SPARK-48197][SQL] Unikaj błędu asercji z powodu nieprawidłowej funkcji lambda
- [SPARK-47994][SQL] Naprawa błędu z przesuwaniem filtru kolumny CASE WHEN w SQL Server
- [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
- [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania)
- 9 maja 2024 r.
- (Zmiana zachowania)
applyInPandas
imapInPandas
typy UDF są teraz obsługiwane w trybie współdzielonego dostępu z Databricks Runtime w wersji 14.3 lub nowszej. - [SPARK-47739][SQL] Zarejestruj typ logiczny Avro
- [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
- [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
-
[SPARK-48044][PYTHON][CONNECT] Pamięć podręczna
DataFrame.isStreaming
- [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
- [SPARK-47543][CONNECT][PYTHON] Rozpoznawanie słownika jako MapType z ramki danych Pandas w celu utworzenia ramki danych
- [SPARK-47819][CONNECT][Cherry-pick-14.3] Użyj asynchronicznego wywołania zwrotnego do czyszczenia procesu wykonawczego
- [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania zgodnie z ShuffleCleanupMode
- [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
- [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
- [SPARK-47371] [SQL] XML: Ignoruj znaczniki wierszy znalezionych w CDATA
- [SPARK-47895][SQL] GROUP BY ALL powinien być idempotentny
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania)
- 25 kwietnia 2024 r.
-
[SPARK-47543][CONNECT][PYTHON] Wnioskowanie
dict
jakoMapType
z ramki danych Pandas w celu umożliwienia tworzenia ramki danych - [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
- [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Zweryfikuj nazwę kolumny z buforowanym schematem
- [SPARK-47862][PYTHON][CONNECT]Napraw generowanie plików proto
- Przywróć "[SPARK-47543][CONNECT][PYTHON] Wnioskowanie
dict
jakoMapType
z ramki danych Pandas, aby umożliwić tworzenie ramki danych" - [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
- [SPARK-47812][CONNECT] Obsługa serializacji SparkSession dla pracownika ForEachBatch
- [SPARK-47818][CONNECT][Cherry-pick-14.3] Wprowadzenie pamięci podręcznej planów w SparkConnectPlanner w celu poprawy wydajności zapytań analizujących
-
[SPARK-47828][CONNECT][PYTHON]
DataFrameWriterV2.overwrite
zawodzi z powodu nieprawidłowego planu - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-47543][CONNECT][PYTHON] Wnioskowanie
- 11 kwietnia 2024 r.
- (Zmiana zachowania) Aby zapewnić spójne zachowanie dla różnych typów obliczeniowych, UDF-y PySpark w obliczeniach ze standardowym trybem dostępu są teraz zgodne z zachowaniem UDF-ów w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
- Funkcje zdefiniowane przez użytkownika z typem zwracanym
string
nie będą już niejawnie konwertować wartości innych niżstring
na wartościstring
. Wcześniej funkcje UDF o zwracanym typiestr
zawijały zwracaną wartość za pomocą funkcjistr()
, niezależnie od rzeczywistego typu danych zwracanej wartości. - Funkcje zdefiniowane przez użytkownika z typami zwracania
timestamp
nie stosują już niejawnie konwersji natimestamp
przy użyciutimezone
. - Konfiguracje klastrów Spark o numerze
spark.databricks.sql.externalUDF.*
nie mają już zastosowania do UDF-ów PySpark na obliczeniach z trybem dostępu standardowego. - Klastra Spark
spark.databricks.safespark.externalUDF.plan.limit
i jego konfiguracja nie ma już wpływu na PySpark UDFs, co usuwa ograniczenie wersji publicznej podglądu do 5 UDFów na zapytanie dla PySpark UDFs. - Konfiguracja klastra Spark
spark.databricks.safespark.sandbox.size.default.mib
nie ma już zastosowania w obliczeniach ze standardowym trybem dostępu do PySpark UDF. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć UDF PySpark, użyjspark.databricks.pyspark.udf.isolation.memoryLimit
z minimalną wartością100m
.
- Funkcje zdefiniowane przez użytkownika z typem zwracanym
- Typ danych
TimestampNTZ
jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel Delta. - [SPARK-47511][SQL] Kanonizuj wyrażenia With poprzez ponowne przypisanie identyfikatorów
- [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
- [SPARK-46990][SQL] Naprawa ładowania pustych plików Avro emitowanych przez event-hubs
- [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania) Aby zapewnić spójne zachowanie dla różnych typów obliczeniowych, UDF-y PySpark w obliczeniach ze standardowym trybem dostępu są teraz zgodne z zachowaniem UDF-ów w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
- 14 marca 2024 r.
- [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
- [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
- [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
- [SPARK-47044][SQL] Dodaj wykonywane zapytanie dla zewnętrznych źródeł danych JDBC do wyjaśnienia wyników
- [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
- [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
- [SPARK-47121][CORE] Unikaj wystąpienia wyjątku RejectedExecutionExceptions podczas zamykania StandaloneSchedulerBackend.
- Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
- [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
- [SPARK-46999][SQL] WyrażenieWithUnresolvedIdentifier powinno zawierać inne wyrażenia w drzewie wyrażeń
- [SPARK-47129][CONNECT][SQL] Zapewnienie prawidłowego buforowania planu połączeń
- [SPARK-47241][SQL] Naprawa problemów z kolejnością reguł dla ExtractGeneratora
- [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
- [SPARK-47071][SQL] Wbuduj wyrażenie, jeśli zawiera ono wyrażenie specjalne
- [SPARK-47059][SQL] Dołącz kontekst błędu dla polecenia ALTER COLUMN v1
- [SPARK-46993][SQL] Naprawa stałego składania wyrażeń dla zmiennych sesji
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 3 stycznia 2024 r.
- [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
- [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
- [SPARK-46954] XML: Owijanie InputStreamReader przy użyciu BufferedReader.
-
[SPARK-46655] Pomiń przechwytywanie kontekstu zapytania w metodach
DataFrame
. - [SPARK-44815] Buforuj df.schema, aby uniknąć dodatkowych wywołań RPC.
- [SPARK-46952] XML: ogranicz rozmiar uszkodzonego rekordu.
- [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
- [SPARK-46736] zachowaj puste pole wiadomości w łączniku protobuf.
- [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
- [SPARK-46414] Użyj prependBaseUri do renderowania importów języka JavaScript.
-
[SPARK-46383] Zmniejsz użycie sterty sterownika poprzez skrócenie okresu istnienia
TaskInfo.accumulables()
. - [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
- [SPARK-46954] XML: Optymalizowanie wyszukiwania indeksu schematu.
- [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
- [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
- [SPARK-46731] Zarządzanie instancją dostawcy pamięci stanów przez odczyt z źródła danych stanu.
-
[SPARK-46677] Naprawa
dataframe["*"]
rozdzielczości. - [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
- [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
- [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
- [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu Union w Avro.
- [SPARK-46227] Powrót do wersji 14.3.
- [SPARK-46822] Uwzględniaj spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
- Aktualizacje zabezpieczeń systemu operacyjnego.
Databricks Runtime 13.3 LTS
Zobacz Databricks Runtime 13.3 LTS.
- 11 marca 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lutego 2025 r.
- [SPARK-50492][SS] Poprawka java.util.NoSuchElementException po usunięciu kolumny czasu zdarzenia po wykonaniu dropDuplicatesWithinWatermark
- [SPARK-45915][SQL] Traktuj decimal(x, 0) tak samo jak IntegralType w kontekście promowania łańcuchów znaków.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 grudnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 listopada 2024 r.
- [SPARK-49615] [ML] Spraw, aby sprawdzanie poprawności schematu zestawu danych wszystkich przekształcaczy cech ML było zgodne z konfiguracją "spark.sql.caseSensitive".
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 listopada 2024 r.
- [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
- [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 października 2024 r.
- [SPARK-48843] Zapobieganie nieskończonej pętli za pomocą narzędzia BindParameters
- [BACKPORT] [SPARK-49326][SS] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
- [SPARK-49905] Użyj dedykowanego ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji shuffle przez AQE.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 października 2024 r.
- [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
- 25 września 2024 r.
- [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
- [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
- [SPARK-43242][CORE] Naprawa błędu polegającego na wyrzuceniu 'Nieoczekiwany typ BlockId' w diagnostyce korupcji mieszania
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 września 2024 r.
- [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
- [SPARK-48463][ML] Umożliwienie obsługi zagnieżdżonych kolumn wejściowych przez Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 sierpnia 2024 r.
- 14 sierpnia 2024 r.
- [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
- 1 sierpnia 2024 r.
- Ta wersja zawiera poprawkę błędów dla
ColumnVector
klas iColumnarArray
w interfejsie Java platformy Spark. Przed tą poprawką mogło dojść do wystąpienia wyjątkuArrayIndexOutOfBoundsException
lub zwrócenia niepoprawnych danych, gdy instancja jednej z tych klas zawierała wartościnull
. - [SPARK-47202][PYTHON] Naprawiono literówkę rozbijającą daty i godziny z użyciem tzinfo.
- [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
- [SPARK-48463] Umożliwienie StringIndexer obsługującego zagnieżdżone kolumny wejściowe
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę błędów dla
- 11 lipca 2024 r.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
.checkpoint()
, aby utrwały stan tabeli przez cały okres istnienia ramki danych. - Ta wersja zawiera poprawkę dla problemu, który uniemożliwił poprawne wyświetlanie karty Środowiska interfejsu użytkownika Spark podczas uruchamiania w Databricks Container Services.
- [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
- [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
- [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
- [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
- [SPARK-48475][PYTHON] Optimize _get_jvm_function in PySpark (Optymalizowanie _get_jvm_function w środowisku PySpark).
- [SPARK-48273][SQL] Naprawa późnego przepisania PlanWithUnresolvedIdentifier
- [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
- 17 czerwca 2024 r.
- [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 21 maja 2024 r.
- (Zmiana zachowania)
dbutils.widgets.getAll()
jest teraz obsługiwana w celu pobrania wszystkich wartości widżetów w notatniku. - [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- [SPARK-47994][SQL] Poprawka usterki z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania)
- 9 maja 2024 r.
- [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
- [SPARK-46822][SQL] Uwzględniaj spark.sql.legacy.charVarcharAsString przy rzutowaniu typu JDBC na typ Catalyst w JDBC
- [SPARK-47895][SQL] GROUP BY ALL powinien być idempotentny
- [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2024 r.
- [SPARK-44653][SQL] Nietrywialne łączenia ramek danych nie powinny zakłócać buforowania
- Różne poprawki błędów.
- 11 kwietnia 2024 r.
- [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i funkcjach wyższego rzędu
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 kwietnia 2024 r.
- [SPARK-47385] Napraw kodery dla krotek z wejściami typu Option.
- [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
- [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
- [SPARK-47368][SQL] Usuń sprawdzenie konfiguracji inferTimestampNTZ w ParquetRowConverter
- [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
- [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
-
[SPARK-47300][SQL]
quoteIfNeeded
powinien zawierać w cudzysłowie identyfikator zaczynający się od cyfr - [SPARK-47305][SQL] Napraw PruneFilters, aby poprawnie oznaczać flagę isStreaming dla LocalRelation, gdy plan zawiera zarówno tryb wsadowy, jak i strumieniowy.
- [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2024 r.
- [SPARK-47145][SQL] Przekazywanie identyfikatora tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii V2.
- [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
- [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
- [SPARK-47044][SQL] Dodaj wykonywane zapytanie dla zewnętrznych źródeł danych JDBC do wyjaśnienia wyników
- [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 8 lutego 2024 r.
- Zapytania zmiany kanałów danych (CDF) dotyczące zmaterializowanych widoków w Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku w Unity Catalog zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niż
APPLY CHANGES
w środowisku uruchomieniowym Databricks 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego w Unity Catalog w środowisku Databricks Runtime 14.0 i starszych wersjach. - [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
- [SPARK-46933] Dodaj metrykę czasu wykonywania zapytania do łączników, które używają JDBCRDD.
- [SPARK-45582] Upewnij się, że instancja magazynu nie jest używana po wykonaniu operacji zatwierdzenia w trybie wyjściowym dla strumieniowej agregacji.
- [SPARK-46396] Rozpoznawanie znacznika czasu nie powinno zgłaszać wyjątku.
- [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
- [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera sizeBasedWindowFunction.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Zapytania zmiany kanałów danych (CDF) dotyczące zmaterializowanych widoków w Unity Catalog nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku w Unity Catalog zwraca błąd. Tabele przesyłania strumieniowego w Unity Catalog obsługują zapytania CDF w tabelach innych niż
- 31 stycznia 2024 r.
- [SPARK-46610] Utworzenie tabeli powinno zgłaszać wyjątek, jeśli dla klucza nie podano wartości w opcjach.
- [SPARK-46383] Zmniejsz użycie pamięci sterownika przez skrócenie żywotności TaskInfo.accumulables().
- [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
- [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
- [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 stycznia 2024 r.
- Węzeł
shuffle
planu wyjaśnienia generowanego przez zapytanie Photon jest aktualizowany, aby dodać flagęcausedBroadcastJoinBuildOOM=true
w przypadku wystąpienia błędu braku pamięci podczas przetasowania, które jest częścią sprzężenia nadawczego. - Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
- [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
- [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
- [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
- [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
- [SPARK-46370] Napraw usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
- [SPARK-46609] Unikaj eksplozji wykładniczej w PartitioningPreservingUnaryExecNode.
- [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
-
[SPARK-46602] Propaguj
allowExisting
podczas tworzenia widoku, gdy widok/tabela nie istnieje. - [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
- [SPARK-46417] Nie zgłasza błędu podczas wywoływania funkcji hive.getTable, gdy throwException ma wartość false.
-
[SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w
ALSModel.transform
. - [SPARK-46478] Przywróć SPARK-43049, aby użyć Oracle varchar(255) dla ciągów.
- [SPARK-46250] Deflake test_parity_listener.
-
[SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy
spark.sql.legacy.keepCommandOutputSchema
jest ustawione na wartość true. - [SPARK-46056] Naprawiono błąd wektoryzowanego odczytu Parquet z wyjątkiem NPE, przy użyciu wartości domyślnej dla byteArrayDecimalType.
- [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
- [SPARK-46466] Wektoryzowany czytnik Parquet nigdy nie powinien wykonywać operacji rebase dla znacznika czasu NTZ.
- Węzeł
- 14 grudnia 2023 r.
- Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
- [SPARK-45920] grupowanie według pozycji powinno być idempotentne.
- [SPARK-44582] Pomiń iterator w SMJ, jeśli został usunięty.
- [SPARK-45433] Napraw wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym formatem znacznika czasu.
- [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 listopada 2023 r.
- Zainstalowano nowy pakiet
pyarrow-hotfix
, aby naprawić lukę w zabezpieczeniach PyArrow RCE. - Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
-
[SPARK-44846] Usunięto złożone wyrażenia grupowania po .
RemoveRedundantAggregates
-
[SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze
TransportContext
. -
[SPARK-45892] Refaktoryzacja walidacji planu optymalizacji, aby oddzielić
validateSchemaOutput
ivalidateExprIdUniqueness
. -
[SPARK-45730] Ulepszone ograniczenia czasowe dla elementu
ReloadingX509TrustManagerSuite
. -
[SPARK-45859] Obiekty UDF są teraz tworzone leniwie
ml.functions
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Zainstalowano nowy pakiet
- 10 listopada 2023 r.
- Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
- Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego i zmaterializowanych widokach Unity Catalog, aby wyświetlać komunikaty o błędach.
-
[SPARK-45545]
SparkTransportConf
dziedziczySSLOptions
po utworzeniu. -
[SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z
TakeOrderedAndProjectExec
. -
[SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do
SSLOptions
iSparkTransportConf
. -
[SPARK-45541] Dodano
SSLFactory
. -
[SPARK-45430]
FramelessOffsetWindowFunction
nie kończy się już niepowodzeniem, gdyIGNORE NULLS
ioffset > rowCount
. - [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
- [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
-
[SPARK-45543] Rozwiązano problem, który występował, gdy
InferWindowGroupLimit
powodował błąd, jeśli inne funkcje okna nie miały takiej samej ramki jak funkcje tego typu. - Aktualizacje zabezpieczeń systemu operacyjnego.
- 23 października 2023 r.
-
[SPARK-45256] Rozwiązano problem polegający na tym, że
DurationWriter
nie powiodła się podczas zapisywania większej liczby wartości niż początkowa pojemność. -
[SPARK-45419] Unikaj ponownego używania
rocksdb sst
plików w innej instancjirocksdb
poprzez usunięcie wpisów mapy wersji plików dla większych wersji. -
[SPARK-45426] Dodano obsługę elementu
ReloadingX509TrustManager
. - Różne poprawki.
-
[SPARK-45256] Rozwiązano problem polegający na tym, że
- 13 października 2023 r.
- Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
- Funkcja
array_insert
jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych, gdy używany jest indeks -1. Aby przywrócić poprzednie zachowanie, ustawspark.sql.legacy.negativeIndexInArrayInsert
na wartośćtrue
. - Rozwiązano problem polegający na tym, że nie ignorowano uszkodzonych plików po włączeniu
ignoreCorruptFiles
podczas wnioskowania schematu CSV z funkcją automatycznego ładowania. - Przywróć "[SPARK-42946]."
- [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie Accumulables w zdarzeniach rozpoczynania zadania lub etapu.
-
[SPARK-45178] Powrót do uruchamiania pojedynczej partii dla
Trigger.AvailableNow
nieobsługiwanych źródeł zamiast używania wrappera. -
[SPARK-45316] Dodawanie nowych parametrów
ignoreCorruptFiles
iignoreMissingFiles
doHadoopRDD
iNewHadoopRDD
. - [SPARK-44740] stałe wartości metadanych artefaktów.
-
[SPARK-45360] Zainicjowano konfigurację konstruktora sesji platformy Spark z witryny
SPARK_REMOTE
. - [SPARK-44551] Edytowane komentarze w celu synchronizacji z OSS.
- [SPARK-45346] Rozpoznawanie schematu Parquet teraz uwzględnia flagi wrażliwe na wielkość liter podczas scalania schematu.
-
[SPARK-44658]
ShuffleStatus.getMapStatus
teraz zwracaNone
zamiastSome(null)
. - [SPARK-44840] Zmieniono na bazowanie na 1 dla indeksów ujemnych.
- 14 września 2023 r.
-
[SPARK-44873] Dodano obsługę
alter view
z kolumnami zagnieżdżonymi w kliencie programu Hive. -
[SPARK-44878] Wyłączono ścisły limit dla menedżera zapisu
RocksDB
, aby uniknąć błędu wstawiania podczas ukończenia buforowania.
-
[SPARK-44873] Dodano obsługę
- 30 sierpnia 2023 r.
- Polecenie dbutils
cp
(dbutils.fs.cp
) zostało zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą potrwać do 100 mniej czasu, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich chmurach i systemach plików dostępnych w usłudze Databricks, w tym w przypadku woluminów katalogu Unity i zamontowań DBFS. -
[SPARK-44455] Cytowanie identyfikatorów używając backticków w
SHOW CREATE TABLE
wyniku. - [SPARK-44763] Rozwiązano problem pokazujący ciąg jako podwójny w arytmetyce binarnej z interwałem.
-
[SPARK-44871] Naprawiono
percentile_disc
zachowanie. - [SPARK-44714] Złagodzenie ograniczeń w rozpoznawaniu LCA w kontekście zapytań.
-
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
taskThread
. - [SPARK-44505] Dodano nadpisanie dla obsługi kolumnowej w skanowaniu dla DSv2.
- [SPARK-44479] Naprawiono konwersję protobuf z pustego typu struktury.
-
[SPARK-44718] Dopasuj
ColumnVector
domyślną konfigurację trybu pamięci doOffHeapMemoryMode
wartości konfiguracji. -
[SPARK-42941] Dodano obsługę
StreamingQueryListener
języka Python. - [SPARK-44558] Wyeksportuj poziom logowania dla Spark Connect w PySpark.
-
[SPARK-44464] Naprawiono
applyInPandasWithStatePythonRunner
, aby wyjściowe wiersze miały wartość Null jako pierwszą w kolumnie. -
[SPARK-44643] Naprawiono problem, gdy pole jest pustym wierszem
Row.__repr__
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Polecenie dbutils
Databricks Runtime 12.2 LTS
Zobacz Databricks Runtime 12.2 LTS.
11 marca 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
10 grudnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
26 listopada 2024 r.
- Różne poprawki błędów.
10 października 2024 r.
- [SPARK-49743][SQL] OptimizeCsvJsonExpr nie powinno zmieniać pól schematu podczas przycinania pól GetArrayStructFields
25 września 2024 r.
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
- Różne poprawki błędów.
17 września 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
29 sierpnia 2024 r.
- Różne poprawki błędów.
14 sierpnia 2024 r.
- [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
- [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
- [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
- Aktualizacje zabezpieczeń systemu operacyjnego.
1 sierpnia 2024 r.
- [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
1 sierpnia 2024 r.
- Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 12.2 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
11 lipca 2024 r.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
.checkpoint()
, aby utrwały stan tabeli przez cały okres istnienia ramki danych. - [SPARK-48481][SQL][SS] Nie stosuj OptimizeOneRowPlan względem strumieniowego zbioru danych
- [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
- [SPARK-42741][SQL] Nie odpakowuj rzutowań w porównaniach binarnych, gdy literał ma wartość 'null'
- [SPARK-48445][SQL] Nie wstawiaj funkcji UDF z kosztownymi dziećmi
- [SPARK-48503][SQL] Napraw błędne podzapytania skalarne z grupowaniem według kolumn niebędących równoważnymi, które były niepoprawnie dozwolone
- [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
- Aktualizacje zabezpieczeń systemu operacyjnego.
- (Zmiana zachowania) Buforowane ramki danych z tabel Delta są teraz unieważniane, jeśli tabela źródłowa jest nadpisywana. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Użyj
17 czerwca 2024 r.
- [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
- Różne poprawki błędów.
21 maja 2024 r.
- [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- Aktualizacje zabezpieczeń systemu operacyjnego.
9 maja 2024 r.
- [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- [SPARK-47956][SQL] Sprawdzanie poprawności dla nierozwiązanej referencji LCA
- [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
- Aktualizacje zabezpieczeń systemu operacyjnego.
25 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
11 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
1 kwietnia 2024 r.
- [SPARK-47305][SQL] Napraw PruneFilters, aby poprawnie oznaczać flagę isStreaming dla LocalRelation, gdy plan zawiera zarówno tryb wsadowy, jak i strumieniowy.
- [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
- [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
- [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
- Aktualizacje zabezpieczeń systemu operacyjnego.
14 marca 2024 r.
- [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
- Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
- [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
- [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
- Aktualizacje zabezpieczeń systemu operacyjnego.
29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT oraz MODYFIKUJ na DOWOLNYM PLIKU.
- [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
- Aktualizacje zabezpieczeń systemu operacyjnego.
13 lutego 2024 r.
- [SPARK-46861] Uniknij zawieszenia w DAGScheduler.
- [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
- Aktualizacje zabezpieczeń systemu operacyjnego.
31 stycznia 2024 r.
- [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
- Aktualizacje zabezpieczeń systemu operacyjnego.
25 grudnia 2023 r.
- Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
- [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
- [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
-
[SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy
spark.sql.legacy.keepCommandOutputSchema
jest ustawione na wartość true. - [SPARK-46417] Nie zgłasza błędu podczas wywoływania funkcji hive.getTable, gdy throwException ma wartość false.
- [SPARK-43067] Popraw lokalizację pliku zasobu klasy błędu w łączniku Kafka.
- [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
-
[SPARK-46602] Propaguj
allowExisting
podczas tworzenia widoku, gdy widok/tabela nie istnieje. - [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
- [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony.
-
[SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w
ALSModel.transform
. - [SPARK-42852] Cofnięcie zmian związanych z NamedLambdaVariable z EquivalentExpressions.
14 grudnia 2023 r.
- Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
- [SPARK-44582] Pomiń iterator w SMJ, jeśli został usunięty.
- [SPARK-45920] grupowanie według pozycji powinno być idempotentne.
- [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
- Aktualizacje zabezpieczeń systemu operacyjnego.
29 listopada 2023 r.
- Zainstalowano nowy pakiet
pyarrow-hotfix
, aby naprawić lukę w zabezpieczeniach PyArrow RCE. - Rozwiązano problem polegający na błędnym interpretowaniu znaków podkreślenia poprzedzonych ukośnikiem w operacjach
getColumns
pochodzących z klientów JDBC lub ODBC jako symbole wieloznaczne. -
[SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach
Stage
iTask
uruchamiania. -
[SPARK-44846] Usunięto złożone wyrażenia grupowania po .
RemoveRedundantAggregates
-
[SPARK-43718] Naprawiono nullowalność dla kluczy w
USING
sprzężeniach. -
[SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze
TransportContext
. - [SPARK-43973] UI (interfejs użytkownika) Structured Streaming poprawnie wyświetla nieudane zapytania.
-
[SPARK-45730] Ulepszone ograniczenia czasowe dla elementu
ReloadingX509TrustManagerSuite
. -
[SPARK-45859] Obiekty UDF są teraz tworzone leniwie
ml.functions
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Zainstalowano nowy pakiet
14 listopada 2023 r.
- Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
-
[SPARK-45545]
SparkTransportConf
dziedziczySSLOptions
po utworzeniu. -
[SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do
SSLOptions
iSparkTransportConf
. -
[SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z
TakeOrderedAndProjectExec
. -
[SPARK-45541] Dodano
SSLFactory
. -
[SPARK-45430]
FramelessOffsetWindowFunction
nie zawodzi już, gdyIGNORE NULLS
ioffset > rowCount
. - [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
- Aktualizacje zabezpieczeń systemu operacyjnego.
24 października 2023 r.
-
[SPARK-45426] Dodano obsługę elementu
ReloadingX509TrustManager
. - Różne poprawki.
-
[SPARK-45426] Dodano obsługę elementu
13 października 2023 r.
- Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
- [SPARK-42553] Należy dopilnować, że po interwale jest co najmniej jedna czasowa jednostka.
- [SPARK-45346] wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
-
[SPARK-45178] Powrót do uruchamiania pojedynczej partii dla
Trigger.AvailableNow
nieobsługiwanych źródeł zamiast używania wrappera. -
[SPARK-45084]
StateOperatorProgress
używać dokładnego, odpowiedniego numeru partycji przełączania.
12 września 2023 r.
-
[SPARK-44873] Dodano obsługę
alter view
z zagnieżdżonymi kolumnami w kliencie programu Hive. -
[SPARK-44718] Dopasuj
ColumnVector
domyślną konfigurację trybu pamięci doOffHeapMemoryMode
wartości konfiguracji. -
[SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark
Protobuf
. - Różne poprawki.
-
[SPARK-44873] Dodano obsługę
30 sierpnia 2023 r.
-
[SPARK-44485] Zoptymalizowane
TreeNode.generateTreeString
. -
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
taskThread
. -
[SPARK-44871][11.3-13.0] Naprawiono
percentile_disc
zachowanie. - [SPARK-44714] Złagodzenie ograniczeń rozwiązania LCA dotyczących zapytań.
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-44485] Zoptymalizowane
15 sierpnia 2023 r.
- [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
-
[SPARK-44464] Naprawiono
applyInPandasWithStatePythonRunner
, aby wyprowadzał wiersze, które mająNull
jako pierwszą wartość kolumny. - Aktualizacje zabezpieczeń systemu operacyjnego.
29 lipca 2023 r.
- Rozwiązano problem polegający na tym, że
dbutils.fs.ls()
zwróciłINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
po wywołaniu ścieżki lokalizacji magazynu, która kolidowała z inną ścieżką lokalizacji magazynu zewnętrznego lub zarządzanego. -
[SPARK-44199]
CacheManager
nie odświeżafileIndex
już niepotrzebnie. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Rozwiązano problem polegający na tym, że
24 lipca 2023 roku
-
[SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na
Any.getDefaultInstance
powodowało błędy analizy. -
[SPARK-44136] rozwiązano problem polegający na tym, że
StateManager
został zmaterializowany w executorze zamiast w driverze wFlatMapGroupsWithStateExec
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na
23 czerwca 2023 roku
- Aktualizacje zabezpieczeń systemu operacyjnego.
15 czerwca 2023 r.
- Fotonizowany
approx_count_distinct
. - Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
-
[SPARK-43779]
ParseToDate
teraz ładujeEvalMode
w głównym wątku. -
[SPARK-43156][SPARK-43098] Rozszerzony test błędów zliczania w podzapytaniu skalarnym z wyłączoną funkcją
decorrelateInnerQuery
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Fotonizowany
2 czerwca 2023 roku
- Analizator JSON w trybie
failOnUnknownFields
usuwa rekord w trybieDROPMALFORMED
i zawodzi bezpośrednio w trybieFAILFAST
. - Zwiększ wydajność aktualizacji przyrostowych za pomocą Iceberg i Parquet.
- Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
- [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
-
[SPARK-43413][11.3-13.0] Naprawiono
IN
nullowalność podzapytaniaListQuery
. - [SPARK-43522] Naprawiono nadawanie nazwy kolumnie struktury z indeksem tablicy.
-
[SPARK-43541] Przekazywanie wszystkich tagów
Project
podczas rozwiązywania wyrażeń i uzupełniania brakujących kolumn. -
[SPARK-43527] Naprawiono
catalog.listCatalogs
w PySpark. - [SPARK-43123] Metadane wewnętrznych pól nie wyciekają już do katalogów.
- [SPARK-43340] Naprawiono brakujące pole dotyczące śledzenia stosu w dziennikach zdarzeń.
-
[SPARK-42444]
DataFrame.drop
teraz poprawnie obsługuje zduplikowane kolumny. -
[SPARK-42937]
PlanSubqueries
teraz ustawiaInSubqueryExec#shouldBroadcast
na wartość true. -
[SPARK-43286] Zaktualizowano tryb CBC
aes_encrypt
, aby generował losowe wektory inicjalizacyjne. -
[SPARK-43378] Poprawnie zamknij obiekty strumienia w
deserializeFromChunkedBuffer
.
- Analizator JSON w trybie
17 maja 2023 r.
- Skanowanie Parquet jest teraz odporne na błędy OOM podczas skanowania szczególnie skomplikowanych plików przez dynamiczne dostosowywanie rozmiaru partii przetwarzanych danych. Metadane plików są analizowane w celu zawczasu zmniejszenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane, stanowiąc ostateczną warstwę bezpieczeństwa.
- Jeśli plik Avro został odczytany przy użyciu opcji
failOnUnknownFields
lub modułu Auto Loader w trybie ewolucji schematufailOnNewColumns
, kolumny z różnymi typami danych będą odczytywane jakonull
, zamiast zgłaszania błędu informującego, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem, zalecając użytkownikom skorzystanie z opcjirescuedDataColumn
. - Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
-
- Poprawnie odczytuje i nie przetwarza już typów
Integer
,Short
iByte
, jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
- Poprawnie odczytuje i nie przetwarza już typów
-
- Zapobiega traktowaniu typów interwałów jako typów daty lub znacznika czasu, aby uniknąć uszkodzenia danych.
-
- Zapobiega odczytywaniu typów
Decimal
o niższej precyzji.
- Zapobiega odczytywaniu typów
- [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
-
[SPARK-43293]
__qualified_access_only
jest ignorowany w normalnych kolumnach. -
[SPARK-43098] Naprawiono usterkę poprawności
COUNT
, gdy podzapytanie skalarne jest grupowane według klauzuli. -
[SPARK-43085] Obsługa przypisania kolumny
DEFAULT
dla nazw tabel wieloczęściowych. -
[SPARK-43190]
ListQuery.childOutput
jest teraz zgodny z wyjściem wtórnym. - [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
- Aktualizacje zabezpieczeń systemu operacyjnego.
25 kwietnia 2023 r.
- Jeśli plik Parquet został odczytany tylko za pomocą opcji
failOnUnknownFields
lub z Auto Loader w trybie ewolucji schematufailOnNewColumns
, kolumny z różnymi typami danych zostaną odczytane jakonull
zamiast zgłoszenia błędu, który stwierdza, że plik nie może być odczytany. Te operacje odczytu kończą się teraz niepowodzeniem, zalecając użytkownikom skorzystanie z opcjirescuedDataColumn
. - Auto Loader teraz poprawnie odczytuje i nie ratuje typów
Integer
,Short
iByte
, jeśli podano jeden z tych typów danych. Plik Parquet wskazuje na jeden z dwóch pozostałych typów. Gdy wcześniej była włączona uratowana kolumna danych, niezgodność typów danych powodowała zapisanie kolumn, mimo że można je było odczytać. -
[SPARK-43009] Parametryzowane
sql()
zeAny
stałymi - [SPARK-42406] Przerywaj rekurencyjne pola Protobuf poprzez usunięcie pola
-
[SPARK-43038] Obsługa trybu CBC przez
aes_encrypt()
/aes_decrypt()
-
[SPARK-42971] Zmień na wyświetlanie
workdir
, jeśliappDirs
jest null, gdy element roboczy obsługujeWorkDirCleanup
zdarzenie - [SPARK-43018] Poprawka błędów w poleceniach INSERT z literałami znacznika czasu
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Jeśli plik Parquet został odczytany tylko za pomocą opcji
11 kwietnia 2023 r.
- Obsługa starszych formatów źródeł danych w poleceniu
SYNC
. - Rozwiązano problem dotyczący działania funkcji %autoreload w notebookach spoza repozytorium.
- Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
-
[SPARK-42928] Synchronizuje
resolvePersistentFunction
. - [SPARK-42936] Naprawia problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez agregat podrzędny.
- [SPARK-42967] Rozwiązuje problem, gdy zadanie rozpoczyna się po anulowaniu etapu.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Obsługa starszych formatów źródeł danych w poleceniu
29 marca 2023 r.
Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne polecenia
INSERT
,UPDATE
,DELETE
iMERGE
mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego słowa kluczowegoDEFAULT
. Ponadto jeśli jakiekolwiek przypisanieINSERT
ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).Na przykład:
CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()); INSERT INTO t VALUES (0, DEFAULT); INSERT INTO t VALUES (1, DEFAULT); SELECT first, second FROM t; > 0, 2023-03-28 1, 2023-03-28z
Auto Loader inicjuje teraz co najmniej jedno synchroniczne czyszczenie dziennika RocksDB dla strumieni
Trigger.AvailableNow
, aby sprawdzić, czy punkt kontrolny może być regularnie czyszczony w przypadku często uruchamianych strumieni Auto Loader. Może to spowodować, że wyłączenie niektórych strumieni zajmie więcej czasu, ale pozwoli to zmniejszyć koszty przechowywania i poprawić działanie funkcji Auto Loader w przyszłych uruchomieniach.Teraz możesz zmodyfikować tabelę Delta, aby dodać wsparcie dla funkcji tabeli przy użyciu
DeltaTable.addFeatureSupport(feature_name)
.[SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać dostęp do pamięci stanu RocksDB w Structure Streaming.
[SPARK-42521] Dodaj wartości NULL dla INSERT-ów z listami określonymi przez użytkownika, które zawierają mniej kolumn niż tabela docelowa.
[SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE
[SPARK-42668] Przechwyć wyjątek przy próbie zamknięcia skompresowanego strumienia w trakcie zatrzymywania HDFSStateStoreProvider
[SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
8 marca 2023 r.
- Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
- Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz
'delta.feature.featureName'='supported'
zamiast'delta.feature.featureName'='enabled'
. W celu zapewnienia zgodności z poprzednimi wersjami użycie'delta.feature.featureName'='enabled'
nadal działa i będzie nadal działać. - Począwszy od tej wersji, możliwe jest utworzenie lub zastąpienie tabeli z dodatkową właściwością
delta.ignoreProtocolDefaults
, która pozwala ignorować konfiguracje Spark związane z protokołem, w tym domyślne wersje czytnika i zapisujących oraz funkcje tabeli wspierane domyślnie. - [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
- [SPARK-41793] Nieprawidłowy wynik dla ram okienkowych zdefiniowanych przez klauzulę zakresu dla znaczących cyfr dziesiętnych
- [SPARK-42484] Lepszy komunikat o błędzie UnsafeRowUtils
- [SPARK-42516] Zawsze zapisywać konfigurację strefy czasowej sesji podczas tworzenia widoków
- [SPARK-42635] Napraw wyrażenie TimestampAdd.
- [SPARK-42622] Wyłączono podstawianie wartości
- [SPARK-42534] Napraw klauzulę LIMIT w DB2Dialect
- [SPARK-42121] Dodaj wbudowane funkcje tabelaryczne posexplode, posexplode_outer, json_tuple i stack
- [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia dla bardzo małej, małej lub znaczącej liczby całkowitej.
- Aktualizacje zabezpieczeń systemu operacyjnego.
Databricks Runtime 11.3 LTS
Zobacz Databricks Runtime 11.3 LTS.
- 5 marca 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne
CLONE
mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks.
- Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne
- 10 grudnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 listopada 2024 r.
- Różne poprawki błędów.
- 10 października 2024 r.
- Różne poprawki błędów.
- 25 września 2024 r.
- [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- Różne poprawki błędów.
- 17 września 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 sierpnia 2024 r.
- 14 sierpnia 2024 r.
- [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
- [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 sierpnia 2024 r.
- [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
- 1 sierpnia 2024 r.
- Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19.
- 11 lipca 2024 r.
- [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
- [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 czerwca 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 21 maja 2024 r.
- [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 9 maja 2024 r.
- [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 kwietnia 2024 r.
- [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
- [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
- Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
- [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2024 r.
- [SPARK-47167][SQL] Dodaj konkretną klasę dla anonimowej relacji JDBC
- [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
- 13 lutego 2024 r.
- [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
- [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 31 stycznia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 grudnia 2023 r.
- Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
- [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
-
[SPARK-46602] Propaguj
allowExisting
podczas tworzenia widoku, gdy widok/tabela nie istnieje. -
[SPARK-46394] Rozwiązanie problemów spark.catalog.listDatabases() w schematach ze znakami specjalnymi, gdy
spark.sql.legacy.keepCommandOutputSchema
jest ustawione na wartość true. -
[SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w
ALSModel.transform
. - [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
- [SPARK-46249] Wymaganie blokady instancji jest konieczne do uzyskiwania metryk RocksDB, aby uniknąć wyścigu z operacjami w tle.
- [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
- 14 grudnia 2023 r.
- Rozwiązano problem polegający na tym, że znaki podkreślenia poprzedzone znakiem ucieczki w operacjach getColumns pochodzących od klientów JDBC lub ODBC były niepoprawnie przetwarzane i interpretowane jako symbole wieloznaczne.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 listopada 2023 r.
- Zainstalowano nowy pakiet
pyarrow-hotfix
, aby naprawić lukę w zabezpieczeniach PyArrow RCE. - Rozwiązano problem polegający na błędnym interpretowaniu znaków podkreślenia poprzedzonych ukośnikiem w operacjach
getColumns
pochodzących z klientów JDBC lub ODBC jako symbole wieloznaczne. - [SPARK-43973] UI (interfejs użytkownika) Structured Streaming poprawnie wyświetla nieudane zapytania.
-
[SPARK-45730] Ulepszone ograniczenia czasowe dla elementu
ReloadingX509TrustManagerSuite
. -
[SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze
TransportContext
. -
[SPARK-45859] Obiekty UDF są teraz tworzone leniwie
ml.functions
. -
[SPARK-43718] Naprawiono nullowalność dla kluczy w
USING
sprzężeniach. -
[SPARK-44846] Usunięto złożone wyrażenia grupowania po .
RemoveRedundantAggregates
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Zainstalowano nowy pakiet
- 14 listopada 2023 r.
- Filtry partycji w zapytaniach przesyłania strumieniowego Delta Lake są przesuwane w dół przed ograniczaniem szybkości, aby lepiej wykorzystać zasoby.
- [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
-
[SPARK-45545]
SparkTransportConf
dziedziczySSLOptions
po utworzeniu. - Przywróć [SPARK-33861].
-
[SPARK-45541] Dodano
SSLFactory
. - [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
-
[SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z
TakeOrderedAndProjectExec
. -
[SPARK-45430]
FramelessOffsetWindowFunction
nie powoduje już błędu, gdyIGNORE NULLS
ioffset > rowCount
. -
[SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do
SSLOptions
iSparkTransportConf
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- 24 października 2023 r.
-
[SPARK-45426] Dodano obsługę elementu
ReloadingX509TrustManager
. - Różne poprawki.
-
[SPARK-45426] Dodano obsługę elementu
- 13 października 2023 r.
- Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
-
[SPARK-45178] Powrót do uruchamiania pojedynczej partii dla
Trigger.AvailableNow
nieobsługiwanych źródeł zamiast używania wrappera. -
[SPARK-45084]
StateOperatorProgress
używać dokładnego, odpowiedniego numeru partycji mieszania. - [SPARK-45346] Wnioskowanie schematu Parquet teraz uwzględnia flagę wrażliwości na wielkość liter podczas scalania schematu.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 września 2023 r.
- Różne poprawki.
- 30 sierpnia 2023 r.
-
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
taskThread
. -
[SPARK-44871][11.3-13.0] Naprawiono
percentile_disc
zachowanie. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
- 15 sierpnia 2023 r.
-
[SPARK-44485] Zoptymalizowane
TreeNode.generateTreeString
. - [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
-
[SPARK-44464] Naprawiono
applyInPandasWithStatePythonRunner
, aby wyprowadzał wiersze, które mająNull
jako pierwszą wartość kolumny. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-44485] Zoptymalizowane
- 27 lipca 2023 r.
- Rozwiązano problem polegający na tym, że
dbutils.fs.ls()
zwróciłINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
po wywołaniu ścieżki lokalizacji magazynu, która kolidowała z inną ścieżką lokalizacji magazynu zewnętrznego lub zarządzanego. -
[SPARK-44199]
CacheManager
nie odświeżafileIndex
już niepotrzebnie. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Rozwiązano problem polegający na tym, że
- 24 lipca 2023 r.
- [SPARK-44136] Rozwiązano problem, gdzie StateManager mógł zostać zmaterializowany w egzekutorze zamiast w sterowniku w FlatMapGroupsWithStateExec.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 23 czerwca 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 15 czerwca 2023 r.
- Fotonizowany
approx_count_distinct
. - Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
-
[SPARK-43779]
ParseToDate
teraz ładujeEvalMode
w głównym wątku. - [SPARK-40862] Obsługa niezagregowanych podzapytań w ramach RewriteCorrelatedScalarSubquery
-
[SPARK-43156][SPARK-43098] Rozszerzony test dotyczący błędu licznika podzapytań skalarnych przy wyłączonym
decorrelateInnerQuery
. - [SPARK-43098] Naprawiono błąd poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Fotonizowany
- 2 czerwca 2023 r.
- Analizator JSON w trybie
failOnUnknownFields
usuwa rekord w trybieDROPMALFORMED
i zawodzi bezpośrednio w trybieFAILFAST
. - Zwiększ wydajność aktualizacji przyrostowych za pomocą Iceberg i Parquet.
- Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
- [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
-
[SPARK-43527] Naprawiono
catalog.listCatalogs
w PySpark. -
[SPARK-43413][11.3-13.0] Naprawiono
IN
nullowalność podzapytaniaListQuery
. - [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
- Analizator JSON w trybie
Databricks Runtime 10.4 LTS
Zobacz Databricks Runtime 10.4 LTS.
- 11 marca 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lutego 2025 r.
- Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne
CLONE
mogą ponownie kopiować już skopiowane pliki z tabeli źródłowej do tabeli docelowej. Zobacz Klonowanie tabeli w usłudze Azure Databricks. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Ta wersja zawiera poprawkę dla przypadku brzegowego, w którym inkrementalne
- 10 grudnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 listopada 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 listopada 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 października 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 października 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 września 2024 r.
- [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 września 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 sierpnia 2024 r.
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- 14 sierpnia 2024 r.
- [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
- [SPARK-48941][SPARK-48970] Backportowanie poprawek zapisu / odczytu ML
- [SPARK-48463][ML] Umożliwić obsługę zagnieżdżonych kolumn wejściowych przez StringIndexer
- 1 sierpnia 2024 r.
- [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lipca 2024 r.
- [SPARK-48383][SS] Rzucaj lepszy błąd w przypadku niedopasowanych partycji w opcji startOffset w Kafka
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 czerwca 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 21 maja 2024 r.
- [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 9 maja 2024 r.
- [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodującą błąd braku parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 kwietnia 2024 r.
- [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
- [SPARK-44252][SS] Zdefiniuj nową klasę błędów i zastosuj dla przypadku, gdy stan ładowania z systemu plików DFS kończy się niepowodzeniem
- [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika w ujściu wsadowym Foreach
- Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2024 r.
- [SPARK-47125][SQL] Zwracanie wartości null, jeśli funkcja Univocity nigdy nie wyzwala analizowania
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- [SPARK-45582][SS] Upewnij się, że instancja przechowywania nie jest używana po zakończeniu zatwierdzenia w trybie wyjściowym agregacji strumieniowej.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 13 lutego 2024 r.
- [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 31 stycznia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 grudnia 2023 r.
- Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
- [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
-
[SPARK-46538] Rozwiązano problem z niejednoznacznym odwołaniem do kolumny w
ALSModel.transform
. - [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
- [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
- 14 grudnia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 listopada 2023 r.
- Zainstalowano nowy pakiet
pyarrow-hotfix
, aby naprawić lukę w zabezpieczeniach PyArrow RCE. -
[SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze
TransportContext
. -
[SPARK-45859] Obiekty UDF są teraz tworzone leniwie
ml.functions
. -
[SPARK-43718] Naprawiono nullowalność dla kluczy w
USING
sprzężeniach. -
[SPARK-45730] Ulepszone ograniczenia czasowe dla elementu
ReloadingX509TrustManagerSuite
. - [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
-
[SPARK-44846] Usunięto złożone wyrażenia grupowania po .
RemoveRedundantAggregates
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Zainstalowano nowy pakiet
- 14 listopada 2023 r.
-
[SPARK-45541] Dodano
SSLFactory
. -
[SPARK-45545]
SparkTransportConf
dziedziczySSLOptions
po utworzeniu. -
[SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do
SSLOptions
iSparkTransportConf
. - [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
-
[SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z
TakeOrderedAndProjectExec
. - Przywróć [SPARK-33861].
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-45541] Dodano
- 24 października 2023 r.
-
[SPARK-45426] Dodano obsługę elementu
ReloadingX509TrustManager
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-45426] Dodano obsługę elementu
- 13 października 2023 r.
-
[SPARK-45084]
StateOperatorProgress
używać dokładnego, odpowiedniego numeru partycji mieszania. -
[SPARK-45178] Powrót do uruchamiania pojedynczej partii dla
Trigger.AvailableNow
nieobsługiwanych źródeł zamiast używania wrappera. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-45084]
- 10 września 2023 r.
- Różne poprawki.
- 30 sierpnia 2023 r.
-
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
taskThread
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-44818] Naprawiono warunek wyścigu dla przerwań zadania wydanych przed zainicjowaniem
- 15 sierpnia 2023 r.
- [SPARK-44504] Zadanie konserwacyjne usuwa dostawców, którzy zostali załadowani, w przypadku błędu zatrzymania działania.
- [SPARK-43973] Teraz interfejs użytkownika Structured Streaming poprawnie wyświetla zapytania, które zakończyły się niepowodzeniem.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 23 czerwca 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 15 czerwca 2023 r.
- Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
- [SPARK-43098] Naprawiono błąd poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę GROUP BY.
- [SPARK-40862] Obsługa niezagregowanych podzapytań w ramach RewriteCorrelatedScalarSubquery
-
[SPARK-43156][SPARK-43098] Rozszerzony test dotyczący liczby podzapytań skalarnych z wyłączoną opcją
decorrelateInnerQuery
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- 2 czerwca 2023 r.
- Analizator JSON w trybie
failOnUnknownFields
usuwa rekord w trybieDROPMALFORMED
i zawodzi bezpośrednio w trybieFAILFAST
. - Rozwiązano problem z analizowaniem danych odzyskanych w formacie JSON, aby uniknąć
UnknownFieldException
. - Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
- [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
-
[SPARK-43413] Naprawiono nullowalność
IN
podzapytaniaListQuery
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Analizator JSON w trybie
- 17 maja 2023 r.
- Skanowanie Parquet jest teraz odporne na błędy OOM podczas skanowania szczególnie skomplikowanych plików przez dynamiczne dostosowywanie rozmiaru partii przetwarzanych danych. Metadane plików są analizowane w celu zawczasu zmniejszenia rozmiaru partii i są ponownie obniżane, gdy zadanie jest ponawiane, stanowiąc ostateczną warstwę bezpieczeństwa.
-
[SPARK-41520] Podziel
AND_OR
wzorzec drzewa na oddzielneAND
iOR
. -
[SPARK-43190]
ListQuery.childOutput
jest teraz zgodny z wyjściem wtórnym. - Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2023 r.
-
[SPARK-42928] Ustaw
resolvePersistentFunction
synchronizację. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-42928] Ustaw
- 11 kwietnia 2023 r.
- Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
-
[SPARK-42937]
PlanSubqueries
teraz ustawiaInSubqueryExec#shouldBroadcast
na wartość true. - [SPARK-42967] Naprawić SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
- 29 marca 2023 r.
- [SPARK-42668] Przechwyć wyjątek przy próbie zamknięcia skompresowanego strumienia w trakcie zatrzymywania HDFSStateStoreProvider
- [SPARK-42635] Napraw ...
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2023 r.
- [SPARK-41162] Napraw anty- i półzłączenie w przypadku samodzielnego złączenia z agregacjami
- [SPARK-33206] Napraw kalkulację wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
-
[SPARK-42484] Ulepszono komunikat o błędzie
UnsafeRowUtils
- Różne poprawki.
- 28 lutego 2023 r.
- Obsługa generowanej kolumny dla formatu daty yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
- Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta wymagające wersji odczytu 3 i wersji zapisu 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
- Obsługa generowanej kolumny dla formatu daty yyyy-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 16 lutego 2023 r.
- [SPARK-30220] Umożliwienie używania podzapytań Exists/In poza węzłem Filtr
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 31 stycznia 2023 r.
- Typy tabel JDBC są teraz domyślnie zewnętrzne.
- 18 stycznia 2023 r.
- Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat:
Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
. - [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
- [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
- [SPARK-41198] Napraw metryki w zapytaniu przesyłanym strumieniowo zawierającym CTE i źródło przesyłania strumieniowego DSv1.
- [SPARK-41339] Zamknij i ponownie utwórz partię zapisu w RocksDB zamiast tylko ją czyścić.
- [SPARK-41732] Zastosuj przycinanie oparte na wzorcu drzewa dla reguły SessionWindowing.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat:
- 29 listopada 2022 r.
- Użytkownicy mogą konfigurować zachowanie wiodących i końcowych spacji podczas zapisywania danych przy użyciu konektora Redshift. Dodano następujące opcje do zarządzania obsługą białych znaków:
-
csvignoreleadingwhitespace
, gdy ustawiony jest natrue
, usuwa początkowe białe znaki z wartości podczas zapisu, gdytempformat
jest ustawiona naCSV
lubCSV GZIP
. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartośćfalse
. Domyślna wartość totrue
. -
csvignoretrailingwhitespace
, gdy jest ustawiony natrue
, usuwa białe znaki na końcu wartości podczas zapisywania, gdytempformat
jest ustawione naCSV
lubCSV GZIP
. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na wartośćfalse
. Domyślna wartość totrue
.
-
- Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (
cloudFiles.inferColumnTypes
nie został ustawiony lub ustawiony nafalse
) i JSON zawierał zagnieżdżone obiekty. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Użytkownicy mogą konfigurować zachowanie wiodących i końcowych spacji podczas zapisywania danych przy użyciu konektora Redshift. Dodano następujące opcje do zarządzania obsługą białych znaków:
- 15 listopada 2022 r.
- Uaktualniono wersję apache commons-text do wersji 1.10.0.
-
[SPARK-40646] analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw
spark.sql.json.enablePartialResults
na wartośćtrue
. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie. -
[SPARK-40292] Napraw nazwy kolumn w funkcji
arrays_zip
gdy tablice są przywoływane z zagnieżdżonych struktur - Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 listopada 2022 r.
- Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie
_change_type
, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamianiaMERGE
. - Naprawiono problem z Auto Loaderem, w którym plik może zostać zduplikowany w tej samej mikropartii po włączeniu
allowOverwrites
. - [SPARK-40697] Dodanie wyrównania znaków podczas odczytu w celu zabezpieczenia zewnętrznych plików danych
- [SPARK-40596] Uzupełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie
- 18 października 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 października 2022 r.
-
[SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV po wybraniu
_corrupt_record
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV po wybraniu
- 22 września 2022 r.
- Użytkownicy mogą ustawić spark.conf.set(
spark.databricks.io.listKeysWithPrefix.azure.enabled
,true
), aby ponownie włączyć wbudowaną listę dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do zwiększenia kosztów przechowywania dla klientów. - [SPARK-40315] Dodanie metody hashCode() dla Literal w ArrayBasedMapData
- [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
- [SPARK-40380] Napraw składanie stałych elementu InvokeLike, aby uniknąć nieserializowalnego literału osadzonego w planie
- [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
- [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
- [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
- Użytkownicy mogą ustawić spark.conf.set(
- 6 września 2022 r.
- [SPARK-40235] Użyj blokady przerywanej zamiast synchronizowanej w Executor.updateDependencies().
- [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania.
- [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie.
-
[SPARK-40053] Dodaj
assume
do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python. - [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie może być załadowany po zapisaniu.
- [SPARK-40079] Dodaj walidację danych wejściowych ImputerCols dla pustego przypadku wejściowego.
- 24 sierpnia 2022 r.
- [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku.
- [SPARK-39775] Wyłącz sprawdzanie wartości domyślnych podczas analizowania schematów Avro.
- [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
- [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 9 sierpnia 2022 r.
- [SPARK-39847] Napraw warunek wyścigu w RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
- [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu poprawionej polityki analizatora czasu
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 27 lipca 2022 r.
- [SPARK-39625] Dodaj Dataset.as(StructType).
-
[SPARK-39689]Obsługa 2 znaków
lineSep
w źródle danych CSV. - [SPARK-39104] Element InMemoryRelation#isCachedColumnBuffersLoaded powinien być bezpieczny dla wątków.
- [SPARK-39570] tabela wbudowana powinna zezwalać na wyrażenia z aliasem.
- [SPARK-39702] Ogranicz zużycie pamięci przez TransportCipher$EncryptedMessage poprzez wykorzystanie wspólnego byteRawChannel.
- [SPARK-39575] dodać element ByteBuffer#rewind po byteBuffer#get w programie AvroDeserializer.
- [SPARK-39476] Wyłącz optymalizację rozpakowywania rzutowania podczas rzutowania z Long na float/double lub z Integer na float.
- [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 20 lipca 2022 r.
- Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
- [SPARK-39355] Pojedyncza kolumna używa cudzysłowów do konstruowania atrybutu UnresolvedAttribute.
- [SPARK-39548] polecenie CreateView z zapytaniem zawierającym klauzulę okna powoduje problem z powodu nieprawidłowej definicji okna, która nie została znaleziona.
- [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null.
- Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 lipca 2022 r.
- [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu aliasu podzapytania z NATURAL/USING JOIN
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 15 czerwca 2022 r.
- [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
- [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików.
- [SPARK-34096] Poprawa wydajności dla nth_value, ignorując wartości null w przesuniętym oknie.
- [SPARK-36718] Napraw sprawdzanie w CollapseProject.
- 2 czerwca 2022 r.
- [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów rok-miesiąc lub interwałów dzień-czas przez liczbę całkowitą.
- [SPARK-38990] Unikaj NullPointerException podczas oceny formatu date_trunc/trunc jako referencji powiązanej.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 18 maja 2022 r.
- Naprawia potencjalny wyciek pamięci wbudowanej w Auto Loaderze.
- [SPARK-38918] Przycinanie zagnieżdżonych kolumn powinno odfiltrować atrybuty, które nie należą do bieżącej relacji.
- [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP.
- [SPARK-39084] Napraw df.rdd.isEmpty() przy użyciu elementu TaskContext, aby zatrzymać iterator po zakończeniu zadania.
- [SPARK-32268] Dodaj ColumnPruning przy użyciu injectBloomFilter.
- [SPARK-38974] Filtruj zarejestrowane funkcje według danej nazwy bazy danych na liście funkcji.
- [SPARK-38931] Utwórz główny katalog DFS dla RocksDBFileManager z nieznaną liczbą kluczy podczas pierwszego punktu kontrolnego.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 19 kwietnia 2022 r.
- Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
- Rozwiązano problem z brakiem działania bibliotek powiązanych z notesem w zadaniach przetwarzania wsadowego strumieniowego.
- [SPARK-38616] Śledź tekst zapytania SQL w węźle TreeNode w Catalyst
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 6 kwietnia 2022 r.
- Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
-
timestampadd()
idateadd()
: Dodaj czas trwania w wybranej jednostce do znacznika czasu. -
timestampdiff()
idatediff()
: Oblicz różnicę czasu między dwoma wyrażeniami znaczników czasu w określonej jednostce.
-
- Parquet-MR został uaktualniony do wersji 1.12.2
- Ulepszona obsługa kompleksowych schematów w plikach „Parquet”
- [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
-
[SPARK-38509][SPARK-38481] Wybierz selektywnie trzy
timestmapadd/diff
zmiany. - [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV.
-
[SPARK-38237] Umożliwienie
ClusteredDistribution
wymogu pełnych kluczy klastrowania. - [SPARK-38437] Uproszczona serializacja daty i czasu ze źródła danych.
- [SPARK-38180] Umożliwić bezpieczne rzutowanie w górę wyrażeń w predykatach skorelowanej równości.
- [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
Databricks Runtime 9.1 LTS
Zobacz Databricks Runtime 9.1 LTS.
- 11 marca 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lutego 2025 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 grudnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 listopada 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 listopada 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 października 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 października 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 września 2024 r.
- [SPARK-49000][SQL] Naprawa zapytania "select count(distinct 1) from t", gdzie t jest pustą tabelą, poprzez rozszerzenie RewriteDistinctAggregates
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 6 września 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 sierpnia 2024 r.
- [SPARK-49065][SQL] Rekonfiguracja w starszych formaterach/analizatorach musi obsługiwać strefy czasowe inne niż domyślne dla JVM
- 14 sierpnia 2024 r.
- 1 sierpnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 lipca 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 17 czerwca 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 21 maja 2024 r.
- [SPARK-48105][SS] Naprawa warunku wyścigu między rozładowywaniem pamięci stanu a tworzeniem migawek
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 9 maja 2024 r.
- [SPARK-47973][CORE] Zaloguj miejsce wywołania w SparkContext.stop() i następnie w SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu USING
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2024 r.
- Różne poprawki błędów.
- 11 kwietnia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 kwietnia 2024 r.
- Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w DAGScheduler"
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 lutego 2024 r.
- Rozwiązano problem, gdzie używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka numSourceRows zgłaszała dwukrotnie większą niż poprawna liczbę wierszy.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 13 lutego 2024 r.
- [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 31 stycznia 2024 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 grudnia 2023 r.
- Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
- [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
- [SPARK-39440] Dodaj konfigurację umożliwiającą wyłączenie osi czasu zdarzenia.
- [SPARK-46132] Obsługa hasła do kluczy JKS dla protokołu SSL RPC.
- 14 grudnia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 listopada 2023 r.
- Zainstalowano nowy pakiet
pyarrow-hotfix
, aby naprawić lukę w zabezpieczeniach PyArrow RCE. -
[SPARK-45859] Obiekty UDF są teraz tworzone leniwie
ml.functions
. -
[SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze
TransportContext
. -
[SPARK-45730] Ulepszone ograniczenia czasowe dla elementu
ReloadingX509TrustManagerSuite
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Zainstalowano nowy pakiet
- 14 listopada 2023 r.
-
[SPARK-45545]
SparkTransportConf
dziedziczySSLOptions
po utworzeniu. - [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
-
[SPARK-45427] Dodano ustawienia SSL dla protokołu RPC do
SSLOptions
iSparkTransportConf
. -
[SPARK-45584] Naprawiono błąd podczas uruchamiania podzapytania z
TakeOrderedAndProjectExec
. -
[SPARK-45541] Dodano
SSLFactory
. - [SPARK-42205] Usunięto akumulatory w logowaniu zdarzeń rozpoczynania etapu i zadania.
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-45545]
- 24 października 2023 r.
-
[SPARK-45426] Dodano obsługę elementu
ReloadingX509TrustManager
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-45426] Dodano obsługę elementu
- 13 października 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 10 września 2023 r.
- Różne poprawki.
- 30 sierpnia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 15 sierpnia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 23 czerwca 2023 r.
- Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 15 czerwca 2023 r.
- [SPARK-43098] Napraw błąd poprawności związany z funkcją COUNT, gdy zapytanie skalarne ma klauzulę GROUP BY.
-
[SPARK-43156][SPARK-43098] Rozszerz test dotyczący błędu zliczania podzapytań skalarnych przy wyłączonym
decorrelateInnerQuery
. - [SPARK-40862] Obsługa niezagregowanych podzapytań w RewriteCorrelatedScalarSubquery.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 2 czerwca 2023 r.
- Analizator JSON w trybie
failOnUnknownFields
usuwa rekord w trybieDROPMALFORMED
i zawodzi bezpośrednio w trybieFAILFAST
. - Rozwiązano problem z analizowaniem danych odzyskanych w formacie JSON, aby uniknąć
UnknownFieldException
. - Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
-
[SPARK-37520] Dodaj funkcje
startswith()
iendswith()
strunowe -
[SPARK-43413] Naprawiono nullowalność
IN
podzapytaniaListQuery
. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Analizator JSON w trybie
- 17 maja 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 25 kwietnia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 11 kwietnia 2023 r.
- Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
- [SPARK-42967] Naprawić SparkListenerTaskStart.stageAttemptId, gdy zadanie jest uruchamiane po anulowaniu etapu.
- 29 marca 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 14 marca 2023 r.
-
[SPARK-42484] Ulepszony komunikat o błędzie dla elementu
UnsafeRowUtils
. - Różne poprawki.
-
[SPARK-42484] Ulepszony komunikat o błędzie dla elementu
- 28 lutego 2023 r.
- Użytkownicy mogą teraz odczytywać i zapisywać określone tabele Delta wymagające wersji odczytu 3 i wersji zapisu 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby odnieść sukces, cechy wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję Databricks Runtime.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 16 lutego 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 31 stycznia 2023 r.
- Typy tabel JDBC są teraz domyślnie zewnętrzne.
- 18 stycznia 2023 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 29 listopada 2022 r.
- Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (
cloudFiles.inferColumnTypes
nie został ustawiony lub ustawiony nafalse
) i JSON zawierał zagnieżdżone obiekty. - Aktualizacje zabezpieczeń systemu operacyjnego.
- Rozwiązano problem z parsowaniem JSON w Auto Loaderze, gdy wszystkie kolumny były pozostawione jako ciągi znaków (
- 15 listopada 2022 r.
- Uaktualniono wersję apache commons-text do wersji 1.10.0.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Różne poprawki.
- 1 listopada 2022 r.
- Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie
_change_type
, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamianiaMERGE
. - Naprawiono problem z Auto Loaderem, w którym plik może zostać zduplikowany w tej samej mikropartii po włączeniu
allowOverwrites
. - [SPARK-40596] Uzupełnianie ExecutorDecommission komunikatami w ExecutorDecommissionInfo
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie
- 18 października 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 5 października 2022 r.
- Różne poprawki.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 września 2022 r.
- Użytkownicy mogą ustawić ustawienie spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną funkcję listowania dla Auto Loader w usłudze ADLS. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do zwiększenia kosztów przechowywania dla klientów.
- [SPARK-40315] Dodanie metody hashCode() dla Literal w ArrayBasedMapData
- [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
- [SPARK-39887] RemoveRedundantAliases powinno zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
- 6 września 2022 r.
- [SPARK-40235] Użyj blokady przerywalnej zamiast zsynchronizowanej w metodzie Executor.updateDependencies()
- [SPARK-35542] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po jego zapisaniu.
- [SPARK-40079] Dodaj walidację kolumn wejściowych imputera dla przypadku pustego wejścia
- 24 sierpnia 2022 r.
-
[SPARK-39666] Użyj metody UnsafeProjection.create, aby przestrzegać
spark.sql.codegen.factoryMode
w ramach ExpressionEncoder - [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-39666] Użyj metody UnsafeProjection.create, aby przestrzegać
- 9 sierpnia 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 27 lipca 2022 r.
- Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
-
[SPARK-39689] Obsługa 2 znaków
lineSep
w źródle danych CSV -
[SPARK-39575] Dodano
ByteBuffer#rewind
poByteBuffer#get
w plikuAvroDeserializer
. - [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 13 lipca 2022 r.
-
[SPARK-39419]
ArraySort
zgłasza wyjątek, gdy komparator zwraca wartość null. - Wyłączono użycie wbudowanych interfejsów API chmury przez Auto Loader do wyświetlania listy katalogów na platformie Azure.
- Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-39419]
- 5 lipca 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Różne poprawki.
- 15 czerwca 2022 r.
-
[SPARK-39283] Naprawiono blokadę między komponentami
TaskMemoryManager
iUnsafeExternalSorter.SpillableIterator
.
-
[SPARK-39283] Naprawiono blokadę między komponentami
- 2 czerwca 2022 r.
-
[SPARK-34554] Zaimplementuj metodę
copy()
w plikuColumnarMap
. - Aktualizacje zabezpieczeń systemu operacyjnego.
-
[SPARK-34554] Zaimplementuj metodę
- 18 maja 2022 r.
- Naprawiono potencjalny wbudowany wyciek pamięci w narzędziu Auto Loader.
- Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
- [SPARK-38918] filtrowanie zagnieżdżonych kolumn powinno eliminować atrybuty, które nie należą do bieżącej relacji
-
[SPARK-39084] Poprawka
df.rdd.isEmpty()
przy użyciu poleceniaTaskContext
w celu zatrzymania iteratora po zakończeniu zadania - Aktualizacje zabezpieczeń systemu operacyjnego.
- 19 kwietnia 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- Różne poprawki.
- 6 kwietnia 2022 r.
- [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 22 marca 2022 r.
- Zmieniono katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabel lub przekazywaniem poświadczeń na katalog główny użytkownika. Wcześniej usługa Active Directory miała wartość
/databricks/driver
. - [SPARK-38437] Łagodna serializacja daty/godziny ze źródła danych
- [SPARK-38180] Umożliwienie bezpiecznego rzutowania w górę w skorelowanych predykatach równości
- [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
- [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
- Zmieniono katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabel lub przekazywaniem poświadczeń na katalog główny użytkownika. Wcześniej usługa Active Directory miała wartość
- 14 marca 2022 r.
- [SPARK-38236] bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
-
[SPARK-34069] przerwać wątek zadania, jeśli właściwość lokalna
SPARK_JOB_INTERRUPT_ON_CANCEL
została ustawiona na true.
- 23 lutego 2022 r.
- [SPARK-37859] tabel SQL utworzonych za pomocą JDBC z platformą Spark 3.1 nie można odczytać z platformą Spark 3.2.
- 8 lutego 2022 r.
- [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 1 lutego 2022 r.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 26 stycznia 2022 r.
- Rozwiązano problem polegający na tym, że równoczesne transakcje w tabelach Delta mogły być zatwierdzane w nieserializowalnej kolejności w pewnych rzadkich warunkach.
- Rozwiązano problem polegający na tym, że polecenie
OPTIMIZE
mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
- 19 stycznia 2022 r.
- Drobne poprawki i ulepszenia zabezpieczeń.
- Aktualizacje zabezpieczeń systemu operacyjnego.
- 4 listopada 2021 r.
- Naprawiono problem, który mógł powodować niepowodzenie strumieni Structured Streaming z powodu błędu
ArrayIndexOutOfBoundsException
. - Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania, występując jako wyjątek IOException, taki jak
java.io.IOException: No FileSystem for scheme
, lub może sprawić, że zmiany wsparkContext.hadoopConfiguration
nie zostaną uwzględnione w zapytaniach. - Łącznik Apache Spark dla Delta Sharing został uaktualniony do wersji 0.2.0.
- Naprawiono problem, który mógł powodować niepowodzenie strumieni Structured Streaming z powodu błędu
- 20 października 2021 r.
- Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Dodaje obsługę dla typu BigNumeric.