Udostępnij za pośrednictwem

Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane)

  • Artykuł

Ta zarchiwizowana strona zawiera listę aktualizacji konserwacji wydanych dla wersji środowiska Databricks Runtime, które nie są już obsługiwane. Aby dodać aktualizację konserwacji do istniejącego klastra, uruchom ponownie klaster.

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana. Produkty, usługi lub technologie wymienione w tej zawartości osiągnęły koniec wsparcia. Zobacz Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Uwaga

Ten artykuł zawiera odwołania do terminu lista dozwolonych, termin, którego usługa Azure Databricks nie używa. Po usunięciu tego terminu z oprogramowania usuniemy go również z artykułu.

Wersje środowiska Databricks Runtime

Aktualizacje konserwacji według wydania:

Aby uzyskać informacje o aktualizacjach konserwacji obsługiwanych wersji środowiska Databricks Runtime, zobacz Aktualizacje konserwacji środowiska Databricks Runtime.

Databricks Runtime 15.1

Zobacz Databricks Runtime 15.1 (EoS).

  • 22 października 2024 r.
    • [SPARK-49863][SQL] Naprawa parametru NormalizeFloatingNumbers w celu zachowania zerowości zagnieżdżonych struktur
    • [SPARK-46632][SQL] Naprawianie eliminacji podwyrażenia, gdy równoważne wyrażeniaternarne mają różne elementy podrzędne
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • [SPARK-49829] Popraw optymalizację dodawania danych wejściowych do magazynu stanów w sprzężeniu strumienia strumienia (poprawka poprawności)
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
    • [SPARK-49688][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474[SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 września 2024 r.
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-48719][SQL] Naprawiono usterkę obliczania regrSlope i RegrIntercept, gdy pierwszy parametr ma wartość null
    • [SPARK-49492][CONNECT] Ponowne dołączanie próby przy nieaktywnym symbolu wykonania
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Podaj identyfikator sesji po stronie serwera za pomocą polecenia ReattachExecute
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49336][CONNECT] Ogranicz poziom zagnieżdżania podczas obcinania komunikatu protobuf
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
    • [SPARK-49409][CONNECT] Dostosowywanie wartości domyślnej CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-49366][CONNECT] Traktuj węzeł Unii jako liść w rozdzielczości kolumny ramki danych
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
    • [SPARK-48862][PYTHON][CONNECT] Unikaj wywoływania _proto_to_string , gdy poziom INFO nie jest włączony
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
  • 14 sierpnia 2024 r.
    • [SPARK-48941][SPARK-48970] Wycofywanie modułu zapisywania uczenia maszynowego/poprawki czytnika
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-49047][PYTHON][CONNECT] Obcięcie komunikatu na potrzeby rejestrowania
    • [SPARK-48740][SQL] Wczesne przechwytywanie błędu specyfikacji brakującego okna
  • 1 sierpnia 2024 r.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • W przypadku obliczeń skonfigurowanych w trybie dostępu współdzielonego operacje odczytu i zapisu wsadowego platformy Kafka mają teraz takie same ograniczenia, jak te udokumentowane w przypadku przesyłania strumieniowego ze strukturą. Zobacz Ograniczenia i wymagania dotyczące przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-48544][SQL] Zmniejsz wykorzystanie pamięci pustych zestawów bitów TreeNode
    • [SPARK-46957][CORE] Likwidowanie migrowanych plików mieszania powinno być możliwe wyczyszczenie z funkcji wykonawczej
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • [SPARK-48713][SQL] Dodawanie sprawdzania zakresu indeksów dla elementu UnsafeRow.pointTo, gdy obiekt baseObject jest tablicą bajtów
    • [SPARK-48896][SPARK-48909][SPARK-48883] Poprawki modułu zapisywania uczenia maszynowego platformy Spark w zapleczu
    • [SPARK-48810][CONNECT] Interfejs API stop() sesji powinien być idempotentny i nie zakończyć się niepowodzeniem, jeśli sesja została już zamknięta przez serwer
    • [SPARK-48873][SQL] Użyj elementu UnsafeRow w analizatorze JSON.
    • [SPARK-48934][SS] Typy daty/godziny języka Python przekonwertowane niepoprawnie dla ustawienia limitu czasu w applyInPandasWithState
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • [SPARK-48889][SS] testStream do zwolnienia magazynów stanów przed zakończeniem
    • [SPARK-48047][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
    • [SPARK-48463] Ustaw właściwość StringIndexer obsługując zagnieżdżone kolumny wejściowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik JDBC snowflake został zaktualizowany do wersji 3.16.1.
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • W przypadku bezserwerowych zasobów obliczeniowych dla notesów i zadań tryb SQL ANSI jest domyślnie włączony. Zobacz Obsługiwane parametry konfiguracji platformy Spark.
    • Aby zignorować nieprawidłowe partycje podczas odczytywania danych, źródeł danych opartych na plikach, takich jak Parquet, ORC, CSV lub JSON, można ustawić opcję ignoreInvalidPartitionPaths źródła danych na wartość true. Na przykład: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Można również użyć konfiguracji SQL spark.sql.files.ignoreInvalidPartitionPaths. Jednak opcja źródła danych ma pierwszeństwo przed konfiguracją SQL. To ustawienie jest domyślnie fałszywe.
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-47463][SQL] Użyj elementu V2Predicate do zawijania wyrażenia z zwracanymi typem wartości logicznej
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48566][PYTHON] Usunięto usterkę polegającą na tym, że indeksy partycji są niepoprawne, gdy funkcja UDTF analyze() używa zarówno funkcji select, jak i partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Upewnij się, że element SparkConnectClient.tags jest poprawnie threadlocal
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48252][SQL] Aktualizowanie biblioteki CommonExpressionRef w razie potrzeby
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48294][SQL] Obsługa małych liter w zagnieżdżonym typieMissingElementTypeError
    • [SPARK-48286] Naprawiono analizę kolumny z wyrażeniem domyślnym — dodawanie błędu napotykanego przez użytkownika
    • [SPARK-47309][SQL] XML: Dodawanie testów wnioskowania schematu dla tagów wartości
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • applyInPandasWithState() jest dostępny w udostępnionych klastrach.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
    • Usunięto usterkę w funkcji try_divide(), w której dane wejściowe zawierające liczby dziesiętne powodowały nieoczekiwane wyjątki.
    • [SPARK-48173][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
    • [SPARK-48016][SQL] Naprawiono usterkę w funkcji try_divide, gdy w przypadku liczby dziesiętnej
    • [SPARK-48105][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
    • [SPARK-48197][SQL] Unikaj błędu potwierdzenia dla nieprawidłowej funkcji lambda
    • [SPARK-48180][SQL] Poprawianie błędu, gdy wywołanie UDTF za pomocą argumentu TABLE zapomina nawiasy wokół wielu eksplorów PARTITION/ORDER BY
    • [SPARK-48014][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
    • [SPARK-48056][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
    • [SPARK-48146][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
    • [SPARK-47994][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 maja 2024 r.
    • [SPARK-47543][CONNECT][PYTHON] Wnioskowanie dict as MapType z ramki danych Pandas w celu umożliwienia tworzenia ramki danych
    • [SPARK-47739][SQL] Rejestrowanie typu logicznego avro
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Dodaj spark.sql.execution.arrow.pyspark.fallback.enabled na nieobsługiwanej liście
    • [SPARK-48010][SQL] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
    • [SPARK-47941] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Użyj asynchronicznego wywołania zwrotnego do czyszczenia wykonania
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-47839][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
    • [SPARK-48018][SS] Rozwiązano problem z wartością null groupId powodujący błąd brakującego parametru podczas zgłaszania wyjątku KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47907][SQL] Umieść huk pod konfiguracją
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 15.0

Zobacz Databricks Runtime 15.0 (EoS).

  • 30 maja 2024 r.
  • 25 kwietnia 2024 r.
    • [SPARK-47786] FUNKCJA SELECT DISTINCT () nie powinna stać się strukturą SELECT DISTINCT() (przywróć poprzednie zachowanie)
    • [SPARK-47802][SQL] Przywróć () ze znaczeniastruct() z powrotem do znaczenia *
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
    • [SPARK-47722] Przed zamknięciem poczekaj na zakończenie pracy w tle bazy danych RocksDB
    • [SPARK-47081][CONNECT][OBSERWUJ] Poprawa użyteczności programu obsługi postępu
    • [SPARK-47694][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
    • [SPARK-47669][SQL][CONNECT][PYTHON] Dodawać Column.try_cast
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Weryfikowanie nazwy kolumny przy użyciu buforowanego schematu
    • [SPARK-47818][CONNECT][Cherry-pick-15.0] Wprowadzenie pamięci podręcznej planu w rozwiązaniu SparkConnectPlanner w celu zwiększenia wydajności żądań analizy
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] Element przestawny powinien zakończyć się niepowodzeniem, gdy liczba unikatowych wartości jest zbyt duża
    • [SPARK-47713][SQL][CONNECT] Naprawianie błędu samosprzężenia
    • [SPARK-47812][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite niepowodzenie z nieprawidłowym planem
    • [SPARK-47862][PYTHON][CONNECT]Naprawianie generowania plików proto
    • [SPARK-47800][SQL] Tworzenie nowej metody identyfikatora do konwersji tableIdentifier
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 3 kwietnia 2024 r.
    • (Zmiana zachowania) Aby zapewnić spójne zachowanie w różnych typach obliczeniowych, funkcje zdefiniowane przez użytkownika PySpark w udostępnionych klastrach są teraz zgodne z zachowaniem funkcji zdefiniowanych przez użytkownika w klastrach bez izolacji i przypisanych. Ta aktualizacja obejmuje następujące zmiany, które mogą spowodować przerwanie istniejącego kodu:
      • Funkcje zdefiniowane przez użytkownika z typem zwracanym string nie są już niejawnie konwertowane na string wartości innestring niż wartości. Wcześniej funkcje zdefiniowane przez użytkownika z zwracanym typem str obiektu zawijają wartość zwracaną str() za pomocą funkcji niezależnie od rzeczywistego typu danych zwracanej wartości.
      • Funkcje zdefiniowane przez użytkownika z typami timestamp zwracanymi nie są już niejawnie stosowane do konwersji za timestamp pomocą timezonepolecenia .
      • Konfiguracje klastra spark.databricks.sql.externalUDF.* Spark nie mają już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach.
      • Konfiguracja spark.databricks.safespark.externalUDF.plan.limit klastra Spark nie ma już wpływu na funkcje zdefiniowane przez użytkownika PySpark, usuwając ograniczenie publicznej wersji zapoznawczej 5 funkcji zdefiniowanych przez użytkownika na zapytanie dotyczące funkcji zdefiniowanych przez użytkownika PySpark.
      • Konfiguracja spark.databricks.safespark.sandbox.size.default.mib klastra Spark nie ma już zastosowania do funkcji zdefiniowanej przez użytkownika PySpark w udostępnionych klastrach. Zamiast tego jest używana dostępna pamięć w systemie. Aby ograniczyć pamięć funkcji zdefiniowanych przez użytkownika PySpark, należy użyć z spark.databricks.pyspark.udf.isolation.memoryLimit minimalną wartością 100m.
    • Typ TimestampNTZ danych jest teraz obsługiwany jako kolumna klastrowania z klastrowaniem płynnym. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
    • [SPARK-47033][SQL] Poprawka EXECUTE IMMEDIATE USING nie rozpoznaje nazw zmiennych sesji
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • [SPARK-47561][SQL] Rozwiązywanie problemów z kolejnością reguł analizatora dotyczących aliasu
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-46906][BACKPORT][SS] Dodawanie sprawdzania zmiany operatora stanowego dla przesyłania strumieniowego
    • [SPARK-47569][SQL] Nie zezwalaj na porównywanie wariantu.
    • [SPARK-47241][SQL] Rozwiązywanie problemów z kolejnością reguł dla elementu ExtractGenerator
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded identyfikator cudzysłowu rozpoczyna się od cyfr
    • [SPARK-47009][SQL][Sortowanie] Włączanie obsługi tabel tworzenia na potrzeby sortowania
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47544][PYTHON] Metoda konstruktora SparkSession jest niezgodna z funkcją IntelliSense kodu visual studio
    • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
    • [SPARK-47385] Napraw kodery krotki za pomocą opcji wejściowych.
    • [SPARK-47200][SS] Klasa błędu dla błędu funkcji użytkownika ujścia wsadowego foreach
    • [SPARK-47135][SS] Implementowanie klas błędów dla wyjątków utraty danych platformy Kafka
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
    • [SPARK-47380][CONNECT] Upewnij się, że po stronie serwera usługa SparkSession jest taka sama
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.2

Zobacz Databricks Runtime 14.2 (EoS).

  • 22 października 2024 r.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns reguła rozwiązuje nierozwiązane atrybutyAttribute z podrzędnymi danymi wyjściowymi
    • [SPARK-49905] Użyj dedykowanego elementu ShuffleOrigin dla operatora stanowego, aby zapobiec modyfikacji mieszania z usługi AQE
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 października 2024 r.
  • 25 września 2024 r.
    • [SPARK-48719][SQL] Napraw usterkę obliczania "RegrS...
    • [SPARK-49628][SQL] StałeFoldowanie powinno skopiować wyrażenie stanowe przed oceną
    • [SPARK-49000][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając pozycję RewriteDistinctAggregates
    • [SPARK-43242][CORE] Poprawka zgłasza błąd "Nieoczekiwany typ Blokuj" w diagnozowaniu uszkodzenia mieszania
    • [SPARK-46601] [CORE] Naprawianie błędu dziennika w handleStatusMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 września 2024 r.
    • [SPARK-49526][CONNECT] Obsługa ścieżek w stylu systemu Windows w narzędziu ArtifactManager
  • 29 sierpnia 2024 r.
    • [SPARK-49263][CONNECT] Klient platformy Spark Connect w języku Python: spójna obsługa opcji czytnika elementów logicznych ramek danych
    • [SPARK-49146][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
    • [SPARK-49056][SQL] ErrorClassesJsonReader nie może poprawnie obsłużyć wartości null
  • 14 sierpnia 2024 r.
    • [SPARK-48050][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
    • [SPARK-48597][SQL] Wprowadzenie znacznika dla właściwości isStreaming w tekście reprezentacji planu logicznego
    • [SPARK-49065][SQL] Ponowne łączenie w starszych formaterach/analizatorach musi obsługiwać domyślne strefy czasowe JVM
    • [SPARK-48706][PYTHON] Funkcja UDF języka Python w funkcjach o wyższej kolejności nie powinna zgłaszać błędu wewnętrznego
  • 1 sierpnia 2024 r.
    • Ta wersja zawiera poprawkę błędów dla ColumnVector klas i ColumnarArray w interfejsie Java platformy Spark. Poprzednio do tej poprawki może zostać zwrócone lub zwrócone nieprawidłowe dane, ArrayIndexOutOfBoundsException gdy wystąpienie jednej z tych klas zawiera null wartości.
    • Dane wyjściowe instrukcji SHOW CREATE TABLE zawierają teraz wszystkie filtry wierszy lub maski kolumn zdefiniowane w zmaterializowanym widoku lub tabeli przesyłania strumieniowego. Zobacz SHOW CREATE TABLE (POKAŻ TABELĘ TWORZENIA). Aby dowiedzieć się więcej o filtrach wierszy i maskach kolumn, zobacz Filtrowanie poufnych danych tabeli przy użyciu filtrów wierszy i masek kolumn.
    • [SPARK-47202][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
    • [SPARK-48705][PYTHON] Jawne użycie worker_main, gdy rozpoczyna się od pyspark
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 lipca 2024 r.
    • (Zmiana zachowania) Ramki danych buforowane względem źródeł tabeli delty są teraz unieważniane, jeśli tabela źródłowa została zastąpiona. Ta zmiana oznacza, że wszystkie zmiany stanu w tabelach delty teraz unieważniają buforowane wyniki. Służy .checkpoint() do utrwalania stanu tabeli przez cały okres istnienia ramki danych.
    • Sterownik Snowflake JDBC został zaktualizowany do wersji 3.16.1
    • Ta wersja zawiera poprawkę problemu, który uniemożliwił poprawne wyświetlanie karty Środowisko interfejsu użytkownika platformy Spark podczas uruchamiania w usługach Kontener Services usługi Databricks.
    • [SPARK-48292][CORE] Przywracanie [SPARK-39195][SQL] Spark OutputCommitCoordinator powinno przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
    • [SPARK-48273][SQL] Naprawa późnego ponownego zapisywania planuWithUnresolvedIdentifier
    • [SPARK-48503][SQL] Naprawianie nieprawidłowych podzapytania skalarnego za pomocą kolumn grupowania w kolumnach, które były niepoprawnie dozwolone
    • [SPARK-48481][SQL][SS] Nie stosuj elementu OptimizeOneRowPlan względem zestawu danych przesyłania strumieniowego
    • [SPARK-48475][PYTHON] Optymalizowanie _get_jvm_function w programie PySpark.
    • [SPARK-48100][SQL] Rozwiązywanie problemów z pomijaniem niezagnieżdżonych pól struktury nie zaznaczonych w schemacie
    • [SPARK-48445][SQL] Nie udostępniaj wbudowanych funkcji zdefiniowanych przez użytkownika z kosztownymi dziećmi
    • [SPARK-48383][SS] Zgłaszanie lepszego błędu w przypadku niedopasowanych partycji w opcji startOffset na platformie Kafka
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 czerwca 2024 r.
    • Naprawia usterkę polegającą na tym, że optymalizacja klasyfikacji okien przy użyciu biblioteki Photon TopK niepoprawnie obsługiwała partycje ze strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
    • [SPARK-48277] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 21 maja 2024 r.
  • 9 maja 2024 r.
    • [SPARK-48044][PYTHON][CONNECT] Pamięć podręczna DataFrame.isStreaming
    • [SPARK-47956][SQL] Sprawdzanie kondycji dla nierozwiązanej dokumentacji LCA
    • [SPARK-47371] [SQL] XML: Ignoruj tagi wierszy znalezione w CDATA
    • [SPARK-47812][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
    • [SPARK-47895][SQL] grupowanie według wszystkich powinno być idempotentne
    • [SPARK-47973][CORE] Witryna wywołania dziennika w pliku SparkContext.stop() i nowszych w pliku SparkContext.assertNotStopped()
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2024 r.
    • [SPARK-47704][SQL] Analizowanie kodu JSON kończy się niepowodzeniem z komunikatem "java.lang.ClassCastException" po włączeniu spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite niepowodzenie z nieprawidłowym planem
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2024 r.
    • [SPARK-47309][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
    • [SPARK-46990][SQL] Naprawianie ładowania pustych plików Avro emitowanych przez centra zdarzeń
    • [SPARK-47638][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
    • [SPARK-47509][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
    • [SPARK-38708][SQL] Uaktualnianie klienta magazynu metadanych Hive do wersji 3.1.3 dla programu Hive 3.1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 kwietnia 2024 r.
    • [SPARK-47322][PYTHON][CONNECT] Upewnij się, że obsługa withColumnsRenamed duplikacji nazw kolumn jest spójna z withColumnRenamed
    • [SPARK-47385] Napraw kodery krotki za pomocą opcji wejściowych.
    • [SPARK-47070] Napraw nieprawidłową agregację po ponownym zapisaniu podzapytania
    • [SPARK-47218] [SQL] XML: Zmieniono polecenie SchemaOfXml, aby nie powiodło się w trybie DROPMALFORMED
    • [SPARK-47305][SQL] Napraw narzędzie PruneFilters, aby oznaczyć flagę isStreaming właściwości LocalRelation poprawnie, gdy plan ma zarówno partię, jak i przesyłanie strumieniowe
    • [SPARK-47218][SQL] XML: Ignoruj skomentowane tagi wierszy w tokenizatorze XML
    • Przywróć "[SPARK-46861][CORE] Unikaj zakleszczenia w daGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded identyfikator cudzysłowu rozpoczyna się od cyfr
    • [SPARK-47368][SQL] Usuń sprawdzanie konfiguracji inferTimestampNTZ w pliku ParquetRowConverter
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2024 r.
    • [SPARK-47035][SS][CONNECT] Protokół odbiornika po stronie klienta
    • [SPARK-47121][CORE] Unikaj odrzucaniaexecutionExceptions podczas zamykania standaloneSchedulerBackend
    • [SPARK-47145][SQL] Przekaż identyfikator tabeli do narzędzia exec skanowania źródła danych wierszy dla strategii w wersji 2.
    • [SPARK-47176][SQL] Funkcja pomocnika ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Dodawanie klasy dla anonimowej relacji JDBC
    • [SPARK-47129][CONNECT][SQL] Prawidłowe ResolveRelations łączenie pamięci podręcznej
    • [SPARK-47044][SQL] Dodawanie wykonanego zapytania dla zewnętrznych źródeł danych JDBC w celu wyjaśnienia danych wyjściowych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lutego 2024 r.
    • Rozwiązano problem polegający na tym, że używanie kolekcji lokalnej jako źródła w poleceniu MERGE mogło spowodować, że metryka metryki numSourceRows zgłasza dwukrotnie poprawną liczbę wierszy.
    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • Teraz można pozyskiwać pliki XML przy użyciu narzędzia Autoloader, read_files, COPY INTO, DLT i DBSQL. Obsługa plików XML może automatycznie wnioskować i rozwijać schemat, ratować dane z niezgodnościami typów, weryfikować kod XML przy użyciu XSD, obsługiwać wyrażenia SQL, takie jak from_xml, schema_of_xml i to_xml. Aby uzyskać więcej informacji, zobacz Obsługa plików XML. Jeśli wcześniej używano zewnętrznego pakietu spark-xml, zobacz tutaj , aby uzyskać wskazówki dotyczące migracji.
    • [SPARK-46954][SQL] XML: Zawijanie elementu InputStreamReader z funkcją BufferedReader
    • [SPARK-46630][SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
    • [SPARK-46248][SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
    • [SPARK-46954][SQL] XML: Optymalizowanie wyszukiwania indeksu schematu
    • [SPARK-47059][SQL] Dołączanie kontekstu błędu dla polecenia ALTER COLUMN v1
    • [SPARK-46993][SQL] Naprawianie stałego składania zmiennych sesji
  • 8 lutego 2024 r.
    • Zapytania zestawienia danych (CDF) dotyczące zmaterializowanych widoków wykazu aparatu Unity nie są obsługiwane, a próba uruchomienia zapytania CDF przy użyciu zmaterializowanego widoku wykazu aparatu Unity zwraca błąd. Tabele przesyłania strumieniowego wykazu aparatu Unity obsługują zapytania CDF w tabelach innych niżAPPLY CHANGES w środowisku Databricks Runtime 14.1 lub nowszym. Zapytania CDF nie są obsługiwane w przypadku tabel przesyłania strumieniowego wykazu aparatu Unity w środowisku Databricks Runtime 14.0 i starszych wersjach.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
    • [SPARK-46822] Należy szanować spark.sql.legacy.charVarcharAsString podczas rzutowania typu jdbc do typu katalizatora w jdbc.
    • [SPARK-46952] XML: Ogranicz rozmiar uszkodzonego rekordu.
    • [SPARK-46644] Zmień dodawanie i scalanie w metryce SQLMetric, aby używać funkcji isZero.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46382] XML: Zaktualizuj dokument dla elementu ignoreSurroundingSpaces.
    • [SPARK-46382] XML: przechwyć wartości przeplatane między elementami.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46382] XML: Wartość domyślna ignoruj wartościSurroundingSpaces na true.
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-45964] Usuń prywatne metody dostępu sql w pakiecie XML i JSON w pakiecie katalizatora.
    • [SPARK-46581] Aktualizuj komentarz na isZero w akumulacjęV2.
    • [SPARK-45912] Ulepszenie interfejsu API XSDToSchema: zmiana interfejsu API systemu plików HDFS na ułatwienia dostępu do magazynu w chmurze.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46660] ReattachExecute żąda aktualizacji aktywności elementu SessionHolder.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46684] Napraw wartość CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-45962] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w formacie XML.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • [SPARK-46599] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
    • [SPARK-46484] Ustaw funkcje pomocnicze, aby resolveOperators zachować identyfikator planu.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
    • [SPARK-46446] Wyłącz podzapytania z skorelowanym przesunięciem, aby naprawić usterkę poprawności.
    • [SPARK-46152] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-45814] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46153] XML: Dodaj obsługę atrybutu TimestampNTZType.
    • [SPARK-46056][BACKPORT] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
    • [SPARK-46036] Usuwanie klasy error z funkcji raise_error.
    • [SPARK-46294] Wyczyść semantyka init a zero wartości.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: Napraw konwersję dużej liczby całkowitej XSD.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46241] Napraw procedurę obsługi błędów, aby nie wchodziła w nieskończoną rekursję.
    • [SPARK-46355] XML: Zamknij inputStreamReader po zakończeniu odczytu.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46265] Asercji w addArtifact RPC sprawiają, że klient połączenia jest niezgodny ze starszymi klastrami.
    • [SPARK-46308] Zabraniaj cyklicznej obsługi błędów.
    • [SPARK-46337] Zachowaj CTESubstitution element PLAN_ID_TAG.
  • 14 grudnia 2023 r.
    • [SPARK-46141] Zmień wartość domyślną spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE.
    • [SPARK-45730] Załaduj ponownieX509TrustManagerSuite mniej łuszczące.
    • [SPARK-45852] Bezproblemowo radzić sobie z błędem rekursji podczas rejestrowania.
    • [SPARK-45808] Lepsza obsługa błędów dla wyjątków SQL.
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • Przywróć strukturę "[SPARK-45649] Ujednolicenie struktury przygotowywania dla programu OffsetWindowFunctionFrame".
    • [SPARK-45733] Obsługa wielu zasad ponawiania prób.
    • [SPARK-45509] Naprawiono zachowanie odwołania do kolumn df dla programu Spark Connect.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w funkcji CollectMetrics.
    • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym powinien najpierw zachować cyfry całkowite.
    • [SPARK-45136] Zwiększ obsługę narzędzia ClosureCleaner dzięki obsłudze ammonite.
    • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
    • [SPARK-45859] Utwórz obiekty UDF w ml.functions z opóźnieniem.
    • [SPARK-46028] Ustaw wartość accept input column (Zaakceptuj Column.__getitem__ kolumnę wejściową).
    • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
    • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
    • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
    • [SPARK-45770] Wprowadzenie planu DataFrameDropColumns dla elementu Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementacji i powiązań dla języka Python, nawiązywania połączeń i języka SQL.
    • [SPARK-45851] Obsługa wielu zasad w kliencie scala.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Klient języka Python dla programu Spark Connect przechwytuje teraz błędy rekursji podczas konwersji tekstu.
    • [SPARK-45808] Ulepszona obsługa błędów dla wyjątków SQL.
    • [SPARK-45920]GROUP BY porządkowy nie zastępuje porządkowych.
    • Przywróć [SPARK-45649].
    • [SPARK-45733] Dodano obsługę wielu zasad ponawiania prób.
    • [SPARK-45509] Naprawiono df zachowanie odwołania do kolumn dla programu Spark Connect.
    • [SPARK-45655] Zezwalaj na wyrażenia niedeterministyczne wewnątrz AggregateFunctions elementu w pliku CollectMetrics.
    • [SPARK-45905] Najmniej typowy typ między typami dziesiętnym zachowuje teraz cyfry całkowite jako pierwsze.
    • [SPARK-45136] Zwiększ możliwości dzięki obsłudze ClosureCleaner aplikacji Ammonite.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-46028]Column.__getitem__ akceptuje kolumny wejściowe.
    • [SPARK-45798] Potwierdzenie identyfikatora sesji po stronie serwera.
    • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
    • [SPARK-45844] Zaimplementuj bez uwzględniania wielkości liter dla kodu XML.
    • [SPARK-45770] Naprawiono rozdzielczość kolumn dla DataFrameDropColumns elementu .Dataframe.drop
    • [SPARK-44790] Dodano to_xml implementację i powiązania dla języków Python, Spark Connect i SQL.
    • [SPARK-45851] Dodano obsługę wielu zasad w kliencie Scala.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 14.0

Zobacz Databricks Runtime 14.0 (EoS).

  • 8 lutego 2024 r.
    • [SPARK-46396] Wnioskowanie znacznika czasu nie powinno zgłaszać wyjątku.
    • [SPARK-46794] Usuń podzapytania z ograniczeń LogicalRDD.
    • [SPARK-45182] Ignoruj ukończenie zadania ze starego etapu po ponowieniu próby wykonania etapu nadrzędnego w sposób określony przez sumę kontrolną.
    • [SPARK-46933] Dodaj metryki czasu wykonywania zapytania do łączników, które używają identyfikatora JDBCRDD.
    • [SPARK-45957] Unikaj generowania planu wykonywania dla poleceń innych niż wykonywalne.
    • [SPARK-46861] Unikaj zakleszczenia w DAGScheduler.
    • [SPARK-46930] Dodano obsługę niestandardowego prefiksu dla pól typu unii w usłudze Avro.
    • [SPARK-46941] Nie można wstawić węzła limitu grupy okien dla obliczeń top-k, jeśli zawiera SizeBasedWindowFunction.
    • [SPARK-45582] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2024 r.
    • [SPARK-46541] Napraw niejednoznaczne odwołanie do kolumny w sprzężeniu własnym.
    • [SPARK-46676] dropDuplicatesWithinWatermark nie powinno zakończyć się niepowodzeniem w kanonizacji planu.
    • [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-45498] Obserwowanie: ignoruj ukończenie zadania ze starych prób etapu.
    • Przywróć [SPARK-46769] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu.
    • [SPARK-46383] Zmniejsz użycie stert sterowników, zmniejszając żywotność programu TaskInfo.accumulables().
    • [SPARK-46633] Napraw czytnik Avro w celu obsługi bloków o zerowej długości.
    • [SPARK-46677] Rozwiązanie problemu dataframe["*"] .
    • [SPARK-46684] Napraw wartość CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty.
    • [SPARK-46763] Naprawiono błąd asercji w elemencie ReplaceDeduplicateWithAggregate dla zduplikowanych atrybutów.
    • [SPARK-46610] Tworzenie tabeli powinno zgłaszać wyjątek, jeśli nie ma wartości klucza w opcjach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 stycznia 2024 r.
    • shuffle Węzeł planu wyjaśnień zwrócony przez zapytanie Photon jest aktualizowany w celu dodania causedBroadcastJoinBuildOOM=true flagi, gdy podczas mieszania, który jest częścią sprzężenia emisji, występuje błąd braku pamięci.
    • Aby uniknąć zwiększonego opóźnienia podczas komunikacji za pośrednictwem protokołu TLSv1.3, ta wersja konserwacji zawiera poprawkę do instalacji zestawu JDK 8 w celu naprawienia błędu JDK JDK-8293562.
    • [SPARK-46394] Rozwiąż problemy z parametrem spark.catalog.listDatabases() w schematach ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci.
    • [SPARK-46173] Pomijanie wywołania trimAll podczas analizowania dat.
    • [SPARK-46484] Ustaw funkcje pomocnicze, aby resolveOperators zachować identyfikator planu.
    • [SPARK-46466] Wektoryzowany czytnik parquet nigdy nie powinien wykonywać rebase dla znacznika czasu ntz.
    • [SPARK-46056] Naprawiono wektoryzowany parquet odczyt NPE z wartością domyślną byteArrayDecimalType.
    • [SPARK-46058] Dodaj oddzielną flagę privateKeyPassword.
    • [SPARK-46478] Przywróć spark-43049, aby użyć wyroczni varchar(255) dla ciągu.
    • [SPARK-46132] Obsługa hasła klucza dla kluczy JKS dla protokołu SSL RPC.
    • [SPARK-46417] Nie kończy się niepowodzeniem podczas wywoływania elementu hive.getTable i throwException ma wartość false.
    • [SPARK-46261]DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy.
    • [SPARK-46370] Naprawiono usterkę podczas wykonywania zapytań z tabeli po zmianie wartości domyślnych kolumn.
    • [SPARK-46609] Unikaj eksplozji wykładniczej w partitioningPreservingUnaryExecNode.
    • [SPARK-46600] Przenieś współużytkowany kod między elementami SqlConf i SqlApiConf do elementu SqlApiConfHelper.
    • [SPARK-46538] Rozwiązano niejednoznaczny problem z odwołaniem do kolumny w pliku ALSModel.transform.
    • [SPARK-46337] Zachowaj CTESubstitution element PLAN_ID_TAG.
    • [SPARK-46602] Propaguj allowExisting w tworzeniu widoku, gdy widok/tabela nie istnieje.
    • [SPARK-46260]DataFrame.withColumnsRenamed powinien przestrzegać porządku dyktowania.
    • [SPARK-46145] spark.catalog.listTables nie zgłasza wyjątku, gdy nie znaleziono tabeli lub widoku.
  • 14 grudnia 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w operacjach getColumns pochodzących z klientów JDBC lub ODBC były obsługiwane niepoprawnie i interpretowane jako symbole wieloznaczne.
    • [SPARK-46255] Obsługa typu złożonego —> konwersja ciągów.
    • [SPARK-46028] Ustaw wartość accept input column (Zaakceptuj Column.__getitem__ kolumnę wejściową).
    • [SPARK-45920] grupowanie według porządkowych powinno być idempotentne.
    • [SPARK-45433] Poprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat.
    • [SPARK-45509] Naprawiono zachowanie odwołania do kolumn df dla programu Spark Connect.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2023 r.
    • Zainstalowano nowy pakiet w pyarrow-hotfix celu skorygowania luki W zabezpieczeniach PyArrow RCE.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • Podczas pozyskiwania danych CSV przy użyciu automatycznego modułu ładującego lub tabel przesyłania strumieniowego duże pliki CSV są teraz podzielone i mogą być przetwarzane równolegle podczas wnioskowania schematu i przetwarzania danych.
    • Łącznik spark-snowflake został uaktualniony do wersji 2.12.0.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • Przywróć [SPARK-45592].
    • [SPARK-45892] Walidacja planu optymalizatora refaktoryzacji w celu oddzielenia validateSchemaOutput elementów i validateExprIdUniqueness.
    • [SPARK-45592] Rozwiązano problem z poprawnością w usłudze AQE za pomocą polecenia InMemoryTableScanExec.
    • [SPARK-45620] Interfejsy API związane z funkcją UDF języka Python używają teraz camelCase.
    • [SPARK-44784] Wykonane SBT testowania hermetyczne.
    • [SPARK-45770] Naprawiono rozdzielczość kolumn dla DataFrameDropColumns elementu .Dataframe.drop
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 listopada 2023 r.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego wykazu aparatu Unity i zmaterializowane widoki w celu wyświetlania komunikatów o błędach.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-44219] Dodano dodatkowe walidacje poszczególnych reguł na potrzeby ponownego zapisywania optymalizacji.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że wygenerowano błąd, jeśli inne funkcje okna nie mają tej samej ramki okna co funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • [SPARK-45396] Dodano wpis dokumentu dla PySpark.ml.connect modułu i dodano Evaluator go do elementu w pliku __all__ml.connect.
    • [SPARK-45256] Rozwiązano problem polegający na tym, że DurationWriter wystąpił błąd podczas zapisywania większej liczby wartości niż pojemność początkowa.
    • [SPARK-45279] Dołączone plan_id do wszystkich planów logicznych.
    • [SPARK-45250] Dodano obsługę profilu zasobu zadania na poziomie etapu dla klastrów yarn po wyłączeniu dynamicznej alokacji.
    • [SPARK-45182] Dodano obsługę wycofywania etapu mapy mieszania, dzięki czemu wszystkie zadania etapu można ponowić, gdy dane wyjściowe etapu są nieokreślone.
    • [SPARK-45419] Unikaj ponownego użycia rocksdb sst plików w innym rocksdb wystąpieniu, usuwając wpisy mapy wersji pliku większej wersji.
    • [SPARK-45386] Rozwiązano problem polegający na tym, że StorageLevel.NONE niepoprawnie zwracano wartość 0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Funkcja array_insert jest oparta na 1 dla indeksów dodatnich i ujemnych, podczas gdy wcześniej była oparta na 0 indeksach ujemnych. Teraz wstawia nowy element na końcu tablic wejściowych indeksu -1. Aby przywrócić poprzednie zachowanie, ustaw wartość spark.sql.legacy.negativeIndexInArrayInserttrue.
    • Usługa Azure Databricks nie ignoruje już uszkodzonych plików, gdy wnioskowanie schematu CSV z funkcją automatycznego ładowania włączyło ignoreCorruptFilesfunkcję .
    • [SPARK-45227] Rozwiązano subtelny problem z bezpieczeństwem wątków w programie CoarseGrainedExecutorBackend.
    • [SPARK-44658]ShuffleStatus.getMapStatus powinna zwrócić None wartość zamiast Some(null).
    • [SPARK-44910]Encoders.bean nie obsługuje superklas z argumentami typu ogólnego.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagi z uwzględnieniem wielkości liter podczas scalania schematu.
    • Przywróć [SPARK-42946].
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie accumulables w zdarzeniach uruchamiania zadania lub etapu.
    • [SPARK-45360] Konstruktor sesji platformy Spark obsługuje inicjowanie z programu SPARK_REMOTE.
    • [SPARK-45316] Dodaj nowe parametry ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD i NewHadoopRDD.
    • [SPARK-44909] Pomiń uruchamianie serwera przesyłania strumieniowego dziennika dystrybutora, jeśli nie jest dostępny.
    • [SPARK-45084]StateOperatorProgress teraz używa dokładnego numeru partycji mieszania.
    • [SPARK-45371] Rozwiązano problemy z cieniowaniem w kliencie Spark Connect Scala.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-44840] Utwórz array_insert() 1 na podstawie indeksów ujemnych.
    • [SPARK-44551] Edytowane komentarze do synchronizacji z systemem operacyjnym.
    • [SPARK-45078] Funkcja ArrayInsert wykonuje teraz jawne rzutowanie, gdy typ elementu nie jest równy typowi składnika pochodnego.
    • [SPARK-45339] Narzędzie PySpark rejestruje teraz błędy ponawiania prób.
    • [SPARK-45057] Unikaj uzyskiwania blokady odczytu, gdy keepReadLock wartość false.
    • [SPARK-44908] Naprawiono funkcję paramatora foldCol krzyżowego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 13.1

Zobacz Databricks Runtime 13.1 (EoS).

  • 29 listopada 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43802] Rozwiązano problem polegający na tym, że generowanie kodu dla wyrażeń unhex i unbase64 kończyło się niepowodzeniem.
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • Zmieniono zapytania dotyczące źródła danych w tabelach przesyłania strumieniowego usługi Unity Catalog i zmaterializowanych widokach w celu wyświetlenia komunikatów o błędach.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45543] Rozwiązano problem InferWindowGroupLimit polegający na tym, że przyczyną problemu było to, że inne funkcje okna nie miały tej samej ramki okna co funkcje podobne do rangi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Przywróć [SPARK-42946].
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • Nie ignoruj już uszkodzonych plików, gdy ignoreCorruptFiles jest włączona podczas wnioskowania schematu CSV za pomocą modułu automatycznego ładowania.
    • [SPARK-44658]ShuffleStatus.getMapStatus funkcja zwraca None wartość zamiast Some(null).
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-42205] Zaktualizowano protokół JSON, aby usunąć rejestrowanie accumulables w zdarzeniach uruchamiania zadania lub etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 12 września 2023 r.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • SPARK-44878 Wyłączył ścisły limit menedżera RocksDB zapisu, aby uniknąć wyjątku wstawiania w pamięci podręcznej.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44871] Naprawiono zachowanie percentile_disc.
    • [SPARK-44714] Łatwość ograniczania rozpoznawania LCA w przypadku zapytań.
    • [SPARK-44245]PySpark.sql.dataframe sample() Testy dokumentu są teraz ilustracyjne.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
    • [SPARK-44643] Naprawiono Row.__repr__ , gdy wiersz jest pusty.
    • [SPARK-44504] Zadanie konserwacji usuwa teraz załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44479] Naprawiono protobuf konwersję z pustego typu struktury.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
    • Różne poprawki.
  • 27 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • [SPARK-44448] Usunięto nieprawidłową usterkę wyników z DenseRankLimitIterator i InferWindowGroupLimit.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • Przywróć [SPARK-42323].
    • [SPARK-41848] Rozwiązano problem z nadmiernym harmonogramem zadania z programem TaskResourceProfile.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że StateManager funkcja wykonawcza została zmaterializowana zamiast sterownika w pliku FlatMapGroupsWithStateExec.
    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance błędy analizy powodowało błędy analizy.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Analizator JSON w failOnUnknownFields trybie usuwa teraz rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Pole PubSubRecord atrybutów jest przechowywane jako kod JSON zamiast ciągu z mapy Scala w celu bardziej prostej serializacji i deserializacji.
    • Polecenie EXPLAIN EXTENDED zwraca teraz uprawnienia do pamięci podręcznej wyników zapytania.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • [SPARK-43032] Poprawka usterek języka Python SQM.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43340] Obsługa brakującego pola śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43541] Propagacja wszystkich Project tagów w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43300]NonFateSharingCache otoka dla Guava Cache.
    • [SPARK-43378] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.
    • [SPARK-42852]NamedLambdaVariable Przywróć powiązane zmiany z EquivalentExpressionselementu .
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43413] Naprawiono IN podzapytywanie ListQuery wartości null.
    • [SPARK-43889] Dodaj sprawdzanie nazwy kolumny, __dir__() aby odfiltrować nazwy kolumn podatnych na błędy.
    • [SPARK-43043] Ulepszono wydajność MapOutputTrackerfunkcji .updateMapOutput
    • [SPARK-43522] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43457] Agent użytkownika augument z wersjami systemów operacyjnych, Python i Spark.
    • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych telewizorów.
    • [SPARK-42851] Ochrona EquivalentExpressions.addExpr() za pomocą polecenia supportedExpression().
    • Przywróć [SPARK-43183].
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.2 LTS

Zobacz Databricks Runtime 12.2 LTS.

  • 29 listopada 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach Stage i Task uruchamiania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553] Upewnij się, że co najmniej jedna jednostka czasowa po interwale.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia flagę wrażliwą na wielkość liter podczas scalania schematu.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
  • 12 września 2023 r.
    • [SPARK-44873] Dodano obsługę polecenia alter view z kolumnami zagnieżdżonym w kliencie Programu Hive.
    • [SPARK-44718] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • [SPARK-43799] Dodano opcję binarną deskryptora do interfejsu API PySpark Protobuf .
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • [SPARK-44714] Złagodzonych ograniczeń rozpoznawania LCA dotyczących zapytań.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44337] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance błędy analizy powodowało błędy analizy.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że StateManager funkcja wykonawcza została zmaterializowana zamiast sterownika w pliku FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędu liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
    • [SPARK-43522] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43541] Propagacja wszystkich Project tagów w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43123] Wewnętrzne metadane pól nie wyciekają już do wykazów.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42444]DataFrame.drop teraz poprawnie obsługuje zduplikowane kolumny.
    • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-43286] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych telewizorów.
    • [SPARK-43378] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów sygnatur daty lub godziny, aby uniknąć uszkodzenia dat.
      • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
    • [SPARK-43172] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293]__qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • [SPARK-43192] Usunięto weryfikację zestawu znaków agenta użytkownika.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Automatycznie ładujący teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shorti Byte , jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje zapisanie kolumn, mimo że można je było odczytać.
    • [SPARK-43009] Sparametryzowane sql() ze Any stałymi
    • [SPARK-42406] Kończenie cyklicznych pól protobuf przez usunięcie pola
    • [SPARK-43038] Obsługa trybu CBC przez aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Zmień na drukowanie workdir , jeśli appDirs ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie
    • [SPARK-43018] Naprawiono usterkę dotyczącą poleceń INSERT z literałami znacznika czasu
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Obsługa starszych formatów źródeł danych w poleceniu SYNC .
    • Rozwiązano problem w zachowaniu %autoreload w notesach spoza repozytorium.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928] Synchronizuje resolvePersistentFunction .
    • [SPARK-42936] Rozwiązuje problem LCan, gdy klauzula może zostać rozwiązana bezpośrednio przez jego agregację podrzędną.
    • [SPARK-42967] Poprawki SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 marca 2023 r.

    • Usługa Sql usługi Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel usługi Delta Lake w czasie tworzenia tabeli lub później. Kolejne INSERTpolecenia , UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej dowolnej kolumny przy użyciu jawnego DEFAULT słowa kluczowego. Ponadto, jeśli jakiekolwiek INSERT przypisanie ma jawną listę mniej kolumn niż tabela docelowa, odpowiednie wartości domyślne kolumn są zastępowane dla pozostałych kolumn (lub NULL, jeśli nie określono wartości domyślnej).

      Na przykład:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Funkcja automatycznego ładowania inicjuje teraz co najmniej jedno synchroniczne oczyszczanie dziennika bazy danych RocksDB dla Trigger.AvailableNow strumieni w celu sprawdzenia, czy punkt kontrolny może być regularnie czyszczony w przypadku szybkich strumieni automatycznego modułu ładującego. Może to spowodować, że niektóre strumienie będą trwać dłużej przed ich zamknięciem, ale pozwoli to zaoszczędzić koszty magazynowania i poprawić środowisko automatycznego modułu ładującego w przyszłych uruchomieniach.

    • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury

    • [SPARK-42521] Dodawanie list NUL dla grup INSERTs z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa

    • [SPARK-42702][SPARK-42623] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE

    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider

    • [SPARK-42403] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null

  • 8 marca 2023 r.
    • Komunikat o błędzie "Niepowodzenie inicjowania konfiguracji" został ulepszony w celu zapewnienia większego kontekstu dla klienta.
    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W celu zapewnienia zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • Począwszy od tej wersji, można utworzyć/zastąpić tabelę dodatkową właściwością delta.ignoreProtocolDefaults tabeli, aby zignorować konfiguracje platformy Spark związane z protokołem, w tym domyślne wersje czytnika i składników zapisywania oraz funkcje tabeli obsługiwane domyślnie.
    • [SPARK-42070] Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL
    • [SPARK-41793] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla znaczących dziesiętnych
    • [SPARK-42484] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
    • [SPARK-42516] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42635] Napraw wyrażenie TimestampAdd.
    • [SPARK-42622] Wyłącz podstawianie w wartościach
    • [SPARK-42534] Poprawka klauzuli LIMIT DB2Dialect
    • [SPARK-42121] Dodawanie wbudowanych funkcji wartości tabeli posexplode, posexplode_outer, json_tuple i stosu
    • [SPARK-42045] Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd dotyczący przepełnienia małej/małej/znaczącej liczby całkowitej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.3 LTS

Zobacz Databricks Runtime 11.3 LTS.

  • 29 listopada 2023 r.
    • Rozwiązano problem polegający na tym, że znaki podkreślenia ucieczki w getColumns operacjach pochodzących z klientów JDBC lub ODBC były błędnie interpretowane jako symbole wieloznaczne.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą wyświetla teraz zapytania, które zakończyły się niepowodzeniem.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • Filtry partycji w zapytaniach przesyłania strumieniowego usługi Delta Lake są wypychane przed ograniczeniem szybkości w celu osiągnięcia lepszego wykorzystania.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • Przywróć [SPARK-33861].
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction nie kończy się już niepowodzeniem, gdy IGNORE NULLS i offset > rowCount.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Różne poprawki.
  • 13 października 2023 r.
    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45346] Wnioskowanie schematu Parquet uwzględnia teraz flagę wrażliwą na wielkość liter podczas scalania schematu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44871][11.3-13.0] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44485] Zoptymalizowane pod kątem TreeNode.generateTreeString.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44464] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null jako pierwszą wartość kolumny.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2023 r.
    • Rozwiązano problem polegający na tym, że dbutils.fs.ls() funkcja zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP po wywołaniu ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 lipca 2023 r.
    • [SPARK-44136] Rozwiązano problem polegający na tym, że element StateManager mógł być zmaterializowany w funkcji wykonawczej zamiast sterownika w elemecie FlatMapGroupsWithStateExec.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779]ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowych za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404]Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43527] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43413][11.3-13.0] Naprawiono IN podzapytywanie ListQuery wartości null.
    • [SPARK-43340] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.

Databricks Runtime 10.4 LTS

Zobacz Databricks Runtime 10.4 LTS.

  • 29 listopada 2023 r.
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-43718] Naprawiono nullability dla kluczy w USING sprzężeniach.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • [SPARK-44846] Usunięto złożone wyrażenia grupowania po .RemoveRedundantAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • [SPARK-45084]StateOperatorProgress aby użyć dokładnego, odpowiedniego numeru partycji mieszania.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow nieobsługiwanych źródeł zamiast używania otoki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • [SPARK-44818] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • [SPARK-44504] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-43973] Interfejs użytkownika przesyłania strumieniowego ze strukturą jest teraz wyświetlany prawidłowo, gdy zapytania zakończyły się niepowodzeniem.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozszerzony test liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • [SPARK-41520] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190]ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • [SPARK-42928] Ustaw resolvePersistentFunction synchronizację.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42937]PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
  • 29 marca 2023 r.
    • [SPARK-42668] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w zatrzymaniu HDFSStateStoreProvider
    • [SPARK-42635] Napraw ...
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-41162] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-33206] Naprawianie obliczania wagi pamięci podręcznej indeksu shuffle dla małych plików indeksu
    • [SPARK-42484] Ulepszono komunikat o błędzie UnsafeRowUtils
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Obsługa wygenerowanej kolumny dla date_format rrrr-MM-dd. Ta zmiana obsługuje oczyszczanie partycji dla rrrr-MM-dd jako date_format w wygenerowanych kolumnach.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • [SPARK-30220] Włącz używanie funkcji Istnieje/W podzapytaniach poza węzłem Filtr
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41199] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41198] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41339] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Dodano następujące opcje do sterowania obsługą białych znaków:
      • csvignoreleadingwhitespace, gdy jest ustawiona wartość true, usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona wartość CSV lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
    • [SPARK-40292] Naprawianie nazw kolumn w arrays_zip funkcji, gdy tablice są przywoływane z zagnieżdżonych struktur
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40697] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • [SPARK-40468] Napraw oczyszczanie kolumn w pliku CSV, gdy _corrupt_record jest zaznaczone.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić zestaw spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40213] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-38404] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40218] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39983] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643] jeśli parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw stan wyścigu w pliku RocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625] Dodawanie Dataset.as(StructType)
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39570] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • [SPARK-39702] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer (dodaj element ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer)
    • [SPARK-39476] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej
    • [SPARK-38868] Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
    • [SPARK-39548] Polecenie CreateView z zapytaniem klauzuli okna naciśnij nieprawidłową definicję okna nie znaleziono problemu
    • [SPARK-39419] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
    • [SPARK-36718] Naprawianie zaewidencjonu isExtractOnly zwijania projektu
  • 2 czerwca 2022 r.
    • [SPARK-39093] Unikaj błędu kompilacji kodu podczas dzielenia interwałów miesiąca lub interwałów dnia według całkowitej liczby
    • [SPARK-38990] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci wbudowanej w narzędziu automatycznego ładowania.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-37593] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268] Dodawanie kolumnyPruning w iniekcjiBloomFilter
    • [SPARK-38974] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38931] Tworzenie katalogu głównego dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy w punkcie kontrolnym 1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
    • Rozwiązano problem polegający na tym, że biblioteki o zakresie notesu nie działały w zadaniach przesyłania strumieniowego wsadowego.
    • [SPARK-38616] Śledź tekst zapytania SQL w węźle TreeNode katalizatora
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • Następujące funkcje Spark SQL są teraz dostępne w tej wersji:
      • timestampadd() i dateadd(): Dodaj czas trwania w określonej lekcji do wyrażenia sygnatury czasowej.
      • timestampdiff() i datediff(): Oblicz różnicę czasu między wyrażeniami sygnatury dwukrotnej w określonej lekcji.
    • Parquet-MR został uaktualniony do wersji 1.12.2
    • Ulepszona obsługa kompleksowych schematów w plikach parquet
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-pick trzy timestmapadd/diff zmiany.
    • [SPARK-38523] Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV
    • [SPARK-38237] Zezwalaj ClusteredDistribution na wymaganie pełnych kluczy klastrowania
    • [SPARK-38437] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 9.1 LTS

Zobacz Databricks Runtime 9.1 LTS.

  • 29 listopada 2023 r.
    • [SPARK-45859] Obiekty zdefiniowane przez użytkownika są opóźnione ml.functions .
    • [SPARK-45544] Zintegrowana obsługa protokołu SSL w usłudze TransportContext.
    • [SPARK-45730] Ulepszone ograniczenia czasowe dla elementu ReloadingX509TrustManagerSuite.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 listopada 2023 r.
    • [SPARK-45545]SparkTransportConf dziedziczy SSLOptions po utworzeniu.
    • [SPARK-45429] Dodano klasy pomocnika dla komunikacji RPC SSL.
    • [SPARK-45427] Dodano ustawienia protokołu SSL protokołu RPC do SSLOptions i SparkTransportConf.
    • [SPARK-45584] Naprawiono błąd uruchamiania podzapytania z poleceniem TakeOrderedAndProjectExec.
    • [SPARK-45541] Dodano SSLFactoryelement .
    • [SPARK-42205] Usunięto możliwości rejestrowania w zdarzeniach uruchamiania etapu i zadania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 24 października 2023 r.
    • [SPARK-45426] Dodano obsługę elementu ReloadingX509TrustManager.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 października 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 10 września 2023 r.
    • Różne poprawki.
  • 30 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 sierpnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 23 czerwca 2023 r.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2023 r.
    • [SPARK-43098] Naprawiono usterkę count poprawności, gdy podzapytywanie skalarne ma klauzulę grupowania według
    • [SPARK-43156][SPARK-43098] Rozszerz test błędów liczby podzapytania skalarnych z wyłączonym decorrelateInnerQuery .
    • [SPARK-40862] Obsługa niegregowanych podzapytania w funkcji RewriteCorrelatedScalarSubquery
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 2 czerwca 2023 r.
    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Rozwiązano problem z analizą danych uratowanych w formacie JSON, aby zapobiec .UnknownFieldException
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-37520]startswith() Dodawanie funkcji i endswith() string
    • [SPARK-43413] Naprawiono IN wartość null podzapytania ListQuery .
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 17 maja 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 25 kwietnia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 11 kwietnia 2023 r.
    • Rozwiązano problem polegający na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia po wykryciu nowej kolumny w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42967] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
  • 29 marca 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 14 marca 2023 r.
    • [SPARK-42484] Ulepszony komunikat o błędzie dla elementu UnsafeRowUtils.
    • Różne poprawki.
  • 28 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać określone tabele delty wymagające czytnika w wersji 3 i składnika zapisywania w wersji 7 przy użyciu środowiska Databricks Runtime 9.1 LTS lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
  • 18 stycznia 2023 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale źródło danych zmian zostało wyłączone w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40596] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Różne poprawki.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć wbudowaną listę automatycznego modułu ładującego w usłudze ADLS Gen2. Wbudowana lista została wcześniej wyłączona z powodu problemów z wydajnością, ale może doprowadzić do zwiększenia kosztów magazynowania dla klientów.
    • [SPARK-40315] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40089] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • 6 września 2022 r.
    • [SPARK-40235] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-35542] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39666] Użyj pliku UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode element ExpressionEncoder
    • [SPARK-39962] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39575] Dodano ByteBuffer#rewind po w ByteBuffer#get pliku AvroDeserializer.
    • [SPARK-37392] Naprawiono błąd wydajności optymalizatora katalizatora.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • [SPARK-39419]ArraySort zgłasza wyjątek, gdy komparator zwraca wartość null.
    • Wyłączono automatyczne ładowanie przy użyciu wbudowanych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 15 czerwca 2022 r.
    • [SPARK-39283] Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator.
  • 2 czerwca 2022 r.
    • [SPARK-34554] Zaimplementuj metodę copy() w pliku ColumnarMap.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawiono potencjalny wyciek wbudowanej pamięci w narzędziu automatycznego ładowania.
    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • [SPARK-38918] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-39084] Poprawka df.rdd.isEmpty() przy użyciu polecenia TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki.
  • 6 kwietnia 2022 r.
    • [SPARK-38631] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej usługa Active Directory miała wartość /databricks/driver.
    • [SPARK-38437] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
  • 14 marca 2022 r.
    • [SPARK-38236] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-34069] Przerywanie wątku zadania, jeśli właściwość SPARK_JOB_INTERRUPT_ON_CANCEL lokalna jest ustawiona na true.
  • 23 lutego 2022 r.
    • [SPARK-37859] Tabele SQL utworzone za pomocą JDBC z platformą Spark 3.1 nie są czytelne dla platformy Spark 3.2.
  • 8 lutego 2022 r.
    • [SPARK-27442] Usunięto pole wyboru podczas odczytywania lub zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Rozwiązano problem polegający na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejserowalnej w pewnych rzadkich warunkach.
    • Rozwiązano problem polegający na OPTIMIZE tym, że polecenie mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Drobne poprawki i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Rozwiązano problem, który mógł powodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
    • Łącznik Platformy Apache Spark do udostępniania różnicowego został uaktualniony do wersji 0.2.0.
  • 20 października 2021 r.
    • Uaktualniono łącznik BigQuery z wersji 0.18.1 do 0.22.2. Spowoduje to dodanie obsługi typu BigNumeric.

Databricks Runtime 13.0 (EoS)

Zobacz Databricks Runtime 13.0 (EoS).

  • 13 października 2023

    • Zależność Snowflake-jdbc została uaktualniona z wersji 3.13.29 do 3.13.33.
    • [SPARK-42553][SQL] Upewnij się, że co najmniej jedna jednostka czasowa po interwale.
    • [SPARK-45178] Powrót do uruchamiania pojedynczej partii dla Trigger.AvailableNow z nieobsługiwanymi źródłami, a nie przy użyciu otoki.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus funkcja zwraca None wartość zamiast Some(null).
    • [SPARK-42205][CORE] Usuń rejestrowanie funkcji Accumulables w zdarzeniach uruchamiania zadania/etapu w programie JsonProtocol.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 12 września 2023 r.

    • [SPARK-44485][SQL] Zoptymalizuj polecenie TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Dopasuj ColumnVector domyślną konfigurację trybu pamięci do OffHeapMemoryMode wartości konfiguracji.
    • Różne poprawki błędów.

  • 30 sierpnia 2023 r.

    • [SPARK-44818][Backport] Naprawiono wyścig dla oczekujących przerwań zadania wystawionych przed taskThread zainicjowaniem.
    • [SPARK-44714] Łatwość ograniczania rozpoznawania LCA w przypadku zapytań.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() Testy dokumentu są teraz ilustracyjne.
    • [SPARK-44871][11.3-13.0][SQL] Naprawiono percentile_disc zachowanie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • [SPARK-44643][SQL][PYTHON] Poprawka Row.__repr__ , gdy wiersz jest pusty.
    • [SPARK-44504][Backport] Zadanie konserwacji czyści załadowanych dostawców po błędzie zatrzymania.
    • [SPARK-44479][CONNECT][PYTHON] Naprawiono protobuf konwersję z pustego typu struktury.
    • [SPARK-44464][SS] Naprawiono applyInPandasWithStatePythonRunner wiersze wyjściowe, które mają Null wartość pierwszej kolumny.
    • Różne poprawki błędów.

  • 29 lipca 2023 r.

    • Usunięto usterkę polegającą dbutils.fs.ls() na tym, że zwracana INVALID_PARAMETER_VALUE.LOCATION_OVERLAP w przypadku wywołania ścieżki lokalizacji magazynu, która zderzyła się z inną lokalizacją magazynu zewnętrznego lub zarządzanego.
    • [SPARK-44199]CacheManager nie odświeża fileIndex już niepotrzebnie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lipca 2023 roku

    • [SPARK-44337][PROTOBUF] Rozwiązano problem polegający na tym, że dowolne pole ustawione na Any.getDefaultInstance błędy analizy powodowało błędy analizy.
    • [SPARK-44136] [SS] Rozwiązano problem polegający na tym, że StateManager funkcja wykonawcza została zmaterializowana zamiast sterownika w pliku FlatMapGroupsWithStateExec.
    • Przywróć [SPARK-42323][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_2332.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerzanie testu błędów liczby podzapytań skalarnych za pomocą funkcji decorrelateInnerQuery wyłączone
    • [SPARK-43779][SQL] ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-42937][SQL] PlanSubqueries powinna mieć ustawioną InSubqueryExec#shouldBroadcast wartość true
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowej za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-43300][CORE] NonFateSharingCache otoka dla Guava Cache.
    • [SPARK-43378][CORE] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Użyj rejestrów 8-bitowych do reprezentowania zestawów DataSketches.
    • [SPARK-43522][SQL] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN wartość null podzapytania ListQuery .
    • [SPARK-43043][CORE] Zwiększona MapOutputTracker.updateMapOutput wydajność.
    • [SPARK-16484][SQL] Dodano obsługę funkcji DataSketches HllSketch.
    • [SPARK-43123][SQL] Wewnętrzne metadane pól nie wyciekają już do wykazów.
    • [SPARK-42851][SQL] Ochrona EquivalentExpressions.addExpr() za pomocą polecenia supportedExpression().
    • [SPARK-43336][SQL] Rzutowanie między strefą Timestamp czasową i TimestampNTZ wymaga jej.
    • [SPARK-43286][SQL] Zaktualizowano aes_encrypt tryb CBC w celu wygenerowania losowych telewizorów.
    • [SPARK-42852][SQL] Przywrócono NamedLambdaVariable powiązane zmiany z elementu EquivalentExpressions.
    • [SPARK-43541][SQL] Propaguj wszystkie Project tagi w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 maja 2023 r.

    • Domyślna zoptymalizowana obsługa zapisu dla tabel różnicowych zarejestrowanych w wykazie aparatu Unity została rozszerzona w celu uwzględnienia CTAS instrukcji i INSERT operacji dla tabel partycjonowanych. To zachowanie jest zgodne z wartościami domyślnymi w usłudze SQL Warehouse. Zobacz Zoptymalizowane zapisy dla usługi Delta Lake w usłudze Azure Databricks.

  • 17 maja 2023 r.

    • Naprawiono regresję polegającą na tym, że _metadata.file_path i _metadata.file_name zwracały niepoprawnie sformatowane ciągi. Na przykład teraz ścieżka ze spacjami jest reprezentowana jako s3://test-bucket/some%20directory/some%20data.csv zamiast s3://test-bucket/some directory/some data.csv.
    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
      • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Short, Byte jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów dat lub znaczników czasu, aby uniknąć uszkodzenia dat.
      • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
    • [SPARK-43172] [CONNECT] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-43293][SQL] __qualified_access_only jest ignorowany w normalnych kolumnach.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43085][SQL] Obsługa przypisywania kolumn DEFAULT dla nazw tabel wieloczęściowych.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • [SPARK-43192] [CONNECT] Usunięto weryfikację zestawu znaków agenta użytkownika.

  • 25 kwietnia 2023 r.

    • Tabelę delty można zmodyfikować, aby dodać obsługę funkcji tabeli delty przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).
    • Polecenie SYNC obsługuje teraz starsze formaty źródeł danych.
    • Usunięto usterkę polegającą na tym, że używanie formatatora języka Python przed uruchomieniem innych poleceń w notesie języka Python mogło spowodować brak ścieżki notesu z sys.path.
    • Usługa Azure Databricks obsługuje teraz określanie wartości domyślnych dla kolumn tabel delty. INSERTpolecenia , UPDATE, DELETEi MERGE mogą odwoływać się do wartości domyślnej kolumny przy użyciu jawnego DEFAULT słowa kluczowego. W przypadku INSERT poleceń z jawną listą mniej kolumn niż tabela docelowa odpowiednie wartości domyślne kolumn są zastępowane pozostałymi kolumnami (lub NULL jeśli nie określono wartości domyślnej).

  • Naprawia usterkę polegającą na tym, że nie można było używać terminalu internetowego do uzyskiwania dostępu do plików w /Workspace programie dla niektórych użytkowników.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shortjeśli Byte podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje uratowanie kolumn, mimo że można je było odczytać.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury.
    • [SPARK-39221][SQL] Popraw poprawną redagowaną informację wrażliwą dla zadania/etapu serwera.
    • [SPARK-42971][CORE] Zmień, aby drukować workdir , jeśli appDirs wartość ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie.
    • [SPARK-42936][SQL] Napraw usterkę LCA, gdy klauzula posiadania może zostać rozwiązana bezpośrednio przez jej agregację podrzędną.
    • [SPARK-43018][SQL] Naprawiono usterkę dla INSERT poleceń z literałami znacznika czasu.
    • Przywróć [SPARK-42754][SQL][UI] Rozwiązano problem ze zgodnością z poprzednimi wersjami w zagnieżdżonym uruchomieniu SQL.
    • Przywróć metadane [SPARK-41498] za pomocą unii.
    • [SPARK-43038][SQL] Obsługa trybu CBC przez .aes_encrypt()/aes_decrypt()
    • [SPARK-42928][SQL] Ustaw resolvePersistentFunction synchronizację.
    • [SPARK-42521][SQL] Dodaj NULL wartości dla INSERT z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa.
    • [SPARK-41391][SQL] Nazwa kolumny wyjściowej elementu była niepoprawna groupBy.agg(count_distinct) .
    • [SPARK-42548][SQL] Dodaj ReferenceAllColumns polecenie , aby pominąć ponowne zapisywanie atrybutów.
    • [SPARK-42423][SQL] Dodaj początek i długość bloku pliku kolumny metadanych.
    • [SPARK-42796][SQL] Obsługa uzyskiwania TimestampNTZ dostępu do kolumn w programie CachedBatch.
    • [SPARK-42266][PYTHON] Usuń katalog nadrzędny w shell.py uruchomić po użyciu środowiska IPython.
    • [SPARK-43011][SQL] array_insert powinna zakończyć się niepowodzeniem z indeksem 0.
    • [SPARK-41874][CONNECT][PYTHON] Obsługa SameSemantics programu Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Obsługa sparametryzowanego zapytania w podzapytaniu i CTE.
    • [SPARK-42967][CORE] Poprawka SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.1 (EoS)

Zobacz Databricks Runtime 12.1 (EoS).

  • 23 czerwca 2023 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43779][SQL] ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerzanie testu błędów liczby podzapytań skalarnych za pomocą funkcji decorrelateInnerQuery wyłączone
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowej za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN wartość null podzapytania ListQuery .
    • [SPARK-43522][SQL] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-42444][PYTHON] DataFrame.drop teraz obsługuje prawidłowo zduplikowane kolumny.
    • [SPARK-43541][SQL] Propaguj wszystkie Project tagi w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42937][SQL] PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43378][CORE] Poprawnie zamknij obiekty strumienia w obiekcie deserializeFromChunkedBuffer.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Short, Byte jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów dat lub znaczników czasu, aby uniknąć uszkodzenia dat.
      • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shortjeśli Byte podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje uratowanie kolumn, mimo że można je było odczytać.
    • [SPARK-43009][SQL] Sparametryzowane sql() ze Any stałymi.
    • [SPARK-42971][CORE] Zmień, aby drukować workdir , jeśli appDirs wartość ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC.
    • Naprawia usterkę w zachowaniu %autoreload w notesach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Synchronizuje resolvePersistentFunction .
    • [SPARK-42967][CORE] Poprawki SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • Funkcja automatycznego ładowania wyzwala teraz co najmniej jeden synchroniczny dziennik Bazy danych RocksDB czyści Trigger.AvailableNow strumienie w celu zapewnienia regularnego czyszczenia punktu kontrolnego dla szybko działających strumieni automatycznego modułu ładującego. Może to spowodować, że niektóre strumienie będą trwać dłużej przed ich zamknięciem, ale pozwoli zaoszczędzić koszty magazynowania i poprawić środowisko automatycznego modułu ładującego w przyszłych uruchomieniach.
    • Teraz możesz zmodyfikować tabelę delty, aby dodać obsługę funkcji tabeli przy użyciu polecenia DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Obsługa zapytania sparametryzowanego w podzapytaniu i CTE
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w hdFSStateStoreProvider przerwać
    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury

  • 14 marca 2023

    • Istnieje zmiana terminologii dotycząca dodawania funkcji do tabeli delty przy użyciu właściwości tabeli. Preferowana składnia to teraz 'delta.feature.featureName'='supported' zamiast 'delta.feature.featureName'='enabled'. W przypadku zgodności z poprzednimi wersjami użycie 'delta.feature.featureName'='enabled' nadal działa i będzie nadal działać.
    • [SPARK-42622][CORE] Wyłącz podstawianie w wartościach
    • [SPARK-42534][SQL] Poprawka klauzuli LIMIT DB2Dialect
    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-42516][SQL] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
    • [SPARK-42484] [SQL] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lutego 2023

    • Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i używa domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

    Przykład konfiguracji połączenia PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Przykład konfiguracji połączenia usługi Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Unikaj konfigurowania rejestrowania powodującego niezgodność z biblioteki pyspark.pandas
    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania
    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast w wersji 1 do konwersji filtru apply w wersji 2
    • Przywracanie [SPARK-41848][CORE] Naprawianie zadania nadmiernie zaplanowanego za pomocą polecenia TaskResourceProfile
    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonicznego określania dużych drzew wyrażeń dojeżdżających do pracy
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Polecenie SYNC obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem aparatu Unity, ale następnie porzucona i utworzona ponownie, kolejna ponowna synchronizacja będzie działać zamiast zgłaszać kod stanu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide użyj dziesiętnych (1, 0) do reprezentowania 0
    • [SPARK-36173][CORE] Obsługa pobierania numeru procesora CPU w obiekcie TaskContext
    • [SPARK-41848][CORE] Rozwiązywanie problemów z nadmiernym harmonogramem zadania za pomocą elementu TaskResourceProfile
    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST

  • 31 stycznia 2023 r.

    • Utworzenie schematu ze zdefiniowaną lokalizacją wymaga teraz, aby użytkownik miał uprawnienia SELECT i MODIFY w DOWOLNYM PLIKU.
    • [SPARK-41581][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Naprawiono test platformy Kafka, aby zweryfikować utracone partycje na potrzeby wolnych operacji platformy Kafka
    • [SPARK-41580][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Obsługa sparametryzowanego kodu SQL przez sql()
    • [SPARK-41579][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Kontynuacja] Naprawianie regresji synchronizacji kodu dla funkcji ConvertToLocalRelation
    • [SPARK-41576][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2054
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 12.0 (EoS)

Zobacz Databricks Runtime 12.0 (EoS).

  • 15 czerwca 2023 r.

    • Fotonized approx_count_distinct.
    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • [SPARK-43156][SPARK-43098][SQL] Rozszerzanie testu błędów liczby podzapytań skalarnych za pomocą funkcji decorrelateInnerQuery wyłączone
    • [SPARK-43779][SQL] ParseToDate teraz ładuje EvalMode się w głównym wątku.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Analizator JSON w failOnUnknownFields trybie usuwa rekord w DROPMALFORMED trybie i kończy się niepowodzeniem bezpośrednio w FAILFAST trybie.
    • Zwiększ wydajność aktualizacji przyrostowej za pomocą SHALLOW CLONE platform Iceberg i Parquet.
    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.
    • [SPARK-42444][PYTHON] DataFrame.drop teraz obsługuje prawidłowo zduplikowane kolumny.
    • [SPARK-43404][Backport] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów.
    • [SPARK-43413][11.3-13.0][SQL] Naprawiono IN wartość null podzapytania ListQuery .
    • [SPARK-43527][PYTHON] Naprawiono catalog.listCatalogs w PySpark.
    • [SPARK-43522][SQL] Naprawiono tworzenie nazwy kolumny struktury z indeksem tablicy.
    • [SPARK-43541][SQL] Propaguj wszystkie Project tagi w rozpoznawaniu wyrażeń i brakujących kolumn.
    • [SPARK-43340][CORE] Naprawiono brakujące pole śledzenia stosu w dziennikach zdarzeń.
    • [SPARK-42937][SQL] PlanSubqueries ustaw wartość InSubqueryExec#shouldBroadcast true.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • Jeśli plik Avro został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny z różnymi typami danych będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Funkcja automatycznego modułu ładującego wykonuje teraz następujące czynności.
      • Poprawnie odczytuje i nie ratuje Integerjuż typów , Short, Byte jeśli podano jeden z tych typów danych, ale plik Avro sugeruje jeden z pozostałych dwóch typów.
      • Zapobiega odczytywaniu typów interwałów jako typów dat lub znaczników czasu, aby uniknąć uszkodzenia dat.
      • Zapobiega odczytywaniu Decimal typów z mniejszą dokładnością.
    • [SPARK-43172] [CONNECT] Uwidacznia hosta i token z klienta spark connect.
    • [SPARK-41520][SQL] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43098][SQL] Naprawiono usterkę poprawności COUNT , gdy podzapytanie skalarne jest grupowane według klauzuli.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shortjeśli Byte podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje uratowanie kolumn, mimo że można je było odczytać.
    • [SPARK-42971][CORE] Zmień na drukowanie workdir , jeśli appDirs ma wartość null, gdy proces roboczy obsługuje WorkDirCleanup zdarzenie
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w SYNC poleceniu .
    • Naprawia usterkę w zachowaniu %autoreload w notesach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Synchronizuje resolvePersistentFunction .
    • [SPARK-42967][CORE] Poprawki SparkListenerTaskStart.stageAttemptId po rozpoczęciu zadania po anulowaniu etapu.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 marca 2023 r.

    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w hdFSStateStoreProvider przerwać
    • Różne poprawki błędów.

  • 14 marca 2023

    • [SPARK-42534][SQL] Poprawka klauzuli LIMIT DB2Dialect
    • [SPARK-42622][CORE] Wyłącz podstawianie w wartościach
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • [SPARK-42484] [SQL] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-42516][SQL] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 24 lutego 2023

    • Standardowe opcje połączenia dla federacji zapytań

      Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i będzie używać domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

      Przykład konfiguracji połączenia PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Przykład konfiguracji połączenia usługi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Przywracanie [SPARK-41848][CORE] Naprawianie zadania nadmiernie zaplanowanego za pomocą polecenia TaskResourceProfile

    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonicznego określania dużych drzew wyrażeń dojeżdżających do pracy

    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast w wersji 1 do konwersji filtru apply w wersji 2

    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele delty, które wymagają czytnika w wersji 3 i składnika zapisywania w wersji 7, przy użyciu środowiska Databricks Runtime 9.1 lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Polecenie SYNC obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem aparatu Unity, ale następnie porzucona i utworzona ponownie, kolejna ponowna synchronizacja będzie działać zamiast zgłaszać kod stanu TABLE_ALREADY_EXISTS.
    • [SPARK-36173][CORE] Obsługa pobierania numeru procesora CPU w obiekcie TaskContext
    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST
    • [SPARK-41848][CORE] Rozwiązywanie problemów z nadmiernym harmonogramem zadania za pomocą elementu TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide użyj dziesiętnych (1, 0) do reprezentowania 0

  • 25 stycznia 2023 r.

    • [SPARK-41660][SQL] Propagacja kolumn metadanych tylko w przypadku ich użycia
    • [SPARK-41379][SS][PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
    • [SPARK-41669][SQL] Wczesne oczyszczanie w canCollapseExpressions
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 stycznia 2023 r.

    • REFRESH FUNCTION Polecenie SQL obsługuje teraz funkcje SQL i funkcje tabel SQL. Na przykład polecenie może służyć do odświeżania trwałej funkcji SQL, która została zaktualizowana w innej sesji SQL.
    • Źródło danych JDBC (Java Database Connectivity, JDBC) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona z ustawioną wartością spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabledfalse.
    • W starszych klastrach list ACL tabel tworzenie funkcji odwołujących się do klas JVM wymaga MODIFY_CLASSPATH teraz uprawnień.
    • Źródło danych JDBC (Java Database Connectivity, JDBC) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona z ustawieniem spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Przesyłanie strumieniowe ze strukturą platformy Spark działa teraz z formatem("deltasharing") w tabeli udostępniania różnicowego jako źródła.
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • [SPARK-41733][SQL][SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły ResolveWindowTime
    • [SPARK-39591][SS] Śledzenie postępu asynchronicznego
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41198][SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41539][SQL] Ponowne mapowanie statystyk i ograniczeń względem danych wyjściowych w planie logicznym dla wartości LogicalRDD
    • [SPARK-41732][SQL][SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41261][PYTHON][SS] Rozwiązano problem dotyczący elementu applyInPandasWithState, gdy kolumny kluczy grupowania nie zostały umieszczone w kolejności od najwcześniejszego
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 17 maja 2023 r.

    • Skanowanie Parquet jest teraz niezawodne w stosunku do OOM podczas skanowania wyjątkowo ustrukturyzowanych plików przez dynamiczne dostosowywanie rozmiaru partii. Metadane plików są analizowane w celu wywłaszczania mniejszego rozmiaru partii i są ponownie obniżane w przypadku ponawiania prób zadania jako ostatecznej sieci bezpieczeństwa.
    • Naprawiono regresję, która spowodowała, że zadania usługi Azure Databricks były utrwalane po niepowodaniu połączenia z magazynem metadanych podczas inicjowania klastra.
    • [SPARK-41520][SQL] Podziel AND_OR wzorzec drzewa na oddzielne AND i OR.
    • [SPARK-43190][SQL] ListQuery.childOutput jest teraz zgodny z pomocniczymi danymi wyjściowymi.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny, które miały różne typy danych, będą odczytywane jako null zamiast zgłaszać błąd informujący, że nie można odczytać pliku. Te operacje odczytu kończą się teraz niepowodzeniem i zalecamy użytkownikom korzystanie z rescuedDataColumn tej opcji.
    • Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje Integerjuż typów , Shortjeśli Byte podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów. Gdy uratowana kolumna danych została wcześniej włączona, niezgodność typów danych spowoduje uratowanie kolumn, mimo że można je było odczytać.
    • [SPARK-42937][SQL] PlanSubqueries teraz ustawia wartość InSubqueryExec#shouldBroadcast true.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Obsługa starszych formatów źródeł danych w poleceniu SYNC.
    • Naprawia usterkę w zachowaniu %autoreload w notesach, które znajdują się poza repozytorium.
    • Usunięto usterkę polegającą na tym, że ewolucja schematu modułu automatycznego ładowania mogła przechodzić w nieskończoną pętlę niepowodzenia, gdy nowa kolumna zostanie wykryta w schemacie zagnieżdżonego obiektu JSON.
    • [SPARK-42928][SQL] Zsynchronizuj polecenie resolvePersistentFunction.
    • [SPARK-42967][CORE] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.

  • 29 marca 2023 r.

    • [SPARK-42794][SS] Zwiększ wartość lockAcquireTimeoutMs do 2 minut, aby uzyskać magazyn stanów bazy danych RocksDB w strumieniu struktury
    • [SPARK-42403][CORE] Kod JsonProtocol powinien obsługiwać ciągi JSON o wartości null
    • [SPARK-42668][SS] Przechwyć wyjątek podczas próby zamknięcia skompresowanego strumienia w hdFSStateStoreProvider przerwać
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2023

    • [SPARK-42635][SQL] Napraw wyrażenie TimestampAdd.
    • [SPARK-41793][SQL] Niepoprawny wynik ramek okien zdefiniowanych przez klauzulę zakresu dla dużych dziesiętnych
    • [SPARK-42484] [SQL] Komunikat o błędzie NiebezpiecznyRowUtils jest lepszy
    • [SPARK-42534][SQL] Poprawka klauzuli LIMIT DB2Dialect
    • [SPARK-41162][SQL] Naprawianie anty-i półsprzężenia na potrzeby samodzielnego sprzężenia za pomocą agregacji
    • [SPARK-42516][SQL] Zawsze przechwyć konfigurację strefy czasowej sesji podczas tworzenia widoków
    • Różne poprawki błędów.

  • 28 lutego 2023 r.

    • Standardowe opcje połączenia dla federacji zapytań

      Teraz możesz użyć ujednoliconego zestawu opcji (host, port, databaseuser, ) passworddo nawiązywania połączenia ze źródłami danych obsługiwanymi w usłudze Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Należy pamiętać, że port jest opcjonalny i używa domyślnego numeru portu dla każdego źródła danych, jeśli nie zostanie podany.

      Przykład konfiguracji połączenia PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Przykład konfiguracji połączenia usługi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST

    • [SPARK-41989][PYTHON] Unikaj konfigurowania rejestrowania powodującego niezgodność z biblioteki pyspark.pandas

    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania

    • [SPARK-41360][CORE] Unikaj ponownej rejestracji elementu BlockManager, jeśli funkcja wykonawcza została utracona

    • [SPARK-42162] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonicznego określania dużych drzew wyrażeń dojeżdżających do pracy

    • [SPARK-41990][SQL] Użyj FieldReference.column zamiast w wersji 1 do konwersji filtru apply w wersji 2

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele delty, które wymagają czytnika w wersji 3 i składnika zapisywania w wersji 7, przy użyciu środowiska Databricks Runtime 9.1 lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Polecenie SYNC obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem aparatu Unity, ale następnie porzucona i utworzona ponownie, kolejna ponowna synchronizacja będzie działać zamiast zgłaszać kod stanu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide użyj dziesiętnych (1, 0) do reprezentowania 0
    • [SPARK-40382][SQL] Grupowanie unikatowych wyrażeń agregacji według elementów podrzędnych odpowiadających semantycznie RewriteDistinctAggregates
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 stycznia 2023 r.

    • [SPARK-41379][SS][PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
    • [SPARK-41660][SQL] Propagacja kolumn metadanych tylko w przypadku ich użycia
    • [SPARK-41669][SQL] Wczesne oczyszczanie w canCollapseExpressions
    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • REFRESH FUNCTION Polecenie SQL obsługuje teraz funkcje SQL i funkcje tabel SQL. Na przykład polecenie może służyć do odświeżania trwałej funkcji SQL, która została zaktualizowana w innej sesji SQL.
    • Źródło danych JDBC (Java Database Connectivity, JDBC) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona z ustawioną wartością spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabledfalse.
    • Źródło danych JDBC (Java Database Connectivity, JDBC) w wersji 1 obsługuje teraz wypychanie klauzuli LIMIT w celu zwiększenia wydajności zapytań. Ta funkcja jest domyślnie włączona i może być wyłączona z ustawieniem spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41539][SQL] Ponowne mapowanie statystyk i ograniczeń względem danych wyjściowych w planie logicznym dla wartości LogicalRDD
    • [SPARK-39591][SS] Śledzenie postępu asynchronicznego
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41261][PYTHON][SS] Rozwiązano problem dotyczący elementu applyInPandasWithState, gdy kolumny kluczy grupowania nie zostały umieszczone w kolejności od najwcześniejszego
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Do obsługi białych znaków dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na truewartość , usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Usunięto usterkę podczas analizowania kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • Uaktualnij snowflake-jdbc zależność do wersji 3.13.22.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
    • [SPARK-40906][SQL] Mode przed wstawieniem do mapy powinna skopiować klucze
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • Listy ACL tabel i udostępnione klastry UC umożliwiają teraz używanie metody Dataset.toJSON z języka Python.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszony zestaw spark.sql.json.enablePartialResults zachowań na .true Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • [SPARK-40903][SQL] Unikaj zmieniania kolejności dziesiętnego dodawania w celu kanonizacji, jeśli typ danych zostanie zmieniony
    • [SPARK-40618][SQL] Usunięto usterkę w regule MergeScalarSubqueries z zagnieżdżonym podzapytaniem przy użyciu śledzenia odwołań
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 listopada 2022 r.

    • Przesyłanie strumieniowe ze strukturą w wykazie aparatu Unity obsługuje teraz odświeżanie tymczasowych tokenów dostępu. Obciążenia przesyłania strumieniowego uruchomione z wykazem aparatu Unity wszystkie zadania lub klastry zadań nie kończą się już niepowodzeniem po wygaśnięciu tokenu początkowego.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem polegający na tym, że uruchamianie MERGE i używanie dokładnie 99 kolumn ze źródła w warunku mogło spowodować wystąpienie java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbłędu .
    • Rozwiązano problem z automatycznym modułem ładujący, który polegał na tym, że plik mógł zostać zduplikowany w tej samej mikrosadowej, gdy allowOverwrites jest włączony.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Dodano obsługę funkcji CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Naprawiono element NPE w elemecie applyInPandasWithState, gdy schemat wejściowy ma kolumny "non-nullable"
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 11.2 (EoS)

Zobacz Databricks Runtime 11.2 (EoS).

  • 28 lutego 2023 r.
    • [SPARK-42286][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST
    • [SPARK-42346][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 16 lutego 2023 r.
    • Użytkownicy mogą teraz odczytywać i zapisywać niektóre tabele delty, które wymagają czytnika w wersji 3 i składnika zapisywania w wersji 7, przy użyciu środowiska Databricks Runtime 9.1 lub nowszego. Aby zakończyć się pomyślnie, funkcje tabeli wymienione w protokole tabel muszą być obsługiwane przez bieżącą wersję środowiska Databricks Runtime.
    • Polecenie SYNC obsługuje synchronizowanie ponownie utworzonych tabel magazynu metadanych Hive. Jeśli tabela HMS została wcześniej zsynchronizowana z katalogiem aparatu Unity, ale następnie porzucona i utworzona ponownie, kolejna ponowna synchronizacja będzie działać zamiast zgłaszać kod stanu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide użyj dziesiętnych (1, 0) do reprezentowania 0
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 31 stycznia 2023 r.
    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.
    • [SPARK-41379][SS][PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
  • 18 stycznia 2023 r.
    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41539][SQL] Ponowne mapowanie statystyk i ograniczeń względem danych wyjściowych w planie logicznym dla wartości LogicalRDD
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Do obsługi białych znaków dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na truewartość , usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Usunięto usterkę podczas analizowania kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • [SPARK-40906][SQL] Mode przed wstawieniem do mapy powinna skopiować klucze
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • [SPARK-40618][SQL] Usunięto usterkę w regule MergeScalarSubqueries z zagnieżdżonym podzapytaniem przy użyciu śledzenia odwołań
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem polegający na tym, że uruchamianie MERGE i używanie dokładnie 99 kolumn ze źródła w warunku mogło spowodować wystąpienie java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbłędu .
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 października 2022 r.
    • Rozwiązano problem z użyciem funkcji COPY INTO z tymczasowymi poświadczeniami w klastrach/magazynach z włączoną obsługą wykazu aparatu Unity.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywną listę modułu ładującego automatycznie w usłudze ADLS Gen2. Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji konserwacji.
    • [SPARK-40315][SQL]Obsługa kodowania/dekodowania adresu URL jako wbudowanej funkcji i porządkowania funkcji związanych z adresem URL
    • [SPARK-40156][SQL]url_decode() powinna zwrócić klasę błędu
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Naprawianie metryk przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • [SPARK-40055][SQL] listCatalogs powinna również zwrócić spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40389][SQL] Liczba dziesiętna nie może przepełnić się jako typy całkowite, jeśli rzutowanie może przepełnić się
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-40066][SQL][KONTYNUACJA] Sprawdź, czy element ElementAt został rozwiązany przed pobraniem elementu dataType
    • [SPARK-40109][SQL] Nowa funkcja SQL: get()
    • [SPARK-40066][SQL] Tryb ANSI: zawsze zwraca wartość null w nieprawidłowym dostępie do kolumny mapy
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue platformy SparkSQL nie obsługuje prawidłowo bajtów, krótkich ani zmiennoprzecinkowych
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-35542][ML] Poprawka: Bucketizer utworzony dla wielu kolumn z parametrami
    • [SPARK-40079] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
    • [SPARK-39912]SPARK-39828[SQL] Uściślij catalogImpl

Databricks Runtime 11.1 (EoS)

Zobacz Databricks Runtime 11.1 (EoS).

  • 31 stycznia 2023 r.

    • [SPARK-41379][SS][PYTHON] Zapewnianie sklonowanej sesji spark w ramce danych w funkcji użytkownika dla ujścia foreachBatch w PySpark
    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • Łącznik usługi Azure Synapse zwraca teraz bardziej opisowy komunikat o błędzie, gdy nazwa kolumny zawiera nieprawidłowe znaki, takie jak białe znaki lub średniki. W takich przypadkach zostanie zwrócony następujący komunikat: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Naprawianie metryk w zapytaniu przesyłanym strumieniowo o źródle przesyłania strumieniowego CTE i DSv1
    • [SPARK-41862][SQL] Naprawiono usterkę poprawności związaną z wartościami DOMYŚLNYmi w czytniku Orc
    • [SPARK-41199][SS] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
    • [SPARK-41339][SQL] Zamknij i utwórz ponownie partię zapisu bazy danych RocksDB zamiast tylko wyczyścić
    • [SPARK-41732][SQL][SS] Stosowanie oczyszczania opartego na wzorcu drzewa dla reguły SessionWindowing
    • [SPARK-38277][SS] Czyszczenie partii zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Do obsługi białych znaków dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na truewartość , usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Usunięto usterkę podczas analizowania kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • [SPARK-39650][SS] Poprawiono niepoprawny schemat wartości w deduplikacji przesyłania strumieniowego ze zgodnością z poprzednimi wersjami
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 1 listopada 2022 r.

    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem polegający na tym, że uruchamianie MERGE i używanie dokładnie 99 kolumn ze źródła w warunku mogło spowodować wystąpienie java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbłędu .
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 października 2022 r.

    • Rozwiązano problem z użyciem funkcji COPY INTO z tymczasowymi poświadczeniami w klastrach/magazynach z włączoną obsługą wykazu aparatu Unity.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • środa, 5 października 2022 r.

    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywną listę modułu ładującego automatycznie w usłudze ADLS Gen2. Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji konserwacji.
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Naprawianie metryk przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • [SPARK-40055][SQL] listCatalogs powinna również zwrócić spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2022 r.

    • [SPARK-40315][SQL] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen

  • 6 września 2022 r.

    • Zaktualizowaliśmy model uprawnień w kontrolkach dostępu do tabel (ACL tabel), tak aby tylko uprawnienia MODIFY były potrzebne do zmiany schematu lub właściwości tabeli tabeli za pomocą polecenia ALTER TABLE. Wcześniej te operacje wymagały od użytkownika posiadania tabeli. Własność jest nadal wymagana, aby udzielić uprawnień do tabeli, zmienić właściciela, zmienić jego lokalizację lub zmienić jej nazwę. Ta zmiana sprawia, że model uprawnień dla list ACL tabel jest bardziej spójny z wykazem aparatu Unity.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue platformy SparkSQL nie obsługuje prawidłowo bajtów, krótkich ani zmiennoprzecinkowych
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego

  • 24 sierpnia 2022 r.

    • Udziały, dostawcy i adresaci obsługują teraz polecenia SQL w celu zmiany właścicieli, komentarza, zmiany nazwy
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39912][SPARK-39828][SQL] Uściślij element CatalogImpl
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach podzielonych na partycje
    • [SPARK-39867][SQL] Limit globalny nie powinien dziedziczyć parametru OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-39839][SQL] Obsługa specjalnego przypadku zmiennej długości dziesiętnej o zmiennej długości dziesiętnej z niezerowym przesunięciemAndSize w sprawdzaniu integralności strukturalnej UnsafeRow
    • [SPARK-39713][SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
    • [SPARK-39847][SS] Napraw warunek wyścigu w rocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 10 sierpnia 2022 r.

    • W przypadku tabel delty z kontrolą dostępu do tabel automatyczna ewolucja schematu za pomocą instrukcji DML, takich jak INSERT i MERGE jest teraz dostępna dla wszystkich użytkowników, którzy mają MODIFY uprawnienia do takich tabel. Ponadto uprawnienia wymagane do przeprowadzenia ewolucji COPY INTO schematu za pomocą polecenia są teraz obniżane z OWNER do MODIFY w celu zapewnienia spójności z innymi poleceniami. Te zmiany sprawiają, że model zabezpieczeń listy ACL tabeli jest bardziej spójny z modelem zabezpieczeń wykazu aparatu Unity, a także innymi operacjami, takimi jak zastępowanie tabeli.
    • [SPARK-39889] Ulepszanie komunikatu o błędzie dzielenia o 0
    • [SPARK-39795] [SQL] Nowa funkcja SQL: try_to_timestamp
    • [SPARK-39749] Zawsze używaj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego jako ciągu w trybie ANSI
    • [SPARK-39625] Zmienianie nazwy df.as na df.to
    • [SPARK-39787] [SQL] Użyj klasy error w błędzie analizowania funkcji to_timestamp
    • [SPARK-39625] [SQL] Dodawanie Dataset.as(StructType)
    • [SPARK-39689] Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39579] [SQL][PYTHON][R] Make ListFunctions/getFunction/functionExists zgodne z 3 warstwową przestrzenią nazw
    • [SPARK-39702] [CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575] [AVRO] dodaj element ByteBuffer#rewind po byteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Naprawianie błędu testu po włączeniu SPARK_ANSI_SQL_MODE
    • [SPARK-39441] [SQL] Przyspieszanie deduplikacjirelacji
    • [SPARK-39497] [SQL] Ulepszanie wyjątku analizy brakującej kolumny klucza mapy
    • [SPARK-39476] [SQL] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej
    • [SPARK-39434] [SQL] Podaj kontekst zapytania o błędzie czasu wykonywania, gdy indeks tablicy jest poza granicą

Databricks Runtime 11.0 (EoS)

Zobacz Databricks Runtime 11.0 (EoS).

  • 29 listopada 2022 r.
    • Użytkownicy mogą konfigurować zachowanie wiodących i końcowych białych znaków podczas zapisywania danych przy użyciu łącznika Redshift. Do obsługi białych znaków dodano następujące opcje:
      • csvignoreleadingwhitespace, w przypadku ustawienia na truewartość , usuwa wiodące białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
      • csvignoretrailingwhitespace, w przypadku ustawienia na truewartość , usuwa końcowe białe znaki z wartości podczas zapisu, gdy tempformat jest ustawiona na CSV wartość lub CSV GZIP. Odstępy są zachowywane, gdy konfiguracja jest ustawiona na falsewartość . Domyślna wartość to true.
    • Usunięto usterkę podczas analizowania kodu JSON w narzędziu do automatycznego ładowania, gdy wszystkie kolumny były pozostawione jako ciągi (cloudFiles.inferColumnTypes nie zostały ustawione lub ustawione na false) i zawarte obiekty zagnieżdżone w formacie JSON.
    • [SPARK-39650][SS] Poprawiono niepoprawny schemat wartości w deduplikacji przesyłania strumieniowego ze zgodnością z poprzednimi wersjami
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 listopada 2022 r.
    • [SPARK-40646] Analizowanie w formacie JSON dla struktur, map i tablic zostało naprawione, więc gdy część rekordu nie jest zgodna ze schematem, pozostała część rekordu może być nadal analizowana poprawnie zamiast zwracać wartości null. Aby wyrazić zgodę na ulepszone zachowanie, ustaw wartość spark.sql.json.enablePartialResultstrue. Flaga jest domyślnie wyłączona, aby zachować oryginalne zachowanie.
  • 1 listopada 2022 r.
    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • Rozwiązano problem z funkcją automatycznego ładowania, który polegał na tym, że plik mógł być zduplikowany w tej samej mikrosadowej partii, gdy allowOverwrites jest włączony
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywną listę modułu ładującego automatycznie w usłudze ADLS Gen2. Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji konserwacji.
    • [SPARK-40169] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
    • [SPARK-40460][SS] Naprawianie metryk przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • [SPARK-40152][SQL] Rozwiązywanie problemu z kompilacją split_part codegen
  • 6 września 2022 r.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-40212][SQL] Funkcja castPartValue platformy SparkSQL nie obsługuje prawidłowo bajtów, krótkich ani zmiennoprzecinkowych
    • [SPARK-40218][SQL] ZESTAWY GRUPOWANIA powinny zachować kolumny grupowania
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach podzielonych na partycje
    • [SPARK-39867][SQL] Limit globalny nie powinien dziedziczyć parametru OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39713][SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
    • [SPARK-39847] Napraw warunek wyścigu w rocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • [SPARK-39889] Ulepszanie komunikatu o błędzie dzielenia o 0
    • [SPARK-39795][SQL] Nowa funkcja SQL: try_to_timestamp
    • [SPARK-39749] Zawsze używaj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego jako ciągu w trybie ANSI
    • [SPARK-39625][SQL] Dodawanie Dataset.to(StructType)
    • [SPARK-39787][SQL] Użyj klasy error w błędzie analizowania funkcji to_timestamp
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575][AVRO] dodaj element ByteBuffer#rewind po byteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] Ulepszanie wyjątku analizy brakującej kolumny klucza mapy
    • [SPARK-39441][SQL] Przyspieszanie deduplikacjirelacji
    • [SPARK-39476][SQL] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej
    • [SPARK-39434][SQL] Podaj kontekst zapytania o błędzie czasu wykonywania, gdy indeks tablicy jest poza granicą
    • [SPARK-39570][SQL] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • Rozwiązano problem dotyczący cloud_files_state TVF podczas uruchamiania w ścieżkach innych niż DBFS.
    • Wyłączono automatyczne ładowanie przy użyciu natywnych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • [SPARK-38796][SQL] Aktualizowanie funkcji to_number i try_to_number w celu umożliwienia żądania ściągnięcia z liczbami dodatnimi
    • [SPARK-39272][SQL] Zwiększ pozycję początkową kontekstu zapytania o 1
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • Ulepszenie komunikatów o błędach dla zakresu klas błędów.
    • [SPARK-39451][SQL] Obsługa interwałów rzutowania do całkowitoliczników w trybie ANSI
    • [SPARK-39361] Nie używaj rozszerzonego wzorca konwersji zgłaszanej w usłudze Log4J2 w domyślnych konfiguracjach rejestrowania
    • [SPARK-39354][SQL] Upewnij się, że jest wyświetlany Table or view not found nawet wtedy, gdy są dataTypeMismatchError one powiązane Filter w tym samym czasie
    • [SPARK-38675][CORE] Naprawianie wyścigu podczas odblokowywania w narzędziu BlockInfoManager
    • [SPARK-39392][SQL] Uściślij komunikaty o błędach ANSI dla wskazówek funkcji try_*
    • [SPARK-39214][SQL][3.3] Poprawianie błędów związanych z obsadą
    • [SPARK-37939][SQL] Używanie klas błędów w błędach analizowania właściwości
    • [SPARK-39085][SQL] Przenieś komunikat o błędzie do INCONSISTENT_BEHAVIOR_CROSS_VERSION error-classes.json
    • [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 10.5 (EoS)

Zobacz Databricks Runtime 10.5 (EoS).

  • 1 listopada 2022 r.
    • Rozwiązano problem polegający na tym, że jeśli tabela delty miała kolumnę zdefiniowaną przez użytkownika o nazwie _change_type, ale zmiana źródła danych została wyłączona w tej tabeli, dane w tej kolumnie niepoprawnie wypełniały wartości NULL podczas uruchamiania polecenia MERGE.
    • [SPARK-40697][SQL] Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
    • [SPARK-40596][CORE] Wypełnianie funkcji wykonawczejDecommission komunikatami w funkcji ExecutorDecommissionInfo
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 października 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 października 2022 r.
    • Użytkownicy mogą ustawić właściwość spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true"), aby ponownie włączyć natywną listę modułu ładującego automatycznie w usłudze ADLS Gen2. Lista natywna została wcześniej wyłączona z powodu problemów z wydajnością, ale mogła doprowadzić do wzrostu kosztów magazynowania dla klientów. Ta zmiana została wdrożona w wersji DBR 10.4 i 9.1 w poprzedniej aktualizacji konserwacji.
    • Ponowne ładowanie4j zostało uaktualnione do wersji 1.2.19 w celu naprawienia luk w zabezpieczeniach.
    • [SPARK-40460][SS] Naprawianie metryk przesyłania strumieniowego podczas wybierania _metadata
    • [SPARK-40468][SQL] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 września 2022 r.
    • [SPARK-40315][SQL] Add hashCode() for Literal of ArrayBasedMapData
    • [SPARK-40213][SQL] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
    • [SPARK-40380][SQL] Napraw stałe składanie elementu InvokeLike, aby uniknąć niesererowalnego literału osadzonego w planie
    • [SPARK-38404][SQL] Ulepszanie rozpoznawania CTE, gdy zagnieżdżone CTE odwołuje się do zewnętrznego CTE
    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych
    • [SPARK-39887][SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 września 2022 r.
    • [SPARK-40235][CORE] Użyj blokady przerywanej zamiast zsynchronizowanej w funkcji Executor.updateDependencies()
    • [SPARK-39976][SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
    • [SPARK-40053][CORE][SQL][TESTY] Dodawanie assume do dynamicznych przypadków anulowania, które wymagają środowiska uruchomieniowego języka Python
    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego
  • 24 sierpnia 2022 r.
    • [SPARK-39983][CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
    • [SPARK-39775][CORE][AVRO] Wyłącz weryfikowanie wartości domyślnych podczas analizowania schematów Avro
    • [SPARK-39806] Rozwiązano problem z awarią zapytań podczas uzyskiwania dostępu do struktury METADANYCH w tabelach podzielonych na partycje
    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • [SPARK-37643][SQL] gdy parametr charVarcharAsString ma wartość true, w przypadku zapytania predykatu typu char należy pominąć regułę rpadding
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 9 sierpnia 2022 r.
    • [SPARK-39847] Napraw warunek wyścigu w rocksDBLoader.loadLibrary(), jeśli wątek wywołujący zostanie przerwany
    • [SPARK-39731][SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 27 lipca 2022 r.
    • [SPARK-39625][SQL] Dodawanie Dataset.as(StructType)
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39570][SQL] Tabela śródliniowa powinna zezwalać na wyrażenia z aliasem
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • [SPARK-39575][AVRO] dodaj element ByteBuffer#rewind po byteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 13 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39355][SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
    • [SPARK-39548][SQL] Polecenie CreateView z zapytaniem klauzuli okna napotkało problem z nieprawidłową definicją okna
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Wyłączono automatyczne ładowanie przy użyciu natywnych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
    • [SPARK-36718][SQL][KONTYNUACJA] Naprawianie zaewidencjonu isExtractOnly zwijania projektu
  • 2 czerwca 2022 r.
    • [SPARK-39166][SQL] Podaj kontekst zapytania o błędzie środowiska uruchomieniowego dla arytmetyki binarnej, gdy WSCG jest wyłączona
    • [SPARK-39093][SQL] Unikaj błędu kompilacji kodu podczas dzielenia interwałów miesiąca lub interwałów dnia według całkowitej liczby
    • [SPARK-38990][SQL] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w narzędziu automatycznego ładowania.
    • [SPARK-38868][SQL]Nie propaguj wyjątków z predykatu filtru podczas optymalizowania sprzężeń zewnętrznych
    • [SPARK-38796][SQL] Implementowanie funkcji to_number i try_to_number SQL zgodnie z nową specyfikacją
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-38929][SQL] Ulepszanie komunikatów o błędach dla niepowodzeń rzutowania w usłudze ANSI
    • [SPARK-38926][SQL] Typy danych wyjściowych w komunikatach o błędach w stylu SQL
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268][SQL] Dodawanie kolumnyPruning w iniekcjiBloomFilter
    • [SPARK-38908][SQL] Podaj kontekst zapytania w czasie wykonywania błędu rzutowania z ciągu na liczbę/datę/sygnaturę czasową/wartość logiczną
    • [SPARK-39046][SQL] Zwraca pusty ciąg kontekstu, jeśli właściwość TreeNode.origin jest niepoprawnie ustawiona
    • [SPARK-38974][SQL] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38762][SQL] Podaj kontekst zapytania w błędach przepełnienia dziesiętnego
    • [SPARK-38931][SS] Tworzenie katalogu głównego dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy w punkcie kontrolnym 1
    • [SPARK-38992][CORE] Unikaj używania powłoki bash -c w powłoce ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Podaj kontekst zapytania w kluczu mapy nie istnieje błąd
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • [SPARK-38698][SQL] Podaj kontekst zapytania w błędzie czasu wykonywania funkcji Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Rozwiązywanie NewInstance problemu z uszkodzeniem buforu agregacji
    • [SPARK-38809][SS] Zaimplementuj opcję pomijania wartości null w implementacji skrótu symetrycznego sprzężeń strumienia strumienia
    • [SPARK-38676][SQL] Podaj kontekst zapytania SQL w komunikacie o błędzie czasu wykonywania polecenia Add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Python MonitorThread powinna wykryć zakleszczenie z powodu blokowania operacji we/wy
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 10.3 (EoS)

Zobacz Databricks Runtime 10.3 (EoS).

  • 27 lipca 2022 r.
    • [SPARK-39689]Obsługa 2 znaków lineSep w źródle danych CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded powinna być bezpieczna wątkowo
    • [SPARK-39702][CORE] Zmniejsz obciążenie pamięcią funkcji TransportCipher$EncryptedMessage przy użyciu udostępnionego bajtuRawChannel
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 lipca 2022 r.
    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • [SPARK-39476][SQL] Wyłącz optymalizację rzutowania odpakuj podczas rzutowania od długiego do liczby zmiennoprzecinkowej/ podwójnej lub z liczby całkowitej do liczby zmiennoprzecinkowej
    • [SPARK-39548][SQL] Polecenie CreateView z zapytaniem klauzuli okna napotkało problem z nieprawidłową definicją okna
    • [SPARK-39419][SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 5 lipca 2022 r.
    • [SPARK-39376][SQL] Ukryj zduplikowane kolumny w rozszerzeniu gwiazdki aliasu podzapytania z pliku NATURAL/USING JOIN
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
    • [SPARK-36718][SQL][KONTYNUACJA] Naprawianie zaewidencjonu isExtractOnly zwijania projektu
  • 2 czerwca 2022 r.
    • [SPARK-38990][SQL] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w narzędziu automatycznego ładowania.
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-37593][CORE] Zmniejsz domyślny rozmiar strony przez LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-32268][SQL] Dodawanie kolumnyPruning w iniekcjiBloomFilter
    • [SPARK-38974][SQL] Filtrowanie zarejestrowanych funkcji przy użyciu danej nazwy bazy danych w funkcjach listy
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 maja 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
  • 19 kwietnia 2022 r.
    • [SPARK-38616][SQL] Śledź tekst zapytania SQL w węźle TreeNode katalizatora
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej katalog roboczy to /databricks/driver.
    • [SPARK-38437][SQL] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcji dla pustych transakcji w usłudze Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwalaj na przypisanie magazynu między znacznikiem czasu i znacznikiem daty/godziny
  • 23 lutego 2022 r.
    • [SPARK-27442][SQL] Usuwanie nazwy pola wyboru podczas odczytywania/zapisywania danych w parquet

Databricks Runtime 10.2 (EoS)

Zobacz Databricks Runtime 10.2 (EoS).

  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
  • 2 czerwca 2022 r.
    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • [SPARK-38990][SQL] Unikaj wartości NullPointerException podczas oceniania formatu date_trunc/obcinania jako odwołania powiązanego
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w narzędziu automatycznego ładowania.
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • [SPARK-38931][SS] Tworzenie katalogu głównego dfs dla elementu RocksDBFileManager z nieznaną liczbą kluczy w punkcie kontrolnym 1
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 maja 2022 r.
    • Uaktualniono zestaw JAVA AWS SDK z wersji 1.11.655 do wersji 1.12.1899.
  • 19 kwietnia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • Zmieniono bieżący katalog roboczy notesów w klastrach o wysokiej współbieżności z włączoną kontrolą dostępu do tabeli lub przekazywaniem poświadczeń do katalogu macierzystego użytkownika. Wcześniej katalog roboczy to /databricks/driver.
    • [SPARK-38437][SQL] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcji dla pustych transakcji w usłudze Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwalaj na przypisanie magazynu między znacznikiem czasu i znacznikiem daty/godziny
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na typ struktury na potrzeby generowania oczyszczania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejsejnej w pewnych rzadkich warunkach.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Wprowadzono obsługę tworzenia tymczasowych poświadczeń do kopiowania DO ładowania danych źródłowych bez konieczności stosowania uprawnień ANY_FILE SQL
    • Poprawki błędów i ulepszenia zabezpieczeń.
  • 20 grudnia 2021 r.
    • Usunięto rzadką usterkę z filtrowaniem opartym na indeksie kolumn Parquet.

Databricks Runtime 10.1 (EoS)

Zobacz Databricks Runtime 10.1 (EoS).

  • 15 czerwca 2022 r.
    • [SPARK-39283][CORE] Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Platforma Spark nie powinna sprawdzać nazw pól podczas odczytywania plików
    • [SPARK-34096][SQL] Zwiększanie wydajności nth_value ignorowanie wartości null w oknie przesunięcia
  • 2 czerwca 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 18 maja 2022 r.
    • Naprawia potencjalny wyciek pamięci natywnej w narzędziu automatycznego ładowania.
    • [SPARK-39084][PYSPARK] Poprawka df.rdd.isEmpty() przy użyciu elementu TaskContext w celu zatrzymania iteratora po zakończeniu zadania
    • [SPARK-38889][SQL] Kompilowanie filtrów kolumn logicznych w celu użycia typu bitowego dla źródła danych MSSQL
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 19 kwietnia 2022 r.
    • [SPARK-37270][SQL] Naprawa wypychania zwijanego do gałęzi CaseWhen, jeśli wartość elseValue jest pusta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • [SPARK-38437][SQL] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcji dla pustych transakcji w usłudze Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwalaj na przypisanie magazynu między znacznikiem czasu i znacznikiem daty/godziny
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na typ struktury na potrzeby generowania oczyszczania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w parquet.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejsejnej w pewnych rzadkich warunkach.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Wprowadzono obsługę tworzenia tymczasowych poświadczeń do kopiowania DO ładowania danych źródłowych bez konieczności stosowania uprawnień ANY_FILE SQL
    • Rozwiązano problem z brakiem pamięci z buforowaniem wyników zapytania w określonych warunkach.
    • Rozwiązano problem polegający USE DATABASE na tym, że użytkownik przełącza bieżący wykaz do wykazu innego niż domyślny.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 grudnia 2021 r.
    • Usunięto rzadką usterkę z filtrowaniem opartym na indeksie kolumn Parquet.

Databricks Runtime 10.0 (EoS)

Zobacz Databricks Runtime 10.0 (EoS).

  • 19 kwietnia 2022 r.
    • [SPARK-37270][SQL] Naprawa wypychania zwijanego do gałęzi CaseWhen, jeśli wartość elseValue jest pusta
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 6 kwietnia 2022 r.
    • [SPARK-38631][CORE] Używa implementacji opartej na języku Java do cofania tarringu w pliku Utils.unpack
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 22 marca 2022 r.
    • [SPARK-38437][SQL] Pobłażliwą serializacji daty/godziny ze źródła danych
    • [SPARK-38180][SQL] Zezwalaj na bezpieczne rzutowanie w skorelowanych predykatach równości
    • [SPARK-38155][SQL] Nie zezwalaj na odrębne agregowanie w podzapytaniach bocznych z nieobsługiwanymi predykatami
    • [SPARK-38325][SQL] Tryb ANSI: unikaj potencjalnego błędu środowiska uruchomieniowego w pliku HashJoin.extractKeyExprAt()
  • 14 marca 2022 r.
    • Ulepszone wykrywanie konfliktów transakcji dla pustych transakcji w usłudze Delta Lake.
    • [SPARK-38185][SQL] Naprawianie niepoprawnych danych, jeśli funkcja agregacji jest pusta
    • [SPARK-38318][SQL] regresja podczas zastępowania widoku zestawu danych
    • [SPARK-38236][SQL] Bezwzględne ścieżki plików określone w tabeli tworzenia/zmiany są traktowane jako względne
    • [SPARK-35937][SQL] Wyodrębnianie pola daty ze znacznika czasu powinno działać w trybie ANSI
    • [SPARK-34069][SQL] Zadania bariery zabijania powinny przestrzegać SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Zezwalaj na przypisanie magazynu między znacznikiem czasu i znacznikiem daty/godziny
  • 23 lutego 2022 r.
    • [SPARK-37577][SQL] Naprawiono wyjątek ClassCastException: Nie można rzutować obiektu ArrayType na typ struktury na potrzeby generowania oczyszczania
  • 8 lutego 2022 r.
    • [SPARK-27442][SQL] Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w parquet.
    • [SPARK-36905][SQL] Naprawianie odczytywania widoków hive bez jawnych nazw kolumn
    • [SPARK-37859][SQL] Rozwiązano problem polegający na tym, że tabele SQL utworzone za pomocą interfejsu JDBC z platformą Spark 3.1 nie są czytelne w wersji 3.2
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że współbieżne transakcje w tabelach delty mogły być zatwierdzane w kolejności nieserejsejnej w pewnych rzadkich warunkach.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 20 grudnia 2021 r.
    • Usunięto rzadką usterkę z filtrowaniem opartym na indeksie kolumn Parquet.
  • 9 listopada 2021 r.
    • Wprowadzono dodatkowe flagi konfiguracji, aby umożliwić szczegółową kontrolę zachowań ANSI.
  • 4 listopada 2021 r.
    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
    • Łącznik Platformy Apache Spark do udostępniania różnicowego został uaktualniony do wersji 0.2.0.
  • 30 listopada 2021 r.
    • Rozwiązano problem z analizowaniem znacznika czasu, który polegał na tym, że ciąg strefy czasowej bez dwukropka był uznawany za nieprawidłowy.
    • Rozwiązano problem z brakiem pamięci z buforowaniem wyników zapytania w określonych warunkach.
    • Rozwiązano problem polegający USE DATABASE na tym, że użytkownik przełącza bieżący wykaz do wykazu innego niż domyślny.

Databricks Runtime 9.0 (EoS)

Zobacz Databricks Runtime 9.0 (EoS).

  • 8 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 1 lutego 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 26 stycznia 2022 r.
    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.
  • 19 stycznia 2022 r.
    • Poprawki błędów i ulepszenia zabezpieczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
    • Łącznik Platformy Apache Spark do udostępniania różnicowego został uaktualniony do wersji 0.2.0.
  • 22 września 2021 r.
    • Usunięto usterkę rzutowania tablicy Spark z wartością null na ciąg
  • 15 września 2021 r.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 września 2021 r.
    • Dodano obsługę nazwy schematu (databaseName.schemaName.tableName formatu) jako nazwy tabeli docelowej dla łącznika usługi Azure Synapse.
    • Dodano obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • [SPARK-33527][SQL] Rozszerzono funkcję dekodowania tak, aby była spójna z głównymi bazami danych.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.
  • 25 sierpnia 2021 r.
    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawiono przerwany link do najlepszego notesu wersji próbnej na stronie eksperymentu rozwiązania AutoML.

Databricks Runtime 8.4 (EoS)

Zobacz Databricks Runtime 8.4 (EoS).

  • 19 stycznia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
    • Łącznik Platformy Apache Spark do udostępniania różnicowego został uaktualniony do wersji 0.2.0.
  • 22 września 2021 r.
    • Sterownik Spark JDBC został uaktualniony do wersji 2.6.19.1030
    • [SPARK-36734][SQL] Uaktualnianie usługi ORC do wersji 1.5.1
  • 15 września 2021 r.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2021 r.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.
  • 25 sierpnia 2021 r.
    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawia usterkę w przekazywaniu poświadczeń spowodowaną przez nową optymalizację pobierania wstępnego Parquet, w której nie można odnaleźć poświadczeń przekazywania użytkownika podczas uzyskiwania dostępu do plików.
  • 11 sierpnia 2021 r.
    • Rozwiązano problem z niezgodnością bazy danych RocksDB, który uniemożliwia starsze środowisko Databricks Runtime 8.4. Dzięki temu poprawiono zgodność z usługą Auto Loader, COPY INTOi stanowymi aplikacjami przesyłania strumieniowego.
    • Naprawia usterkę podczas używania modułu ładującego automatycznego do odczytywania plików CSV z niezgodnymi plikami nagłówków. Jeśli nazwy kolumn nie są zgodne, kolumna zostanie wypełniona wartościami null. Teraz, jeśli podano schemat, zakłada, że schemat jest taki sam i zapisze tylko niezgodności kolumn, jeśli uratowane kolumny danych są włączone.
    • Dodaje nową opcję wywoływaną externalDataSource do łącznika usługi Azure Synapse, aby usunąć CONTROL wymaganie dotyczące uprawnień w bazie danych na potrzeby odczytu programu PolyBase.
  • 29 lipca 2021 r.
    • [SPARK-36034][BUILD] Zmień datę/godzinę w wypchniętych filtrach do Parquet
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

Databricks Runtime 8.3 (EoS)

Zobacz Databricks Runtime 8.3 (EoS).

  • 19 stycznia 2022 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 4 listopada 2021 r.
    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.
  • 22 września 2021 r.
    • Sterownik Spark JDBC został uaktualniony do wersji 2.6.19.1030
  • 15 września 2021 r.
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2021 r.
    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc podczas tworzenia i zapisywania przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.
  • 25 sierpnia 2021 r.
    • Biblioteka sterowników programu SQL Server została uaktualniona do wersji 9.2.1.jre8.
    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.
    • Naprawia usterkę w przekazywaniu poświadczeń spowodowaną przez nową optymalizację pobierania wstępnego Parquet, w której nie można odnaleźć poświadczeń przekazywania użytkownika podczas uzyskiwania dostępu do plików.
  • 11 sierpnia 2021 r.
    • Naprawia usterkę podczas używania modułu ładującego automatycznego do odczytywania plików CSV z niezgodnymi plikami nagłówków. Jeśli nazwy kolumn nie są zgodne, kolumna zostanie wypełniona wartościami null. Teraz, jeśli podano schemat, zakłada, że schemat jest taki sam i zapisze tylko niezgodności kolumn, jeśli uratowane kolumny danych są włączone.
  • 29 lipca 2021 r.
    • Uaktualnianie łącznika Usługi Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Zmień datę/godzinę w wypchniętych filtrach do Parquet
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji
  • 14 lipca 2021 r.
    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Wprowadzono database.schema.table format łącznika usługi Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.
  • 15 czerwca 2021 r.
    • Usunięto usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej
    • Dodaje polecenia SQL CREATE GROUP, DROP GROUP, ALTER GROUPSHOW GROUPS, i SHOW USERS . Aby uzyskać szczegółowe informacje, zobacz Instrukcje zabezpieczeń i Pokaż instrukcje.

Databricks Runtime 8.2 (EoS)

Zobacz Databricks Runtime 8.2 (EoS).

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc podczas tworzenia i zapisywania przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Zmień datę/godzinę w wypchniętych filtrach do parquet.

  • 29 lipca 2021 r.

    • Uaktualnianie łącznika Usługi Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Wprowadzono database.schema.table format łącznika usługi Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.
    • Usunięto usterkę uniemożliwiającą użytkownikom podróż do starszych dostępnych wersji z tabelami delty.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
    • Rozwiązano problem z systemem OOM, który polegał na tym, że automatyczne ładowanie raportuje metryki postępu przesyłania strumieniowego ze strukturą.

Databricks Runtime 8.1 (EoS)

Zobacz Databricks Runtime 8.1 (EoS).

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc podczas tworzenia i zapisywania przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Zmień datę/godzinę w wypchniętych filtrach do parquet.

  • 29 lipca 2021 r.

    • Uaktualnianie łącznika Usługi Databricks Snowflake Spark do wersji 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Usunięto usterkę uniemożliwiającą użytkownikom podróż do starszych dostępnych wersji z tabelami delty.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • Rozwiązano problem z systemem OOM, który polegał na tym, że automatyczne ładowanie raportuje metryki postępu przesyłania strumieniowego ze strukturą.

  • 27 kwietnia 2021 r.

    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
    • [SPARK-34856][SQL] Tryb ANSI: zezwalaj na rzutowanie złożonych typów jako typu ciągu
    • [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
    • [SPARK-34769][SQL] AnsiTypeCoercion: zwraca najwęższy typ cabrio między TypeCollection
    • [SPARK-34614][SQL] Tryb ANSI: Rzutowanie ciągu do wartości logicznej spowoduje zgłoszenie wyjątku podczas analizowania błędu
    • [SPARK-33794][SQL] Tryb ANSI: poprawiono wyrażenie NextDay, aby zgłosić wyjątek IllegalArgumentException środowiska uruchomieniowego podczas odbierania nieprawidłowych danych wejściowych w obszarze

Databricks Runtime 8.0 (EoS)

Zobacz Databricks Runtime 8.0 (EoS).

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 11 sierpnia 2021 r.

    • [SPARK-36034][SQL] Zmień datę/godzinę w wypchniętych filtrach do parquet.

  • 29 lipca 2021 r.

    • [SPARK-36163][BUILD] Propagacja prawidłowych właściwości JDBC w dostawcy łącznika JDBC i dodawanie connectionProvider opcji

  • 14 lipca 2021 r.

    • Rozwiązano problem podczas używania nazw kolumn z kropkami w łączniku usługi Azure Synapse.
    • Usunięto usterkę uniemożliwiającą użytkownikom podróż do starszych dostępnych wersji z tabelami delty.

  • 26 maja 2021 r.

    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia

  • 24 marca 2021 r.

    • [SPARK-34681][SQL] Usunięto usterkę dotyczącą pełnego sprzężenia skrótu mieszania zewnętrznego podczas kompilowania po lewej stronie z nieprzyzwoisnym warunkiem
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
    • [SPARK-34613][SQL] Poprawka widoku nie przechwytuje konfiguracji wskazówek wyłączania

  • wtorek, 9 marca 2021 r.

    • [SPARK-34543][SQL] Uwzględnianie spark.sql.caseSensitive konfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1 SET LOCATION
    • [SPARK-34392][SQL] Obsługa elementu ZoneOffset +h:mm w narzędziu DateTimeUtils. getZoneId
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • [SPARK-34436][SQL] Obsługa funkcji DPP LIKE ANY/ALL

Databricks Runtime 7.6 (EoS)

Zobacz Databricks Runtime 7.6 (EoS).

  • 11 sierpnia 2021 r.
    • [SPARK-36034][SQL] Zmień datę/godzinę w wypchniętych filtrach do parquet.
  • 29 lipca 2021 r.
    • [SPARK-32998][BUILD] Dodawanie możliwości zastąpienia domyślnych repozytoriów zdalnych tylko z wewnętrznymi repozytoriami
  • 14 lipca 2021 r.
    • Usunięto usterkę uniemożliwiającą użytkownikom podróż do starszych dostępnych wersji z tabelami delty.
  • 26 maja 2021 r.
    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).
  • 30 kwietnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
  • 24 marca 2021 r.
    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
  • 9 marca 2021 r.
    • (Tylko platforma Azure) Naprawiono usterkę automatycznego modułu ładującego, która może powodować wyjątek NullPointerException podczas używania środowiska Databricks Runtime 7.6 do uruchamiania starego strumienia automatycznego ładowania utworzonego w środowisku Databricks Runtime 7.2
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • Nieznany węzeł liścia SparkPlan nie jest poprawnie obsługiwany w elemencie SizeInBytesOnlyStatsSparkPlanVisitor
    • Przywracanie schematu wyjściowego polecenia SHOW DATABASES
    • [Delta][8.0, 7.6] Naprawiono usterkę obliczania w logice automatycznego dostrajania rozmiaru pliku
    • Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SQL] Użyj poprawnego dynamicznego klucza kompilacji oczyszczania, gdy znajduje się wskazówka sprzężenia zakresu
    • Wyłączanie obsługi typów znaków w ścieżce kodu innej niż SQL
    • Unikaj narzędzia NPE w elemecie DataFrameReader.schema
    • Naprawianie serwera NPE, gdy odpowiedź EventGridClient nie ma jednostki
    • Naprawianie usterki odczytu zamkniętego strumienia w narzędziu Azure Auto Loader
    • [SQL] Nie generuj porad dotyczących numeru partycji mieszania, gdy system AOS jest włączony
  • 24 lutego 2021 r.
    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-34260][SQL] Napraw wyjątek UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego.

Databricks Runtime 7.5 (EoS)

Zobacz Databricks Runtime 7.5 (EoS).

  • 26 maja 2021 r.
    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).
  • 30 kwietnia 2021 r.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
  • 24 marca 2021 r.
    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
  • 9 marca 2021 r.
    • (Tylko platforma Azure) Naprawiono usterkę automatycznego modułu ładującego, która może powodować wyjątek NullPointerException podczas używania środowiska Databricks Runtime 7.5 do uruchamiania starego strumienia automatycznego ładowania utworzonego w środowisku Databricks Runtime 7.2.
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • Nieznany węzeł liścia SparkPlan nie jest poprawnie obsługiwany w elemencie SizeInBytesOnlyStatsSparkPlanVisitor
    • Przywracanie schematu wyjściowego polecenia SHOW DATABASES
    • Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SQL] Użyj poprawnego dynamicznego klucza kompilacji oczyszczania, gdy znajduje się wskazówka sprzężenia zakresu
    • Wyłączanie obsługi typów znaków w ścieżce kodu innej niż SQL
    • Unikaj narzędzia NPE w elemecie DataFrameReader.schema
    • Naprawianie serwera NPE, gdy odpowiedź EventGridClient nie ma jednostki
    • Naprawianie usterki odczytu zamkniętego strumienia w narzędziu Azure Auto Loader
  • 24 lutego 2021 r.
    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-34260][SQL] Napraw wyjątek UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego.
  • 4 lutego 2021 r.
    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamianych zapytań za pośrednictwem odBC/JDBC z włączoną serializacji strzałki.
    • Wprowadzono kontrole czasu zapisu do klienta programu Hive, aby zapobiec uszkodzeniu metadanych w magazynie metadanych Programu Hive dla tabel różnicowych.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.
  • 20 stycznia 2021 r.
    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)
  • 12 stycznia 2021 r.
    • Uaktualnij zestaw Azure Storage SDK z wersji 2.3.8 do 2.3.9.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33480][SQL] aktualizuje komunikat o błędzie sprawdzania długości wstawiania tabeli char/varchar

Databricks Runtime 7.3 LTS (EoS)

Zobacz Databricks Runtime 7.3 LTS (EoS).

  • 10 września 2023 r.

    • Różne poprawki błędów.

  • 30 sierpnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 sierpnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 23 czerwca 2023 roku

    • Biblioteka Snowflake-jdbc została uaktualniona do wersji 3.13.29, aby rozwiązać problem z zabezpieczeniami.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2023 r.

    • [SPARK-43413][SQL] Naprawiono IN podzapytywanie ListQuery wartości null.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 2 czerwca 2023 roku

    • Rozwiązano problem z modułem automatycznego ładowania, który polegał na tym, że różne formaty plików źródłowych były niespójne, gdy podany schemat nie zawierał wywnioskowanych partycji. Ten problem może spowodować nieoczekiwane błędy podczas odczytywania plików z brakującymi kolumnami w schemacie wnioskowanych partycji.

  • 17 maja 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 kwietnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • [SPARK-42967][CORE] Naprawiono element SparkListenerTaskStart.stageAttemptId po uruchomieniu zadania po anulowaniu etapu.
    • Różne poprawki błędów.

  • 29 marca 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 14 marca 2023

    • Różne poprawki błędów.

  • 28 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2023 r.

    • Typy tabel tabel JDBC są teraz domyślnie zewnętrzne.

  • 18 stycznia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Różne poprawki błędów.

  • 15 listopada 2022 r.

    • Uaktualniono wersję apache commons-text do wersji 1.10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 1 listopada 2022 r.

    • [SPARK-38542][SQL] NiebezpiecznyHashedRelation powinien serializować numKeys out

  • 18 października 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • środa, 5 października 2022 r.

    • Różne poprawki błędów.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2022 r.

    • [SPARK-40089][SQL] Naprawianie sortowania niektórych typów dziesiętnych

  • 6 września 2022 r.

    • [SPARK-35542][CORE][ML] Poprawka: Moduł bucketizer utworzony dla wielu kolumn z parametrami splitsArray, inputCols i outputCols nie można załadować po zapisaniu go
    • [SPARK-40079][CORE] Dodawanie walidacji danych inputCols imputera dla pustego przypadku wejściowego

  • 24 sierpnia 2022 r.

    • [SPARK-39962][PYTHON][SQL] Zastosuj projekcję, gdy atrybuty grupy są puste
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 9 sierpnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 27 lipca 2022 r.

    • Upewnij się, że operacja delta MERGE jest spójna, gdy źródło nie jest deterministyczne.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 13 lipca 2022 r.

    • [SPARK-32680][SQL] Nie przetwarzaj wstępnie 2 CTAS z nierozwiązanym zapytaniem
    • Wyłączono automatyczne ładowanie przy użyciu natywnych interfejsów API chmury na potrzeby wyświetlania listy katalogów na platformie Azure.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 5 lipca 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 2 czerwca 2022 roku

    • [SPARK-38918][SQL] Zagnieżdżone oczyszczanie kolumn powinno filtrować atrybuty, które nie należą do bieżącej relacji
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 maja 2022 r.

    • Uaktualnij zestaw AWS SDK z wersji 1.11.655 do wersji 1.11.678.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 19 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 6 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 14 marca 2022 r.

    • Usuwanie klas podatnych na zagrożenia z pliku jar log4j 1.2.17
    • Różne poprawki błędów.

  • 23 lutego 2022 r.

    • [SPARK-37859][SQL] Nie sprawdzaj metadanych podczas porównywania schematów

  • 8 lutego 2022 r.

    • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 lutego 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 26 stycznia 2022 r.

    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.

  • 19 stycznia 2022 r.

    • Kanał domyślny Conda jest usuwany z wersji 7.3 ML LTS
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 7 grudnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 4 listopada 2021 r.

    • Usunięto usterkę, która mogła spowodować niepowodzenie strumieni przesyłania strumieniowego ze strukturą z powodu błędu ArrayIndexOutOfBoundsException
    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z przykładem IOException java.io.IOException: No FileSystem for scheme lub który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.

  • 15 września 2021 r.

    • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException, takim jak java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 września 2021 r.

    • [SPARK-35700][SQL][WARMFIX] Odczyt tabeli char/varchar orc podczas tworzenia i zapisywania przez systemy zewnętrzne.
    • [SPARK-36532][CORE][3.1] Naprawiono zakleszczenie, CoarseGrainedExecutorBackend.onDisconnected aby uniknąć executorsconnected zawieszenia zamknięcia funkcji wykonawczej.

  • 25 sierpnia 2021 r.

    • Łącznik Snowflake został uaktualniony do wersji 2.9.0.

  • 29 lipca 2021 r.

    • [SPARK-36034][BUILD] Zmień datę/godzinę w wypchniętych filtrach do Parquet
    • [SPARK-34508][BUILD] Pomiń HiveExternalCatalogVersionsSuite , jeśli sieć nie działa

  • 14 lipca 2021 r.

    • Wprowadzono database.schema.table format łącznika usługi Azure Synapse.
    • Dodano obsługę udostępniania databaseName.schemaName.tableName formatu jako tabeli docelowej zamiast tylko schemaName.tableName lub tableName.
    • Usunięto usterkę uniemożliwiającą użytkownikom podróż do starszych dostępnych wersji z tabelami delty.

  • 15 czerwca 2021 r.

    • Naprawia usterkę w zapisach zoptymalizowanych pod kątem NoSuchElementException usługi Delta Lake, która może wystąpić podczas zapisywania dużych ilości danych i napotykania strat funkcji wykonawczej
    • Zaktualizowano język Python przy użyciu poprawki zabezpieczeń, aby naprawić lukę w zabezpieczeniach języka Python (CVE-2021-3177).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
    • [SPARK-35045][SQL] Dodawanie opcji wewnętrznej w celu kontrolowania buforu wejściowego w jednowołości

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
    • [SPARK-33118][SQL]TWORZENIE TABELI TYMCZASOWEJ kończy się niepowodzeniem z lokalizacją

  • wtorek, 9 marca 2021 r.

    • Zaktualizowany sterownik systemu plików obiektów blob platformy Azure dla usługi Azure Data Lake Storage Gen2 jest teraz domyślnie włączony. Zapewnia ona wiele ulepszeń stabilności.
    • Naprawianie separatora ścieżki w systemie Windows dla databricks-connect get-jar-dir
    • [Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • [DBCONNECT] Dodano obsługę flatMapCoGroupsInPandas w usłudze Databricks Connect 7.3
    • Przywracanie schematu wyjściowego polecenia SHOW DATABASES
    • [SQL] Użyj poprawnego dynamicznego klucza kompilacji oczyszczania, gdy znajduje się wskazówka sprzężenia zakresu
    • Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SQL] Nie generuj porad dotyczących numeru partycji mieszania, gdy usługa AOS jest włączona

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-33579][Interfejs użytkownika] Napraw pustą stronę funkcji wykonawczej za serwerem proxy.
    • [SPARK-20044][Interfejs użytkownika] Obsługa interfejsu użytkownika platformy Spark za zwrotnym serwerem proxy frontonu przy użyciu prefiksu ścieżki.
    • [SPARK-33277][PYSPARK][SQL] Użyj elementu ContextAwareIterator, aby przestać korzystać po zakończeniu zadania.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamianych zapytań za pośrednictwem odBC/JDBC z włączoną serializacji strzałki.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33592][ML][PYTHON] Parametry modułu sprawdzania poprawności uczenia maszynowego Pyspark w narzędziu do szacowaniaParamMap mogą zostać utracone po zapisaniu i ponownym załadowaniu
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-33587][CORE] Zabij funkcję wykonawcy przy błędach krytycznych zagnieżdżonych
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33316][SQL] Obsługa schematu avro dopuszczanego do wartości null dla schematu katalizatora bez wartości null w zapisie Avro
    • Zadania platformy Spark uruchamiane przy użyciu usługi Databricks Connect mogą zawieszać się na Executor$TaskRunner.$anonfun$copySessionState czas nieokreślony przy użyciu śledzenia stosu funkcji wykonawczej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu
    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream

  • 5 listopada 2020 r.

    • Napraw blokadę ABFS i WASB w odniesieniu do UserGroupInformation.getCurrentUser().
    • Naprawiono usterkę nieskończonej pętli, gdy czytnik Avro odczytuje bajty MAGIC.
    • Dodaj obsługę uprawnień USAGE.
    • Ulepszenia wydajności sprawdzania uprawnień w kontroli dostępu do tabel.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Można odczytywać i zapisywać z systemu plików DBFS przy użyciu instalacji FUSE w lokalizacji /dbfs/, gdy w klastrze z włączonym przekazywaniem poświadczeń o wysokiej współbieżności. Regularne instalowanie jest obsługiwane, ale instalacja, która wymaga poświadczeń przekazywania, nie jest jeszcze obsługiwana.
    • [SPARK-32999][SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
    • [SPARK-32585][SQL] Obsługa wyliczenia scala w scalaReflection
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 29 września 2020 r.

    • [SPARK-32718][SQL] Usuwanie niepotrzebnych słów kluczowych dla jednostek interwału
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji, aby pominąć Long.MAX_VALUE konsolidację netty FrameBuffers, co uniemożliwia w przypadkach narożnych java.lang.IndexOutOfBoundsException .

  • 25 kwietnia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 11 kwietnia 2023 r.

    • Różne poprawki błędów.

  • 29 marca 2023 r.

    • Różne poprawki błędów.

  • 14 marca 2023

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 28 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 16 lutego 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 31 stycznia 2023 r.

    • Różne poprawki błędów.

  • 18 stycznia 2023 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 29 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 1 listopada 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 października 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 5 października 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 24 sierpnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 9 sierpnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 27 lipca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 5 lipca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 2 czerwca 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 18 maja 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 19 kwietnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • Różne poprawki błędów.
    • 6 kwietnia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • Różne poprawki błędów.
    • 14 marca 2022 r.
      • Różne poprawki błędów.
    • 23 lutego 2022 r.
      • Różne poprawki błędów.
    • 8 lutego 2022 r.
      • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 1 lutego 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 19 stycznia 2022 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 22 września 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 30 kwietnia 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
      • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • 12 stycznia 2021 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • 8 grudnia 2020 r.
      • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
      • Aktualizacje zabezpieczeń systemu operacyjnego.
    • wtorek, 1 grudnia 2020 r.
    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
    • 3 listopada 2020 r.
      • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
      • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • wtorek, 13 października 2020 r.
      • Aktualizacje zabezpieczeń systemu operacyjnego.

Rozszerzona obsługa środowiska Databricks Runtime 6.4 (EoS)

Zobacz Temat Databricks Runtime 6.4 (EoS) i Databricks Runtime 6.4 Extended Support (EoS).

  • 5 lipca 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 2 czerwca 2022 roku

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 18 maja 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 19 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 6 kwietnia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Różne poprawki błędów.

  • 14 marca 2022 r.

    • Usuwanie klas podatnych na zagrożenia z pliku jar log4j 1.2.17
    • Różne poprawki błędów.

  • 23 lutego 2022 r.

    • Różne poprawki błędów.

  • 8 lutego 2022 r.

    • Uaktualnij zestaw Ubuntu JDK do wersji 1.8.0.312.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 lutego 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 26 stycznia 2022 r.

    • Usunięto usterkę polegającą na tym, że polecenie OPTIMIZE mogło zakończyć się niepowodzeniem po włączeniu dialektu ANSI SQL.

  • 19 stycznia 2022 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 8 grudnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 15 czerwca 2021 r.

    • [SPARK-35576][SQL] Zredaguj poufne informacje w wyniku polecenia Ustaw

  • 7 czerwca 2021 r.

    • Dodaj nową konfigurację o nazwie spark.sql.maven.additionalRemoteRepositories, rozdzielaną przecinkami konfigurację ciągu opcjonalnego dodatkowego zdalnego dublowania maven. Wartość domyślna to https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit

  • wtorek, 9 marca 2021 r.

    • Port HADOOP-17215 do sterownika systemu plików obiektów blob platformy Azure (obsługa warunkowego zastępowania).
    • Naprawianie separatora ścieżki w systemie Windows dla databricks-connect get-jar-dir
    • Dodano obsługę magazynu metadanych Hive w wersji 2.3.5, 2.3.6 i 2.3.7
    • Strzałka "totalResultsCollected" zgłoszona nieprawidłowo po rozlaniu

  • 24 lutego 2021 r.

    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamianych zapytań za pośrednictwem odBC/JDBC z włączoną serializacji strzałki.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [Środowisko uruchomieniowe 6.4 ML GPU] Wcześniej zainstalowano nieprawidłową wersję (2.7.8-1+cuda11.1) listy NCCL. Ta wersja poprawia ją do wersji 2.4.8-1+cuda10.0 zgodnej z cudA 10.0.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
    • [SPARK-32635][SQL] Naprawianie propagacji składanej

  • 3 listopada 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w TreeNode
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 24 września 2020 r.

    • Naprawiono poprzednie ograniczenie polegające na tym, że przekazywanie w klastrze standardowym nadal ograniczało użycie użytkownika implementacji systemu plików. Teraz użytkownicy będą mogli uzyskiwać dostęp do lokalnych systemów plików bez ograniczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz protokół TCP w przypadku połączeń wykonanych przez sterownik WASB

  • 25 sierpnia 2020 r.

    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu

  • 18 sierpnia 2020 r.

    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania z elementu ContextCleaner

  • 3 sierpnia 2020 r.

    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 7 lipca 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.

  • 21 kwietnia 2020 r.

    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z niedziałaną wersją PyArrow 0.15.0 lub nowszą biblioteką pandas udf, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 10 marzec 2020 r.

    • Zoptymalizowane skalowanie automatyczne jest teraz domyślnie używane w klastrach interaktywnych w planie zabezpieczeń.
    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Zobacz Databricks Runtime 5.5 LTS (EoS) i Databricks Runtime 5.5 Extended Support (EoS).

  • 8 grudnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 22 września 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • 25 sierpnia 2021 r.

    • Obniżono poprzednio uaktualnione pakiety języka Python w wersji 5.5 ROZSZERZONEj pomocy technicznej ML, aby zachować lepszą parzystość z wersją 5.5 ML LTS (obecnie przestarzałą). Aby uzyskać zaktualizowane różnice między dwiema wersjami, zobacz [_]/release-notes/runtime/5.5xml.md).

  • 15 czerwca 2021 r.

    • [SPARK-35576][SQL] Zredaguj poufne informacje w wyniku polecenia Ustaw

  • 7 czerwca 2021 r.

    • Dodaj nową konfigurację o nazwie spark.sql.maven.additionalRemoteRepositories, rozdzielaną przecinkami konfigurację ciągu opcjonalnego dodatkowego zdalnego dublowania maven. Wartość domyślna to https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit

  • wtorek, 9 marca 2021 r.

    • Port HADOOP-17215 do sterownika systemu plików obiektów blob platformy Azure (obsługa warunkowego zastępowania).

  • 24 lutego 2021 r.

    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • Poprawka [ HADOOP-17130].

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
    • [SPARK-32635][SQL] Naprawianie propagacji składanej

  • 29 października 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w TreeNode

  • 24 września 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

  • 18 sierpnia 2020 r.

    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania z elementu ContextCleaner

  • 3 sierpnia 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego

  • 7 lipca 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.

  • 21 kwietnia 2020 r.

    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper

  • 7 kwietnia 2020 r.

    • Aby rozwiązać problem z niedziałaną wersją PyArrow 0.15.0 lub nowszą biblioteką pandas udf, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].

  • 25 marca 2020 r.

    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.

  • 10 marzec 2020 r.

    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu elementu stdout ze sterownika do przez ustawienie konfiguracji platformy spark.databricks.driver.disableScalaOutput Spark na truewartość . Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notesu.

  • 18 lutego 2020 r.

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z usługą ADLS Gen2 ma obniżenie wydajności z powodu nieprawidłowej obsługi lokalnej wątku po włączeniu wstępnego pobierania klienta usługi ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS Gen2 po włączeniu przekazywania poświadczeń do momentu uzyskania właściwej poprawki.

  • 28 stycznia 2020 r.

    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej.

  • 14 stycznia 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.

  • 19 listopada 2019 r.

    • [SPARK-29743] [SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true
    • Wersja języka R została niezamierzona uaktualniona do wersji 3.6.1 z wersji 3.6.0. Obniżyliśmy go z powrotem do wersji 3.6.0.

  • 5 listopada 2019 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_212 do wersji 1.8.0_222.

  • 23 października 2019 r.

    • [SPARK-29244][CORE] Uniemożliwianie zwolnienia strony w funkcji BytesToBytesMap bezpłatnie

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga sterownika Simba Apache Spark ODBC w wersji 2.6.10).
    • Rozwiązano problem dotyczący używania polecenia z Optimize klastrami z włączoną listą ACL tabeli.
    • Rozwiązano problem polegający na tym, że pyspark.ml biblioteki nie powiodły się z powodu błędu zabronionego funkcji UDF w tabeli ACL i klastrów obsługujących przekazywanie poświadczeń.
    • Dozwolone metody SerDe i SerDeUtil na potrzeby przekazywania poświadczeń.
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.

  • 24 września 2019 r.

    • Zwiększona stabilność modułu zapisywania Parquet.
    • Rozwiązano problem polegający na tym, że zapytanie thrift zostało anulowane przed rozpoczęciem wykonywania, mogło zostać zablokowane w stanie ROZPOCZĘTE.

  • 10 września 2019 r.

    • Dodawanie iteratora bezpiecznego wątku do elementu BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Zezwalanie na dołączanie języka Python z wątkiem połączenia w celu propagowania błędów
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • Ulepszona redaction poświadczeń.
    • [SPARK-27330][SS] obsługa zadania przerwania w składniku zapisywania foreach
    • [SPARK-28642]Ukryj poświadczenia w TABELI SHOW CREATE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku ponownego partycjonowania

  • 27 sierpnia 2019 r.

    • [SPARK-20906][SQL]Zezwalaj na schemat określony przez użytkownika w to_avro interfejsu API z rejestrem schematów
    • [SPARK-27838][SQL] Obsługa użytkownika dostarczyła schemat avro bez wartości null dla schematu katalizatora dopuszczanego do wartości null bez żadnego rekordu null
    • Poprawa podróży w czasie usługi Delta Lake
    • Rozwiązano problem dotyczący określonego transform wyrażenia
    • Obsługuje zmienne emisji po włączeniu izolacji procesu

  • 13 sierpnia 2019 r.

    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28260]Dodawanie stanu CLOSED do elementu ExecutionState
    • [SPARK-28489][SS]Usunięto usterkę, którą platforma KafkaOffsetRangeCalculator.getRanges może usuwać przesunięcia

  • 30 lipca 2019 r.

    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
    • [SPARK-28355][CORE][PYTHON] Użyj ogranicznika platformy Spark dla progu, przy którym funkcja UDF jest kompresowana przez emisję

Rozszerzona obsługa usługi Databricks Light 2.4

Zobacz Temat Databricks Light 2.4 (EoS) i Databricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

Zobacz Databricks Runtime 7.4 (EoS).

  • 30 kwietnia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-35227][BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
    • [SPARK-34245][CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
    • [SPARK-35045][SQL] Dodaj wewnętrzną opcję kontrolowania buforu wejściowego w jednowołości i konfiguracji dla rozmiaru buforu wejściowego CSV

  • 24 marca 2021 r.

    • [SPARK-34768][SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
    • [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks

  • wtorek, 9 marca 2021 r.

    • Zaktualizowany sterownik systemu plików obiektów blob platformy Azure dla usługi Azure Data Lake Storage Gen2 jest teraz domyślnie włączony. Zapewnia ona wiele ulepszeń stabilności.
    • [ES-67926][Interfejs użytkownika] Naprawianie linku href wizualizacji języka DAG platformy Spark
    • [ES-65064] Przywracanie schematu wyjściowego polecenia SHOW DATABASES
    • [SC-70522][SQL] Użyj poprawnego dynamicznego klucza kompilacji oczyszczania, gdy znajduje się wskazówka sprzężenia zakresu
    • [SC-35081] Wyłączanie sprawdzania nieaktualności dla plików tabeli delty w pamięci podręcznej dysku
    • [SC-70640] Naprawianie serwera NPE, gdy odpowiedź EventGridClient nie ma jednostki
    • [SC-70220][SQL] Nie generuj porad dotyczących numeru partycji mieszania, gdy system AOS jest włączony

  • 24 lutego 2021 r.

    • Uaktualniono łącznik Spark BigQuery do wersji 0.18, który wprowadza różne poprawki błędów i obsługę iteratorów Arrow i Avro.
    • Rozwiązano problem z poprawnością, który spowodował, że platforma Spark zwróciła nieprawidłowe wyniki, gdy dokładność dziesiętna i skala pliku Parquet różnią się od schematu platformy Spark.
    • Rozwiązano problem z błędem odczytu w tabelach programu Microsoft SQL Server, które zawierają typy danych przestrzennych, dodając obsługę typów geometrycznych i geograficznych JDBC dla usługi Spark SQL.
    • Wprowadzono nową konfigurację spark.databricks.hive.metastore.init.reloadFunctions.enabled. Ta konfiguracja steruje wbudowaną inicjacją programu Hive. Po ustawieniu wartości true usługa Azure Databricks ponownie ładuje wszystkie funkcje ze wszystkich baz danych, które użytkownicy mają do FunctionRegistryusługi . Jest to domyślne zachowanie w magazynie metadanych Hive. Po ustawieniu wartości false usługa Azure Databricks wyłącza ten proces optymalizacji.
    • [SPARK-34212] Rozwiązano problemy związane z odczytywaniem danych dziesiętnych z plików Parquet.
    • [SPARK-33579][Interfejs użytkownika] Napraw pustą stronę funkcji wykonawczej za serwerem proxy.
    • [SPARK-20044][Interfejs użytkownika] Obsługa interfejsu użytkownika platformy Spark za zwrotnym serwerem proxy frontonu przy użyciu prefiksu ścieżki.
    • [SPARK-33277][PYSPARK][SQL] Użyj elementu ContextAwareIterator, aby przestać korzystać po zakończeniu zadania.

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamianych zapytań za pośrednictwem odBC/JDBC z włączoną serializacji strzałki.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-33587][CORE] Zabij funkcję wykonawcy przy błędach krytycznych zagnieżdżonych
    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33316][SQL] Obsługa schematu avro dopuszczanego do wartości null dla schematu katalizatora bez wartości null w zapisie Avro
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu
    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
    • [SPARK-33272][SQL] przycinanie mapowania atrybutów w tabeli QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (EoS)

Zobacz Databricks Runtime 7.2 (EoS).

  • 4 lutego 2021 r.

    • Naprawiono regresję uniemożliwiającą przyrostowe wykonywanie zapytania, które ustawia limit globalny, taki jak SELECT * FROM table LIMIT nrows. Regresja była doświadczana przez użytkowników uruchamianych zapytań za pośrednictwem odBC/JDBC z włączoną serializacji strzałki.
    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33404][SQL] Naprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu
    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream

  • 3 listopada 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 29 września 2020 r.

    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie jużOptimized, aby zapobiec ponownej analizy elementów V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji, aby pominąć Long.MAX_VALUE konsolidację netty FrameBuffers, co uniemożliwia w przypadkach narożnych java.lang.IndexOutOfBoundsException .

  • 24 września 2020 r.

    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Kopiowanie tagów do węzła bez tagów podczas przekształcania planów
    • [SPARK-32659][SQL] Rozwiązano problem z danymi wstawionego oczyszczania partycji dynamicznej w typie niepodzielnej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Zobacz Databricks Runtime 7.1 (EoS).

  • 4 lutego 2021 r.

    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • Zadania platformy Spark uruchamiane przy użyciu usługi Databricks Connect mogą zawieszać się na Executor$TaskRunner.$anonfun$copySessionState czas nieokreślony przy użyciu śledzenia stosu funkcji wykonawczej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33404][SQL][3.0] Poprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
    • [SPARK-33183][SQL][POPRAWKA] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33371][PYTHON][3.0] Aktualizacja setup.py i testy dla języka Python 3.9
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu

  • 3 listopada 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 29 września 2020 r.

    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie jużOptimized, aby zapobiec ponownej analizy elementów V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji, aby pominąć Long.MAX_VALUE konsolidację netty FrameBuffers, co uniemożliwia w przypadkach narożnych java.lang.IndexOutOfBoundsException .

  • 24 września 2020 r.

    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Kopiowanie tagów do węzła bez tagów podczas przekształcania planów
    • [SPARK-32659][SQL] Rozwiązano problem z danymi wstawionego oczyszczania partycji dynamicznej w typie niepodzielnej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

  • 25 sierpnia 2020 r.

    • [SPARK-32159][SQL] Rozwiązywanie problemów z integracją między elementami Aggregator[Array[_], _, _] i UnresolvedMapObjects
    • [SPARK-32559][SQL] Napraw logikę przycinania w elemecie UTF8String.toInt/toLong, która nie obsługiwała poprawnie znaków innych niż ASCII
    • [SPARK-32543][R] Usuwanie arrow::as_tibble użycia w usłudze SparkR
    • [SPARK-32091][CORE] Ignoruj błąd przekroczenia limitu czasu podczas usuwania bloków w utraconym funkcji wykonawczej
    • Rozwiązano problem dotyczący łącznika usługi Azure Synapse z poświadczeniami MSI
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu

  • 18 sierpnia 2020 r.

    • [SPARK-32594][SQL] Naprawianie serializacji dat wstawionych do tabel programu Hive
    • [SPARK-32237][SQL] Rozwiązywanie problemów w usłudze CTE
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • [SPARK-32467][Interfejs użytkownika] Unikaj dwukrotnego kodowania adresu URL przekierowania https
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight powinien przepisać tylko atrybuty węzłów nadrzędnych planu konfliktu
    • [SPARK-32234][SQL] Polecenia spark SQL kończą się niepowodzeniem podczas wybierania tabel ORC

  • 3 sierpnia 2020 r.

    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.

Databricks Runtime 7.0 (EoS)

Zobacz Databricks Runtime 7.0 (EoS).

  • 4 lutego 2021 r.

    • Naprawiono regresję, która spowodowała niepowodzenie uruchamiania programu DBFS FUSE, gdy konfiguracje zmiennych środowiskowych klastra zawierają nieprawidłową składnię powłoki bash.

  • 20 stycznia 2021 r.

    • Naprawiono regresję w wydaniu konserwacji z 12 stycznia 2021 r., która może spowodować niepoprawny wyjątek AnalysisException i powiedzieć, że kolumna jest niejednoznaczna w sprzężeniu własnym. Ta regresja występuje, gdy użytkownik dołącza ramkę danych do pochodnej ramki danych (tzw. samosprzężenia) z następującymi warunkami:
      • Te dwie ramki danych mają wspólne kolumny, ale dane wyjściowe sprzężenia samodzielnego nie mają wspólnych kolumn. Na przykład df.join(df.select($"col" as "new_col"), cond)
      • Pochodna ramka danych wyklucza niektóre kolumny za pośrednictwem opcji select, groupBy lub okna.
      • Warunek sprzężenia lub następująca transformacja po dołączeniu ramki danych odwołuje się do kolumn innych niż wspólne. Na przykład df.join(df.drop("a"), df("a") === 1)

  • 12 stycznia 2021 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-33593][SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
    • [SPARK-33677][SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
    • [SPARK-33071][SPARK-33536][SQL] Unikaj zmieniania dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin

  • wtorek, 8 grudnia 2020 r.

    • [SPARK-27421][SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
    • [SPARK-33404][SQL] Naprawianie nieprawidłowych wyników w wyrażeniu date_trunc
    • [SPARK-33339][PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
    • [SPARK-33183][SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
    • [SPARK-33391][SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33306][SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu

  • 3 listopada 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 29 września 2020 r.

    • [SPARK-28863][SQL][WARMFIX] Wprowadzenie jużOptimized, aby zapobiec ponownej analizy elementów V1FallbackWriters
    • [SPARK-32635][SQL] Naprawianie propagacji składanej
    • Dodaj nową konfigurację spark.shuffle.io.decoder.consolidateThreshold. Ustaw wartość konfiguracji, aby pominąć Long.MAX_VALUE konsolidację netty FrameBuffers, co uniemożliwia w przypadkach narożnych java.lang.IndexOutOfBoundsException .

  • 24 września 2020 r.

    • [SPARK-32764][SQL] -0.0 powinna być równa 0,0
    • [SPARK-32753][SQL] Kopiowanie tagów do węzła bez tagów podczas przekształcania planów
    • [SPARK-32659][SQL] Rozwiązano problem z danymi wstawionego oczyszczania partycji dynamicznej w typie niepodzielnej
    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.

  • 25 sierpnia 2020 r.

    • [SPARK-32159][SQL] Rozwiązywanie problemów z integracją między elementami Aggregator[Array[_], _, _] i UnresolvedMapObjects
    • [SPARK-32559][SQL] Napraw logikę przycinania w elemecie UTF8String.toInt/toLong, która nie obsługiwała poprawnie znaków innych niż ASCII
    • [SPARK-32543][R] Usuwanie arrow::as_tibble użycia w usłudze SparkR
    • [SPARK-32091][CORE] Ignoruj błąd przekroczenia limitu czasu podczas usuwania bloków w utraconym funkcji wykonawczej
    • Rozwiązano problem dotyczący łącznika usługi Azure Synapse z poświadczeniami MSI
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu

  • 18 sierpnia 2020 r.

    • [SPARK-32594][SQL] Naprawianie serializacji dat wstawionych do tabel programu Hive
    • [SPARK-32237][SQL] Rozwiązywanie problemów w usłudze CTE
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • [SPARK-32467][Interfejs użytkownika] Unikaj dwukrotnego kodowania adresu URL przekierowania https
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight powinien przepisać tylko atrybuty węzłów nadrzędnych planu konfliktu
    • [SPARK-32234][SQL] Polecenia spark SQL kończą się niepowodzeniem podczas wybierania tabel ORC
    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.

Databricks Runtime 6.6 (EoS)

Zobacz Databricks Runtime 6.6 (EoS).

  • wtorek, 1 grudnia 2020 r.

    • [SPARK-33260][SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
    • [SPARK-32635][SQL] Naprawianie propagacji składanej

  • 3 listopada 2020 r.

    • Uaktualniono wersję języka Java z wersji 1.8.0_252 do 1.8.0_265.
    • Napraw blokowanie ABFS i WASB w odniesieniu do userGroupInformation.getCurrentUser()
    • Naprawiono błąd nieskończonej pętli czytnika Avro podczas odczytywania bajtów MAGIC.

  • 13 października 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.
    • [SPARK-32999][SQL][2.4] Użyj Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w TreeNode
    • Naprawiono katalogi listy w instalacji FUSE, które zawierają nazwy plików z nieprawidłowymi znakami XML
    • Instalacja FUSE nie używa już funkcji ListMultipartUploads

  • 24 września 2020 r.

    • Aktualizacje zabezpieczeń systemu operacyjnego.

  • wtorek, 8 września 2020 r.

    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz protokół TCP w przypadku połączeń wykonanych przez sterownik WASB

  • 25 sierpnia 2020 r.

    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu

  • 18 sierpnia 2020 r.

    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.

  • 11 sierpnia 2020 r.

    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania z elementu ContextCleaner
    • [SPARK-31967][Interfejs użytkownika] Obniżanie do vis.js 4.21.0 w celu naprawienia regresji czasu ładowania interfejsu użytkownika zadań

  • 3 sierpnia 2020 r.

    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.

Databricks Runtime 6.5 (EoS)

Zobacz Databricks Runtime 6.5 (EoS).

  • 24 września 2020 r.
    • Naprawiono poprzednie ograniczenie polegające na tym, że przekazywanie w klastrze standardowym nadal ograniczało użycie użytkownika implementacji systemu plików. Teraz użytkownicy będą mogli uzyskiwać dostęp do lokalnych systemów plików bez ograniczeń.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 8 września 2020 r.
    • Utworzono nowy parametr dla usługi Azure Synapse Analytics, maxbinlength. Ten parametr służy do kontrolowania długości kolumn BinaryType i jest tłumaczony jako VARBINARY(maxbinlength). Można go ustawić przy użyciu metody .option("maxbinlength", n), gdzie 0 < n <= 8000.
    • Zaktualizuj zestaw SDK usługi Azure Storage do wersji 8.6.4 i włącz protokół TCP w przypadku połączeń wykonanych przez sterownik WASB
  • 25 sierpnia 2020 r.
    • Naprawiono niejednoznaczne rozpoznawanie atrybutów w samodzielnym scalaniu
  • 18 sierpnia 2020 r.
    • [SPARK-32431][SQL] Sprawdzanie zduplikowanych kolumn zagnieżdżonych w odczytach z wbudowanych źródeł danych
    • Naprawiono warunek wyścigu w łączniku AQS podczas korzystania z elementu Trigger.Once.
  • 11 sierpnia 2020 r.
    • [SPARK-28676][CORE] Unikaj nadmiernego rejestrowania z elementu ContextCleaner
  • 3 sierpnia 2020 r.
    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.
    • Aktualizacje zabezpieczeń systemu operacyjnego.
  • 7 lipca 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_242 do 1.8.0_252.
  • 21 kwietnia 2020 r.
    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

Zobacz Databricks Runtime 6.3 (EoS).

  • 7 lipca 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_232 do 1.8.0_252.
  • 21 kwietnia 2020 r.
    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper
  • 7 kwietnia 2020 r.
    • Aby rozwiązać problem z niedziałaną wersją PyArrow 0.15.0 lub nowszą biblioteką pandas udf, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].
  • 10 marca 2020 r.
    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.
  • 18 lutego 2020 r.
    • Przekazywanie poświadczeń z usługą ADLS Gen2 ma obniżenie wydajności z powodu nieprawidłowej obsługi lokalnej wątku po włączeniu wstępnego pobierania klienta usługi ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS Gen2 po włączeniu przekazywania poświadczeń do momentu uzyskania właściwej poprawki.
  • 11 lutego 2020 r.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej
    • [SPARK-28152][SQL] Dodawanie starszego konfiktu dla starego mapowania liczb MsSqlServerDialect
    • Pozycja Allowlisted the overwrite function so that the MLModels extends MLWriter could call the function .

Databricks Runtime 6.2 (EoS)

Zobacz Databricks Runtime 6.2 (EoS).

  • 21 kwietnia 2020 r.
    • [SPARK-31312][SQL] Wystąpienie klasy pamięci podręcznej dla wystąpienia funkcji zdefiniowanej przez użytkownika w programie HiveFunctionWrapper
  • 7 kwietnia 2020 r.
    • Aby rozwiązać problem z niedziałaną wersją PyArrow 0.15.0 lub nowszą biblioteką pandas udf, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].
  • 25 marca 2020 r.
    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu elementu stdout ze sterownika do przez ustawienie konfiguracji platformy spark.databricks.driver.disableScalaOutput Spark na truewartość . Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notesu.
  • 10 marca 2020 r.
    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.
  • 18 lutego 2020 r.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z usługą ADLS Gen2 ma obniżenie wydajności z powodu nieprawidłowej obsługi lokalnej wątku po włączeniu wstępnego pobierania klienta usługi ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS Gen2 po włączeniu przekazywania poświadczeń do momentu uzyskania właściwej poprawki.
  • 28 stycznia 2020 r.
    • Funkcja zastępowania dozwolonych składników zapisywania modeli uczenia maszynowego dla klastrów włączona na potrzeby przekazywania poświadczeń, dzięki czemu zapisywanie modelu może używać trybu zastępowania w klastrach przekazywania poświadczeń.
    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej.
    • [SPARK-28152][SQL] Dodaj starsze konfikt dla starego mapowania liczb MsSqlServerDialect.
  • 14 stycznia 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.
  • 10 grudnia 2019 r.
    • [SPARK-29904][SQL] Analizowanie sygnatur czasowych w mikrosekundach dokładności według źródeł danych JSON/CSV.

Databricks Runtime 6.1 (EoS)

Zobacz Databricks Runtime 6.1 (EoS).

  • 7 kwietnia 2020 r.
    • Aby rozwiązać problem z niedziałaną wersją PyArrow 0.15.0 lub nowszą biblioteką pandas udf, dodaliśmy zmienną środowiskową (ARROW_PRE_0_15_IPC_FORMAT=1), aby włączyć obsługę tych wersji PyArrow. Zapoznaj się z instrukcjami w temacie [SPARK-29367].
  • 25 marca 2020 r.
    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu elementu stdout ze sterownika do przez ustawienie konfiguracji platformy spark.databricks.driver.disableScalaOutput Spark na truewartość . Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notesu.
  • 10 marca 2020 r.
    • Łącznik Snowflake (spark-snowflake_2.11) dołączony do środowiska Databricks Runtime został zaktualizowany do wersji 2.5.9. snowflake-jdbc program jest aktualizowany do wersji 3.12.0.
  • 18 lutego 2020 r.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
    • Przekazywanie poświadczeń z usługą ADLS Gen2 ma obniżenie wydajności z powodu nieprawidłowej obsługi lokalnej wątku po włączeniu wstępnego pobierania klienta usługi ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS Gen2 po włączeniu przekazywania poświadczeń do momentu uzyskania właściwej poprawki.
  • 28 stycznia 2020 r.
    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej.
    • [SPARK-28152][SQL] Dodaj starsze konfikt dla starego mapowania liczb MsSqlServerDialect.
  • 14 stycznia 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.
  • 7 listopada 2019 r.
  • 5 listopada 2019 r.
    • Usunięto usterkę w programie DBFS FUSE w celu obsługi punktów instalacji w // ścieżce.
    • [SPARK-29081] Zastąp wywołania pliku SerializationUtils.clone we właściwościach szybszą implementacją
    • [SPARK-29244][CORE] Uniemożliwianie zwolnienia strony w funkcji BytesToBytesMap bezpłatnie
    • (6.1 ML) Biblioteka mkl w wersji 2019.4 została zainstalowana przypadkowo. Obniżyliśmy jego wersję do mkl w wersji 2019.3, aby dopasować ją do dystrybucji Anaconda 2019.03.

Databricks Runtime 6.0 (EoS)

Zobacz Databricks Runtime 6.0 (EoS).

  • 25 marca 2020 r.
    • Dane wyjściowe zadania, takie jak dane wyjściowe dziennika emitowane do stdout, podlegają limitowi rozmiaru 20 MB. Jeśli łączny rozmiar danych wyjściowych jest większy, przebieg zostanie anulowany i oznaczony jako niepowodzenie. Aby uniknąć napotkania tego limitu, możesz zapobiec zwracaniu elementu stdout ze sterownika do przez ustawienie konfiguracji platformy spark.databricks.driver.disableScalaOutput Spark na truewartość . Domyślnie wartość flagi to false. Flaga steruje danymi wyjściowymi komórek dla zadań JAR języka Scala i notesów Scala. Jeśli flaga jest włączona, platforma Spark nie zwraca wyników wykonywania zadań do klienta. Flaga nie ma wpływu na dane zapisywane w plikach dziennika klastra. Ustawienie tej flagi jest zalecane tylko w przypadku klastrów automatycznych dla zadań JAR, ponieważ spowoduje to wyłączenie wyników notesu.
  • 18 lutego 2020 r.
    • Przekazywanie poświadczeń z usługą ADLS Gen2 ma obniżenie wydajności z powodu nieprawidłowej obsługi lokalnej wątku po włączeniu wstępnego pobierania klienta usługi ADLS. Ta wersja wyłącza wstępne pobieranie usługi ADLS Gen2 po włączeniu przekazywania poświadczeń do momentu uzyskania właściwej poprawki.
  • 11 lutego 2020 r.
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 powinien zgłaszać wyjątek
  • 28 stycznia 2020 r.
    • [SPARK-30447][SQL] Problem z brakiem wartości null propagacji stałej.
    • [SPARK-28152][SQL] Dodaj starsze konfikt dla starego mapowania liczb MsSqlServerDialect.
  • 14 stycznia 2020 r.
    • Uaktualniono wersję języka Java z wersji 1.8.0_222 do 1.8.0_232.
  • 19 listopada 2019 r.
    • [SPARK-29743] [SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true
  • 5 listopada 2019 r.
    • dbutils.tensorboard.start() Teraz obsługuje program TensorBoard 2.0 (jeśli został zainstalowany ręcznie).
    • Usunięto usterkę w programie DBFS FUSE w celu obsługi punktów instalacji w // ścieżce.
    • [SPARK-29081]Zastąp wywołania pliku SerializationUtils.clone we właściwościach szybszą implementacją
  • 23 października 2019 r.
    • [SPARK-29244][CORE] Uniemożliwianie zwolnienia strony w funkcji BytesToBytesMap bezpłatnie
  • 8 października 2019 r.
    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga sterownika Simba Apache Spark ODBC w wersji 2.6.10).
    • Rozwiązano problem dotyczący używania polecenia z Optimize klastrami z włączoną listą ACL tabeli.
    • Rozwiązano problem polegający na tym, że pyspark.ml biblioteki nie powiodły się z powodu błędu zabronionego funkcji UDF w tabeli ACL i klastrów obsługujących przekazywanie poświadczeń.
    • Dozwolone metody SerDe/SerDeUtil na potrzeby przekazywania poświadczeń.
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.
    • Rozwiązano problem polegający na tym, że poświadczenia użytkownika nie były przekazywane do zadań utworzonych przez dbutils.notebook.run()program .

Databricks Runtime 5.4 ML (EoS)

Zobacz Databricks Runtime 5.4 for ML (EoS).

  • 18 czerwca 2019 r.
    • Ulepszona obsługa aktywnych przebiegów MLflow w integracji funkcji Hyperopt
    • Ulepszone komunikaty w funkcji Hyperopt
    • Zaktualizowano pakiet Marchkdown z wersji 3.1 do 3.1.1

Databricks Runtime 5.4 (EoS)

Zobacz Databricks Runtime 5.4 (EoS).

  • 19 listopada 2019 r.
    • [SPARK-29743] [SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true
  • 8 października 2019 r.
    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.
  • 10 września 2019 r.
    • Dodawanie iteratora bezpiecznego wątku do elementu BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa zadania przerwania w składniku zapisywania foreach
    • [SPARK-28642]Ukryj poświadczenia w TABELI SHOW CREATE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku ponownego partycjonowania
    • [SPARK-28699][CORE] Naprawiono przypadek narożny w przypadku przerywania etapu nieokreślony
  • 27 sierpnia 2019 r.
    • Rozwiązano problem dotyczący niektórych transform wyrażeń
  • 13 sierpnia 2019 r.
    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28489][SS]Usunięto usterkę, którą platforma KafkaOffsetRangeCalculator.getRanges może usuwać przesunięcia
  • 30 lipca 2019 r.
    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
  • 2 lipca 2019 r.
    • Uaktualniono program snappy-java z wersji 1.1.7.1 do wersji 1.1.7.3.
  • 18 czerwca 2019 r.
    • Ulepszona obsługa aktywnych przebiegów MLflow w integracji biblioteki MLlib
    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem buforowania dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta

Databricks Runtime 5.3 (EoS)

Zobacz Databricks Runtime 5.3 (EoS).

  • 7 listopada 2019 r.
    • [SPARK-29743][SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true
  • 8 października 2019 r.
    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).
    • Naprawiono wyjątek NullPointerException podczas sprawdzania kodu błędu w kliencie WASB.
  • 10 września 2019 r.
    • Dodawanie iteratora bezpiecznego wątku do elementu BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa zadania przerwania w składniku zapisywania foreach
    • [SPARK-28642]Ukryj poświadczenia w TABELI SHOW CREATE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku ponownego partycjonowania
    • [SPARK-28699][CORE] Naprawiono przypadek narożny w przypadku przerywania etapu nieokreślony
  • 27 sierpnia 2019 r.
    • Rozwiązano problem dotyczący niektórych transform wyrażeń
  • 13 sierpnia 2019 r.
    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28489][SS]Usunięto usterkę, którą platforma KafkaOffsetRangeCalculator.getRanges może usuwać przesunięcia
  • 30 lipca 2019 r.
    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
  • 18 czerwca 2019 r.
    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem buforowania dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta
  • 28 maja 2019 r.
    • Zwiększona stabilność funkcji Delta
    • Tolerowanie operacji IOExceptions podczas odczytywania pliku usługi Delta LAST_CHECKPOINT
      • Dodano odzyskiwanie do nieudanej instalacji biblioteki
  • 7 maja 2019 r.
    • Port HADOOP-15778 (ABFS: Naprawianie ograniczania przepustowości po stronie klienta na potrzeby odczytu) do łącznika usługi Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Poprawka usterek w celu tolerowania konfiguracji usługiOobAppends) do łącznika usługi Azure Data Lake Storage Gen2
    • Usunięto usterkę wpływającą na listy ACL tabeli
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów różnicowych, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dołączania"
    • Upewnij się, że buforowanie dysku nie jest wyłączone, gdy listy ACL tabeli są włączone
    • [SPARK-27494][SS] Klucze/wartości null nie działają w źródle platformy Kafka w wersji 2
    • [SPARK-27446][R] Użyj istniejącej conf platformy Spark, jeśli jest dostępna.
    • [SPARK-27454][SPARK-27454][ML][SQL] Źródło danych obrazu platformy Spark kończy się niepowodzeniem w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][SQL] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][CORE] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager

Databricks Runtime 5.2 (EoS)

Zobacz Databricks Runtime 5.2 (EoS).

  • 10 września 2019 r.
    • Dodawanie iteratora bezpiecznego wątku do elementu BytesToBytesMap
    • Usunięto usterkę wpływającą na niektóre zapytania agregacji globalnej.
    • [SPARK-27330][SS] obsługa zadania przerwania w składniku zapisywania foreach
    • [SPARK-28642]Ukryj poświadczenia w TABELI SHOW CREATE
    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku ponownego partycjonowania
    • [SPARK-28699][CORE] Naprawiono przypadek narożny w przypadku przerywania etapu nieokreślony
  • 27 sierpnia 2019 r.
    • Rozwiązano problem dotyczący niektórych transform wyrażeń
  • 13 sierpnia 2019 r.
    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28489][SS]Usunięto usterkę, którą platforma KafkaOffsetRangeCalculator.getRanges może usuwać przesunięcia
  • 30 lipca 2019 r.
    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
  • 2 lipca 2019 r.
    • Tolerowanie operacji IOExceptions podczas odczytywania pliku usługi Delta LAST_CHECKPOINT
  • 18 czerwca 2019 r.
    • Ulepszony komunikat usługi Databricks Advisor związany z używaniem pamięci podręcznej dysku
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta
  • 28 maja 2019 r.
    • Dodano odzyskiwanie do nieudanej instalacji biblioteki
  • 7 maja 2019 r.
    • Port HADOOP-15778 (ABFS: Naprawianie ograniczania przepustowości po stronie klienta na potrzeby odczytu) do łącznika usługi Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Poprawka usterek w celu tolerowania konfiguracji usługiOobAppends) do łącznika usługi Azure Data Lake Storage Gen2
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów różnicowych, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dołączania"
    • Upewnij się, że buforowanie dysku nie jest wyłączone, gdy listy ACL tabeli są włączone
    • [SPARK-27494][SS] Klucze/wartości null nie działają w źródle platformy Kafka w wersji 2
    • [SPARK-27454][SPARK-27454][ML][SQL] Źródło danych obrazu platformy Spark kończy się niepowodzeniem w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][SQL] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][CORE] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager
  • 26 marca 2019 r.
    • Unikaj osadzania przesunięć zależnych od platformy dosłownie w całym etapie wygenerowanego kodu
    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.
    • [SPARK-27134][SQL] array_distinct funkcja nie działa poprawnie z kolumnami zawierającymi tablicę tablicy.
    • [SPARK-24669][SQL] Unieważniaj tabele w przypadku funkcji DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] naprawa zagregowanej oceny wyników generowania kodu.
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.
  • 26 lutego 2019 r.
    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja udf języka Python jest używana jako warunek sprzężenia po lewej stronie.
    • [SPARK-26887][PYTHON] Utwórz data/godzina.date bezpośrednio zamiast tworzyć dane pośrednie datetime64.
    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Usunięto usterkę wpływającą na PySpark.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.
    • Usunięto usterkę w funkcji Delta, która spowodowała problemy z serializacji.
  • 12 lutego 2019 r.
    • Rozwiązano problem dotyczący używania funkcji delta z punktami instalacji usługi Azure ADLS Gen2.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).
  • 30 stycznia 2019 r.
    • Naprawiono błąd StackOverflowError podczas umieszczania niesymetrycznej wskazówki sprzężenia w buforowanej relacji.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
    • [SPARK-26706][SQL] Poprawka illegalNumericPrecedence typu ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu.
    • Naprawiono wnioskowanie ograniczeń dla operatora okna.
    • Rozwiązano problem dotyczący instalowania bibliotek jaj z klastrami z włączoną listą ACL tabeli.

Databricks Runtime 5.1 (EoS)

Zobacz Databricks Runtime 5.1 (EoS).

  • 13 sierpnia 2019 r.
    • Źródło przesyłania strumieniowego delta powinno sprawdzić najnowszy protokół tabeli
    • [SPARK-28489][SS]Usunięto usterkę, którą platforma KafkaOffsetRangeCalculator.getRanges może usuwać przesunięcia
  • 30 lipca 2019 r.
    • [SPARK-28015][SQL] Sprawdzanie parametru StringToDate() zużywa całe dane wejściowe dla formatów rrrr i rrrr-[m]m
    • [SPARK-28308][CORE] Część podrzędna CalendarInterval powinna być dopełniona przed analizowaniem
    • [SPARK-27485]Upewnij się, że Requirements.reorder powinna obsługiwać zduplikowane wyrażenia w sposób bezproblemowy
  • 2 lipca 2019 r.
    • Tolerowanie operacji IOExceptions podczas odczytywania pliku usługi Delta LAST_CHECKPOINT
  • 18 czerwca 2019 r.
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
    • Usunięto usterkę wpływającą na zapytania metadanych funkcji Delta
  • 28 maja 2019 r.
    • Dodano odzyskiwanie do nieudanej instalacji biblioteki
  • 7 maja 2019 r.
    • Port HADOOP-15778 (ABFS: Naprawianie ograniczania przepustowości po stronie klienta na potrzeby odczytu) do łącznika usługi Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Poprawka usterek w celu tolerowania konfiguracji usługiOobAppends) do łącznika usługi Azure Data Lake Storage Gen2
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów różnicowych, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dołączania"
    • [SPARK-27494][SS] Klucze/wartości null nie działają w źródle platformy Kafka w wersji 2
    • [SPARK-27454][SPARK-27454][ML][SQL] Źródło danych obrazu platformy Spark kończy się niepowodzeniem w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][SQL] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
    • [SPARK-27338][CORE] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager
  • 26 marca 2019 r.
    • Unikaj osadzania przesunięć zależnych od platformy dosłownie w całym etapie wygenerowanego kodu
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.
  • 26 lutego 2019 r.
    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja udf języka Python jest używana jako warunek sprzężenia po lewej stronie.
    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.
  • 12 lutego 2019 r.
    • Rozwiązano problem dotyczący instalowania bibliotek jaj z klastrami z włączoną listą ACL tabeli.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
    • [SPARK-26706][SQL] Poprawka illegalNumericPrecedence typu ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Naprawiono wnioskowanie ograniczeń dla operatora okna.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).
  • 30 stycznia 2019 r.
    • Rozwiązano problem, który może powodować df.rdd.count() zwrócenie nieprawidłowej odpowiedzi za pomocą funkcji UDT w niektórych przypadkach.
    • Rozwiązano problem dotyczący instalowania sterów.
    • [SPARK-26267]Spróbuj ponownie podczas wykrywania nieprawidłowych przesunięć z platformy Kafka.
    • Usunięto usterkę, która wpływa na wiele źródeł strumienia plików w zapytaniu przesyłanym strumieniowo.
    • Naprawiono błąd StackOverflowError podczas umieszczania niesymetrycznej wskazówki sprzężenia w buforowanej relacji.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
  • 8 stycznia 2019 r.
    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Poprawa stabilności usługi Delta Lake.
    • Usługa Delta Lake jest włączona.
    • Rozwiązano problem, który spowodował niepowodzenie dostępu usługi Azure Data Lake Storage Gen2, gdy przekazywanie poświadczeń identyfikatora entra firmy Microsoft zostało włączone dla usługi Azure Data Lake Storage Gen1.
    • Pamięć podręczna we/wy usługi Databricks jest teraz włączona dla typów wystąpień procesu roboczego serii Ls dla wszystkich warstw cenowych.

Databricks Runtime 5.0 (EoS)

Zobacz Databricks Runtime 5.0 (EoS).

  • 18 czerwca 2019 r.
    • Usunięto usterkę wpływającą na używanie funkcji wyższej kolejności
  • 7 maja 2019 r.
    • Naprawiono warunek wyścigu podczas ładowania pliku sumy kontrolnej dziennika delty
    • Naprawiono logikę wykrywania konfliktów różnicowych, aby nie identyfikować operacji "insert + overwrite" jako czystej operacji "dołączania"
    • [SPARK-27494][SS] Klucze/wartości null nie działają w źródle platformy Kafka w wersji 2
    • [SPARK-27454][SPARK-27454][ML][SQL] Źródło danych obrazu platformy Spark kończy się niepowodzeniem w przypadku napotkania niektórych nielegalnych obrazów
    • [SPARK-27160][SQL] Naprawianie typu dziesiętnego podczas kompilowania filtrów orc
      • [SPARK-27338][CORE] Naprawianie zakleszczenia między elementami UnsafeExternalSorter i TaskMemoryManager
  • 26 marca 2019 r.
    • Unikaj osadzania przesunięć zależnych od platformy dosłownie w całym etapie wygenerowanego kodu
    • Usunięto usterkę wpływającą na niektóre pliki PythonUDFs.
  • 12 marca 2019 r.
    • [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja udf języka Python jest używana jako warunek sprzężenia po lewej stronie.
  • 26 lutego 2019 r.
    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.
    • Wyklucz ukryte pliki podczas kompilowania usługi HadoopRDD.
  • 12 lutego 2019 r.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
    • [SPARK-26706][SQL] Poprawka illegalNumericPrecedence typu ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Naprawiono wnioskowanie ograniczeń dla operatora okna.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).
  • 30 stycznia 2019 r.
    • Rozwiązano problem, który może powodować df.rdd.count() zwrócenie nieprawidłowej odpowiedzi za pomocą funkcji UDT w niektórych przypadkach.
    • [SPARK-26267]Spróbuj ponownie podczas wykrywania nieprawidłowych przesunięć z platformy Kafka.
    • Usunięto usterkę, która wpływa na wiele źródeł strumienia plików w zapytaniu przesyłanym strumieniowo.
    • Naprawiono błąd StackOverflowError podczas umieszczania niesymetrycznej wskazówki sprzężenia w buforowanej relacji.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.
  • 8 stycznia 2019 r.
    • Rozwiązano problem, który spowodował błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Poprawa stabilności usługi Delta Lake.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna we/wy usługi Databricks jest teraz włączona dla typów wystąpień procesu roboczego serii Ls dla wszystkich warstw cenowych.
  • 18 grudnia 2018 r.
    • [SPARK-26293]Rzutowanie wyjątku podczas używania funkcji zdefiniowanej przez użytkownika języka Python w podzapytaniu
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji Sprzężenia i limitu.
    • Redacted credentials from RDD names in Spark UI
  • 6 grudnia 2018 r.
    • Rozwiązano problem, który spowodował niepoprawny wynik zapytania podczas używania elementu orderBy, po którym następuje natychmiastowe użycie polecenia groupBy z kluczem grupowania jako wiodącą częścią klucza sort-by.
    • Uaktualniono łącznik snowflake dla platformy Spark z wersji 2.4.9.2-spark_2.4_pre_release do wersji 2.4.10.
    • Ignoruj uszkodzone pliki tylko po co najmniej jednym ponawianiu próby po spark.sql.files.ignoreCorruptFiles włączeniu lub spark.sql.files.ignoreMissingFiles flagi.
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.
    • Usunięto usterkę z serwerem ograniczania, w którym sesje czasami wyciekły po anulowaniu.
    • [SPARK-26307]Naprawiono funkcję CTAS, gdy wstawiono partycjonowaną tabelę przy użyciu usługi Hive SerDe.
    • [SPARK-26147]Funkcje zdefiniowane przez użytkownika języka Python w warunku sprzężenia kończą się niepowodzeniem nawet w przypadku używania kolumn z tylko jednej strony sprzężenia
    • [SPARK-26211]Poprawiono metodę InSet dla elementów binarnych oraz struktury i tablicy z wartością null.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
  • 20 listopada 2018 r.
    • Rozwiązano problem, który powodował, że notes nie był używany po anulowaniu zapytania przesyłania strumieniowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji okna.
    • Rozwiązano problem wpływający na strumień z funkcji Delta z wieloma zmianami schematu.
    • Rozwiązano problem dotyczący niektórych zapytań agregacji z sprzężeniami lewymi pół/antysprzężeniami.

Databricks Runtime 4.3 (EoS)

Zobacz Databricks Runtime 4.3 (EoS).

  • wtorek, 9 kwietnia 2019 r.

    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.
    • [SPARK-24669][SQL] Unieważniaj tabele w przypadku funkcji DROP DATABASE CASCADE.

  • 12 marca 2019 r.

    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę wpływającą na różnicę.

  • 26 lutego 2019 r.

    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.

  • 12 lutego 2019 r.

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Wykluczanie ukrytych plików podczas kompilowania usługi HadoopRDD.
    • Naprawiono konwersję filtru Parquet dla predykatu IN, gdy jego wartość jest pusta.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować df.rdd.count() zwrócenie nieprawidłowej odpowiedzi za pomocą funkcji UDT w niektórych przypadkach.
    • Naprawiono niespójność buforowanego rdD pamięci podręcznej SQL i planu fizycznego, co powoduje nieprawidłowy wynik.

  • wtorek, 8 stycznia 2019 r.

    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna we/wy usługi Databricks jest teraz włączona dla typów wystąpień procesu roboczego serii Ls dla wszystkich warstw cenowych.

  • 18 grudnia 2018 r.

    • [SPARK-25002]Avro: popraw przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji Sprzężenia i limitu.
    • [SPARK-26307]Naprawiono funkcję CTAS, gdy wstawiono partycjonowaną tabelę przy użyciu usługi Hive SerDe.
    • Ignoruj uszkodzone pliki tylko po co najmniej jednym ponawianiu próby po spark.sql.files.ignoreCorruptFiles włączeniu lub spark.sql.files.ignoreMissingFiles flagi.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem z wydajnością w analizatorze zapytań.
    • Rozwiązano problem w programie PySpark, który spowodował niepowodzenie akcji ramki danych z powodu błędu "odmowa połączenia".
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.

  • 20 listopada 2018 r.

    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • [SPARK-25387]Poprawka dotycząca serwera NPE spowodowanego nieprawidłowymi danymi wejściowymi CSV.
    • Rozwiązano problem dotyczący niektórych zapytań agregacji z sprzężeniami lewymi pół/antysprzężeniami.

  • 6 listopada 2018 r.

    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714]Rozwiązaliśmy problem z obsługą wartości null w wartości logicznej reguły OptymalizatorAimplification.
    • Rozwiązano problem wpływający na czyszczenie obiektów tymczasowych w łączniku usługi Synapse Analytics.
    • [SPARK-25816]Napraw rozpoznawanie atrybutów w zagnieżdżonych ekstraktorach.

  • 16 października 2018 r.

    • Usunięto usterkę wpływającą na dane wyjściowe uruchamiania SHOW CREATE TABLE w tabelach delty.
    • Usunięto usterkę wpływającą na Union operację.

  • 25 września 2018 r.

    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w elemecie logicznymSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.

  • 11 września 2018 r.

    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Napraw przeciek konsumentów platformy Kafka, gdy nie ma nowych przesunięć dla artykułuPartition.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.
    • Zwiększona stabilność aparatu wykonywania.

  • 28 sierpnia 2018 r.

    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25142]Dodaj komunikaty o błędach, gdy proces roboczy języka Python nie może otworzyć gniazda w programie _load_from_socket.

  • 23 sierpnia 2018 r.

    • [SPARK-23935]mapEntry zgłasza błąd org.codehaus.commons.compiler.CompileException.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-25051][SQL] FixNullability nie powinien zatrzymywać się na analysisBarrier.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy nie można przydzielić pamięci.
    • Naprawiono interakcję między funkcją delta usługi Databricks i narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • [SPARK-25084]" polecenie distribute by" w wielu kolumnach (zawijanie w nawiasach kwadratowych) może prowadzić do problemu z generowaniem kodu.
    • [SPARK-25096]Luźna wartość null, jeśli rzutowanie jest dopuszczane do wartości null.
    • Obniżyła domyślną liczbę wątków używanych przez polecenie Delta Lake Optimize, zmniejszając obciążenie pamięcią i szybciej zatwierdzając dane.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem.

Databricks Runtime 4.2 (EoS)

Zobacz Databricks Runtime 4.2 (EoS).

  • 26 lutego 2019 r.

    • Usunięto usterkę wpływającą na serwer JDBC/ODBC.

  • 12 lutego 2019 r.

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów.
    • Wykluczanie ukrytych plików podczas kompilowania usługi HadoopRDD.
    • Naprawiono konwersję filtru Parquet dla predykatu IN, gdy jego wartość jest pusta.
    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować df.rdd.count() zwrócenie nieprawidłowej odpowiedzi za pomocą funkcji UDT w niektórych przypadkach.

  • wtorek, 8 stycznia 2019 r.

    • Rozwiązano problem powodujący błąd org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]Zmiana kolejności sprzężenia nie powinna zmieniać kolejności atrybutów wyjściowych.
    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Usługa Delta Lake jest włączona.
    • Pamięć podręczna we/wy usługi Databricks jest teraz włączona dla typów wystąpień procesu roboczego serii Ls dla wszystkich warstw cenowych.

  • 18 grudnia 2018 r.

    • [SPARK-25002]Avro: popraw przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji Sprzężenia i limitu.
    • [SPARK-26307]Naprawiono funkcję CTAS, gdy wstawiono partycjonowaną tabelę przy użyciu usługi Hive SerDe.
    • Ignoruj uszkodzone pliki tylko po co najmniej jednym ponawianiu próby po spark.sql.files.ignoreCorruptFiles włączeniu lub spark.sql.files.ignoreMissingFiles flagi.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap nie jest poprawna.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem z wydajnością w analizatorze zapytań.
    • Rozwiązano problem w programie PySpark, który spowodował niepowodzenie akcji ramki danych z powodu błędu "odmowa połączenia".
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.

  • 20 listopada 2018 r.

    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • Rozwiązano problem dotyczący niektórych zapytań agregacji z sprzężeniami lewymi pół/antysprzężeniami.

  • 6 listopada 2018 r.

    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714]Rozwiązaliśmy problem z obsługą wartości null w wartości logicznej reguły OptymalizatorAimplification.

  • 16 października 2018 r.

    • Usunięto usterkę wpływającą na dane wyjściowe uruchamiania SHOW CREATE TABLE w tabelach delty.
    • Usunięto usterkę wpływającą na Union operację.

  • 25 września 2018 r.

    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w elemecie logicznymSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.

  • 11 września 2018 r.

    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Napraw przeciek konsumentów platformy Kafka, gdy nie ma nowych przesunięć dla artykułuPartition.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.

  • 28 sierpnia 2018 r.

    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.

  • 23 sierpnia 2018 r.

    • Naprawiono błąd NoClassDefError dla migawki delty
    • [SPARK-23935]mapEntry zgłasza błąd org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Średnia z wartością dziesiętną, po której następuje agregacja, zwraca nieprawidłowy wynik. Mogą zostać zwrócone nieprawidłowe wyniki funkcji AVERAGE. Funkcja CAST dodana w operatorze Average zostanie pominięta, jeśli wynik dzielenia jest tym samym typem, do którego jest rzutowany.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy nie można przydzielić pamięci.
    • Naprawiono interakcję między funkcją delta usługi Databricks i narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.
    • [SPARK-25084]" polecenie distribute by" w wielu kolumnach (zawijanie w nawiasach kwadratowych) może prowadzić do problemu z generowaniem kodu.
    • [SPARK-24934][SQL] Jawnie lista dozwolonych obsługiwanych typów w granicach górnych/dolnych dla oczyszczania partycji w pamięci. Gdy złożone typy danych są używane w filtrach zapytań względem buforowanych danych, platforma Spark zawsze zwraca pusty zestaw wyników. Oczyszczanie oparte na statystykach w pamięci generuje nieprawidłowe wyniki, ponieważ wartość null jest ustawiona dla górnych/dolnych granic dla typów złożonych. Poprawka polega na tym, że nie należy używać przycinania opartego na statystykach w pamięci dla typów złożonych.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.

  • 2 sierpnia 2018 r.

    • Dodano interfejs API writeStream.table w języku Python.
    • Rozwiązano problem dotyczący tworzenia punktów kontrolnych różnicowych.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. Pamięć podręczna SQL nie jest używana podczas używania elementu DataFrameWriter do zapisywania ramki danych z funkcją UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • Rozwiązano problem, który mógł powodować mergeInto generowanie nieprawidłowych wyników polecenia.
    • Zwiększona stabilność dostępu do usługi Azure Data Lake Storage Gen1.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
    • [SPARK-24878][SQL] Poprawiono funkcję odwrotną dla typu tablicy typu pierwotnego zawierającego wartość null.

  • 11 lipca 2018 r.

    • Usunięto usterkę w wykonywaniu zapytań, która powodowała agregacje w kolumnach dziesiętnych z różnymi precyzjami w celu zwrócenia nieprawidłowych wyników w niektórych przypadkach.
    • Usunięto usterkę NullPointerException zgłaszaną podczas zaawansowanych operacji agregacji, takich jak zestawy grupowania.

Databricks Runtime 4.1 ML (EoS)

Zobacz Databricks Runtime 4.1 ML (EoS).

  • 31 lipca 2018 r.
    • Dodano usługę Azure Synapse Analytics do środowiska ML Runtime 4.1
    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.
    • Usunięto usterkę wpływającą na aparat wykonywania spark SQL.
    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę (java.lang.NoClassDefFoundError) wpływającą na usługę Delta Lake.
    • Ulepszona obsługa błędów w usłudze Delta Lake.
    • Usunięto usterkę powodującą zbieranie nieprawidłowych statystyk pomijania danych dla kolumn ciągu 32 znaków lub większej.

Databricks Runtime 4.1 (EoS)

Zobacz Databricks Runtime 4.1 (EoS).

  • wtorek, 8 stycznia 2019 r.

    • [SPARK-26366]ZastąpExceptWithFilter powinien rozważyć wartość NULL jako fałsz.
    • Usługa Delta Lake jest włączona.

  • 18 grudnia 2018 r.

    • [SPARK-25002]Avro: popraw przestrzeń nazw rekordu wyjściowego.
    • Rozwiązano problem dotyczący niektórych zapytań przy użyciu funkcji Sprzężenia i limitu.
    • [SPARK-26307]Naprawiono funkcję CTAS, gdy wstawiono partycjonowaną tabelę przy użyciu usługi Hive SerDe.
    • Ignoruj uszkodzone pliki tylko po co najmniej jednym ponawianiu próby po spark.sql.files.ignoreCorruptFiles włączeniu lub spark.sql.files.ignoreMissingFiles flagi.
    • Rozwiązano problem dotyczący instalowania kół języka Python w środowiskach bez dostępu do Internetu.
    • Rozwiązano problem w programie PySpark, który spowodował niepowodzenie akcji ramki danych z powodu błędu "odmowa połączenia".
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.

  • 20 listopada 2018 r.

    • [SPARK-17916][SPARK-25241]Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
    • Rozwiązano problem dotyczący niektórych zapytań agregacji z sprzężeniami lewymi pół/antysprzężeniami.

  • 6 listopada 2018 r.

    • [SPARK-25741]Długie adresy URL nie są poprawnie renderowane w internetowym interfejsie użytkownika.
    • [SPARK-25714]Rozwiązaliśmy problem z obsługą wartości null w wartości logicznej reguły OptymalizatorAimplification.

  • 16 października 2018 r.

    • Usunięto usterkę wpływającą na dane wyjściowe uruchamiania SHOW CREATE TABLE w tabelach delty.
    • Usunięto usterkę wpływającą na Union operację.

  • 25 września 2018 r.

    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w elemecie logicznymSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.

  • 11 września 2018 r.

    • [SPARK-25214][SS] Rozwiązano problem polegający na tym, że źródło platformy Kafka w wersji 2 może zwracać zduplikowane rekordy, gdy failOnDataLoss=false.
    • [SPARK-24987][SS] Napraw przeciek konsumentów platformy Kafka, gdy nie ma nowych przesunięć dla artykułuPartition.
    • Redukcja filtru powinna poprawnie obsługiwać wartość null.

  • 28 sierpnia 2018 r.

    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25084]" polecenie distribute by" w wielu kolumnach (zawijanie w nawiasach kwadratowych) może prowadzić do problemu z generowaniem kodu.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.

  • 23 sierpnia 2018 r.

    • Naprawiono błąd NoClassDefError dla migawki delty.
    • [SPARK-24957][SQL] Średnia z wartością dziesiętną, po której następuje agregacja, zwraca nieprawidłowy wynik. Mogą zostać zwrócone nieprawidłowe wyniki funkcji AVERAGE. Funkcja CAST dodana w operatorze Average zostanie pominięta, jeśli wynik dzielenia jest tym samym typem, do którego jest rzutowany.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-24934][SQL] Jawnie lista dozwolonych obsługiwanych typów w granicach górnych/dolnych dla oczyszczania partycji w pamięci. Gdy złożone typy danych są używane w filtrach zapytań względem buforowanych danych, platforma Spark zawsze zwraca pusty zestaw wyników. Oczyszczanie oparte na statystykach w pamięci generuje nieprawidłowe wyniki, ponieważ wartość null jest ustawiona dla górnych/dolnych granic dla typów złożonych. Poprawka polega na tym, że nie należy używać przycinania opartego na statystykach w pamięci dla typów złożonych.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy nie można przydzielić pamięci.
    • Naprawiono interakcję między funkcją delta usługi Databricks i narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem

  • 2 sierpnia 2018 r.

    • [SPARK-24613][SQL] Nie można dopasować pamięci podręcznej z funkcją UDF do kolejnych zależnych pamięci podręcznych. Opakowuje plan logiczny za pomocą narzędzia AnalysisBarrier do kompilacji planu wykonywania w narzędziu CacheManager, aby uniknąć ponownego analizowania planu. Jest to również regresja platformy Spark 2.3.
    • Rozwiązano problem z łącznikiem usługi Synapse Analytics wpływającym na konwersję strefy czasowej na zapisywanie danych DateType.
    • Rozwiązano problem dotyczący tworzenia punktów kontrolnych różnicowych.
    • Rozwiązano problem, który mógł powodować mergeInto generowanie nieprawidłowych wyników polecenia.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. Pamięć podręczna SQL nie jest używana podczas używania elementu DataFrameWriter do zapisywania ramki danych z funkcją UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.

  • 11 lipca 2018 r.

    • Usunięto usterkę w wykonywaniu zapytań, która powodowała agregacje w kolumnach dziesiętnych z różnymi precyzjami w celu zwrócenia nieprawidłowych wyników w niektórych przypadkach.
    • Usunięto usterkę NullPointerException zgłaszaną podczas zaawansowanych operacji agregacji, takich jak zestawy grupowania.

  • 28 czerwca 2018 r.

    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.

  • 7 czerwca 2018 r.

    • Usunięto usterkę wpływającą na aparat wykonywania spark SQL.
    • Usunięto usterkę wpływającą na generowanie kodu.
    • Usunięto usterkę (java.lang.NoClassDefFoundError) wpływającą na usługę Delta Lake.
    • Ulepszona obsługa błędów w usłudze Delta Lake.

  • 17 maja 2018 r.

    • Usunięto usterkę powodującą zbieranie nieprawidłowych statystyk pomijania danych dla kolumn ciągu 32 znaków lub większej.

Databricks Runtime 4.0 (EoS)

Zobacz Databricks Runtime 4.0 (EoS).

  • 6 listopada 2018 r.

    • [SPARK-25714]Rozwiązaliśmy problem z obsługą wartości null w wartości logicznej reguły OptymalizatorAimplification.

  • 16 października 2018 r.

    • Usunięto usterkę wpływającą na Union operację.

  • 25 września 2018 r.

    • [SPARK-25368][SQL] Nieprawidłowe wnioskowanie ograniczeń zwraca nieprawidłowy wynik.
    • [SPARK-25402][SQL] Obsługa wartości null w elemecie logicznymSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.

  • 11 września 2018 r.

    • Redukcja filtru powinna poprawnie obsługiwać wartość null.

  • 28 sierpnia 2018 r.

    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.

  • 23 sierpnia 2018 r.

    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • Naprawiono redagowanie menedżera wpisów tajnych, gdy polecenie częściowo zakończyło się powodzeniem
    • Naprawiono interakcję między funkcją delta usługi Databricks i narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy nie można przydzielić pamięci.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.

  • 2 sierpnia 2018 r.

    • [SPARK-24452]Unikaj możliwego przepełnienia w dodaniu int lub wielu.
    • [SPARK-24588]Dołączanie strumieniowe powinno wymagać skrótuClusteredPartitioning od elementów podrzędnych.
    • Rozwiązano problem, który mógł powodować mergeInto generowanie nieprawidłowych wyników polecenia.
    • [SPARK-24867][SQL] Dodaj element AnalysisBarrier do elementu DataFrameWriter. Pamięć podręczna SQL nie jest używana podczas używania elementu DataFrameWriter do zapisywania ramki danych z funkcją UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.

  • 28 czerwca 2018 r.

    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.

  • 7 czerwca 2018 r.

    • Usunięto usterkę wpływającą na aparat wykonywania spark SQL.
    • Ulepszona obsługa błędów w usłudze Delta Lake.

  • 17 maja 2018 r.

    • Poprawki błędów zarządzania wpisami tajnymi usługi Databricks.
    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę wpływającą na buforowanie RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.

  • 24 kwietnia 2018 r.

    • Uaktualniono zestaw AZURE Data Lake Store SDK z wersji 2.0.11 do 2.2.8, aby zwiększyć stabilność dostępu do usługi Azure Data Lake Store.
    • Usunięto usterkę powodującą wstawienie zastąpień do partycjonowanych tabel programu Hive, gdy spark.databricks.io.hive.fastwriter.enabled jest to false.
    • Rozwiązano problem polegający na tym, że serializacja zadań zakończyła się niepowodzeniem.
    • Ulepszona stabilność usługi Delta Lake.

  • 14 marca 2018 r.

    • Zapobiegaj niepotrzebnym aktualizacjom metadanych podczas zapisywania w usłudze Delta Lake.
    • Rozwiązano problem spowodowany przez warunek wyścigu, który w rzadkich okolicznościach może prowadzić do utraty niektórych plików wyjściowych.

Databricks Runtime 3.5 LTS (EoS)

Zobacz Databricks Runtime 3.5 LTS (EoS).

  • 7 listopada 2019 r.

    • [SPARK-29743][SQL] przykład powinien ustawić właściwość needCopyResult na wartość true, jeśli element podrzędny needCopyResult ma wartość true

  • wtorek, 8 października 2019 r.

    • Zmiany po stronie serwera umożliwiające ponowne nawiązywanie połączenia ze sterownikiem Simba Apache Spark ODBC i kontynuowanie po niepowodzeniu połączenia podczas pobierania wyników (wymaga aktualizacji sterownika Simba Apache Spark ODBC do wersji 2.6.10).

  • 10 września 2019 r.

    • [SPARK-28699][SQL] Wyłącz używanie sortowania radix dla elementu ShuffleExchangeExec w przypadku ponownego partycjonowania

  • wtorek, 9 kwietnia 2019 r.

    • [SPARK-26665][CORE] Usunięto usterkę, która może spowodować zawieszenie elementu BlockTransferService.fetchBlockSync na zawsze.

  • 12 lutego 2019 r.

    • Rozwiązano problem powodujący uszkodzenie protokołu sieciowego niskiego poziomu platformy Spark podczas wysyłania dużych komunikatów o błędach RPC z włączonym szyfrowaniem (gdy spark.network.crypto.enabled jest ustawiona wartość true).

  • 30 stycznia 2019 r.

    • Rozwiązano problem, który może powodować df.rdd.count() zwrócenie nieprawidłowej odpowiedzi za pomocą funkcji UDT w niektórych przypadkach.

  • 18 grudnia 2018 r.

    • Ignoruj uszkodzone pliki tylko po co najmniej jednym ponawianiu próby po spark.sql.files.ignoreCorruptFiles włączeniu lub spark.sql.files.ignoreMissingFiles flagi.
    • Rozwiązano problem wpływający na niektóre zapytania samodzielnej unii.

  • 20 listopada 2018 r.

    • [SPARK-25816]Naprawiono rozpoznawanie atrybutów w zagnieżdżonych ekstraktorach.

  • 6 listopada 2018 r.

    • [SPARK-25714]Rozwiązaliśmy problem z obsługą wartości null w wartości logicznej reguły OptymalizatorAimplification.

  • 16 października 2018 r.

    • Usunięto usterkę wpływającą na Union operację.

  • 25 września 2018 r.

    • [SPARK-25402][SQL] Obsługa wartości null w elemecie logicznymSimplification.
    • Naprawiono NotSerializableException w źródle danych Avro.

  • 11 września 2018 r.

    • Redukcja filtru powinna poprawnie obsługiwać wartość null.

  • 28 sierpnia 2018 r.

    • Usunięto usterkę w poleceniu Delta Lake Delete, który niepoprawnie usunął wiersze, w których warunek ma wartość null.
    • [SPARK-25114]Naprawiono element RecordBinaryComparator, gdy odejmowanie między dwoma wyrazami jest podzielne przez Integer.MAX_VALUE.

  • 23 sierpnia 2018 r.

    • [SPARK-24809]Serializowanie funkcji LongHashedRelation w funkcji wykonawczej może spowodować błąd danych.
    • Rozwiązano problem z mapą dopuszczaną do wartości null w czytniku Parquet.
    • [SPARK-25081]Usunięto usterkę polegającą na tym, że funkcja ShuffleExternalSorter mogła uzyskać dostęp do zwolnionej strony pamięci, gdy nie można przydzielić pamięci.
    • Naprawiono interakcję między funkcją delta usługi Databricks i narzędziem Pyspark, co mogło spowodować przejściowe błędy odczytu.

  • 28 czerwca 2018 r.

    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.

  • 28 czerwca 2018 r.

    • Usunięto usterkę, która mogła spowodować nieprawidłowe wyniki zapytania, gdy nazwa kolumny partycji używanej w predykacie różni się od przypadku tej kolumny w schemacie tabeli.

  • 7 czerwca 2018 r.

    • Usunięto usterkę wpływającą na aparat wykonywania spark SQL.
    • Ulepszona obsługa błędów w usłudze Delta Lake.

  • 17 maja 2018 r.

    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę wpływającą na buforowanie RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.
    • Usunięto usterkę wpływającą na niektóre agregacje w zapytaniach przesyłania strumieniowego.

  • 24 kwietnia 2018 r.

    • Uaktualniono zestaw AZURE Data Lake Store SDK z wersji 2.0.11 do 2.2.8, aby zwiększyć stabilność dostępu do usługi Azure Data Lake Store.
    • Usunięto usterkę powodującą wstawienie zastąpień do partycjonowanych tabel programu Hive, gdy spark.databricks.io.hive.fastwriter.enabled jest to false.
    • Rozwiązano problem polegający na tym, że serializacja zadań zakończyła się niepowodzeniem.

  • 9 marca 2018 r.

    • Rozwiązano problem spowodowany przez warunek wyścigu, który w rzadkich okolicznościach może prowadzić do utraty niektórych plików wyjściowych.

  • 1 marca 2018 r.

    • Zwiększona wydajność obsługi strumieni, które mogą zająć dużo czasu, aby zatrzymać.
    • Rozwiązano problem dotyczący autouzupełniania języka Python.
    • Zastosowano poprawki zabezpieczeń systemu Ubuntu.
    • Rozwiązano problem dotyczący niektórych zapytań korzystających z funkcji UDF i okien języka Python.
    • Rozwiązano problem wpływający na używanie funkcji zdefiniowanych przez użytkownika w klastrze z włączoną kontrolą dostępu do tabeli.

  • 29 stycznia 2018 r.

    • Rozwiązano problem wpływający na manipulowanie tabelami przechowywanymi w usłudze Azure Blob Storage.
    • Naprawiono agregację po dropDuplicates w pustej ramce danych.

Databricks Runtime 3.4 (EoS)

Zobacz Databricks Runtime 3.4 (EoS).

  • 7 czerwca 2018 r.

    • Usunięto usterkę wpływającą na aparat wykonywania spark SQL.
    • Ulepszona obsługa błędów w usłudze Delta Lake.

  • 17 maja 2018 r.

    • Zwiększona stabilność odczytu danych przechowywanych w usłudze Azure Data Lake Store.
    • Naprawiono usterkę wpływającą na buforowanie RDD.
    • Usunięto usterkę wpływającą na wartość Null-safe Equal w usłudze Spark SQL.

  • 24 kwietnia 2018 r.

    • Usunięto usterkę powodującą wstawienie zastąpień do partycjonowanych tabel programu Hive, gdy spark.databricks.io.hive.fastwriter.enabled jest to false.

  • 9 marca 2018 r.

    • Rozwiązano problem spowodowany przez warunek wyścigu, który w rzadkich okolicznościach może prowadzić do utraty niektórych plików wyjściowych.

  • 13 grudnia 2017 r.

    • Rozwiązano problem dotyczący funkcji zdefiniowanych przez użytkownika w języku Scala.
    • Rozwiązano problem wpływający na użycie indeksu pomijania danych w tabelach źródeł danych przechowywanych w ścieżkach systemu plików innych niż DBFS.

  • 7 grudnia 2017 r.

    • Ulepszona stabilność mieszania.

Nieobsługiwane wersje środowiska Databricks Runtime

W przypadku oryginalnych informacji o wersji postępuj zgodnie z linkiem poniżej podpozycji.