Udostępnij za pośrednictwem

Databricks Runtime 11.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.0 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w czerwcu 2022 r.

Nowe funkcje i ulepszenia

Nowa wersja platformy Apache Spark

Środowisko Databricks Runtime 11.0 i Databricks Runtime 11.0 Photon obejmują platformę Apache Spark 3.3.0. Aby uzyskać szczegółowe informacje, zobacz Apache Spark.

Notesy języka Python używają teraz jądra IPython

W środowisku Databricks Runtime 11.0 lub nowszym notesy języka Python używają jądra IPython do wykonywania kodu w języku Python. Zobacz jądro IPython.

Obsługa adresów ipywidgets

Teraz możesz użyć funkcji ipywidgets, aby udostępnić notesy języka Python w usłudze Databricks. Zobacz ipywidgets.

Łącznik usługi Synapse zapisuje teraz dane Parquet w trybie nie starszym

Łącznik usługi Azure Synapse zapisuje teraz dane Parquet w trybie nie starszym. Zachowuje format znacznika INT96 czasu podczas korzystania z technologii PolyBase i COPY poleceń zarówno dla obciążeń wsadowych, jak i przesyłania strumieniowego.

Schemat HTTPS jest teraz wymuszany, gdy klient ABFS używa tokenu SAS

Gdy klient systemu plików usługi Azure Blob (ABFS) używa tokenu sygnatury dostępu współdzielonego (SAS), schemat HTTPS jest teraz wymuszany.

SQL: DESC jest teraz aliasem dla polecenia DESCRIBE

Teraz możesz użyć DESC jako aliasu podczas DESCRIBE opisywania lokalizacji zewnętrznych lub poświadczeń magazynu. Na przykład:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Szczegóły wersji nowych current_version funkcji wyjściowych

Nowa current_version funkcja zwraca bieżącą wersję środowiska Databricks Runtime, jeśli jest dostępna, bieżącą wersję SQL usługi Databricks, jeśli jest dostępna, oraz inne powiązane szczegóły wersji. Ta nowa funkcja umożliwia wykonywanie zapytań o informacje dotyczące wersji. Zobacz funkcję current_version.

Porzucanie brakującego ograniczenia tabeli delty powoduje teraz wystąpienie błędu

Jeśli teraz spróbujesz usunąć ograniczenie tabeli delty według nazwy, a to ograniczenie nie istnieje, zostanie wyświetlony błąd. Aby uzyskać poprzednie zachowanie, które nie zgłasza błędu, jeśli ograniczenie nie istnieje, należy teraz użyć instrukcji IF EXISTS . Zobacz ALTER TABLE.

SQL: Nowa EXCEPT klauzula w SELECT instrukcji wyklucza kolumny z zaznaczenia

SELECT instrukcje obsługują teraz klauzulę EXCEPT wykluczania kolumn z zaznaczenia. Na przykład SELECT * EXCEPT (x) FROM table zwraca wszystkie kolumny z tablewyjątkiem x. Kolumny zagnieżdżone są również dozwolone. Na przykład SELECT * EXCEPT (x.a) FROM table zwraca wszystkie tablekolumny, ale pomija pole a z struktury x.

Obsługa usuwania kolumn w tabelach delty (publiczna wersja zapoznawcza)

Możesz użyć ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> polecenia lub ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) usunąć kolumnę lub listę kolumn, odpowiednio, z tabeli delty jako operację tylko dla metadanych. Kolumny są skutecznie "usuwane nietrwale", ponieważ nadal znajdują się w źródłowych plikach Parquet, ale nie są już widoczne dla tabeli delty.

Możesz użyć REORG TABLE <table-name> APPLY (PURGE) polecenia , aby wyzwolić ponowne zapisywanie pliku w plikach zawierających wszystkie dane usunięte nietrwale, takie jak porzucone kolumny.

Możesz użyć VACUUM polecenia , aby usunąć usunięte pliki z magazynu fizycznego, w tym stare pliki zawierające porzucone kolumny i zostały przepisane przez REORG TABLEprogram .

COPY INTO Ulepszenia

Teraz możesz utworzyć puste tabele delty symbolu zastępczego COPY INTO , aby schemat został później wywnioskowany podczas polecenia:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Poprzednia instrukcja SQL jest idempotentna i można zaplanować uruchamianie w celu pozyskiwania danych dokładnie raz w tabeli delty.

Uwaga

Pusta tabela delty nie może być dostępna poza elementem COPY INTO. Nie można używać INSERT INTO i MERGE INTO zapisywać danych w tabelach różnicowych bez schematu. Po wstawieniu danych do tabeli za pomocą COPY INTOpolecenia tabela będzie można wykonywać zapytania.

Jeśli nie można odczytać danych, których nie można odczytać z powodu problemu z uszkodzeniem, możesz pominąć uszkodzone pliki, ustawiając wartość na w pliku ignoreCorruptFiles true FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Polecenie COPY INTO zwraca liczbę plików, które zostały pominięte z powodu uszkodzenia w kolumnie num_skipped_corrupt_files . Ta metryka jest również wyświetlana w kolumnie operationMetrics poniżej numSkippedCorruptFiles po uruchomieniu DESCRIBE HISTORY w tabeli delta.

Uszkodzone pliki nie są śledzone przez COPY INTOprogram , więc można je ponownie załadować w kolejnym uruchomieniu, jeśli uszkodzenie zostanie naprawione. Możesz zobaczyć, które pliki są uszkodzone, uruchamiając polecenie COPY INTO w VALIDATE trybie.

CONVERT TO DELTA program jest teraz obsługiwany w środowiskach z obsługą wykazu aparatu Unity (publiczna wersja zapoznawcza)

W środowiskach z obsługą CONVERT TO DELTA wykazu aparatu Unity można teraz wykonywać następujące czynności:

  • Przekonwertuj pliki Parquet w lokalizacjach zewnętrznych na usługę Delta Lake.
  • Konwertowanie tabel zewnętrznych Parquet na tabele delty.

Zmiany zachowania

SQL: lpad funkcje rpad obsługują teraz sekwencje bajtów

Funkcje lpad i rpad zostały zaktualizowane w celu dodania obsługi sekwencji bajtów oprócz ciągów.

Format ciągu w format_string systemie i printf nie jest już dozwolony %0$

Określenie formatu %0$ w funkcjach format_string i printf zgłasza teraz błąd domyślnie. Ta zmiana polega na zachowaniu oczekiwanego zachowania przy użyciu poprzednich wersji środowiska Databricks Runtime i typowych baz danych innych firm. Pierwszy argument powinien zawsze odwoływać się %1$ , gdy używasz indeksu argumentów, aby wskazać położenie argumentu na liście argumentów.

Wartości null w plikach CSV są teraz zapisywane jako puste ciągi bez cudzysłów domyślnie

Wartości null w plikach CSV zostały wcześniej zapisane jako cytowane puste ciągi. W tej wersji wartości null w plikach CSV są domyślnie zapisywane jako puste ciągi bez cudzysłów. Aby powrócić do poprzedniego zachowania, ustaw nullValue opcję dla "" operacji zapisu.

Właściwość external tabeli jest teraz zarezerwowana

Właściwość external jest teraz domyślnie zarezerwowaną właściwością tabeli. Wyjątki są teraz zgłaszane podczas używania external właściwości z klauzulami CREATE TABLE ... TBLPROPERTIES i ALTER TABLE ... SET TBLPROPERTIES .

Usługa Log4j została uaktualniona z wersji Log4j 1 do usługi Log4j 2

Program Log4j 1 jest uaktualniany do wersji Log4j 2. Starsze zależności log4j 1 są usuwane.

Jeśli zależysz od klas Log4j 1, które zostały wcześniej uwzględnione w środowisku Databricks Runtime, te klasy już nie istnieją. Należy uaktualnić zależności do usługi Log4j 2.

Jeśli masz niestandardowe wtyczki lub pliki konfiguracji, które zależą od usługi Log4j 2, mogą już nie działać z wersją log4j 2 w tej wersji. Aby uzyskać pomoc, skontaktuj się z zespołem konta usługi Azure Databricks.

Biblioteki zainstalowane z narzędzia Maven są teraz rozpoznawane w płaszczyźnie obliczeniowej domyślnie

Biblioteki Maven są teraz rozpoznawane domyślnie w płaszczyźnie obliczeniowej podczas instalowania bibliotek w klastrze. Klaster musi mieć dostęp do usługi Maven Central. Alternatywnie możesz przywrócić poprzednie zachowanie, ustawiając właściwość konfiguracji platformy Spark:

spark.databricks.libraries.enableMavenResolution false

Poprawki błędów

  • Zgodność binarna dla LeafNodeplatformy UnaryNode, i między platformą Apache Spark a BinaryNode środowiskiem Databricks Runtime została naprawiona, a klasy są teraz zgodne z platformą Apache Spark 3.3.0 lub nowszą. Jeśli wystąpi następujący lub podobny komunikat podczas korzystania z pakietu innej firmy w środowisku Databricks Runtime, ponownie skompiluj pakiet za pomocą platformy Apache Spark 3.3.0 lub nowszej: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • platformdirs z wersji 2.5.1 do 2.5.2
    • protobuf z 3.20.0 do 3.20.1
  • Uaktualnione biblioteki języka R:
    • Obiekt blob z wersji 1.2.2 do 1.2.3
    • miotła od 0.7.12 do 0.8.0
    • karetki od 6.0-91 do 6.0-92
    • interfejs wiersza polecenia z wersji 3.2.0 do 3.3.0
    • dplyr z wersji 1.0.8 do 1.0.9
    • przyszłość z wersji 1.24.0 do 1.25.0
    • future.apply z wersji 1.8.1 do 1.9.0
    • gert z 1.5.0 do 1.6.0
    • ggplot2 z wersji 3.3.5 do 3.3.6
    • glmnet z 4.1-3 do 4.1-4
    • przystanek od 2.4.3 do 2.5.0
    • httr z 1.4.2 do 1.4.3
    • knitr z 1.38 do 1.39
    • magrittr z wersji 2.0.2 do 2.0.3
    • równolegle z wersji 1.30.0 do 1.31.1
    • ps od 1.6.0 do 1.7.0
    • RColorBrewer od 1.1-2 do 1.1-3
    • RcppEigen z 0.3.3.9.1 do 0.3.3.9.2
    • readxl z wersji 1.3.1 do 1.4.0
    • rmarkdown z wersji 2.13 do 2.14
    • rprojroot z wersji 2.0.2 do 2.0.3
    • RSQLite z wersji 2.2.11 do 2.2.13
    • skaluje z wersji 1.1.1 do 1.2.0
    • testthat z 3.1.2 do 3.1.4
    • tibble z 3.1.6 do 3.1.7
    • tinytex z 0.37 do 0.38
    • tzdb z 0.2.0 do 0.3.0
    • uuid z 1.0-4 do 1.1-0
    • vctrs z 0.3.8 do 0.4.1
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-core z wersji 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-databind z 2.13.0 do 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.13.0 do 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda z 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.0 do 2.13.3
    • com.google.crypto.tink.tink z 1.6.0 do 1.6.1
    • com.ning.compress-lzf z 1.0.3 do 1.1
    • dev.ludovic.netlib.arpack od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.blas z 2.2.0 do 2.2.1
    • dev.ludovic.netlib.lapack od 2.2.0 do 2.2.1
    • io.netty.netty-all from 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-buffer z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-codec z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-common from 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-handler from 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-resolver z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-tcnative-classes from 2.0.46.Final to 2.0.48.Final
    • io.netty.netty-transport z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-classes-epoll from 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 z 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 z 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-unix-common from 4.1.73.Final do 4.1.74.Final
    • joda-time.joda-time od 2.10.12 do 2.10.13
    • org.apache.commons.commons-math3 z 3.4.1 do 3.6.1
    • org.apache.httpcomponents.httpcore z wersji 4.4.12 do 4.4.14
    • org.apache.orc.orc-core z wersji 1.7.3 do 1.7.4
    • org.apache.orc.orc-mapreduce z wersji 1.7.3 do 1.7.4
    • org.apache.orc.orc-shims z wersji 1.7.3 do 1.7.4
    • org.eclipse.jetty.jetty-client z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http from 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io z wersji 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-jndi z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security from 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server from 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet z wersji 9.4.43.v20210629 do 9.4.46.v2020331
    • org.eclipse.jetty.jetty-servlets from 9.4.43.v20210629 to 9.4.46.v20331
    • org.eclipse.jetty.jetty-util z wersji 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-util-ajax from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.jetty-webapp z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api z wersji 9.4.43.v20210629 do 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-client from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-common from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-server from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-servlet z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client z wersji 2.2.5 do 2.7.4
    • org.postgresql.postgresql z 42.2.19 do 42.3.3.3
    • org.roaringbitmap.RoaringBitmap z 0.9.23 do 0.9.25
    • org.roaringbitmap.shims od 0.9.23 do 0.9.25
    • org.rocksdb.rocksdbjni z 6.20.3 do 6.24.2
    • org.slf4j.jcl-over-slf4j z 1.7.32 do 1.7.36
    • org.slf4j.jul-to-slf4j z 1.7.32 do 1.7.36
    • org.slf4j.slf4j-api od 1.7.30 do 1.7.36

Apache Spark

Środowisko Databricks Runtime 11.0 obejmuje platformę Apache Spark 3.3.0.

W tej sekcji:

Spark SQL i Core

Tryb ANSI

  • Nowe jawne reguły składni rzutowania w trybie ANSI (SPARK-33354)
  • Funkcja Elt() powinna zwracać wartość null, jeśli indeks ma wartość null w trybie ANSI (SPARK-38304)
  • Opcjonalnie zwróć wynik null, jeśli element nie istnieje w tablicy/mapie (SPARK-37750)
  • Zezwalaj na rzutowanie między typem liczbowym a typem znacznika czasu (SPARK-37714)
  • Domyślnie wyłącz zastrzeżone słowa kluczowe ANSI (SPARK-37724)
  • Użyj reguł przypisania magazynu do rozpoznawania wywołania funkcji (SPARK-37438)
  • Dodaj konfigurację, aby zezwolić na rzutowanie między wartościami Datetime i Numeryczne (SPARK-37179)
  • Dodaj konfigurację, aby opcjonalnie wymusić zastrzeżone słowa kluczowe ANSI (SPARK-37133)
  • Nie zezwalaj na operacje binarne między literałem interwału i ciągu (SPARK-36508)

Ulepszenia funkcji

  • Obsługa typów INTERWAŁów ANSI SQL (SPARK-27790)
  • Ulepszenia komunikatów o błędach (SPARK-38781)
  • Obsługa metadanych pliku ukrytego dla usługi Spark SQL (SPARK-37273)
  • Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
  • Klasa Pomocnika dla usługi Batch Dataset.observe() (SPARK-34806)
  • Obsługa określania początkowego numeru partycji dla ponownego równoważenia (SPARK-38410)
  • Obsługa trybu kaskadowego dla interfejsu dropNamespace API (SPARK-37929)
  • Zezwalaj na przypisywanie magazynu i niejawne rzutowanie między typami daty/godziny (SPARK-37707)
  • Zbieranie, najpierw i ostatnio powinny być funkcjami agregacji deterministycznej (SPARK-32940)
  • Dodawanie klasy ExpressionBuilder dla funkcji ze złożonymi przeciążeniami (SPARK-37164)
  • Dodawanie obsługi tablicy do unii według nazwy (SPARK-36546)
  • Dodaj df.withMetadata: cukier składniowy, aby zaktualizować metadane ramki danych (SPARK-36642)
  • Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
  • Użyj funkcji CAST w analizowaniu dat/sygnatur czasowych ze wzorcem domyślnym (SPARK-36418)
  • Obsługa klasy wartości w schemacie zagnieżdżonym dla zestawu danych (SPARK-20384)
  • Dodano obsługę składni AS OF (SPARK-37219)
  • Dodaj powtarzalne w TABELIAMPLE, aby określić inicjator (SPARK-37165)
  • Dodawanie składni set catalog xxx ansi w celu zmiany bieżącego wykazu (SPARK-36841)
  • Obsługa ILIKE (WSZYSTKIE | DOWOLNA | NIEKTÓRE) — bez uwzględniania wielkości liter JAK (SPARK-36674, SPARK-36736, SPARK-36778)
  • Etap zapytania pomocy technicznej pokazuje statystyki środowiska uruchomieniowego w trybie objaśnienia sformatowanego (SPARK-38322)
  • Dodawanie metryk rozmiaru rozlania dla sprzężenia scalania sortowania (SPARK-37726)
  • Aktualizowanie składni SQL FUNKCJI SHOW (SPARK-37777)
  • Obsługa składni DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Nowe wbudowane funkcje i ich rozszerzenia (SPARK-38783)
    • Data/godzina
    • Funkcje AES (SPARK-12567)
      • Dodawanie funkcji wbudowanych aes_encrypt i aes_decrypt (SPARK-12567)
      • Obsługa trybu GCM przez aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Ustaw GCM jako tryb domyślny w programie aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Dodaj element mode i padding args do aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • Funkcja agregacji ANSI (SPARK-37671)
    • Zbiory
    • Format
    • Ciąg/plik binarny
      • Dodawanie funkcji ciągu CONTAINS() (SPARK-37508)
      • startswith() Dodawanie funkcji i endswith() ciągów (SPARK-37520)
      • Dodawanie funkcji lpad i rpad dla ciągów binarnych (SPARK-37047)
      • Obsługa funkcji split_part (SPARK-38063)
    • Dodawanie parametru skalowania do funkcji podłogowych i ceil (SPARK-37475)
    • Nowe funkcje SQL: try_subtract i try_multiply (SPARK-38164)
    • Implementuje funkcję agregacji histogram_numeric, która obsługuje agregację częściową (SPARK-16280)
    • Dodawanie max_by/min_by do funkcji sql.functions (SPARK-36963)
    • Dodawanie nowych wbudowanych funkcji SQL: SEC i CSC (SPARK-36683)
    • array_intersect obsługuje zduplikowane wartości Double.NaN i Float.NaN (SPARK-36754)
    • Dodawanie kanapy jako funkcji Języka Scala i Python (SPARK-36660)

Ulepszenia wydajności

  • Generowanie kodu pełnoetapowego
    • Dodawanie modułu code-gen do sortowania agregacji bez kluczy grupowania (SPARK-37564)
    • Dodaj kod-gen do pełnego sprzężenia scalania sortowania zewnętrznego (SPARK-35352)
    • Dodawanie generacji kodu na potrzeby pełnego zewnętrznego sprzężenia skrótów mieszania (SPARK-32567)
    • Dodawanie kodu-gen do łączenia sortowania sortowania (SPARK-37316)
  • Wypychanie (filtry)
    • Wypychanie filtrów do części ponownej równoważenia (SPARK-37828)
    • Wypychanie filtru kolumn logicznych (SPARK-36644)
    • Wypchnij limit 1 dla prawej strony lewej części/antysprzężenia, jeśli warunek sprzężenia jest pusty (SPARK-37917)
    • Tłumaczenie bardziej standardowych funkcji agregujących na potrzeby wypychania (SPARK-37527)
    • Obsługa propagacji pustej relacji za pomocą agregacji/unii (SPARK-35442)
    • Filtrowanie środowiska uruchomieniowego na poziomie wiersza (SPARK-32268)
    • Obsługa lewego sprzężenia częściowego w filtrach środowiska uruchomieniowego na poziomie wiersza (SPARK-38565)
    • Obsługa wypychania predykatu i oczyszczania kolumn dla de-duped CTEs (SPARK-37670)
  • Wektoryzacja
    • Implementowanie obiektu ConstantColumnVector i poprawianie wydajności ukrytych metadanych pliku (SPARK-37896)
    • Włączanie wektoryzowanego odczytu dla vectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Łączenie/usuwanie/zastępowanie węzłów
    • Łączenie związków, jeśli istnieje projekt między nimi (SPARK-37915)
    • Połącz z jedną obsadą, jeśli możemy bezpiecznie rzutować dwie rzuty (SPARK-37922)
    • Usuń sortowanie, jeśli jest elementem podrzędnym repartitionByExpression (SPARK-36703)
    • Usuwa sprzężenie zewnętrzne, jeśli ma tylko funkcję DISTINCT po stronie przesyłanej strumieniowo z aliasem (SPARK-37292)
    • Zamień skrót na agregację sortowania, jeśli element podrzędny jest już posortowany (SPARK-37455)
    • Zwijaj tylko projekty, jeśli nie duplikujemy kosztownych wyrażeń (SPARK-36718)
    • Usuń nadmiarowe aliasy po rewritePredicateSubquery (SPARK-36280)
    • Scal nierelowane podzapytania skalarne (SPARK-34079)
  • Partycjonowanie
    • Nie dodawaj oczyszczania partycji dynamicznej, jeśli istnieje oczyszczanie partycji statycznej (SPARK-38148)
    • Ulepszanie elementów RebalancePartition w regułach optymalizatora (SPARK-37904)
    • Dodawanie małego współczynnika partycji dla partycji ponownego równoważenia (SPARK-37357)
  • Dołączyć
    • Dostrajanie logiki obniżania sprzężenia skrótu emisji w funkcji DynamicJoinSelection (SPARK-37753)
    • Ignoruj zduplikowane klucze sprzężenia podczas kompilowania relacji dla sprzężenia skrótu SEMI/ANTI (SPARK-36794)
    • Obsługa optymalizacji niesymetryczności sprzężenia nawet w przypadku wprowadzenia dodatkowego mieszania (SPARK-33832)
  • AQE
    • Obsługa eliminowania limitów w optymalizatorze AQE (SPARK-36424)
    • Optymalizowanie planu jednego wiersza w normalnym i optymalizatorze AQE (SPARK-38162)
  • Funkcja Aggregate.groupOnly obsługuje wyrażenia złożone (SPARK-38489)
  • Tablica ByteArrayMethods powinna szybko pominąć sprawdzanie wyrównania do nieprzygotowanej platformy (SPARK-37796)
  • Dodawanie przycinania wzorca drzewa do reguły CTESubstitution (SPARK-37379)
  • Dodawanie większej liczby uproszczenie operatorów (SPARK-36665)
  • Obsługa typu logicznego w unwrapCastInBinaryComparison (SPARK-36607)
  • Łączenie wszystkich wyrażeń po pierwszym wyrażeniu bez wartości null (SPARK-36359)
  • Dodawanie gościa planu logicznego w celu propagowania unikatowych atrybutów (SPARK-36194)

Ulepszenia wbudowanego łącznika

  • Ogólne
    • Łagodna serializacja daty/godziny ze źródła danych (SPARK-38437)
    • Traktuj lokalizację tabeli jako bezwzględną, gdy pierwsza litera ścieżki jest ukośnikiem w tabeli create/alter (SPARK-38236)
    • Usuwanie zer wiodących z pustej partycji typu liczb statycznych (SPARK-35561)
    • Obsługa ignoreCorruptFiles i ignoreMissingFiles opcje źródła danych (SPARK-38767)
    • Dodaj polecenie SHOW CATALOGS (SPARK-35973)
  • Parkiet
    • Włączanie pasujących nazw kolumn schematu według identyfikatorów pól (SPARK-38094)
    • Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w parquet (SPARK-27442)
    • Obsługa wektoryzowanych wartości logicznych odczytu używają kodowania RLE z parquet DataPage V2 (SPARK-37864)
    • Obsługa kodowania strony danych Parquet w wersji 2 (DELTA_BINARY_PACKED) dla ścieżki wektoryzowanej (SPARK-36879)
    • Ponowne tworzenie sygnatur czasowych w strefie czasowej sesji zapisane w metadanych Parquet/Avro (SPARK-37705)
    • Wypychanie grupy według kolumny partycji dla agregacji (SPARK-36646)
    • Wypychanie agregacji (minimalna/maksymalna/liczba) dla parquet (SPARK-36645)
    • Parquet: włączanie pasujących kolumn schematu według identyfikatora pola (SPARK-38094)
    • Zmniejsz domyślny rozmiar strony o LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP (SPARK-37593)
    • Implementowanie wektoryzowanych kodowań DELTA_BYTE_ARRAY i DELTA_LENGTH_BYTE_ARRAY dla obsługi parquet v2 (SPARK-37974)
    • Obsługa typów złożonych dla czytnika wektoryzowanego Parquet (SPARK-34863)
  • ORK
    • Usuń nazwę pola wyboru podczas odczytywania/zapisywania istniejących danych w orc (SPARK-37965)
    • Wypychanie agregacji dla ORC (SPARK-34960)
    • Obsługa odczytywania i zapisywania interwałów ANSI ze źródeł danych ORC (SPARK-36931)
    • Obsługa nazw kolumn tylko z numerami w źródłach danych ORC (SPARK-36663)
  • Notacja JSON
    • Uwzględniaj wartość allowNonNumericNumbers podczas analizowania cytowanych wartości NaN i Infinity w czytniku JSON (SPARK-38060)
    • Domyślnie użyj funkcji CAST dla daty/godziny w formacie CSV/JSON (SPARK-36536)
    • Wyrównywanie komunikatu o błędzie dla nieobsługiwanych typów kluczy w funkcji MapType w czytniku Json (SPARK-35320)
  • CSV
    • Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV (SPARK-38534)
    • wartości null powinny być zapisywane jako nic zamiast cytowanych pustych ciągów "" domyślnie (SPARK-37575)
  • JDBC
    • Dodaj instrukcję IMMEDIATE do implementacji obcinania dialektu DB2 (SPARK-30062)
  • Ul
    • Obsługa zapisywania tabeli zasobnika Hive (formaty plików Hive z hashem Hive) (SPARK-32712)
    • Używanie wyrażeń do filtrowania partycji Hive po stronie klienta (SPARK-35437)
    • Obsługa oczyszczania partycji dynamicznej dla programu HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir powinien używać źródła danych, jeśli jest konwertowany (SPARK-38215)
    • Obsługa zapisywania tabeli zasobnikowej Hive (format Parquet/ORC z hashem Hive) (SPARK-32709)

Likwiduj węzeł

  • FallbackStorage nie powinien podejmować próby rozpoznania dowolnej nazwy hosta "zdalnego" (SPARK-38062)
  • Funkcja ExecutorMonitor.onExecutorRemoved powinna obsługiwać funkcję ExecutorDecommission zgodnie z zakończeniem (SPARK-38023)

Inne istotne zmiany

  • Dodawanie precyzyjnego blokowania do elementu BlockInfoManager (SPARK-37356)
  • Obsługa mapowania typów zasobów procesora GPU/fpga platformy Spark na niestandardowy typ zasobu YARN (SPARK-37208)
  • Zgłoś dokładny rozmiar bloku mieszania, jeśli jego niesymetryczny (SPARK-36967)
  • Obsługa rejestrowania netty w warstwie sieciowej (SPARK-36719)

Przesyłanie strumieniowe ze strukturą

Główne funkcje

  • Wprowadzenie trigger.AvailableNow do uruchamiania zapytań przesyłania strumieniowego, takich jak Trigger.Once w wielu partiach (SPARK-36533)

Inne istotne zmiany

  • Użyj statefulOpClusteredDistribution dla operatorów stanowych z uwzględnieniem zgodności z poprzednimi wersjami (SPARK-38204)
  • Naprawiono limit czasu flatMapGroupsWithState w partii przy użyciu danych klucza (SPARK-38320)
  • Rozwiązano problem z poprawnością w połączeniu zewnętrznym strumienia ze strumieniem za pomocą dostawcy magazynu stanów Bazy danych RocksDB (SPARK-38684)
  • Support Trigger.AvailableNow w źródle danych platformy Kafka (SPARK-36649)
  • Optymalizowanie ścieżki zapisu u dostawcy magazynu stanów bazy danych RocksDB (SPARK-37224)
  • Wprowadzenie nowego źródła danych do zapewnienia spójnego zestawu wierszy na mikrobajt (SPARK-37062)
  • Użyj skrótu HashClusteredDistribution dla operatorów stanowych z uwzględnieniem zgodności z poprzednimi wersjami (SPARK-38204)

PySpark

Interfejs API biblioteki Pandas na platformie Apache Spark

Główne ulepszenia
  • Optymalizacja indeksu "rozproszonej sekwencji" z domyślną wartością (SPARK-36559, SPARK-36338)
    • Obsługa określania typu indeksu i nazwy w interfejsie API biblioteki pandas na platformie Spark (SPARK-36709)
    • Pokaż domyślny typ indeksu w planach SQL dla interfejsu API biblioteki Pandas na platformie Spark (SPARK-38654)
Główne funkcje
  • Implementowanie ps.merge_asof natywnej sparkSQL (SPARK-36813)
  • Obsługa timedeltaIndex w interfejsie API biblioteki pandas na platformie Spark (SPARK-37525)
  • Obsługa timedelta języka Python (SPARK-37275, SPARK-37510)
  • Implementowanie funkcji w funkcji KategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Używa standardowego formatera ciągów języka Python dla interfejsu API SQL w interfejsie API biblioteki pandas na platformie Spark (SPARK-37436)
  • Obsługa podstawowych operacji serii/indeksu timedelta (SPARK-37510)
  • Obsługa ps. MultiIndex.dtypes (SPARK-36930)
  • Implementowanie pliku Index.map (SPARK-36469)
  • Zaimplementuj serię.xor i seria.rxor (SPARK-36653)
  • Implementowanie jednoargumentowego operatora invert całkowitego ps. Seria/indeks (SPARK-36003)
  • Implementowanie elementu DataFrame.cov (SPARK-36396)
  • Obsługa znacznika czasu dla (seria|DataFrame).describe() (SPARK-37657)
  • Obsługa parametru lambda column (DataFrame.renameSPARK-38763)

Inne istotne zmiany

Zmiany powodujące niezgodność
  • Usuwanie odwołań do obsługi języka Python 3.6 w dokumentach i python/docs (SPARK-36977)
  • Usuń hack o nazwie, zastępując wbudowany pickle do cloudpickle (SPARK-32079)
  • Bump minimalna wersja biblioteki pandas do wersji 1.0.5 (SPARK-37465)
  • Główne ulepszenia
    • Podaj profiler dla funkcji UDF języka Python/Pandas (SPARK-37443)
    • Używa standardowego formatera ciągów języka Python dla interfejsu API SQL w PySpark (SPARK-37516)
    • Uwidacznianie stanu i klasy błędów SQL w wyjątkach PySpark (SPARK-36953)
    • Spróbuj przechwycić błąd, gdy proces roboczy języka Python ulega awarii (SPARK-36062)
Główne funkcje
  • Implementowanie elementu DataFrame.mapInArrow w języku Python (SPARK-37228)
  • Używa standardowego formatera ciągów języka Python dla interfejsu API SQL w PySpark (SPARK-37516)
  • Dodawanie interfejsu API df.withMetadata pyspark (SPARK-36642)
  • Obsługa timedelta języka Python (SPARK-37275)
  • Uwidaczniaj tabelęExists w katalogu pyspark.sql.catalog (SPARK-36176)
  • Uwidaczniaj element databaseExists w katalogu pyspark.sql.catalog (SPARK-36207)
  • Uwidacznianie funkcjiExists w katalogu sql pyspark (SPARK-36258)
  • Dodawanie elementu Dataframe.observation do programu PySpark (SPARK-36263)
  • Dodawanie interfejsu API max_by/min_by do programu PySpark (SPARK-36972)
  • Obsługa wnioskowania zagnieżdżonego dict jako struktury podczas tworzenia ramki danych (SPARK-35929)
  • Dodawanie interfejsów API bit/octet_length do języków Scala, Python i R (SPARK-36751)
  • Obsługa interfejsu API ILIKE w języku Python (SPARK-36882)
  • Dodawanie metody isEmpty dla interfejsu API ramki danych języka Python (SPARK-37207)
  • Dodawanie obsługi wielu kolumn (SPARK-35173)
  • Dodawanie elementu SparkContext.addArchive w PySpark (SPARK-38278)
  • Wykonaj polecenie repratorów typu sql w stanie (SPARK-18621)
  • Wskazówki dotyczące typów wbudowanych dla fpm.py w języku Python/pyspark/mllib (SPARK-37396)
  • Implementowanie dropna parametru (SeriesGroupBy.value_countsSPARK-38837)

MLLIB

Główne funkcje

  • Dodawanie parametru distanceMeasure do trainKMeansModel (SPARK-37118)
  • Uwidacznianie elementu LogisticsRegression.setInitialModel, na przykład KMeans et al do (SPARK-36481)
  • Obsługa modelu CrossValidatorModel uzyskuje odchylenie standardowe metryk dla każdej paramMap (SPARK-36425)

Główne ulepszenia

  • Optymalizowanie niektórych elementów treeAggregates w bibliotekach MLlib przez opóźnienie alokacji (SPARK-35848)
  • Zapisz ponownie _shared_params_code_gen.py do wbudowanych wskazówek dotyczących typu ml/param/shared.py (SPARK-37419)

Inne istotne zmiany

SparkR

  • Migrowanie dokumentów platformy SparkR do narzędzia pkgdown (SPARK-37474)
  • Uwidacznianie wyrażenia make_date w języku R (SPARK-37108)
  • Dodawanie interfejsu API max_by/min_by do usługi SparkR (SPARK-36976)
  • Obsługa interfejsu API ILIKE w języku R (SPARK-36899)
  • Dodawanie s i csc jako funkcji języka R (SPARK-36824)
  • Dodawanie interfejsów API bit/octet_length do języków Scala, Python i R (SPARK-36751)
  • Dodawanie kanapy jako funkcji języka R (SPARK-36688)

INTERFEJS UŻYTKOWNIKA

  • Podsumowanie metryk spekulacji na poziomie etapu (SPARK-36038)
  • Ujednolicony czas mieszania bloku odczytu w celu przetasowania czasu oczekiwania na pobieranie odczytu w programie StagePage (SPARK-37469)
  • Dodawanie zmodyfikowanych konfiguracji na potrzeby wykonywania sql w interfejsie użytkownika (SPARK-34735)
  • Rozpoznawanie maszyny thriftServer spark.sql.redaction.string.regex (SPARK-36400)
  • Dołączanie i uruchamianie procedury obsługi po uruchomieniu aplikacji w interfejsie użytkownika (SPARK-36237)
  • Dodawanie czasu trwania zatwierdzenia do węzła grafu karty SQL (SPARK-34399)
  • Obsługa zaplecza bazy danych RocksDB na serwerze historii platformy Spark (SPARK-37680)
  • Pokaż opcje interfejsu API biblioteki Pandas na platformie Spark w interfejsie użytkownika (SPARK-38656)
  • Zmień nazwę "SQL" na "SQL/ DataFrame" na stronie interfejsu użytkownika SQL (SPARK-38657)

Kompilacja

Aktualizacje konserwacyjne

Zobacz Databricks Runtime 11.0 (EoS).

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
wybielacz 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 rowerzysta 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 dystrybucja informacji 0.23ubuntu1
punkty wejścia 0.3 aspekty — omówienie 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 biblioteka matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notes 6.4.5
numpy 1.20.3 opakowanie 21,0 Pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Poduszka 8.4.0
21.2.4 platformdirs 2.5.2 kreślenie 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pirstent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 żądania 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 Sześć 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 Wytrzymałość 8.0.1 terminado 0.9.4
ścieżka testowa 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlety 5.1.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
koło 0.37.0 widgetsnbextension 3.6.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-05-06.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.4.1
base 4.1.3 base64enc 0.1-3 bitowe 4.0.4
bit64 4.0.5 blob 1.2.3 rozruch 1.3-28
warzyć 1.0-7 Brio 1.1.3 miotła 0.8.0
bslib 0.3.1 cachem 1.0.6 obiekt wywołujący 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 przestrzeń kolorów 2.0-3
commonmark 1.8.0 — kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 kredka 1.5.1 poświadczenia 1.3.2
lok 4.3.2 data.table 1.14.2 usługi Power BI 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 trawić 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
wielokropek 0.3.2 evaluate 0,15 fani 1.0.3
farver 2.1.0 szybka mapa 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 zagraniczny 0.8-82
kuźnia 0.2.0 Fs 1.5.2 przyszłość 1.25.0
future.apply 1.9.0 płukać gardło 1.2.0 Generyczne 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globalna 0.14.0
klej 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafika 4.1.3 grDevices 4.1.3
siatka 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 przystań 2.5.0
wysoki 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
Identyfikatory 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
Etykietowania 0.4.2 później 1.3.0 krata 0.20-45
lawa 1.6.10 cykl życia 1.0.1 nasłuchiwanie 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
MASA 7.3-56 Macierz 1.4-1 zapamiętywanie 2.0.1
metody 4.1.3 mgcv 1.8-40 mim 0,12
Metryki modelu 1.2.2.2 modeler 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 równolegle 1.31.1
filar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
pochwała 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.5.3 prodlim 2019.11.13 Postęp 1.2.2
progressr 0.10.0 Obietnice 1.2.0.1 Proto 1.0.0
proxy 0.4-26 PS 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 przepisy 0.2.0 rewanż 1.0.1
rewanż2 2.1.2 Piloty 2.4.2 reprex 2.0.1
zmień kształt2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions (rversions) 2.1.1 rvest 1.0.2
Sass 0.4.1 waga 1.2.0 selektor 0.4-2
sessioninfo 1.2.2 kształt 1.4.6 błyszczący 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
przestrzenny 7.3-11 Splajnów 4.1.3 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 przetrwanie 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 narzędzia 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 wąs 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zamek 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-klej 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty transport netto 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
drzewa maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc podkładki orc-shim 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet kodowanie parquet 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.20
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper jute dozorców 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket —wspólne 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Podkładki 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark.spark Nieużywane 1.0.0
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1