Udostępnij za pośrednictwem

Databricks Runtime 13.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.0 obsługiwanym przez platformę Apache Spark 3.4.0.

Usługa Databricks wydała tę wersję w kwietniu 2023 r.

Nowe funkcje i ulepszenia

Wyrażenia H3 obsługują teraz lokalizacje geograficzne liniowe

Funkcje h3_coverash3 i h3_coverash3string obsługują teraz lokalizacje geograficzne liniowe (linestring i multilinestring). Funkcje tworzą minimalny zestaw obejmujący komórki H3 w określonej rozdzielczości. Zobacz h3_coverash3 i h3_coverash3string.

Ganglia zastąpiona metrykami klastra

W przypadku środowiska Databricks Runtime w wersji 13 lub nowszej metryki ganglia są zastępowane metrykami klastra usługi Azure Databricks. W przypadku środowiska Databricks Runtime w wersji 12 i poniżej możesz nadal używać metryk Ganglia. Jeśli masz przepływ pracy, który zależy od metryk Ganglia, które nie mogą być zadowalające z metryk klastra, skontaktuj się z zespołem konta usługi Azure Databricks. Zobacz Wyświetlanie metryk obliczeniowych.

Wydano platformę Spark 3.4.0

Platforma Apache Spark 3.4.0 jest teraz ogólnie dostępna. Zobacz Spark Release 3.4.0 (Wersja platformy Spark 3.4.0).

Funkcja Photon zwraca błąd, jeśli plik jest modyfikowany między planowaniem zapytań a wykonywaniem

Zapytania photon zwracają teraz błąd, jeśli plik jest aktualizowany między planowaniem zapytań a wykonaniem. Przed tą zmianą aplikacja Photon odczytuje plik, nawet jeśli jego czas modyfikacji zmieni się między planowaniem i wykonaniem zapytania, co może prowadzić do nieprzewidywalnych wyników.

Nowe funkcje predykcyjne we/wy

Funkcja Photon obsługuje teraz przesuwane ramki, zarówno dla trybów WIERSZe, jak i ZAKRES, przy użyciu polecenia {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Rozszerzona obsługa funkcji we/wy predykcyjnej

Rozszerzona obsługa plików CSV, AVRO, buforowania ramek danych, gdy schemat zawiera wyłącznie kolumny skalarne. Obsługa jest również rozszerzona dla typów zagnieżdżonych, takich jak mapy, struktury i tablice.

Nawiązywanie połączenia z innym obszarem roboczym usługi Databricks za pomocą łącznika usługi Databricks

Łącznik usługi Azure Databricks umożliwia łączenie się z zasobami obliczeniowymi skonfigurowanymi w innym obszarze roboczym i zwracanie wyników do bieżącego obszaru roboczego usługi Azure Databricks. Sterownik JDBC usługi Azure Databricks jest teraz uwzględniony w środowisku Databricks Runtime. Zobacz Używanie łącznika usługi Databricks do nawiązywania połączenia z innym obszarem roboczym usługi Databricks.

Dodatkowe opcje platformy Kafka dla przesyłania strumieniowego ze strukturą z udostępnionym klastrem w wykazie aparatu Unity

Możesz teraz używać ustawień kakfa.ssl.truststore.location i kafak.ssl.keystore.location przechowywać certyfikaty platformy Kafka w lokalizacjach zewnętrznych zarządzanych przez wykaz aparatu Unity, gdy używasz przesyłania strumieniowego ze strukturą w klastrach dostępu współdzielonego. Nie można używać lokalizacji w katalogu głównym systemu plików DBFS.

Pomiń modyfikacje tabeli delty za pomocą przesyłania strumieniowego ze strukturą

Teraz możesz skipChangeCommits zignorować zmiany zatwierdzeń danych w tabeli delty dla UPDATEoperacji , MERGEi DELETE . Spowoduje to zastąpienie ignoreChangeselementu , który jest teraz przestarzały. Zobacz Ignorowanie aktualizacji i usuwanie.

FUNKCJA CREATE TABLE LIKE dla tabel delty

CREATE TABLE LIKE Funkcja jest teraz obsługiwana w przypadku korzystania z tabel delty.

Nowe pola kolumn metadanych oznaczające początek i długość bloku plików

Teraz możesz uzyskać następujące informacje o metadanych dla plików wejściowych z kolumną _metadata : file_block_start i file_block_length. Aby uzyskać więcej informacji, zobacz Kolumna metadanych pliku.

Nowe funkcje geoprzestrzenne H3

Nowe wyrażenia h3_coverash3 i h3_coverash3string są dostępne do przetwarzania geoprzestrzenowego po włączeniu funkcji Photon. Zobacz Funkcje geoprzestrzenne H3.

Nowe wbudowane funkcje SQL

Dodano następujące funkcje:

%sql w notesach języka Python

Wszystkie niepuste %sql wyniki w notesach języka Python są teraz dostępne przy użyciu _sqldf systemu buforowania danych wyjściowych IPython. Upraszcza to użycie ramki danych w języku Python. Jest to zmiana zachowania z wcześniejszych wersji DBR, jak poprzednio, _sqldf nie zawsze została ponownie przypisana.

_sqldf nie jest ponownie przypisywany do %sql wyniku komórki, jeśli komórka została wykonana przy użyciu równoległego wykonywania komórki SQL.

%pip nie uruchamia automatycznie języka Python

Po uruchomieniu %pip poleceń w notesach języka Python, które modyfikują virtualEnv, usługa Databricks nie uruchamia już automatycznie procesu języka Python. Aby ponownie uruchomić proces języka Python, wywołaj metodę dbutils.library.restartPython(). Dzięki tej zmianie %pip polecenia w usłudze Databricks zachowują się podobnie do notesów Jupyter Notebook i są zgodne z poleceniami !pip i %sh pip . Usługa Databricks zaleca %pip zamiast !pip lub %sh pip.

Biblioteki języka Python w zakresie klastra są instalowane przy użyciu użytkownika innego niż użytkownik główny

Biblioteki są teraz instalowane przy użyciu użytkownika innego niż główny, który jest odpowiedzialny za instalacje biblioteki. Jeśli chcesz skonfigurować zachowanie instalacji w skryptach inicjowania, użyj [pliku https://pip.pypa.io/en/stable/topics/configuration/#configuration-filespoziomu globalnego ).

Poprawki błędów

  • W %sh poleceniach wprowadzono następujące poprawki:
    • Dane wyjściowe zawierające znaki inne niż UTF-8 są teraz obsługiwane.
    • Podprocesy są teraz przerywane po anulowaniu polecenia.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • asttokens z 2.0.5 do 2.2.1
    • od 22.3.0 do 22.6.0
    • boto3 z 1.21.32 do 1.24.28
    • botocore z wersji 1.24.32 do 1.27.28
    • certifi od 2021.10.8 do 2022.9.14
    • cffi z 1.15.0 do 1.15.1
    • Kryptografia z wersji 3.4.8 do 37.0.1
    • Cython z 0.29.28 do 0.29.32
    • dbus-python z wersji 1.2.16 do 1.2.18
    • docstring-to-markdown z 0.11 do 0.12
    • wykonywanie z wersji 0.8.3 do 1.2.0
    • facets-overview from 1.0.0 to 1.0.2
    • fastjsonschema z wersji 2.16.2 do 2.16.3
    • filelock z wersji 3.9.0 do 3.10.7
    • ipykernel z wersji 6.15.3 do 6.17.1
    • ipython z 8.5.0 do 8.10.0
    • joblib z wersji 1.1.1 do 1.2.0
    • jsonschema z wersji 4.4.0 do 4.16.0
    • Klient jupyter-client z wersji 6.1.12 do 7.3.4
    • kiwisolver z 1.3.2 do 1.4.2
    • matplotlib z wersji 3.5.1 do 3.5.2
    • matplotlib-inline z 0.1.2 do 0.1.6
    • nbformat z wersji 5.3.0 do 5.5.0
    • notes z wersji 6.4.8 do 6.4.12
    • Biblioteka pandas z wersji 1.4.2 do 1.4.4
    • Poduszka z 9.0.1 do 9.2.0
    • od 21.2.4 do 22.2.2
    • platformdirs z wersji 2.6.2 do 2.5.2
    • wykres z 5.6.0 do 5.9.0
    • prometheus-client z wersji 0.13.1 do 0.14.1
    • prompt-toolkit z wersji 3.0.20 do 3.0.36
    • psutil z wersji 5.8.0 do 5.9.0
    • pyflakes z wersji 2.5.0 do 3.0.1
    • PyGObject z wersji 3.36.0 do 3.42.1
    • Pyparsing z 3.0.4 do 3.0.9
    • pyright z 1.1.283 do 1.1.294
    • python-lsp-server z wersji 1.6.0 do 1.7.1
    • pytz od 2021.3 do 2022.1
    • pyzmq z 22.3.0 do 23.2.0
    • żądania z wersji 2.27.1 do 2.28.1
    • lina od 0.22.0 do 1.7.0
    • s3transfer z 0.5.0 do 0.6.0
    • scikit-learn z wersji 1.0.2 do 1.1.1
    • scipy z 1.7.3 do 1.9.1
    • setuptools z 61.2.0 do 63.4.1
    • ssh-import-id z wersji 5.10 do 5.11
    • stack-data z wersji 0.2.0 do 0.6.2
    • ścieżka testowa z zakresu od 0.5.0 do 0.6.0
    • tomli z wersji 1.2.2 do 2.0.1
    • ujson z wersji 5.1.0 do 5.4.0
    • urllib3 z 1.26.9 do 1.26.11
    • virtualenv z wersji 20.8.0 do 20.16.3
    • whatthepatch z 1.0.4 do 1.0.2
    • od 0.37.0 do 0.37.1
  • Uaktualnione biblioteki języka R:
    • strzałka z zakresu od 10.0.0 do 10.0.1
    • bit z 4.0.4 do 4.0.5
    • miotła od 1.0.1 do 1.0.3
    • bslib z 0.4.1 do 0.4.2
    • chron z 2.3-58 do 2.3-59
    • interfejs wiersza polecenia z wersji 3.4.1 do 3.6.0
    • przestrzeń kolorów z zakresu od 2.0 do 2.1-0
    • curl z 4.3.3 do 5.0.0
    • data.table z wersji 1.14.4 do 1.14.6
    • dbplyr z wersji 2.2.1 do 2.3.0
    • skrót od 0.6.30 do 0.6.31
    • dplyr z wersji 1.0.10 do 1.1.0
    • e1071 z 1.7-12 do 1.7-13
    • ocena z zakresu od 0,18 do 0,20
    • fani od 1.0.3 do 1.0.4
    • fontawesome z 0.4.0 do 0.5.0
    • forcats z 0.5.2 do 1.0.0
    • fs z 1.5.2 do 1.6.1
    • przyszłość z wersji 1.29.0 do 1.31.0
    • gargle z 1.2.1 do 1.3.0
    • gert z 1.9.1 do 1.9.2
    • glmnet z 4.1-4 do 4.1-6
    • globals from 0.16.1 to 0.16.2 (globals from 0.16.16.2)
    • przejdź z wersji 1.0.0 do 1.0.1
    • wysoki od 0,9 do 0,10
    • htmltools z wersji 0.5.3 do 0.5.4
    • htmlwidgets z wersji 1.5.4 do 1.6.1
    • httpuv z wersji 1.6.6 do 1.6.8
    • isoband od 0.2.6 do 0.2.7
    • jsonlite z wersji 1.8.3 do 1.8.4
    • knitr z 1.40 do 1.42
    • lawa z 1.7.0 do 1.7.1
    • nasłuchiwanie z wersji 0.8.0 do 0.9.0
    • lubridate z wersji 1.9.0 do 1.9.1
    • znaczników markdown z 1.3 do 1.5
    • modelr od 0.1.9 do 0.1.10
    • openssl z 2.0.4 do 2.0.5
    • równolegle z wersji 1.32.1 do 1.34.0
    • pkgbuild od 1.3.1 do 1.4.0
    • pkgdown z 2.0.6 do 2.0.7
    • pkgload z wersji 1.3.1 do 1.3.2
    • plyr od 1.8.7 do 1.8.8
    • progressr z 0.11.0 do 0.13.0
    • purrr z 0.3.5 do 1.0.1
    • ragg z 1.2.4 do 1.2.5
    • Program Rcpp z wersji 1.0.9 do 1.0.10
    • readxl z wersji 1.4.1 do 1.4.2
    • przepisy od 1.0.3 do 1.0.4
    • rmarkdown z 2.18 do 2.20
    • RODBC od 1.3-19 do 1.3-20
    • roxygen2 z 7.2.1 do 7.2.3
    • RSQLite z wersji 2.2.18 do 2.2.20
    • sygnatury dostępu współdzielonego z wersji 0.4.2 do 0.4.5
    • błyszczące z 1.7.3 do 1.7.4
    • sourcetools z 0.1.7 do 0.1.7-1
    • sparklyr z 1.7.8 do 1.7.9
    • SparkR z wersji 3.3.2 do 3.4.0
    • przestrzenne od 7.3-11 do 7.3-15
    • stringi z wersji 1.7.8 do 1.7.12
    • stringr z 1.4.1 do 1.5.0
    • przetrwanie z 3.4-0 do 3.5-3
    • testthat z 3.1.5 do 3.1.6
    • od 1.2.1 do 1.3.0
    • timechange z 0.1.1 do 0.2.0
    • timeDate z 4021.106 do 4022.108
    • tinytex z 0.42 do 0.44
    • utf8 z 1.2.2 do 1.2.3
    • vctrs z 0.5.0 do 0.5.2
    • vroom od 1.6.0 do 1.6.1
    • wąs z zakresu od 0.4 do 0.4.1
    • xfun od 0.34 do 0.37
    • yaml z wersji 2.3.6 do 2.3.7
  • Uaktualnione biblioteki Java:
    • com.amazonaws.aws-java-sdk-autoscaling z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-config z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-core z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-directory z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb z 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 z 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ecs z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-efs z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-emr z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-glacier od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-glue z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-iam od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-importexport z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-kms od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-lambda z 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-logs z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-rds z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-redshift od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-route53 z 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-s3 z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ses z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sns z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sqs z 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ssm z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sts z wersji 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-support from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces od 1.12.189 do 1.12.390
    • com.amazonaws.jmespath-java od 1.12.189 do 1.12.390
    • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.13.4 do 2.14.2
    • com.fasterxml.jackson.core.jackson-core z wersji 2.13.4 do 2.14.2
    • com.fasterxml.jackson.core.jackson-databind z 2.13.4.2 do 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.13.4 do 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.4 do 2.14.2
    • com.github.luben.zstd-jni z 1.5.2-1 do 1.5.2-5
    • com.google.code.gson.gson z wersji 2.8.6 do 2.8.9
    • com.google.crypto.tink.tink z 1.6.1 do 1.7.0
    • com.h2database.h2 z 2.0.204 do 2.1.214
    • com.jcraft.jsch od 0.1.50 do 0.1.55
    • com.ning.compress-lzf z 1.1 do 1.1.2
    • commons-fileupload.commons-fileupload z wersji 1.3.3 do 1.5
    • dev.ludovic.netlib.arpack od 2.2.1 do 3.0.3
    • dev.ludovic.netlib.blas z 2.2.1 do 3.0.3
    • dev.ludovic.netlib.lapack od 2.2.1 do 3.0.3
    • io.delta.delta-sharing-spark_2.12 z wersji 0.6.9 do 0.6.3
    • io.dropwizard.metrics.metrics-core z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-graphite z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks z 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-jmx z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-json z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-jvm z wersji 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-servlets z wersji 4.1.1 do 4.2.10
    • io.netty.netty-all z wersji 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-buffer z wersji 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-codec z wersji 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-common from 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-handler from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-resolver z wersji 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport z wersji 4.1.74.Final do wersji 4.1.87.Final
    • io.netty.netty-transport-classes-epoll from 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-transport-native-unix-common from 4.1.74.Final do 4.1.87.Final
    • joda-time.joda-time od 2.10.13 do 2.12.1
    • net.razorvine.pickle z 1.2 do 1.3
    • net.snowflake.snowflake-jdbc od 3.13.29 do 3.13.22
    • org.antlr.antlr4-runtime od 4.8 do 4.9.3
    • org.apache.ant.ant od 1.9.2 do 1.9.16
    • org.apache.ant.ant-jsch z wersji 1.9.2 do 1.9.16
    • org.apache.ant.ant-launcher z wersji 1.9.2 do 1.9.16
    • org.apache.arrow.arrow-format z zakresu od 7.0.0 do 11.0.0
    • org.apache.arrow.arrow-memory-core z 7.0.0 do 11.0.0
    • org.apache.arrow.arrow-memory-netty z 7.0.0 do 11.0.0
    • org.apache.arrow.arrow-vector z zakresu od 7.0.0 do 11.0.0
    • org.apache.avro.avro z wersji 1.11.0 do 1.11.1
    • org.apache.avro.avro-ipc z wersji 1.11.0 do 1.11.1
    • org.apache.avro.avro-mapred z wersji 1.11.0 do 1.11.1
    • org.apache.httpcomponents.httpclient z wersji 4.5.13 do 4.5.14
    • org.apache.httpcomponents.httpcore z wersji 4.4.14 do 4.4.16
    • org.apache.logging.log4j.log4j-1.2-api z wersji 2.18.0 do 2.19.0
    • org.apache.logging.log4j.log4j-api z wersji 2.18.0 do 2.19.0
    • org.apache.logging.log4j.log4j-core z wersji 2.18.0 do 2.19.0
    • org.apache.orc.orc-core z wersji 1.7.8 do 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce z wersji 1.7.8 do 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims od 1.7.8 do 1.8.2
    • org.apache.xbean.xbean-asm9-shaded z 4.20 do 4.22
    • org.apache.zookeeper.zookeeper od 3.6.2 do 3.6.3
    • org.apache.zookeeper.zookeeper-jute z wersji 3.6.2 do 3.6.3
    • org.eclipse.jetty.jetty-client z wersji 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation z wersji 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http from 9.4.46.v2020331 to 9.4.50.v2021201
    • org.eclipse.jetty.jetty-io z 9.4.46.v2020331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-jndi od 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-plus z wersji 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-proxy z wersji 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security from 9.4.46.v2020331 to 9.4.50.v2021201
    • org.eclipse.jetty.jetty-server from 9.4.46.v2020331 to 9.4.50.v2021201
    • org.eclipse.jetty.jetty-servlet od 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-servlets z 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-util z wersji 9.4.46.v2020331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-util-ajax z wersji 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-webapp od 9.4.46.v2020331 do 9.4.50.v2021201
    • org.eclipse.jetty.jetty-xml z wersji 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-api z wersji 9.4.46.v20220331 do 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-client from 9.4.46.v20220331 to 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-common from 9.4.46.v20220331 to 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-server from 9.4.46.v20220331 to 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-servlet z 9.4.46.v20220331 do 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator z wersji 6.1.0.Final do 6.1.7.Final
    • org.mlflow.mlflow-spark od 2.1.1 do 2.2.0
    • org.postgresql.postgresql z wersji 42.3.3 do 42.3.8
    • org.roaringbitmap.RoaringBitmap z 0.9.25 do 0.9.39
    • org.roaringbitmap.shims od 0.9.25 do 0.9.39
    • org.rocksdb.rocksdbjni z 6.28.2 do 7.8.3
    • org.scala-lang.scala-compiler_2.12 z 2.12.14 do 2.12.15
    • org.scala-lang.scala-library_2.12 z 2.12.14 do 2.12.15
    • org.scala-lang.scala-reflect_2.12 z 2.12.14 do 2.12.15
    • org.scalanlp.breeze-macros_2.12 z 1.2 do 2.1.0
    • org.scalanlp.breeze_2.12 z wersji 1.2 do 2.1.0
    • org.slf4j.jcl-over-slf4j z 1.7.36 do 2.0.6
    • org.slf4j.jul-to-slf4j od 1.7.36 do 2.0.6
    • org.slf4j.slf4j-api od 1.7.36 do 2.0.6
    • org.threeten.threeten-extra od 1.5.0 do 1.7.1
    • org.wildfly.openssl.wildfly-openssl z wersji 1.0.7.Final do 1.1.3.Final
    • org.yaml.snakeyaml z 1.24 do 1.33

Apache Spark

Środowisko Databricks Runtime 13.0 obejmuje platformę Apache Spark 3.4.0.

Spark SQL

Funkcje

  • Implementowanie obsługi wartości DEFAULT dla kolumn w tabelach (SPARK-38334)
  • Dodawanie Dataset.as(StructType) (SPARK-39625)
  • Obsługa sparametryzowanego kodu SQL (SPARK-41271, SPARK-42702)
  • Dodawanie unpivot/melt (SPARK-38864, SPARK-39876)
  • Obsługa odwołań do aliasu kolumny bocznej (SPARK-27561)
  • Klauzula przesunięcia wyniku pomocy technicznej (SPARK-28330, SPARK-39159)
  • Obsługa znacznika czasu bez typu danych strefy czasowej (SPARK-35662)
  • Obsługa podzapytania skalarnych w czasie podróży (SPARK-39306)
  • Ustaw, że interfejs API wykazu jest zgodny z przestrzenią nazw w warstwie 3 (SPARK-39235)
  • Sygnatura czasowa obsługi w sekundach dla elementu TimeTravel przy użyciu opcji ramki danych (SPARK-39633)
  • Dodawanie biblioteki SparkSession.config(Map) (SPARK-40163)
  • Obsługa zmiany domyślnej bazy danych wykazu sesji (SPARK-35242)
  • Obsługa protobuf dla platformy Spark — from_protobuf AND to_protobuf (SPARK-40654)
  • Dodaj klauzulę WHEN NOT MATCHED BY SOURCE (MERGE INTO) (SPARK-40921)
  • Ograniczenie swobody porządkowania dla opcji kolumn CREATE TABLE (SPARK-40944)
  • Odpowiednik SQL dla polecenia zastępowania ramki danych (SPARK-40956)
  • Obsługa generowania bez wymaganych danych wyjściowych podrzędnych do hostowania odwołań zewnętrznych (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GRUPUJ WEDŁUG WSZYSTKICH (SPARK-41635)
  • Dodawanie flatMapSortedGroups i cogroupSorted (SPARK-38591)
  • Obsługa podzapytania z skorelowanych predykatów innych niż równości (SPARK-36114)
  • Obsługa podzapytania z korelacją za pośrednictwem funkcji UNION/INTERSECT/EXCEPT (SPARK-36124)

Zgodność ANSI

  • Tryb SQL ANSI: zawsze zwraca wartość null dla nieprawidłowego dostępu do kolumny mapy (SPARK-40066)
  • Obsługa podwójnych identyfikatorów cytowanych (SPARK-40585)
  • Tryb SQL ANSI: Funkcja Round/Bround powinna zwrócić błąd podczas przepełnienia liczby całkowitej (SPARK-42045)
  • Obsługa rzutowania całkowitoliczników do interwałów ANSI (SPARK-40008)
  • Obsługa rzutowania dziesiętnych do interwałów ANSI (SPARK-40014)
  • Zwraca szersze typy interwałów ANSI z funkcji percentyla (SPARK-40151)
  • Obsługa rzutowania interwałów ANSI na liczby dziesiętne (SPARK-39470)
  • Obsługa interwałów rzutowania do całkowitoliczników w trybie ANSI (SPARK-39451)
  • Wzmacnianie użycia sqlSTATE dla klas błędów (SPARK-41994)

Funkcje

  • Obsługa funkcji generatora wartości tabeli w klauzuli FROM (SPARK-41594)
  • Obsługa funkcji agregującej ANSI: REGR_SXY (SPARK-37681)
  • Obsługa funkcji agregującej ANSI: REGR_R2 (SPARK-37641)
  • Obsługa funkcji agregującej ANSI: REGR_SXX (SPARK-37672)
  • Obsługa funkcji agregującej ANSI: REGR_SYY (SPARK-37702)
  • Obsługa funkcji agregującej ANSI: REGR_SLOPE (SPARK-39230)
  • Obsługa funkcji agregującej ANSI: REGR_INTERCEPT (SPARK-37623)
  • Obsługa funkcji agregacji ANSI PERCENTILE_CONT jako funkcji okna (SPARK-38219)
  • Obsługa funkcji agregacji ANSI: PERCENTILE_DISC (SPARK-37691)
  • Obsługa funkcji SPLIT_PART (SPARK-38063)
  • Obsługa funkcji TRY_AVG (SPARK-38589)
  • Obsługa funkcji TRY_TO_BINARY (SPARK-38590)
  • Obsługa funkcji TO_NUMBER i TRY_TO_NUMBER SQL zgodnie z nową specyfikacją (SPARK-38796)
  • Obsługa ogólnej specyfikacji wartości i funkcji ANSI — USER (SPARK-39138)
  • Obsługa funkcji TO_CHAR i TRY_TO_CHAR w celu formatowania wartości dziesiętnych jako ciągów (SPARK-28516)
  • Obsługa funkcji agregującej ANY_VALUE (SPARK-39213)
  • Obsługa funkcji EQUAL_NUL (SPARK-39305)
  • Obsługa funkcji agregującej MEDIAN (SPARK-39320)
  • Obsługa funkcji REGEXP_COUNT (SPARK-39618)
  • Obsługa funkcji REGEXP_INSTR (SPARK-39744)
  • Obsługa funkcji REGEXP_SUBSTR (SPARK-39695)
  • Obsługa funkcji UNPIVOT (SPARK-39876)
  • Obsługa funkcji TRY_TO_TIMESTAMP (SPARK-39795)
  • Obsługa kodowania/dekodowania adresu URL jako wbudowanej funkcji i porządkowania funkcji związanych z adresem URL (SPARK-39741)
  • Obsługa trybu funkcji agregującej (SPARK-39808)
  • Obsługa funkcji GET (SPARK-40109)
  • Dodawanie aliasów funkcji: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Ulepszanie funkcji TO_BINARY (SPARK-40112)
  • Obsługa CURRENT_SCHEMA (SPARK-41323)
  • Obsługa maskowania wbudowanych funkcji MASK (SPARK-40687)
  • Obsługa funkcji o wysokiej kolejności: ARRAY_COMPACT (SPARK-41235)
  • Obsługa funkcji ARRAY_APPEND (SPARK-41232)
  • Obsługa funkcji ARRAY_INSERT (SPARK-41234)
  • Obsługa funkcji LUHN_CHECK (SPARK-42191)
  • Obsługa ARRAY_SORT (kolumna, komparator) (SPARK-39925)

Źródła danych

  • Obsługa statystyk kolumn w wersji 2 (SPARK-41378)
  • Sprzężenie partycjonowane magazynu (SPJ) w wersji 2 (SPARK-37375)
  • Operacje na poziomie wiersza w wersji 2 (SPARK-35801)
  • Add SupportsReportOrdering mix in interface for DS v2 Scan (SPARK-38647)
  • Wnioskowanie typu DATE dla wnioskowania schematu CSV (SPARK-39469)
  • Obsługa metryk sterowników w interfejsie API metryk niestandardowych DS w wersji 2 (SPARK-39635)
  • Dystrybucja i porządkowanie obsługują funkcję DS w wersji 2 na piśmie (SPARK-39607)
  • StringEndsWith/Contains obsługuje wypychanie do parquet, dzięki czemu możemy wykorzystać filtr słownika (SPARK-39002)
  • Obsługa funkcji UDT w czytniku wektoryzowanym Spark Parquet (SPARK-39086)
  • Rozszerzanie kolumny METADATA w celu obsługi indeksów wierszy dla plików Parquet (SPARK-37980)
  • Obsługa odczytywania typu parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
  • Optymalizowanie kolejności predykatów filtrowania (SPARK-40045)
  • Obsługa zapytań CTE i tabel tymczasowych przy użyciu protokołu MSSQL JDBC (SPARK-37259)
  • Obsługa ignoreCorruptFiles i ignoreMissingFiles w opcjach źródła danych (SPARK-38767)
  • Wyciąganie zapisu w wersji 1 do plików WriteFiles (SPARK-41407)
  • Dodawanie dopełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych (SPARK-40697)

Optymalizacja zapytań

  • Scal nierelowane podzapytania skalarne (SPARK-34079)
  • Włącz sprzężenia filtru Bloom domyślnie (SPARK-38841)
  • Usuwanie niepotrzebnych unikatowych w wyrażeniu agregacji według wartości distinctKeys (SPARK-38832)
  • Obsługa wypychania predykatu i oczyszczania kolumn dla de-duped CTEs (SPARK-37670)
  • Usuwanie sprzężenia zewnętrznego, jeśli funkcje agregujące są zduplikowane po stronie przesyłanej strumieniowo (SPARK-38886)
  • Usuń sprzężenie lewe/prawe zewnętrzne, jeśli są zaznaczone tylko kolumny po lewej/prawej stronie, a klucze sprzężenia po drugiej stronie są unikatowe (SPARK-39172)
  • Optymalizowanie globalnego sortowania do ponownego partycjonowaniaByExpression (SPARK-39911)
  • Optymalizowanie transponowania reguły systemu Windows (SPARK-38034)
  • Ulepszanie elementów EliminateSort w celu obsługi usuwania sortowania za pośrednictwem metody LocalLimit (SPARK-40050)
  • Wypchnij limit lokalny do obu stron, jeśli warunek sprzężenia jest pusty (SPARK-40040)
  • Dodawanie elementu PushProjectionThroughLimit dla optymalizatora (SPARK-40501)
  • Obsługa elementu PIVOT/UNPIVOT z dołączonymi do elementów podrzędnych (SPARK-41195)
  • Obsługa oczyszczania kolumn przy użyciu wielu nieokreślonych filtrów (SPARK-41017)
  • Ulepszanie partycjonowania i porządkowania danych wyjściowych za pomocą pamięci podręcznej AQE (SPARK-41048)
  • Zwiększanie wydajności podobnej do wielu dzięki utworzeniu predykatu drzewa wyrażeń zrównoważonego (SPARK-41167)
  • Usuń sortowanie, jeśli jest elementem podrzędnym repartitionByExpression (SPARK-36703)
  • Użyj dostępnych statystyk kolumn z ukończonych etapów zapytania (SPARK-39991)
  • Ponowne używanie wyrażeń w oknieSpecDefinition (SPARK-41805)
  • Ulepszanie aliasuAwareOutputPartitioning i AliasAwareQueryOutputOrdering w celu uwzględnienia wszystkich aliasów (SPARK-40086, SPARK-42049)
  • Wypychanie limitu przez funkcje zdefiniowane przez użytkownika języka Python (SPARK-42115)

Generowanie kodu i wykonywanie zapytań

  • Ustaw wartość defaultJoin w funkcji BroadcastNestedLoopJoinExec uruchomionej równolegle (SPARK-40487)
  • Obsługa generowania kodu dla funkcji HiveGenericUDF (SPARK-42051)
  • Wprowadzenie mieszania w trybie SinglePartition (SPARK-41986)
  • Sprawia, że obsługa funkcji DPP po stronie oczyszczania ma wartość Union (SPARK-39217)

Inne istotne zmiany

  • Obsługa zbierania statystyk partycji automatycznych (SPARK-38573)
  • Formatowanie komunikatów o błędach na serwerze Thrift (SPARK-40098)
  • Dodawanie interfejsu API rozszerzenia do normalizacji planu dla buforowania (SPARK-41183)
  • Refaktoryzacja typów platformy Spark przez wprowadzenie typów fizycznych (SPARK-41226)
  • Obsługa pól OneOf i testy rekursji (SPARK-41396)
  • Scentralizowanie logiki rozpoznawania kolumn (SPARK-41405)
  • Ulepszanie weryfikacji zmian planu (SPARK-42081)
  • Wprowadzenie do programu SparkPath dla typusafety (SPARK-41970)
  • Zgłaszanie wyjątku dla db_name.view_name podczas tworzenia widoku tymczasowego według interfejsu API zestawu danych (SPARK-41090)
  • Zmień wartość domyślną argumentu funkcji Mask z -1 na NULL (SPARK-42070)

Spark Core

Likwidowanie

  • Unikaj niepotrzebnego ponownego uruchamiania zadania w przypadku likwidowanego modułu wykonawczego utraconego w przypadku migracji danych mieszania (SPARK-41469)
  • Ignoruj błąd pobierania etapu spowodowany przez zlikwidowane funkcje wykonawcze (SPARK-40481)
  • Włącz funkcję spark.storage.likwid. (rdd|shuffle)Blocks.enabled domyślnie (SPARK-40198)
  • Dodano obsługę likwidowania usługi YARN, gdy usługa ESS jest wyłączona (SPARK-30835)

Planista

  • Tworzenie harmonogramu etapów w trybie lokalnego klastra (SPARK-41949)
  • Obsługa profilu zasobu zadania na poziomie etapu dla klastra autonomicznego, gdy alokacja dynamiczna jest wyłączona (SPARK-39853)
  • Opóźnienie onDisconnected w celu włączenia funkcji ExecutorExitCode (SPARK-39957)
  • Ulepszanie spekulacji za pomocą metryk zadań etapu (SPARK-32170)
  • Dodawanie obsługi planowania zasobów na poziomie etapu dla klastra autonomicznego (SPARK-39062)
  • Ulepszanie procesu LaunchTask w celu uniknięcia niepowodzeń etapu spowodowanych komunikatami LaunchTask typu fail-to-send (SPARK-39955)

Shuffle

  • Dodawanie metryk odczytu po stronie klienta opartego na wypychaniach (SPARK-36620)
  • Metryki po stronie serwera shuffle dla mieszania opartego na wypychaniach (SPARK-33573)
  • Upewnij się, że scalonoShuffleCleaner zostały zamknięte przed zamknięciem bazy danych (SPARK-40186)
  • Dodano obsługę bazy danych RocksDB dla magazynu stanu usługi shuffle (SPARK-38888)
  • Hermetyzowanie bazy danych LevelDB używanej do przechowywania stanu zdalnego/zewnętrznego mieszania jako bazy danych (SPARK-38909)
  • Włącz funkcję spark.dynamicAllocation.shuffleTracking.enabled domyślnie (SPARK-3984)
  • Włącz usługę shuffle opartą na wypychaniu, aby przechowywać stan w bazie danych na poziomie NM w celu zachowania ponownego uruchomienia pracy (SPARK-33236)
  • Usuwanie bloków mieszania przy użyciu usługi shuffle dla zwolnionych funkcji wykonawczych (SPARK-37618)

Inne istotne zmiany

  • Obsługa środowiska IPv6 (SPARK-39457)
  • Domyślnie włącz funkcję spark.kryo.unsafe (SPARK-42137)
  • Nie zezwalaj na dowolną niestandardową ścieżkę klasy z użytkownikiem serwera proxy w trybie klastra (SPARK-41958)
  • Unikaj ponownej rejestracji elementu BlockManager, jeśli funkcja wykonawcza została utracona (SPARK-41360)
  • Usuń ograniczenie, które wynik pojedynczego zadania musi mieścić się w rozmiarze 2 GB (SPARK-40622)
  • Usuń obsługę przestarzałych konfiguracji spark.akka.* (SPARK-40401)
  • Zmień domyślne rejestrowanie na stderr, aby było zgodne z zachowaniem log4j (SPARK-40406)
  • Wyklucz metadane DirectTaskResult podczas obliczania rozmiaru wyniku (SPARK-40261)
  • Zezwalaj na dostosowywanie zachowania liczby partycji początkowych w funkcji take() (SPARK-40211)
  • Użyj blokady przerywanej zamiast synchronizowanej w funkcji Executor.updateDependencies() (SPARK-40235)
  • Niepowodzenie zadania powinno zawsze wyzwalać odbiorniki błędów zadań (SPARK-40106)
  • Dodawanie możliwości selektywnego wyłączania oglądania lub sondowania (SPARK-36462)
  • Nie buforuj nieserializowanych relacji emisji na sterowniku (SPARK-39983)
  • Naprawiono zakleszczenie między elementami TaskMemoryManager i UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Uwidacznianie partycji liczbowych na etapie do elementu TaskContext (SPARK-38679)
  • Konfigurowanie współczynnika obciążenia pamięci (SPARK-38194)
  • Unikaj używania powłoki bash -c w powłoce ShellBasedGroupsMappingProvider (SPARK-38992)

Przesyłanie strumieniowe ze strukturą

Główne funkcje

  • Śledzenie postępu asynchronicznego (SPARK-39591)
  • Dowolne przetwarzanie stanowe języka Python w strumieniu ustrukturyzowanym (SPARK-40434)
  • Obsługa protobuf w strumieniu ze strukturą (SPARK-40653)
  • Naprawiono filtrowanie późnych rekordów w celu obsługi tworzenia łańcuchów operatorów stanowych (SPARK-40925)

Inne istotne zmiany

  • Wprowadzenie do menedżera plików punktu kontrolnego przesyłania strumieniowego na podstawie interfejsu Abortable platformy Hadoop (SPARK-40039)
  • Przestarzałe trigger.Once i podwyższanie poziomu trigger.AvailableNow (SPARK-39805)
  • Uwidaczniaj informacje tabeli wykazu do planu logicznego w zapytaniu przesyłanym strumieniowo (SPARK-39564)
  • Obsługa zbierania metryk z ujściów przesyłania strumieniowego (SPARK-38564)
  • Przestarzały interfejs API DStream (SPARK-42075)
  • Przerzucanie wartości domyślnej konfiguracji przesunięcia platformy Kafka (SPARK-40844)
  • Podaj sklonowaną sesję platformy Spark w elemencie DataFrame w funkcji użytkownika dla ujścia foreachBatch w PySpark (SPARK-41379)

Spark Connect

Klient języka Python

  • Implementowanie interfejsu API ramki danych (SPARK-41279)
  • Implementowanie interfejsu API kolumn (SPARK-41282)
  • Implementowanie interfejsu API usługi Functions (SPARK-41283)
  • Implementowanie interfejsu API platformy SparkSession (SPARK-41281)
  • Implementowanie interfejsu API we/wy (SPARK-41284)
  • Implementowanie interfejsu API wykazu (SPARK-41289)
  • Obsługa funkcji zdefiniowanych przez użytkownika w języku Python (SPARK-41661)
  • Obsługa interfejsu API funkcji Pandas/Arrow (SPARK-42393)
  • Obsługa konfiguracji SQL środowiska uruchomieniowego (SPARK-42499)
  • Kompilowanie, pakowanie i infrastruktura dla programu Spark Connect (SPARK-41286)
  • Adnotacje typu dla klienta Języka Python Platformy Spark Connect (SPARK-40451)

Klient Scala

PySpark

Interfejs API biblioteki Pandas na platformie Apache Spark

  • Większa poprawa
    • Dowolne przetwarzanie stanowe języka Python w strumieniu ustrukturyzowanym (SPARK-40434)
    • Implementowanie brakujących parametrów interfejsu API biblioteki pandas (SPARK-42883)
    • Obsługa biblioteki Pandas 1.5 (SPARK-40576)
  • Główna funkcja
    • Implementowanie seri.searchsorted (SPARK-40330)
    • Implementowanie series.autocorr (SPARK-38774)
    • Implementowanie elementu DataFrame.mode (SPARK-40138)
    • Implementowanie elementu DataFrame.boxplot i DataFrame.plot.box (SPARK-38993)
    • Implementowanie obiektu DataFrame.corrwith (SPARK-38907)
    • Implementowanie elementu DataFrame.resample i Series.resample (SPARK-39081)
    • Implementowanie elementu DataFrame.interpolate i Series.interpolate (SPARK-38844)
    • Implementowanie elementów DataFrame.ewm i Series.ewm (SPARK-38785)
    • Implementowanie elementu GroupBy.prod (SPARK-40334)
    • Implementowanie elementu GroupBy.nth (SPARK-40333)
    • Implementowanie elementu GroupBy.quantile (SPARK-40332)
    • Implementowanie elementu GroupBy.sem (SPARK-40305)
    • Implementowanie groupBy.mad (SPARK-39284)
    • Implementowanie elementu GroupBy.skew (SPARK-39246)
    • Implementowanie elementu GroupBy.ewm (SPARK-39129)
    • Obsługa indeksowania pozycyjnego według (SPARK-38947)

Inne istotne zmiany

  • Główne ulepszenia
    • Podaj profiler pamięci dla funkcji zdefiniowanych przez użytkownika PySpark (SPARK-40281)
    • Ustaw, że interfejs API wykazu jest zgodny z przestrzenią nazw w warstwie 3 (SPARK-39235)
    • Obsługa danych wejściowych NumPy w narzędziu PySpark (SPARK-39405)
    • Ulepszenia błędów PySpark (SPARK-41597)
  • Główne funkcje

MLLIB

SparkR

Usługa serwera interfejsu użytkownika i historii na żywo

  • Lepsza skalowalność interfejsu użytkownika platformy Spark i stabilność sterownika dla dużych aplikacji (SPARK-41053)
  • Użyj bazy danych RocksDB domyślnie spark.history.store.hybridStore.diskBackend (SPARK-42277)
  • Grupowanie zagnieżdżonych wykonań w ramach wykonywania głównego (SPARK-41752)
  • Pokaż właściwości metryk na karcie środowiska (SPARK-39110)
  • Naprawiono rozmiar/rekordy wejściowe programu StagePage, które nie są wyświetlane, gdy rekordy są większe niż zero (SPARK-34777)
  • Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s (SPARK-39489)
  • Obsługa parametru spark.history.fs.update.batchSize (SPARK-39225)

Kompilacja

  • Zaktualizuj pakiet cloudpickle do wersji 2.2.0 (SPARK-40991)
  • Przestarzała obsługa języka Python 3.7 (SPARK-39861)
  • Obsługa języka Python 3.11 (SPARK-41454)
  • Zaktualizuj bibliotekę dev.ludovic.netlib do wersji 3.0.2 (SPARK-40251)
  • Aktualizacja do wersji 2.0 (SPARK-39616)
  • Aktualizacja wersji slf4j do wersji 2.0.6 (SPARK-41561)
  • Aktualizowanie wersji klienta kubernetes-client do wersji 6.4.1 (SPARK-42362)
  • Aktualizowanie rocksdbjni do wersji 7.9.2 ( SPARK-42129)
  • Zaktualizuj strzałkę Apache do wersji 11.0.0 (SPARK-42161)
  • Uaktualnianie platformy Apache Kafka do wersji 3.3.2 (SPARK-42109)

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 13.0.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black (czarny) 22.6.0 wybielacz 4.1.0
kierunkowskaz 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 kryptografia 37.0.1
rowerzysta 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 dekorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 punkty wejścia 0,4
Wykonywanie 1.2.0 aspekty — omówienie 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 stan obiektu grpcio 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 biblioteka matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 więcej itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notes 6.4.12 numpy 1.21.5 oauthlib 3.2.0
opakowanie 21,3 Pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Poduszka 9.2.0
22.2.2 platformdirs 2.5.2 kreślenie 5.9.0
wtyczka 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirstent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
żądania 2.28.1 lina 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
Sześć 1.16.0 zupy 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 Wytrzymałość 8.0.1
terminado 0.13.1 ścieżka testowa 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlety 5.1.1 ujson 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
koło 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 10.0.1 askpass 1.1 assertthat 0.2.1
backports (backports) 1.4.1 base 4.2.2 base64enc 0.1-3
bitowe 4.0.5 bit64 4.0.5 blob 1.2.3
rozruch 1.3-28 warzyć 1.0-8 Brio 1.1.3
miotła 1.0.3 bslib 0.4.2 cachem 1.0.6
obiekt wywołujący 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 zegar 0.6.1 cluster 2.1.4
codetools 0.2-19 przestrzeń kolorów 2.1-0 commonmark 1.8.1
— kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
kredka 1.5.2 poświadczenia 1.3.2 lok 5.0.0
data.table 1.14.6 usługi Power BI 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 trawić 0.6.31 downlit (wyłączony) 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
wielokropek 0.3.2 evaluate 0,20 fani 1.0.4
farver 2.1.1 szybka mapa 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 zagraniczny 0.8-82
kuźnia 0.2.0 Fs 1.6.1 przyszłość 1.31.0
future.apply 1.10.0 płukać gardło 1.3.0 Generyczne 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globalna 0.16.2
klej 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafika 4.2.2 grDevices 4.2.2
siatka 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 przystań 2.5.1
wysoki 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Identyfikatory 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
Etykietowania 0.4.2 później 1.3.0 krata 0.20-45
lawa 1.7.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASA 7.3-58.2 Macierz 1.5-1 zapamiętywanie 2.0.1
metody 4.2.2 mgcv 1.8-41 mim 0,12
miniUI 0.1.1.1 Metryki modelu 1.2.2.2 modeler 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
równolegle 1.34.0 filar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 pochwała 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 przepisy 1.0.4
rewanż 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions (rversions) 2.1.2
rvest 1.0.3 Sass 0.4.5 waga 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 kształt 1.4.6
błyszczący 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 przestrzenny 7.3-15 Splajnów 4.2.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
przetrwanie 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 zmiana czasu 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
narzędzia 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
wąs 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zamek 2.2.2

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metryki —rdzeń 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics serwlety metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty transport netto 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format strzałki 11.0.0
org.apache.arrow strzałka-pamięć-rdzeń 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow wektor strzałki 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.22
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v2021201
org.eclipse.jetty jetty-kontynuacja 9.4.50.v2021201
org.eclipse.jetty jetty-http 9.4.50.v2021201
org.eclipse.jetty jetty-io 9.4.50.v2021201
org.eclipse.jetty jetty-jndi 9.4.50.v2021201
org.eclipse.jetty jetty-plus 9.4.50.v2021201
org.eclipse.jetty jetty-proxy 9.4.50.v2021201
org.eclipse.jetty jetty-security 9.4.50.v2021201
org.eclipse.jetty jetty-server 9.4.50.v2021201
org.eclipse.jetty jetty-servlet 9.4.50.v2021201
org.eclipse.jetty jetty-servlets 9.4.50.v2021201
org.eclipse.jetty jetty-util 9.4.50.v2021201
org.eclipse.jetty jetty-util-ajax 9.4.50.v2021201
org.eclipse.jetty jetty-webapp 9.4.50.v2021201
org.eclipse.jetty jetty-xml 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-api 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-client 9.4.50.v2021201
org.eclipse.jetty.websocket websocket —wspólne 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-server 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v2021201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Podkładki 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1