Udostępnij za pośrednictwem

Databricks Runtime 7.2 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Usługa Databricks wydała tę wersję w sierpniu 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.2 obsługiwanym przez platformę Apache Spark 3.0.

Nowe funkcje

Środowisko Databricks Runtime 7.2 zawiera następujące nowe funkcje.

Automatyczne ładowanie jest ogólnie dostępne

Automatyczne ładowanie to wydajna metoda przyrostowego pozyskiwania dużej liczby plików do usługi Delta Lake. Teraz jest ogólnie dostępna i dodaje następujące funkcje: lista katalogów, interfejs API zarządzania zasobami w chmurze, opcja ograniczania szybkości i walidacja opcji.

Opcja tryb listy katalogów

Moduł automatycznego ładowania dodaje nowy tryb wyświetlania listy katalogów oprócz istniejącego trybu powiadamiania o plikach w celu określenia, kiedy istnieją nowe pliki.

  • Tryb listy katalogów: w niektórych scenariuszach istnieje tylko kilka plików, w których należy regularnie przesyłać strumieniowo. W takich przypadkach identyfikowanie nowych plików przez równoległą listę katalogu wejściowego i pozyskiwanie ich jest dość wydajne. Dzięki temu można uruchamiać strumienie automatycznego modułu ładującego bez żadnej konfiguracji uprawnień. Tryb listy katalogów jest trybem domyślnym dla automatycznego modułu ładującego z środowiska Databricks Runtime 7.2 lub nowszego.
  • Tryb powiadomień dotyczących plików: możesz jawnie wyrazić zgodę na tryb powiadomień plików, który jest bardziej wydajny i skalowalny dla dużych katalogów wejściowych, ale wymaga skonfigurowania uprawnień dla usługi powiadomień w celu subskrybowania zdarzeń plików i ustawiania .option("cloudFiles.useNotifications", "true"). Istniejące strumienie automatycznego modułu ładującego uruchomione w środowisku Databricks Runtime 7.1 i poniżej automatycznie decydują się na tryb powiadomień dotyczących plików podczas uaktualniania do środowiska Databricks Runtime 7.2.

Aby uzyskać więcej informacji, zobacz Co to jest moduł automatycznego ładowania?.

Interfejs API zarządzania zasobami w chmurze

Teraz możesz użyć naszego interfejsu API języka Scala do zarządzania zasobami w chmurze utworzonymi przez moduł automatycznego ładowania. Możesz wyświetlić listę usług powiadomień i usunąć określone usługi powiadomień przy użyciu tego interfejsu API. Aby uzyskać więcej informacji, zobacz Ręczne konfigurowanie zasobów powiadomień o plikach lub zarządzanie nimi.

Opcja ograniczania szybkości

Teraz możesz użyć opcji cloudFiles.maxBytesPerTrigger, aby ograniczyć ilość danych przetwarzanych w poszczególnych mikrobajtach. Można określić ciąg bajtów, taki jak 10g, aby ograniczyć każdy mikrobajt do 10 GB danych. Jest to miękkie maksimum. Jeśli masz pliki o rozmiarze 3 GB, usługa Azure Databricks przetwarza 12 GB w mikrobajtach. Ta opcja nie ma żadnego wpływu w przypadku użycia z Trigger.Once()programem . Jeśli ta opcja nie zostanie podana, domyślna wartość cloudFiles.maxFilesPerTrigger 1000 plików jest używana do ograniczania szybkości. W przypadku korzystania z cloudFiles.maxFilesPerTrigger, usługa Azure Databricks zużywa do najniższego limitu cloudFiles.maxFilesPerTrigger lub cloudFiles.maxBytesPerTrigger, w zależności od tego, który zostanie osiągnięty jako pierwszy.

Aby uzyskać więcej informacji, zobacz Co to jest moduł automatycznego ładowania?.

Walidacja opcji

Moduł automatycznego ładowania weryfikuje teraz podane opcje. Jeśli podasz nieznaną opcję, funkcja automatycznego modułu ładującego zwraca błąd zamiast dyskretnie ignorować tę opcję. Walidacja wykrywa również niespójności w podanych opcjach. Jeśli na przykład ustawisz cloudFiles.useNotifications na false i jednocześnie udostępnisz opcje uprawnień dla usług Azure Event Grid i Queue Storage, validation zakończy się niepowodzeniem. Aby pominąć walidację opcji, ustaw cloudFiles.validateOptions na false.

Zmiany w domyślnych wartościach opcji i zgodności

Domyślne zachowanie niektórych opcji automatycznego modułu ładującego zostało zmienione w środowisku Databricks Runtime 7.2. Aby zapewnić zgodność, zachowanie strumieni uruchomionych w środowisku Databricks Runtime 7.1 i nowszym pozostanie niezmienione nawet po uaktualnieniu do uruchamiania takich strumieni w klastrze z uruchomionym środowiskiem Databricks Runtime 7.2 lub nowszym. Zobacz Co to jest moduł automatycznego ładowania?.

Wydajne kopiowanie tabeli delty przy użyciu clone (publiczna wersja zapoznawcza)

Teraz można wydajnie utworzyć płytką lub głęboką kopię tabeli Delta w określonej wersji za pomocą polecenia clone. Głębokie klonowanie to autonomiczny klon tabeli delty utworzonej przez równoległe kopiowanie plików z tabeli źródłowej do tabeli docelowej. Płytki klon to oszczędnie utworzony klon, który nie kopiuje plików do tabeli celowej, ale wskazuje na pliki z oryginalnej tabeli. Wszelkie zmiany dokonane w głębokim lub płytkim klonie mają wpływ tylko na klon, a nie na oryginalną tabelę. Zobacz Klonowanie tabeli w usłudze Azure Databricks.

Ulepszenia

  • Łącznik snowflake: łącznik został uaktualniony do wersji 2.8.1, która obejmuje obsługę platformy Spark 3.0.

  • Użyteczność narzędzia PySpark: gdy usługa PySpark lub pandas UDF ulegnie awarii, usługa Azure Databricks wyświetla teraz wyjątek po stronie języka Python i ostatnio wykonany wiersz kodu notesu (jeśli ma zastosowanie) w górnej części komunikatu o błędzie.

  • Przekazywanie poświadczeń:

    • Teraz możesz użyć funkcji przekształcania LDA w klastrze z obsługą przekazywania.
    • Teraz można ustawić katalog kontrolny pamięci masowej w klastrze z włączonym przekazywaniem.

  • Biblioteki klastra: usługa Azure Databricks przetwarza teraz wszystkie biblioteki klastra w kolejności, w której zostały zainstalowane w klastrze. W środowisku Databricks Runtime 7.1 lub nowszym tylko biblioteki Maven i CRAN zostały przetworzone w kolejności, w której zostały zainstalowane w klastrze. Inne biblioteki zostały zainstalowane w nieokreślonej kolejności.

  • TensorBoard:

    • Zarządzanie procesami TensorBoard za pomocą interfejsu tensorboard.notebook API.
    • W jednym klastrze może być uruchomionych wiele zapleczy TensorBoard.
    • W notesach języka Python wyświetl wbudowany interfejs użytkownika TensorBoard przy użyciu %tensorboard polecenia magic wiersza.
    • dbutils.tensorboard jest przestarzały.

    Zobacz TensorBoard.

  • Uaktualnione biblioteki języka Python:

    • Program jmespath został uaktualniony z wersji 0.9.4 do 0.10.0.
    • Program koalas został uaktualniony z wersji 1.0.1 do wersji 1.1.0.

  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.

Apache Spark

Środowisko Databricks Runtime 7.2 obejmuje platformę Apache Spark 3.0.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-32234] [SQL] Polecenia spark sql kończą się niepowodzeniem podczas wybierania tabel orc
  • [SPARK-30616] [SQL] Wprowadzenie opcji konfiguracji czasu wygaśnięcia dla pamięci podręcznej metadanych SQL
  • [SPARK-21117] [SQL] Wbudowana obsługa funkcji SQL — WIDTH_BUCKET
  • [SPARK-32168] [SQL] Naprawa ukrytej usterki poprawności partycjonowania w zastąpieniu bazy danych SQL
  • [SPARK-31935] Konfiguracja systemu plików Hadoop powinna być skuteczna w opcjach źródła danych
  • [SPARK-32270] [SQL] Użyj formatu TextFileFormat w wnioskowaniu schematu CSV z innym kodowaniem
  • [SPARK-28481] [SQL] Więcej wyrażeń powinno rozszerzać wartość NullIntolelerancyjną
  • [SPARK-32220] [SQL] Wskazówka SHUFFLE_REPLICATE_NL nie powinna zmieniać wyniku łączenia produktu nie-kartezjańskiego.
  • [SPARK-32232] [ML][PYSPARK] Upewnij się, że uczenie maszynowe ma te same domyślne wartości modułu rozwiązywania między językiem Scala i Python
  • [SPARK-32238] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w scalaUDF
  • [SPARK-32220] [SQL] Podpowiedź SHUFFLE_REPLICATE_NL nie powinna zmieniać wyniku łączenia nie-kartezjańskiego produktu.
  • [SPARK-32256] [SQL] Wymuszanie inicjowania informacji o wersji usługi Hadoop w programie HiveExternalCatalog
  • [SPARK-32159] [SQL] Naprawiono integrację między agregatorem[Array[_], _, _] i UnresolvedMapObjects
  • [SPARK-32160] [CORE][PYSPARK] Nie zezwalaj na tworzenie elementu SparkContext w funkcjach wykonawczych
  • [SPARK-32168] [SQL] Naprawa ukrytej usterki poprawności partycjonowania w zastąpieniu bazy danych SQL
  • [SPARK-32024] [WEBUI] Aktualizowanie parametru ApplicationStoreInfo.size podczas inicjowania elementu HistoryServerDiskManager
  • [SPARK-32214] [SQL] Funkcja konwersji typów wygenerowana w funkcji makeFromJava dla "innego" typu używa nieprawidłowej zmiennej
  • [SPARK-30703] [SQL] Update SqlBase.g4 — nieprawidłowy komentarz
  • [SPARK-32163] [SQL] Zagnieżdżone oczyszczanie powinno działać nawet w przypadku odmian kosmetycznych
  • [SPARK-32124] [CORE] Użyj nieprawidłowej wartości Int.MinValue, aby wypełnić indeks mapy, gdy zdarzenie rejestruje się ze starej wersji platformy Spark
  • [SPARK-32167] [SQL] Naprawianie pola GetArrayStructFields w celu przestrzegania wartości null pola wewnętrznego
  • [SPARK-32130] [SQL] Włączanie wnioskowania sygnatur czasowych w JsonBenchmark
  • [SPARK-32121] [SHUFFLE] Obsługa systemu operacyjnego Windows w funkcji ExecutorDiskUtils
  • [SPARK-32130] [SQL] Wyłącz opcję inferTimestamp JSON domyślnie
  • [SPARK-31935] [SQL] Konfiguracja systemu plików Hadoop powinna być skuteczna w opcjach źródła danych
  • [SPARK-32095] [SQL] Aktualizacja dokumentacji odzwierciedlająca użycie zaktualizowanych statystyk
  • [SPARK-32131] [SQL] Naprawianie komunikatów AnalysisException w operacjach UNION/EXCEPT/MINUS
  • [SPARK-32068] [WEBUI] Skorygowanie problemu z wyświetlaniem czasu uruchomienia zadania z powodu strefy czasowej w zakładce etapu
  • [SPARK-29999] [SS] Poprawka testu w celu sprawdzenia rzeczywistego katalogu dziennika metadanych
  • [SPARK-32127] [SQL] Sprawdzanie reguł dla MERGE INTO powinno używać MergeAction.condition zamiast MergeAction.children
  • [SPARK-32038] [SQL] Ustaw nazwę aliasu jako ładną po normalizacji zmiennoprzecinkowej/podwójnej
  • [SPARK-32126] [SS] Scope Session.active in IncrementalExecution
  • [SPARK-32115] [SQL] Naprawianie podciągów w celu obsługi przepełnienia liczb całkowitych
  • [SPARK-32098] [PYTHON] Użyj operacji iloc do fragmentowania pozycyjnego zamiast bezpośredniego fragmentowania w elemencie createDataFrame ze strzałką
  • [SPARK-32080][SPARK-31998] [SQL] Uproszczenie metody dostępu ArrowColumnVector ListArray
  • [SPARK-32028] [WEBUI] poprawka linku identyfikatora aplikacji dla wielu prób aplikacji na stronie podsumowania historii
  • [SPARK-31918] [R] Ignoruj metody ogólne S4 w przestrzeni nazw SparkR w celu czyszczenia zamknięcia, aby obsługiwać R 4.0.0+
  • [SPARK-32038] [SQL] NormalizeFloatingNumbers powinien również działać w przypadku odrębnej agregacji
  • [SPARK-32034] [SQL] Port HIVE-14817: Zamknij wątek timeout SessionManagerWątek platformy Azure po zamknięciu
  • [SPARK-32021] [SQL] Zwiększanie dokładności sekund i ułamków make_interval
  • [SPARK-31980] [SQL] Sekwencja funkcji() kończy się niepowodzeniem, jeśli początek i koniec zakresu są równe daty
  • [SPARK-32020] [SQL] Lepszy komunikat o błędzie, gdy SPARK_HOME lub spark.test.home nie jest ustawiony
  • [SPARK-32011] [PYTHON][CORE] Usuwanie ostrzeżeń dotyczących trybów pin-thread i przewodnik dotyczący używania funkcji collectWithJobGroup

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.2.

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R w wersji 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 kryptografia 2.8 rowerzysta 0.10.0
Cython 0.29.15 dekorator 4.4.1 docutils 0.15.2
punkty wejścia 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 Koale 1.1.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 żądania 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 Sześć 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlety 4.3.3
nienadzorowane uaktualnienia 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 koło 0.34.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2020-07-14.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bitowe 1.1-15.2 bit64 0.9-7 blob 1.2.1
rozruch 1.3-25 warzyć 1.0-6 miotła 0.7.0
obiekt wywołujący 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
przestrzeń kolorów 1.4-1 commonmark 1,7 — kompilator 3.6.3
config 0.3 covr 3.5.0 kredka 1.3.4
Crosstalk 1.1.0.1 lok 4.3 tabela danych 1.12.8
usługi Power BI 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Desc 1.2.0 devtools 2.3.0 trawić 0.6.25
dplyr 0.8.5 DT 0,14 wielokropek 0.3.1
evaluate 0,14 fani 0.4.1 farver 2.0.3
szybka mapa 1.0.1 forcats 0.5.0 foreach 1.5.0
zagraniczny 0.8-76 kuźnia 0.2.0 Fs 1.4.2
Generyczne 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globalna 0.12.5
klej 1.4.1 Gower 0.2.2 grafika 3.6.3
grDevices 3.6.3 siatka 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 przystań 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iteratory 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1,29
Etykietowania 0.3 później 1.1.0.1 krata 0.20-41
lawa 1.6.7 opóźnienie 0.2.2 cykl życia 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASA 7.3-51.6 Macierz 1.2-18 zapamiętywanie 1.1.0
metody 3.6.3 mgcv 1.8-31 mim 0,9
Metryki modelu 1.2.2.2 modeler 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 filar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 pochwała 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.3
prodlim 2019.11.13 Postęp 1.2.2 Obietnice 1.1.1
Proto 1.0.0 PS 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
przepisy 0.1.13 rewanż 1.0.1 rewanż2 2.1.2
Piloty 2.1.1 reprex 0.3.0 zmień kształt2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions (rversions) 2.0.2
rvest 0.3.5 waga 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 kształt 1.4.4 błyszczący 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
przestrzenny 7.3-11 Splajnów 3.6.3 sqldf 0.4-11
KWADRAT 2020.3 Statystyki 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 przetrwanie 3.1-12
sys 3.3 tcltk 3.6.3 NauczanieDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 narzędzia 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 wąs 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 0.15.1
org.apache.arrow strzałka w pamięci 0.15.1
org.apache.arrow wektor strzałki 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc podkładki orc-shim 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet kodowanie parquet 1.10.1.2-databricks4
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-kontynuacja 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Podkładki 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52