Udostępnij za pośrednictwem

Databricks Runtime 8.4 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 8.4 i Databricks Runtime 8.4 Photon obsługiwanych przez platformę Apache Spark 3.1.2. Usługa Databricks wydała tę wersję w lipcu 2021 r. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Funkcje i ulepszenia usługi Delta Lake

Zestawienie danych zmian tabeli różnicowej (GA)

Źródło danych zmian tabeli delty jest teraz ogólnie dostępne. Reprezentuje zmiany na poziomie wiersza między różnymi wersjami tabeli. Po włączeniu dodatkowe informacje są rejestrowane w odniesieniu do zmian na poziomie wiersza dla każdej operacji zapisu w tabeli. Zobacz Use Delta Lake change data feed on Azure Databricks (Używanie zestawienia zmian usługi Delta Lake w usłudze Azure Databricks).

Łatwe ładowanie udostępnionych tabel delty za pomocą środowiska Databricks Runtime

Łącznik Platformy Apache Spark do udostępniania różnicowego w wersji 0.1.0 jest teraz w środowisku Databricks Runtime. Udostępnioną tabelę spark.read.format("deltaSharing").load(uri) można załadować bezpośrednio bez dołączania łącznika Delta Sharing Spark do klastra.

Więcej tabel korzysta z dynamicznego oczyszczania plików

Funkcja dynamicznego oczyszczania plików została dostrojona do wyzwalania w tabelach z mniejszą liczbą plików. Zobacz Dynamiczne oczyszczanie plików.

Lepsza wydajność dzięki automatycznej dostrajaniu rozmiaru pliku docelowego

Rozmiar pliku docelowego dla tabel delty jest teraz automatycznie dostrojony na podstawie rozmiaru tabeli. Wcześniej rozmiar OPTIMIZE pliku docelowego dla i OPTIMIZE ZORDER BY wynosił 1 GB. Dzięki automatycznemu dostrojeniu na podstawie rozmiaru tabeli tabele delty do 2,56 TB będą używać 256 MB jako rozmiaru docelowego. Tabele większe niż 10 TB będą używać 1 GB, tak jak poprzednio. Tabele między tymi rozmiarami będą używać rozmiarów docelowych, które rosną proporcjonalnie wraz z rozmiarem tabeli. Zobacz Konfigurowanie usługi Delta Lake w celu kontrolowania rozmiaru pliku danych.

Więcej sposobów określania tabel w DeltaTable.forName

DeltaTable.forName program obsługuje teraz używanie delta.`<path>` funkcji do identyfikowania tabel.

Niezawodne przesyłanie strumieniowe zapisów w wielu tabelach przy użyciu polecenia foreachBatch

Idempotentne zapisy przesyłania strumieniowego delta w poleceniu foreachBatch() są teraz obsługiwane. Aby uzyskać szczegółowe informacje, zobacz Idempotentne zapisy w wielu tabelach.

Zwiększona wydajność zapytań odczytu w niektórych obciążeniach z powodu dostrojonych punktów kontrolnych

Usługa Delta Lake dostraja teraz, jak często wykonuje ulepszone punkty kontrolne. Zamiast punktów kontrolnych w stałym interwale funkcja Delta dynamicznie dostosowuje częstotliwość punktów kontrolnych na podstawie niektórych wyzwalaczy zdarzeń. Zwiększa to wydajność zapytań odczytu w obciążeniach, w których nie można było wcześniej zastosować optymalizacji pomijania danych. Aby użyć tych optymalizacji, uaktualnij zadania zapisujące do usługi Delta Lake do środowiska Databricks Runtime 8.4. Zobacz Włączanie rozszerzonych punktów kontrolnych dla zapytań przesyłania strumieniowego ze strukturą.

Tworzenie GroupState w celu przetestowania zdefiniowanych przez użytkownika funkcji przesyłania strumieniowego ze strukturą

Do tej pory tylko aparat przesyłania strumieniowego ze strukturą mógł tworzyć wystąpienia klasy GroupState. W związku z tym wszystkie testy jednostkowe funkcji zdefiniowanej przez użytkownika wymagały uruchomienia zapytania przesyłania strumieniowego na platformie Apache Spark.

Teraz możesz utworzyć wystąpienia GroupState programu przy użyciu polecenia TestGroupState.create(…). Dzięki temu można przetestować funkcję zdefiniowaną przez użytkownika w prostych testach jednostkowych, które nie wymagają uruchamiania platformy Spark. Zobacz Testowanie funkcji aktualizacji mapGroupsWithState. W szczególności tworzy wystąpienia typu TestGroupState , które rozszerzają interfejs GroupState z dodatkowymi metodami introspekcją stanu wewnętrznego po zastosowaniu funkcji zdefiniowanej przez użytkownika.

Funkcje i ulepszenia automatycznego modułu ładującego

Konfigurowanie wypełniania kopii zapasowych w celu przechwytywania nieodebranych plików

Funkcja automatycznego ładowania obsługuje teraz asynchroniczne wykonywanie wypełniania w celu przechwycenia wszystkich plików, które mogły zostać pominięte w powiadomieniach dotyczących plików. Systemy magazynowania plików i systemy powiadomień nie mogą zagwarantować 100% dostarczania wszystkich zdarzeń plików. W związku z tym usługa Databricks zaleca włączenie okresowych uzupełnień w celu przechwycenia wszystkich danych za pomocą modułu automatycznego ładowania. cloudFiles.backfillInterval Użyj opcji , aby zaplanować regularne wypełnianie danych. Zobacz Typowe opcje automatycznego modułu ładującego.

Powiązana ilość miejsca do magazynowania dla dużych strumieni woluminów

Teraz można skonfigurować automatyczne ładowanie tak, aby wygasało i usuwało wpisy w bazie danych RocksDB, aby powiązać jego ślad magazynowania w lokalizacji punktu kontrolnego. Usługa Databricks nie zaleca używania, chyba że pozyskiwane są dane w kolejności milionów plików na godzinę. Ustawienie tej opcji niepoprawnie lub próba dostosowania może prowadzić do wielu problemów z jakością danych, takich jak nieprzetworzone pliki są ignorowane lub duplikowane niektóre pliki zamiast dokładnie raz przetwarzania. Aby uzyskać szczegółowe informacje, zobacz Przechowywanie zdarzeń.

Uproszczona konfiguracja z obsługą bez ścieżki

Zasobniki S3

Teraz możesz podać kolejkę SQS, która odbiera zdarzenia z wielu ścieżek lub zasobników S3. Jeśli podasz adres URL kolejki SQS, opcja nie jest wymagana path dla tego przypadku użycia. Automatyczne ładowanie konstruuje ścieżki S3 przy użyciu zasobnika i klucza ze zdarzeń S3. Jeśli chcesz odczytać pliki za pośrednictwem punktów instalacji systemu plików DBFS, możesz użyć cloudFiles.pathRewrites polecenia , aby zmienić prefiksy ścieżki na dbFS. Nie jest to wymagane, chyba że uzyskujesz dostęp do danych na różnych kontach za pomocą polecenia AssumeRole.

Zobacz Opcje powiadomień o plikach.

Kontenery usługi Azure Data Lake Storage Gen2

Teraz możesz podać kolejkę platformy Azure, która odbiera zdarzenia z wielu kontenerów. Jeśli podasz nazwę kolejki platformy Azure, opcja nie jest wymagana path . Domyślnie moduł automatycznego ładowania konstruuje ścieżki usługi Azure Data Lake Storage Gen2 przy użyciu kontenera i klucza w zdarzeniach plików. Jeśli chcesz użyć ścieżek WASB lub punktów instalacji systemu plików DBFS, możesz użyć cloudFiles.pathRewrites polecenia , aby zmienić prefiksy ścieżki.

Zobacz Opcje powiadomień o plikach.

Uaktualnienia łączników

  • Łącznik Snowflake Spark został zaktualizowany do wersji 2.9.0.
  • Szyfrowanie kmS jest teraz obsługiwane w UNLOAD instrukcji łącznika Redshift.

Poprawki błędów

  • Rozwiązano problem dotyczący klastrów z włączoną kontrolą dostępu do tabeli, w której select * from folder można wyświetlać zawartość folderu, nawet jeśli użytkownik nie ma uprawnień dostępu do plików.
  • Właściciele baz danych niebędący administratorami mogą teraz usuwać tabele nienależące do właścicieli w bazach danych. Rozwiązano problem polegający na tym, że właściciele baz danych nie mogli usunąć bazy danych, jeśli w bazie danych istniały tabele nienależące do firmy.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • certyfikat został uaktualniony z wersji 2020.12.5 do 2021.5.30
    • uaktualnienie destylu z wersji 0.3.1 do 0.3.2
    • Program koalas został uaktualniony z wersji 1.8.0 do wersji 1.8.1
    • Protobuf uaktualniono z wersji 3.17.0 do 3.17.3
  • Uaktualnione biblioteki języka R:
    • od 4.0.4 do 4.1.0
    • rozruch z wersji 1.3-27 do 1.3-28
    • klasa z 7.3-18 do 7.3-19
    • klaster z wersji 2.1.1 do 2.1.2
    • kompilator z wersji 4.0.4 do 4.1.0
    • zestawy danych z wersji 4.0.4 do 4.1.0
    • grafika z wersji 4.0.4 do 4.1.0
    • grDevices z 4.0.4 do 4.1.0
    • siatka z 4.0.4 do 4.1.0
    • KernSmooth z 2.23-18 do 2.23-20
    • lattice z 0.20-41 do 0.20-44
    • MASA z 7.3-53.1 do 7.3-54
    • Macierz z zakresu od 1,3 do 1,3–3
    • metody z zakresu od 4.0.4 do 4.1.0
    • mgcv z 1.8-33 do 1.8-35
    • sieć nnet z 7.3-15 do 7.3-16
    • równoległe z wersji 4.0.4 do 4.1.0
    • Rserve z 1.8-7 do 1.8-8
    • SparkR z wersji 3.1.1 do 3.1.2
    • linie od 4.0.4 do 4.1.0
    • statystyki z 4.0.4 do 4.1.0
    • stats4 z 4.0.4 do 4.1.0
    • przeżycie z 3.2-7 do 3.2-11
    • tcltk z 4.0.4 do 4.1.0
    • narzędzia z wersji 4.0.4 do 4.1.0
    • Narzędzia z wersji 4.0.4 do 4.1.0
  • Uaktualnione biblioteki Java:
    • snowflake-jdbc z 3.12.8 do 3.13.3
    • spark-snowflake_2.12 z wersji 2.8.1-spark_3.0 do 2.9.0-spark_3.1
    • RoaringBitmap z 0.9.0 do 0.9.14
    • podkładki od 0.9.0 do 0.9.14
    • rocksdbjni fromm 6.2.2 do 6.20.3

Apache Spark

Środowisko Databricks Runtime 8.4 zawiera platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.3 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-35792] [SQL] Widok nie powinien przechwytywać konfiguracji używanych w programie RelationConversions
  • [SPARK-35700] [SQL] Odczytywanie tabeli char/varchar orc z utworzonymi i zapisanymi przez systemy zewnętrzne
  • [SPARK-35636] [SQL] Klucze lambda nie powinny być przywołyne poza funkcją lambda
  • [SPARK-35800] [Cherry Pick] Ulepszanie testowalności groupstate przez wprowadzenie testGroupState
  • [SPARK-35391] Naprawianie przecieku pamięci w funkcji ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Naprawiono metryki allUpdatesTimeMs w elemecie FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Usuwanie zależności wyliczenia podklasy StateStoreCustomMetric
  • [SPARK-35791 [SQL] Wydanie na mapie przechodzącej prawidłowo dla sprzężenia ANTI z obsługą wartości NULL
  • [SPARK-35695] [SQL] Zbieranie obserwowanych metryk z buforowanych i adaptacyjnych drzew wykonywania
  • [SPARK-35767] [SQL] Unikaj dwukrotnego wykonywania planu podrzędnego w programie CoalesceExec
  • [SPARK-35746] [Interfejs użytkownika] Naprawianie identyfikatora taskid na osi czasu zdarzeń zadania na stronie etapu
  • [SPARK-35673] [SQL] Napraw wskazówkę zdefiniowaną przez użytkownika i nierozpoznaną wskazówkę w podzapytaniu.
  • [SPARK-35714] [CORE] Poprawka usterki zakleszczenia podczas zamykania funkcji wykonawczej
  • [SPARK-35689] [SS] Dodaj alert dziennika, gdy właściwość keyWithIndexToValue zwraca wartość null
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint nie powinien ignorować pliku shuffle tylko indeksu podczas aktualizowania
  • [SPARK-35643] [PYTHON] Naprawiono niejednoznaczne odwołanie w kolumnie functions.py()
  • [SPARK-35652] [SQL] joinWith w dwóch tabelach wygenerowanych na podstawie tej samej
  • [SPARK-35679] [SQL] instantToMicros overflow
  • [SPARK-35602] [SS] Aktualizowanie schematu stanu w celu akceptowania długiej długości kodu JSON
  • [SPARK-35653] [SQL] Naprawa błędu CatalystToExternalMap zinterpretowaną ścieżką kończy się niepowodzeniem dla mapowania z klasami liter jako kluczami lub wartościami
  • [SPARK-35296] [SQL] Zezwalaj na działanie elementu Dataset.observe, nawet jeśli funkcja CollectMetricsExec w zadaniu obsługuje wiele partycji.
  • [SPARK-35659] [SS] Unikaj zapisu o wartości null w magazynie stanów
  • [SPARK-35665] [SQL] Rozwiązywanie problemów z nierozwiązanymIęciami w kolekcji CollectMetrics
  • [SPARK-35558] Optymalizowanie pod kątem pobierania wielokwantylu
  • [SPARK-35621] [SQL] Dodawanie przycinania identyfikatora reguły do reguły TypeCoercion
  • [SPARK-35077] [SQL] Migrowanie do funkcji transformWithPruning dla reguł optymalizatora lewej
  • [SPARK-35610] [CORE] Naprawa przecieku pamięci wprowadzonego przez punkt zaczepienia zatrzymania funkcji wykonawczej
  • [SPARK-35544] [SQL] Dodawanie przycinania wzorca drzewa do reguł analizatora
  • [SPARK-35566] [SS] Naprawianie wierszy wyjściowych StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Jeden element LogicalPlan może być zgodny z wieloma identyfikatorami zestawu danych
  • [SPARK-35538] [SQL] Migrowanie witryn wywołania transformAllExpressions w celu używania funkcji transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][SQL] Unikaj niepowodzenia zmiany nazwy spowodowanej brakiem nazwy katalogu docelowego
  • [SPARK-35287] [SQL] Zezwalaj funkcji RemoveRedundantProjects na zachowywanie elementu ProjectExec, który generuje wartość UnsafeRow dla elementu DataSourceV2ScanRelation
  • [SPARK-35495] [R] Zmiana obsługi aparatu SparkR dla usługi CRAN
  • [SPARK-27991] [CORE] Odrocz żądanie pobierania na netty OOM
  • [SPARK-35171] [R] Deklarowanie pakietu markdown jako zależności pakietu SparkR
  • [SPARK-35454] [SQL] Jeden plan logiczny może być zgodny z wieloma identyfikatorami zestawu danych
  • [SPARK-35298] [SQL] Migrowanie do funkcji transformWithPruning dla reguł w pliku Optimizer.scala
  • [SPARK-35480] [SQL] Percentile_approx praca z przestawnym
  • [SPARK-35093] [SQL] Usługa AQE używa teraz nowego planuQueryStage jako klucza do wyszukiwania buforowanych wymian do ponownego użycia
  • [SPARK-35146] [SQL] Migrowanie do elementu transformWithPruning lub resolveWithPruning dla reguł w pliku finishAnalysis.scala
  • [SPARK-35411] [SQL] Dodawanie podstawowych informacji podczas serializacji TreeNode do formatu json
  • [SPARK-35294] [SQL] Dodawanie oczyszczania drzewa w regułach z dedykowanymi plikami w optymalizatorze
  • [SPARK-34897] [SQL][3.1] Obsługa uzgadniania schematów na podstawie indeksu po zagnieżdżonym czyszaniu kolumn
  • [SPARK-35144] [SQL] Migrowanie do funkcji transformWithPruning dla reguł obiektów
  • [SPARK-35155] [SQL] Dodawanie przycinania identyfikatora reguły do reguł analizatora
  • [SPARK-35382] [PYTHON] Rozwiąż problemy z nazwą zmiennej lambda w zagnieżdżonych funkcjach ramki danych w interfejsach API języka Python.
  • [SPARK-35359] [SQL] Wstawianie danych z wartością char/varchar datatype zakończy się niepowodzeniem, gdy długość danych przekroczy ograniczenie długości
  • [SPARK-35381] [R] Rozwiązywanie problemów z nazwą zmiennej lambda w zagnieżdżonych funkcjach wyższego zamówienia w interfejsach API języka R

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
kryptografia 3.1.1 rowerzysta 0.10.0 Cython 0.29.21
dekorator 4.4.2 distlib 0.3.2 docutils 0.15.2
punkty wejścia 0.3 aspekty — omówienie 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koale 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
20.2.4 kreślenie 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
żądania 2.24.0 Ponawianie... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Sześć 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlety 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
koło 0.35.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bitowe 4.0.4 bit64 4.0.5 blob 1.2.1
rozruch 1.3-28 warzyć 1.0-6 Brio 1.1.0
miotła 0.7.2 obiekt wywołujący 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 przestrzeń kolorów 2.0-0 commonmark 1,7
— kompilator 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 kredka 1.3.4 poświadczenia 1.3.0
Crosstalk 1.1.0.1 lok 4.3 data.table 1.13.4
usługi Power BI 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trawić 0.6.27 dplyr 1.0.2 DT 0.16
wielokropek 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 szybka mapa 1.0.1 forcats 0.5.0
foreach 1.5.1 zagraniczny 0.8-81 kuźnia 0.2.0
Fs 1.5.0 przyszłość 1.21.0 Generyczne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globalna 0.14.0
klej 1.4.2 Gower 0.2.2 grafika 4.1.0
grDevices 4.1.0 siatka 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 przystań 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
Etykietowania 0.4.2 później 1.1.0.1 krata 0.20-44
lawa 1.6.8.1 opóźnienie 0.2.2 cykl życia 0.2.0
nasłuchiwanie 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASA 7.3-54 Macierz 1.3-3
zapamiętywanie 1.1.0 metody 4.1.0 mgcv 1.8-35
mim 0,9 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
równolegle 1.22.0 filar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 pochwała 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Postęp 1.2.2 Obietnice 1.1.1 Proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 przepisy 0.1.15
rewanż 1.0.1 rewanż2 2.1.2 Piloty 2.2.0
reprex 0.3.0 zmień kształt2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions (rversions) 2.0.2 rvest 0.3.6 waga 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 kształt 1.4.5
błyszczący 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 przestrzenny 7.3-11 Splajnów 4.1.0
sqldf 0.4-11 KWADRAT 2020.5 Statystyki 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
przetrwanie 3.2-11 sys 3.4 tcltk 4.1.0
NauczanieDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 narzędzia 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 wąs 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zamek 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-klej 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
drzewa maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kodowanie parquet 1.10.1-databricks9
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kontynuacja 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podkładki 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52