Udostępnij za pośrednictwem

Databricks Runtime 8.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Usługa Databricks wydała tę wersję w marcu 2021 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 8.0 obsługiwanym przez platformę Apache Spark 3.1.1.

Nowe funkcje

Środowisko Databricks Runtime 8.0 zawiera platformę Apache Spark 3.1.1. Aby uzyskać szczegółowe informacje, zobacz Apache Spark.

Ulepszenia

Funkcja Delta jest teraz formatem domyślnym, gdy nie określono formatu

Środowisko Databricks Runtime 8.0 zmienia domyślny format, aby delta ułatwić tworzenie tabeli delty. Podczas tworzenia tabeli przy użyciu poleceń SQL lub {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} interfejsów API i nie określasz formatu, domyślnym formatem jest delta.

Dzięki usłudze Delta Lake uzyskasz lepszą wydajność za pośrednictwem parquet, lepszą niezawodność danych dzięki rozbudowanej weryfikacji schematu, ograniczeniom jakości i gwarancji transakcyjnych. Usługa Delta Lake pozwala uprościć potoki danych dzięki ujednoliconemu przetwarzaniu strumieniowemu ze strukturą i przetwarzaniu wsadowemu w jednym źródle danych.

Usługa Databricks zaleca używanie usługi Delta Lake do przechowywania danych, ale mogą istnieć starsze przepływy pracy, które wymagają migracji do usługi Delta Lake. Aby uzyskać informacje na temat migrowania istniejących przepływów pracy, zobacz Co to jest usługa Delta Lake?.

Nowy domyślny interwał wyzwalacza przesyłania strumieniowego ze strukturą zmniejsza koszty

Jeśli nie ustawisz interwału wyzwalacza przy użyciu Trigger.ProcessingTime zapytania przesyłania strumieniowego, interwał zostanie ustawiony na 500 ms. Wcześniej domyślny interwał wynosił 0 ms. Ta zmiana powinna zmniejszyć liczbę pustych wyzwalaczy i zmniejszyć koszty magazynowania w chmurze, takie jak lista.

Używanie funkcji przekształcania LDA z przekazywaniem poświadczeń (publiczna wersja zapoznawcza)

Teraz możesz użyć funkcji przekształcania LDA w klastrze skonfigurowanym do używania przekazywania poświadczeń do uwierzytelniania.

Klastry pojedynczego użytkownika skonfigurowane z przekazywaniem poświadczeń nie wymagają już zaufanych systemów plików (publiczna wersja zapoznawcza)

Nie trzeba już konfigurować lokalnych systemów plików jako zaufanych systemów plików w przypadku korzystania ze standardowego lub klastra zadań skonfigurowanego do przekazywania poświadczeń z jednym użytkownikiem. Ta zmiana powoduje usunięcie niepotrzebnych ograniczeń systemu plików podczas uruchamiania zadań w klastrze pojedynczego użytkownika.

Uaktualnienia biblioteki

Apache Spark

Środowisko Databricks Runtime 8.0 zawiera platformę Apache Spark 3.1.1.

W tej sekcji:

Core i Spark SQL

Wyróżnienie

Ulepszenia zgodności usługi ANSI SQL

  • Obsługa typu danych char/varchar (SPARK-33480)
  • Tryb ANSI: błędy środowiska uruchomieniowego zamiast zwracać wartość null (SPARK-33275)
  • Tryb ANSI: nowe jawne reguły składni rzutowania (SPARK-33354)
  • Dodawanie standardowego polecenia SET TIME ZONE SQL (SPARK-32272)
  • Ujednolicenie składni SQL tabeli (SPARK-31257)
  • Ujednolicenie zachowania widoku tymczasowego i widoku trwałego (SPARK-33138)
  • Obsługa listy kolumn w INSERT instrukcji (SPARK-32976)
  • Obsługa zagnieżdżonych komentarzy w nawiasach ANSI (SPARK-28880)

Ulepszenia wydajności

  • Odczytywanie danych lokalnych bez mieszania usługi (SPARK-32077)
  • Usuń nadmiarowe sortowania przed ponownym partycjonowanie węzłów (SPARK-32276)
  • Częściowo wypychane predykaty (SPARK-32302, SPARK-32352)
  • Wypychanie filtrów przez rozszerzenie (SPARK-33302)
  • Wypychanie bardziej możliwych predykatów przez sprzężenie za pośrednictwem konwersji CNF (SPARK-31705)
  • Usuń mieszania, zachowując partycjonowanie danych wyjściowych sprzężenia skrótu emisji (SPARK-31869)
  • Usuń mieszania, poprawiając kolejność kluczy sprzężenia (SPARK-32282)
  • Usuń mieszania, normalizując partycjonowanie danych wyjściowych i kolejność sortowania (SPARK-33399)
  • Ulepszenie sprzężenia skrótu (SPARK-32461)
  • Obsługa eliminacji podwyrażenia w projekcie przy użyciu modułu codegen całego etapu (SPARK-33092)
  • Obsługa eliminacji podrażenia w wyrażeniach warunkowych (SPARK-33337)
  • Obsługa eliminacji podrażenia dla oceny wyrażeń interpretowanych (SPARK-33427)
  • Obsługa eliminacji podwyrażenia dla interpretowanego predykatu (SPARK-33540)
  • Inne reguły optymalizatora
    • Reguła ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Reguła EliminateNullAwareAntiJoin (SPARK-32573)
    • Reguła EliminateAggregateFilter (SPARK-32540)
    • Reguła UnwrapCastInBinaryComparison (SPARK-32858)
    • Reguła DisableUnnecessaryBucketedScan (SPARK-32859)
    • Reguła CoalesceBucketsInJoin (SPARK-31350)
    • Przycinanie niepotrzebnych zagnieżdżonych pól z generowania bez projektu (SPARK-29721)
    • Przycinanie niepotrzebnych zagnieżdżonych pól z agregacji i rozszerzania (SPARK-27217)
    • Przycinanie niepotrzebnych zagnieżdżonych pól z wyrażenia i sprzężenia (SPARK-31736)
    • Przycinanie niepotrzebnych zagnieżdżonych pól nad odmianami kosmetycznymi (SPARK-32163)
    • Przycinanie niepotrzebnych zagnieżdżonych pól z okna i sortowania (SPARK-32059)
    • Zoptymalizuj rozmiar elementu CreateArray/CreateMap, aby był rozmiarem elementów podrzędnych (SPARK-33544)

Ulepszenia rozszerzalności

  • Dodawanie SupportsPartitions interfejsów API w usłudze DataSourceV2 (SPARK-31694)
  • Dodawanie SupportsMetadataColumns interfejsu API w usłudze DataSourceV2 (SPARK-31255)
  • Podłączaj pamięć podręczną SQL Cache (SPARK-32274)
  • purge Wprowadzenie opcji w katalogu w TableCatalog.dropTable wersji 2 (SPARK-33364)

Ulepszenia łącznika

  • Ulepszenie wypychania filtru partycji magazynu metadanych Hive (SPARK-33537)
    • Obsługa zawiera filtry rozpoczynające się od i kończące się filtrami (SPARK-33458)
    • Obsługa filtru według typu daty (SPARK-33477)
    • Obsługa filtru według wartości niezrównowanych (SPARK-33582)
  • Parkiet
    • Zezwalaj na typ klucza mapy w systemie Parquet (SPARK-32639)
    • Zezwalaj na zapisywanie i ładowanie inT96 w parquet bez ponownej analizy (SPARK-33160)
  • ORK
    • Zagnieżdżone wypychanie kolumn dla ORC (SPARK-25557)
    • Uaktualnianie usługi Apache ORC do wersji 1.5.12 (SPARK-33050)
  • CSV
    • Korzystanie ze źródła danych tekstowych SQL podczas wnioskowania schematu CSV (SPARK-32270)
  • Notacja JSON
    • Obsługa wypychania filtrów w źródle danych JSON (SPARK-30648)
  • JDBC
  • Avro
    • Obsługa wypychania filtrów w źródle danych Avro (SPARK-32346)

Ulepszenia funkcji

  • Likwidowanie węzłów (SPARK-20624)
    • Podstawowa struktura (SPARK-20628)
    • Migrowanie bloków RDD podczas likwidowania (SPARK-20732)
    • Bezpieczne likwidowanie w ramach dynamicznego skalowania (SPARK-31198)
    • Migrowanie bloków mieszania podczas likwidowania (SPARK-20629)
    • Zakończ funkcję wykonawczą tylko wtedy, gdy zadania i migracja bloków zostaną zakończone (SPARK-31197)
    • Obsługa rezerwowego magazynu podczas likwidowania (SPARK-33545)
  • Nowe wbudowane funkcje
  • EXPLAIN ulepszenia poleceń (SPARK-32337, SPARK-31325)
  • Podaj opcję wyłączenia wskazówek dostarczonych przez użytkownika (SPARK-31875)
  • Obsługa składni COLUMNS replace stylu hive (SPARK-30613)
  • Obsługa LIKE ANY i LIKE ALL operatory (SPARK-30724)
  • Obsługa nieograniczonego MATCHED i NOT MATCHED in MERGE INTO (SPARK-32030)
  • Obsługa Fliterałów zmiennoprzecinkowych z sufiksem (SPARK-32207)
  • Obsługa RESET składni resetowania pojedynczej konfiguracji (SPARK-32406)
  • Wyrażenie filtru DISTINCT obsługi umożliwia jednoczesne użycie (SPARK-30276)
  • Obsługa polecenia alter table add/drop partition dla DSv2 (SPARK-32512)
  • Obsługa NOT IN podzapytania wewnątrz zagnieżdżonych OR warunków (SPARK-25154)
  • Polecenie obsługi REFRESH FUNCTION (SPARK-31999)
  • Dodawanie sameSemantics metod i sementicHash w zestawie danych (SPARK-30791)
  • Obsługa typu klasy przypadków w funkcji UDF (SPARK-31826)
  • Obsługa wyliczenia w koderach (SPARK-32585)
  • Obsługa zagnieżdżonych interfejsów withField API pól i dropFields (SPARK-31317, SPARK-32511)
  • Obsługa wypełniania wartości null dla brakujących kolumn w programie unionByName (SPARK-29358)
  • Obsługa DataFrameReader.table podejmowania określonych opcji (SPARK-32592, SPARK-32844)
  • Obsługa lokalizacji systemu plików HDFS w systemie spark.sql.hive.metastore.jars (SPARK-32852)
  • Opcja obsługi --archives natywnie (SPARK-33530, SPARK-33615)
  • Ulepszanie ExecutorPlugin interfejsu API w celu uwzględnienia metod uruchamiania i kończenia zadań (SPARK-33088)

Inne istotne zmiany

  • Zapewnianie funkcji wyszukiwania w witrynie dokumentacji platformy Spark (SPARK-33166)
  • Uaktualnianie narzędzia Apache Arrow do wersji 2.0.0 (SPARK-33213)
  • Włączanie interfejsu API 8-czasowego języka Java na serwerze thrift (SPARK-31910)
  • Włączanie interfejsu API 8-czasowego języka Java w funkcjach zdefiniowanych przez użytkownika (SPARK-32154)
  • Sprawdzanie przepełnienia pod kątem sumy agregującej z liczbami dziesiętnymi (SPARK-28067)
  • Napraw kolizję zatwierdzenia w trybie zastępowania partycji dynamicznej (SPARK-27194, SPARK-29302)
  • Usunięto odwołania do elementu podrzędnego, czarnej listy i listy dozwolonych (SPARK-32004, SPARK-32036, SPARK-32037)
  • Usuwanie sprawdzania rozmiaru wyniku zadania dla etapu mapy shuffle (SPARK-32470)
  • Uogólnij ExecutorSource , aby uwidocznić schematy systemu plików podane przez użytkownika (SPARK-33476)
  • Dodawanie StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Uwidacznianie metryk pamięci funkcji wykonawczej w internetowym interfejsie użytkownika dla funkcji wykonawczych (SPARK-23432)
  • Uwidaczniaj metryki pamięci funkcji wykonawczej na poziomie etapu na karcie Etapy (SPARK-26341)
  • Poprawka jawnego spark.ui.port zestawu w trybie klastra YARN (SPARK-29465)
  • Dodawanie spark.submit.waitForCompletion konfiguracji w celu kontrolowania zakończenia przesyłania platformy Spark w trybie klastra autonomicznego (SPARK-31486)
  • yarn.Client Konfigurowanie drukowania bezpośrednich linków do sterownika stdout/stderr (SPARK-33185)
  • Napraw przeciek pamięci, gdy nie można przechowywać fragmentów emisji (SPARK-32715)
  • Konfigurowanie BlockManagerMaster limitu czasu pulsu sterownika (SPARK-34278)
  • Ujednolicenie i pełne zachowanie pamięci podręcznej (SPARK-33507)

PySpark

Projekt Zen

  • Projekt Zen: ulepszanie użyteczności języka Python (SPARK-32082)
  • Obsługa wskazówek dotyczących typów PySpark (SPARK-32681)
  • Przeprojektuj dokumentację PySpark (SPARK-31851)
  • Migrowanie do stylu dokumentacji biblioteki NumPy (SPARK-32085)
  • Opcja instalacji dla użytkowników PyPI (SPARK-32017)
  • Cofnij wycofywanie schematu ramki danych z listy dykt (SPARK-32686)
  • Uproszczenie komunikatu o wyjątku z funkcji zdefiniowanych przez użytkownika języka Python (SPARK-33407)

Inne istotne zmiany

  • Deduplikacja deterministycznych wywołań języka PythonUDF (SPARK-33303)
  • Obsługa funkcji wyższego porządku w funkcjach PySpark (SPARK-30681)
  • Obsługa interfejsów API zapisu w wersji 2x źródła danych (SPARK-29157)
  • Obsługa percentile_approx funkcji PySpark (SPARK-30569)
  • Obsługa inputFiles ramki danych PySpark (SPARK-31763)
  • Obsługa withField w kolumnie PySpark (SPARK-32835)
  • Obsługa dropFields kolumny PySpark (SPARK-32511)
  • Obsługa nth_value funkcji PySpark (SPARK-33020)
  • Obsługa acoshelementów i asinh (atanh)
  • Metoda obsługi getCheckpointDir w narzędziu PySpark SparkContext (SPARK-33017)
  • Obsługa wypełniania wartości null dla brakujących kolumn w programie unionByName (SPARK-32798)
  • Aktualizacja cloudpickle do wersji 1.5.0 (SPARK-32094)
  • Dodano MapType obsługę narzędzia PySpark za pomocą strzałki (SPARK-24554)
  • DataStreamReader.table and DataStreamWriter.toTable (SPARK-33836)

Przesyłanie strumieniowe ze strukturą

Ulepszenia wydajności

  • Pobrana w pamięci podręcznej lista plików poza maxFilesPerTrigger jako nieprzeczytany plik (SPARK-30866)
  • Usprawnij logikę w dzienniku metadanych strumienia plików i ujścia (SPARK-30462)
  • Unikaj dwukrotnego odczytywania kompaktowych dzienników metadanych, jeśli zapytanie zostanie uruchomione ponownie z kompaktowej partii (SPARK-30900)

Ulepszenia funkcji

  • Dodawanie DataStreamReader.table interfejsu API (SPARK-32885)
  • Dodawanie DataStreamWriter.toTable interfejsu API (SPARK-32896)
  • Sprzężenie ze strumieniem w lewo (SPARK-32862)
  • Pełne sprzężenie strumienia zewnętrznego (SPARK-32863)
  • Podaj nową opcję przechowywania plików wyjściowych (SPARK-27188)
  • Dodawanie obsługi serwera historii przesyłania strumieniowego ze strukturą platformy Spark (SPARK-31953)
  • Wprowadzenie weryfikacji schematu stanu wśród ponownego uruchomienia zapytania (SPARK-27237)

Inne istotne zmiany

  • Wprowadzenie weryfikacji schematu dla magazynu stanów przesyłania strumieniowego (SPARK-31894)
  • Obsługa używania innego kodera kodera kompresji w magazynie stanów (SPARK-33263)
  • Nieskończone oczekiwanie łącznika platformy Kafka, ponieważ metadane nigdy nie zostały zaktualizowane (SPARK-28367)
  • Uaktualnianie platformy Kafka do wersji 2.6.0 (SPARK-32568)
  • Obsługa stronicowania dla stron interfejsu użytkownika przesyłania strumieniowego ze strukturą (SPARK-31642, SPARK-30119)
  • Informacje o stanie w interfejsie użytkownika przesyłania strumieniowego ze strukturą (SPARK-33223)
  • Informacje o lukach w znakach w interfejsie użytkownika przesyłania strumieniowego ze strukturą (SPARK-33224)
  • Uwidacznij informacje o metrykach niestandardowych stanu w interfejsie użytkownika SS (SPARK-33287)
  • Dodaj nową metrykę dotyczącą liczby wierszy później niż limit wodny (SPARK-24634)

MLlib

Najważniejsze informacje

  • LinearSVC blokuj wektory wejściowe (SPARK-30642)
  • LogisticsRegression blokuj wektory wejściowe (SPARK-30659)
  • LinearRegression blokuj wektory wejściowe (SPARK-30660)
  • AFT blokuj wektory wejściowe (SPARK-31656)
  • Dodawanie obsługi reguł skojarzeń w usłudze ML (SPARK-19939)
  • Dodawanie podsumowania trenowania dla modelu LinearSVCModel (SPARK-20249)
  • Dodawanie podsumowania do elementu RandomForestClassificationModel (SPARK-23631)
  • Dodawanie podsumowania trenowania do modelu FMClassificationModel (SPARK-32140)
  • Dodawanie podsumowania do klasy MultilayerPerceptronClassificationModel (SPARK-32449)
  • Dodawanie klasyfikatora FMClassifier do platformy SparkR (SPARK-30820)
  • Dodawanie otoki LinearRegression platformy SparkR (SPARK-30818)
  • Dodawanie otoki FMRegressor do platformy SparkR (SPARK-30819)
  • Dodawanie otoki SparkR dla vector_to_array (SPARK-33040)
  • adaptacyjne blokowanie wystąpień — LinearSVC (SPARK-32907)
  • make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer support Python backend estimator/evaluator (SPARK-33520)
  • Zwiększanie wydajności rekomendacji ML ALSForAll by GEMV (SPARK-33518)
  • Dodawanie univariateFeatureSelector (SPARK-34080)

Inne istotne zmiany

  • Podsumowanie i dystrybucja aktualizacji obliczeń GMM w jednym zadaniu (SPARK-31032)
  • Usuń zależność ChiSqSelector od biblioteki mllib. ChiSqSelectorModel (SPARK-31077)
  • Spłaszczanie ramki danych wyniku testów w testChiSquare (SPARK-31301)
  • Optymalizacja klucza MinHash (SPARK-31436)
  • Optymalizacja KMeans na podstawie nierówności trójkątów (SPARK-31007)
  • Dodano obsługę wagi w klastrzeKlaingEvaluator (SPARK-31734)
  • Dodawanie funkcji getMetrics w ewaluatorach (SPARK-31768)
  • Dodano obsługę wagi wystąpień w elemecie LinearRegressionSummary (SPARK-31944)
  • Dodawanie kolumny złożonej określonej przez użytkownika do elementu CrossValidator (SPARK-31777)
  • Parzystość wartości domyślnych uczenia maszynowego w funkcji i dostrajaniu (SPARK-32310)
  • Naprawiono podwójne buforowanie w KMeans/BiKMeans (SPARK-32676)
  • Optymalizacja przekształcania odręczny (SPARK-33111)
  • FeatureHasher transform optimization (SPARK-32974)
  • Dodawanie funkcji array_to_vector dla kolumny ramki danych (SPARK-33556)
  • Parzystość wartości domyślnych w klasyfikacji, regresji, klastrowaniu i fpm (SPARK-32310)
  • Summary.totalIterations większe niż maxIters (SPARK-31925)
  • optymalizacja przewidywania modeli drzewa (SPARK-32298)

SparkR

  • Dodawanie interfejsu SparkR dla funkcji wyższego zamówienia (SPARK-30682)
  • Obsługa wypełniania wartości null dla brakujących kolumn w unionByName (SPARK-32798)
  • Obsługa funkcjiColumn w usłudze SparkR (SPARK-32946)
  • Obsługa timestamp_seconds w funkcjach SparkR (SPARK-32949)
  • Obsługa nth_value w funkcjach SparkR (SPARK-33030)
  • Minimalna wersja strzałki przekroczyła 1.0.0 (SPARK-32452)
  • Obsługa array_to_vector w funkcjach SparkR (SPARK-33622)
  • Obsługa aosh, asinh i atanh (SPARK-33563)
  • Obsługa from_avro i to_avro (SPARK-33304)

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 8.0.

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (kompilacja 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (zaktualizowano z wersji 3.8.6 w maju 26 maja 2021 r.)
  • R: R w wersji 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
kryptografia 3.1.1 rowerzysta 0.10.0 Cython 0.29.21
dekorator 4.4.2 distlib 0.3.1 docutils 0.15.2
punkty wejścia 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
Koale 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Pandas 1.1.3 parso 0.7.0 Patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
żądania 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
Sześć 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlety 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 koło 0.35.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bitowe 4.0.4 bit64 4.0.5 blob 1.2.1
rozruch 1.3-25 warzyć 1.0-6 Brio 1.1.0
miotła 0.7.2 obiekt wywołujący 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 przestrzeń kolorów 2.0-0 commonmark 1,7
— kompilator 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 kredka 1.3.4 poświadczenia 1.3.0
Crosstalk 1.1.0.1 lok 4.3 data.table 1.13.4
usługi Power BI 4.0.3 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trawić 0.6.27 dplyr 1.0.2 DT 0.16
wielokropek 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 szybka mapa 1.0.1 forcats 0.5.0
foreach 1.5.1 zagraniczny 0.8-79 kuźnia 0.2.0
Fs 1.5.0 przyszłość 1.21.0 Generyczne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globalna 0.14.0
klej 1.4.2 Gower 0.2.2 grafika 4.0.3
grDevices 4.0.3 siatka 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 przystań 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
Etykietowania 0.4.2 później 1.1.0.1 krata 0.20-41
lawa 1.6.8.1 opóźnienie 0.2.2 cykl życia 0.2.0
nasłuchiwanie 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASA 7.3-53 Macierz 1.2-18
zapamiętywanie 1.1.0 metody 4.0.3 mgcv 1.8-33
mim 0,9 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
równolegle 1.22.0 filar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 pochwała 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Postęp 1.2.2 Obietnice 1.1.1 Proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 przepisy 0.1.15
rewanż 1.0.1 rewanż2 2.1.2 Piloty 2.2.0
reprex 0.3.0 zmień kształt2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions (rversions) 2.0.2 rvest 0.3.6 waga 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 kształt 1.4.5
błyszczący 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 przestrzenny 7.3-11 Splajnów 4.0.3
sqldf 0.4-11 KWADRAT 2020.5 Statystyki 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
przetrwanie 3.2-7 sys 3.4 tcltk 4.0.3
NauczanieDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 narzędzia 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 wąs 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zamek 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet kodowanie parquet 1.10.1-databricks6
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-kontynuacja 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Podkładki 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52