Databricks Runtime 7.5 (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Usługa Databricks wydała tę wersję w grudniu 2020 r.
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.5 obsługiwanym przez platformę Apache Spark 3.0.
Nowe funkcje
Funkcje i ulepszenia usługi Delta Lake
Ta wersja zawiera następujące funkcje i ulepszenia usługi Delta Lake:
- Asynchroniczne punktowanie kontrolne eliminuje skoki czasu trwania mikrosadowej przesyłania strumieniowego
- Najnowsze informacje o tabeli są teraz propagowane do wykazów
-
MERGE INTOoperacja obsługuje teraz ewolucję schematu zagnieżdżonych kolumn -
MERGE INTOoperacja teraz automatycznie używa zoptymalizowanych zapisów -
MERGE INTOoperacje iUPDATEsą teraz rozpoznawane zagnieżdżone kolumny struktury według nazwy -
CLONEjest ogólnie dostępna i można teraz zastąpić właściwości tabeli -
RESTOREjest ogólnie dostępny - Scala niejawne upraszcza interfejsy API odczytu i zapisu platformy Spark
-
Zwiększanie przepływności przesyłania strumieniowego za pomocą
fetchParallelismopcji łącznika - Śledzenie postępu strumienia za pomocą nowych metryk automatycznego modułu ładującego
Asynchroniczne punktowanie kontrolne eliminuje skoki czasu trwania mikrosadowej przesyłania strumieniowego
Usługa Delta Lake domyślnie wykonuje punkty kontrolne co 10 zatwierdzeń. W przypadku obciążeń przesyłanych strumieniowo tworzenie punktów kontrolnych może spowodować niewielkie wzrosty czasu trwania mikrosadowej co 10 zatwierdzeń. Asynchroniczne punktowanie kontrolne eliminuje te skoki.
Asynchroniczne tworzenie punktów kontrolnych jest domyślnie włączone dla wszystkich obciążeń przesyłania strumieniowego bez wyzwalania. W przypadku asynchronicznego tworzenia punktów kontrolnych autorzy przesyłania strumieniowego zapisują również rozszerzone punkty kontrolne, dzięki czemu nie trzeba jawnie wybierać rozszerzonych punktów kontrolnych.
Aby wyłączyć asynchroniczne tworzenie punktów kontrolnych, ustaw konfigurację spark.databricks.delta.checkpoint.async.enabled falseSQL .
Obciążenia wsadowe nadal zapisują punkty kontrolne synchronicznie i zalecamy włączenie asynchronicznego tworzenia punktów kontrolnych dla obciążeń wsadowych.
Najnowsze informacje o tabeli są teraz propagowane do wykazów
Usługa Delta Lake propaguje teraz najnowsze informacje o tabeli, takie jak właściwości schematu i tabeli, do katalogów, takich jak magazyn metadanych Hive, na podstawie najlepszych wysiłków. Takie informacje mogą pomóc w rozumieniu schematu tabel delty przy użyciu narzędzi do katalogowania.
Usługa Delta Lake nie zależy wewnętrznie od tych informacji, ale próbuje je aktualizować. Ponadto usługa Delta Lake przechowuje właściwości delta.lastUpdateVersion tabeli i delta.lastCommitTimestamp określa wersję i znacznik czasu zatwierdzenia, które ostatnio wypchnęło zmianę do magazynu metadanych. Magazyn metadanych jest aktualizowany tylko wtedy, gdy schemat tabeli lub właściwości w tabeli nie są zgodne.
Dlatego wyżej wymienione właściwości tabeli nie muszą odzwierciedlać najnowszej wersji tabeli.
Jeśli informacje o tabeli i informacje o magazynie metadanych nie są zsynchronizowane, możesz uruchomić polecenie, takie jak DESCRIBE <table> zaktualizowanie magazynu metadanych.
Uwaga
Ponieważ program Hive nie zezwala na zmianę kolumn partycji, ale tabele różnicowe mogą zmieniać partycjonowanie, tabele różnicowe nie są wyświetlane jako partycjonowane w programie Hive.
MERGE INTO operacja obsługuje teraz ewolucję schematu zagnieżdżonych kolumn
Ewolucja schematu kolumn zagnieżdżonych ma teraz te same semantyki co kolumny najwyższego poziomu. Na przykład nowe zagnieżdżone kolumny można automatycznie dodawać do kolumny StructType . Aby uzyskać szczegółowe informacje, zobacz Automatyczna ewolucja schematu w scalaniu .
MERGE INTO operacja teraz automatycznie używa zoptymalizowanych zapisów
Zoptymalizowane zapisy mogą zapewnić znacznie lepszą wydajność w MERGE INTO przypadku wbudowanych tabel, szczególnie w MERGE INTO przypadku tabel partycjonowanych. Aby wyłączyć zoptymalizowane zapisy, ustaw konfigurację spark.databricks.delta.optimizeWrite.enabled platformy Spark na falsewartość .
MERGE INTO operacje i UPDATE są teraz rozpoznawane zagnieżdżone kolumny struktury według nazwy
Operacje UPDATE aktualizacji i MERGE INTO polecenia teraz rozpoznają zagnieżdżone kolumny struktury według nazwy. Oznacza to, że podczas porównywania lub przypisywania kolumn typu StructType kolejność zagnieżdżonych kolumn nie ma znaczenia (dokładnie tak samo jak kolejność kolumn najwyższego poziomu). Aby przywrócić rozpoznawanie według pozycji, ustaw konfigurację spark.databricks.delta.resolveMergeUpdateStructsByName.enabled platformy Spark na falsewartość .
CLONE jest ogólnie dostępna i można teraz zastąpić właściwości tabeli
Polecenie CLONE jest teraz ogólnie dostępne. Zobacz CREATE TABLE CLONE. Ponadto można teraz określić przesłonięcia właściwości tabeli w przypadku używania polecenia CLONE. Przykłady można znaleźć w temacie Clone a table on Azure Databricks (Klonowanie tabeli w usłudze Azure Databricks).
RESTORE jest ogólnie dostępny
Polecenie RESTORE jest teraz ogólnie dostępne. Zobacz RESTORE.
Scala niejawne upraszcza interfejsy API odczytu i zapisu platformy Spark
Możesz zaimportować io.delta.implicits._ metodę delta z interfejsami API odczytu i zapisu platformy Spark.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Zwiększanie przepływności przesyłania strumieniowego za pomocą fetchParallelism opcji łącznika
Łącznik AQS obsługuje teraz nową opcję fetchParallelism określania równoległości w celu pobrania komunikatów z usługi kolejki.
Śledzenie postępu strumienia za pomocą nowych metryk automatycznego modułu ładującego
Funkcja automatycznego ładowania zgłasza teraz, ile plików istnieje na liście prac i jak duża jest lista prac po każdej partii. Możesz użyć tych metryk do śledzenia postępu strumienia. Aby uzyskać szczegółowe informacje na temat wyświetlania metryk, zobacz Co to jest automatyczne ładowanie?.
Ulepszenia
Szersza obsługa bibliotek o zakresie notesu przy użyciu %pip poleceń magic i %conda
Teraz można zainstalować biblioteki o zakresie notesu przy użyciu %pip poleceń magic i w %conda klastrach o wysokiej współbieżności z włączonymi listami ACL tabel lub przekazywaniem poświadczeń.
Dokładne wyświetlanie kodu Spark SQL DECIMAL
Typ danych Spark SQL DECIMAL jest teraz wyświetlany w tabelach bez utraty dokładności i skali.
Łącznik magazynu usługi ADLS Gen 2 oparty na usłudze Hadoop 3.3 dla systemu ABFS
Uaktualniona wersja łącznika magazynu usługi ADLS Gen 2 jest oparta na usłudze Hadoop 3.3 dla systemu ABFS. Uaktualniony łącznik zawiera wiele ulepszeń stabilności (zobacz Stabilność platformy Hadoop) i obejmuje obsługę uwierzytelniania tokenu SAS.
Inne poprawki
Łącznik platformy Kafka usługi Databricks dla przesyłania strumieniowego platformy Spark został usunięty. Użyj łącznika platformy Apache Spark.
Uaktualnienia biblioteki
- Uaktualnione biblioteki języka Python:
- Koalas został uaktualniony z wersji 1.3.0 do wersji 1.4.0.
- Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
- Kompilacja openJDK 8 została uaktualniona do wersji Zulu 8.50.0.51-CA-linux64 (kompilacja 1.8.0_275-b01).
Apache Spark
Środowisko Databricks Runtime 7.5 obejmuje platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.4 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-33611] [Interfejs użytkownika] Unikaj dwukrotnego kodowania w parametrze zapytania adresu URL przepisanego serwera proxy
- [SPARK-33587] [CORE] Zabij funkcję wykonawcy w przypadku zagnieżdżonych błędów krytycznych (7.x)
- [SPARK-33140] [SQL] Przywróć kod, który nie używa przekazanej usługi SparkSession, aby uzyskać kod SQLConf.
- [SPARK-33472] [SQL] Dostosowywanie kolejności reguł RemoveRedundantSorts
- [SPARK-33422] [DOC] Naprawianie poprawnego wyświetlania elementu menu po lewej stronie
- [SPARK-27421] [SQL] Poprawiono filtr dla kolumny int i klasy wartości java.lang.String podczas oczyszczania kolumny partycji
- [SPARK-33483] [INFRA][TESTY] Naprawianie wzorców wykluczeń szczurów i dodawanie licencji
- [SPARK-33464] [INFRA] Dodawanie/usuwanie (un)niezbędnej pamięci podręcznej i ponownej struktury yaml funkcji GitHub Actions
- [SPARK-33407] [PYTHON][7.X] Uproszczenie komunikatu o wyjątku z funkcji zdefiniowanych przez użytkownika języka Python (domyślnie wyłączone)
- [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE powinny unieważniać pamięci podręczne odwołujące się do tabeli
- [SPARK-33358] [SQL] Zwracanie kodu, gdy proces polecenia zakończył się niepowodzeniem
- [SPARK-33183] [DBCONNECT] Dodaj element RemoveRedundantSorts.scala do ALLOW_LIST.txt
- [SPARK-33290] [SQL] REFRESHREFRESH TABLE powinny unieważnić pamięć podręczną, mimo że sama tabela może nie być buforowana
- [SPARK-33140] [SQL] Naprawianie kompilacji różnicowej
- [SPARK-33316] [SQL] Dodawanie testów jednostkowych dla from_avro i to_avro przy użyciu rejestru schematów i użytkownika z możliwością dopuszczania wartości null schematu Avro
-
[SPARK-33404] [SQL] Naprawianie nieprawidłowych wyników w wyrażeniu
date_trunc - [SPARK-33339] [PYTHON] Aplikacja Pyspark zawiesza się z powodu błędu wyjątku
- [SPARK-33412] [SQL] OverwriteByExpression powinien rozwiązać swój warunek usunięcia na podstawie relacji tabeli, a nie zapytania wejściowego
- [SPARK-33391] [SQL] element_at z elementem CreateArray nie uwzględnia jednego indeksu opartego.
- [SPARK-33316] [SQL] Obsługa schematu avro dopuszczanego do wartości null dla schematu katalizatora bez wartości null w zapisie Avro
- [SPARK-33372] [SQL] Naprawianie oczyszczania zasobnika InSet
- [SPARK-33371] [PYTHON] Aktualizowanie setup.py i testów dla języka Python 3.9
- [SPARK-33140] [SQL] usuń sqlConf i SparkSession we wszystkich podklasach Rule[QueryPlan]
- [SPARK-33338] [SQL] GROUP BY przy użyciu literałowej mapy nie powinno się nie powieść
- [SPARK-33306] [SQL]Strefa czasowa jest wymagana, gdy data rzutowania do ciągu
- [SPARK-33284] [WEB-UI] Na stronie Interfejs użytkownika magazynu kliknięcie dowolnego pola do sortowania tabeli spowoduje utratę zawartości nagłówka
- [SPARK-33362] [SQL] skipSchemaResolution powinna nadal wymagać rozwiązania zapytania
- [SPARK-32257] [SQL] Zgłasza jawne błędy nieprawidłowego użycia polecenia SET/RESET
- [SPARK-32406] [SQL] Obsługa składni RESET dla pojedynczego resetu konfiguracji
- [SPARK-32376] [SQL] Tworzenie zachowania wypełniania wartości null unionByName z kolumnami struktury
- [SPARK-32308] [SQL] Przenoszenie logiki rozpoznawania nazw unionByName z kodu interfejsu API do fazy analizy
- [SPARK-20044] [Interfejs użytkownika] Obsługa interfejsu użytkownika platformy Spark za zwrotnym serwerem proxy frontonu przy użyciu prefiksu ścieżki Przywróć adres URL serwera proxy
- [SPARK-33268] [SQL][PYTHON] Naprawianie usterek dotyczących rzutowania danych z/do pythonUserDefinedType
- [SPARK-33292] [SQL] Ustaw niejednoznaczną reprezentację ciągu Literału ArrayBasedMapData
- [SPARK-33183] [SQL] Napraw regułę optymalizatora EliminujSorty i dodaj regułę fizyczną, aby usunąć nadmiarowe sortowanie
- [SPARK-33272] [SQL] przycinanie mapowania atrybutów w tabeli QueryPlan.transformUpWithNewOutput
- [SPARK-32090] [SQL] Popraw wartość UserDefinedType.equal(), aby była symetryczna
- [SPARK-33267] [SQL] Rozwiązano problem z serwerem NPE w filtrze "W", gdy jedna z wartości zawiera wartość null
- [SPARK-33208] [SQL] Aktualizowanie dokumentu platformy SparkSession#sql
- [SPARK-33260] [SQL] Naprawianie nieprawidłowych wyników z elementu SortExec, gdy sortOrder to Stream
- [SPARK-33230] [SQL] Osoby zatwierdzające platformy Hadoop w celu uzyskania unikatowego identyfikatora zadania w identyfikatorze "spark.sql.sources.writeJobUUID"
- [SPARK-33197] [SQL] Wprowadzanie zmian w spark.sql.analyzer.maxIterations w czasie wykonywania
- [SPARK-33228] [SQL] Nie należy odłączać danych od pamięci podręcznej podczas zastępowania widoku o tym samym planie logicznym
- [SPARK-32557] [CORE] Rejestrowanie i połykanie wyjątku na wpis na serwerze historii
- [SPARK-32436] [CORE] Inicjowanie numNonEmptyBlocks w pliku HighlyCompressedMapStatus.readExternal
- [SPARK-33131] [SQL] Naprawianie zestawów grupowania z klauzulą posiadania nie może rozpoznać kwalifikowanej nazwy kolumny
- [SPARK-32761] [SQL] Zezwalaj na agregowanie wielu składanych odrębnych wyrażeń
- [SPARK-33094] [SQL] Rozpropaguj konfigurację usługi Hadoop w formacie ORC z opcji DS do bazowego systemu plików HDFS
Aktualizacje konserwacyjne
Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.5.
Środowisko systemu
- System operacyjny: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (kompilacja 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R w wersji 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | kryptografia | 2.8 | rowerzysta | 0.10.0 |
| Cython | 0.29.15 | dekorator | 4.4.1 | docutils | 0.15.2 |
| punkty wejścia | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Koale | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | żądania | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | Sześć | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlety | 4.3.3 |
| nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | koło | 0.34.2 |
Zainstalowane biblioteki języka R
Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports (backports) | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitowe | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| rozruch | 1.3-25 | warzyć | 1.0-6 | Brio | 1.1.0 |
| miotła | 0.7.2 | obiekt wywołujący | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | przestrzeń kolorów | 1.4-1 | commonmark | 1,7 |
| — kompilator | 3.6.3 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | kredka | 1.3.4 | Crosstalk | 1.1.0.1 |
| lok | 4.3 | data.table | 1.13.2 | usługi Power BI | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | trawić | 0.6.27 |
| dplyr | 0.8.5 | DT | 0.16 | wielokropek | 0.3.1 |
| evaluate | 0,14 | fani | 0.4.1 | farver | 2.0.3 |
| szybka mapa | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| zagraniczny | 0.8-76 | kuźnia | 0.2.0 | Fs | 1.5.0 |
| Generyczne | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globalna | 0.13.1 |
| klej | 1.4.2 | Gower | 0.2.2 | grafika | 3.6.3 |
| grDevices | 3.6.3 | siatka | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | przystań | 2.3.1 |
| wysoki | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iteratory | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | knitr | 1,30 |
| Etykietowania | 0.4.2 | później | 1.1.0.1 | krata | 0.20-41 |
| lawa | 1.6.8 | opóźnienie | 0.2.2 | cykl życia | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASA | 7.3-53 | Macierz | 1.2-18 | zapamiętywanie | 1.1.0 |
| metody | 3.6.3 | mgcv | 1.8-33 | mim | 0,9 |
| Metryki modelu | 1.2.2.2 | modeler | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | filar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | pochwała | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Postęp | 1.2.2 | Obietnice | 1.1.1 |
| Proto | 1.0.0 | PS | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| przepisy | 0.1.14 | rewanż | 1.0.1 | rewanż2 | 2.1.2 |
| Piloty | 2.2.0 | reprex | 0.3.0 | zmień kształt2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2,5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversions (rversions) | 2.0.2 |
| rvest | 0.3.6 | waga | 1.1.1 | selektor | 0.4-2 |
| sessioninfo | 1.1.1 | kształt | 1.4.4 | błyszczący | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| przestrzenny | 7.3-11 | Splajnów | 3.6.3 | sqldf | 0.4-11 |
| KWADRAT | 2020.5 | Statystyki | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | przetrwanie | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | NauczanieDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | tools | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | narzędzia | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| wąs | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | strumień | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | kolega z klasy | 1.3.4 |
| com.fasterxml.jackson.core | adnotacje jackson | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofeina | kofeina | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guawa | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | parsery jednowołciowości | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | serwlety metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | kolekcjoner | 0.12.0 |
| jakarta.adnotacja | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktywacja | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolit | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | tat | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | format strzałki | 0.15.1 |
| org.apache.arrow | strzałka w pamięci | 0.15.1 |
| org.apache.arrow | wektor strzałki | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | podkładki hive | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 inkubacja |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | bluszcz | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | podkładki orc-shim | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | kodowanie parquet | 1.10.1-databricks6 |
| org.apache.parquet | format parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | prędkość | 1.5 |
| org.apache.xbean | xbean-asm7-cieniowany | 4.15 |
| org.apache.yetus | adnotacje odbiorców | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-kontynuacja | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | lokalizator hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | moduł sprawdzania poprawności hibernacji | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podkładki | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | trzydostępne dodatkowe | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |