Databricks Runtime 7.6 (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Usługa Databricks wydała tę wersję w lutym 2021 roku.
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.6 obsługiwanym przez platformę Apache Spark 3.0.
Aby uzyskać pomoc dotyczącą migracji z środowiska Databricks Runtime 6.x, zobacz Przewodnik migracji środowiska Databricks Runtime 7.x (EoS).
Nowe funkcje
Lepsza obsługa ewolucji schematu JSON w narzędziu automatycznego ładowania
Podczas ładowania danych JSON domyślne zachowanie polega na tym, że pola, które nie są częścią oryginalnego schematu, są porzucane w trybie dyskretnym. Teraz za pomocą modułu automatycznego ładowania można ustawić opcję unparsedDataColumn JSON, aby określić nazwę kolumny, która będzie używana do przechowywania wszystkich nowych pól jako ciągu JSON.
Na przykład przez ustawienie
.option("unparsedDataColumn", "_unparsed_data")
wynik będzie miał kolumnę _unparsed_data, w której nowe pola są przechowywane jako ciąg JSON. Te nowe pola można przeanalizować później w celu dalszego przetwarzania. Jeśli nie ma nowych pól, wartość kolumny to null.
Obsługa odczytywania nadpisanych plików w narzędziu do automatycznego ładowania
Teraz można skonfigurować strumienie, aby zezwolić na zmiany plików katalogu wejściowego w celu zastąpienia istniejących danych. Ustaw wartość .option("cloudFiles.allowOverwrites", "true"). Aby uzyskać szczegółowe informacje, zobacz Co to jest automatyczne ładowanie?.
Ulepszenia
Lepsze klastrowanie wielowymiarowe i dane pomijające wydajność za pomocą polecenia OPTIMIZE ZORDER
Operacja OPTIMIZE ZORDER domyślnie używa krzywych wypełniania spacji Hilbert. Takie podejście zapewnia lepszą charakterystykę klastrowania niż Z w wyższych wymiarach. W przypadku tabel delty używających OPTIMIZE ZORDER z wieloma kolumnami krzywe Hilbert mogą przyspieszyć odczytywanie zapytań, pomijając więcej danych niż kolejność Z. Aby uzyskać szczegółowe informacje, zobacz Data skipping for Delta Lake (Pomijanie danych dla usługi Delta Lake).
Ulepszenia wydajności niektórych MERGE operacji z klauzulami tylko MATCHED
Możesz uzyskać lepszą wydajność w MERGE operacjach, które mają tylko MATCHED klauzule z warunkami klauzuli.
Automatyczne dostrajanie rozmiarów plików dla MERGEdużych tabel delty (publiczna wersja zapoznawcza)
Tabele różnicowe, które przechodzą powtarzające się MERGE operacje (na przykład ciągłe operacje upsert danych zmiany na poziomie wiersza) wielokrotnie ponownie zapisują pliki w celu zaktualizowania danych. Takie tabele mogą korzystać z mniejszych plików niż te generowane domyślnie przez operacje układu danych, takie jak OPTIMIZE, zoptymalizowane zapisy i automatyczne kompaktowanie. Dzięki środowisku Databricks Runtime 7.6 można automatycznie wykrywać MERGEtabele i dostosowywać rozmiary plików. Aby uzyskać więcej informacji na temat włączania tej funkcji, skontaktuj się z pomocą techniczną usługi Databricks lub zespołem konta usługi Azure Databricks.
Uaktualnienia biblioteki
- Uaktualnione biblioteki języka Python:
- certyfikat został uaktualniony z wersji 2020.6.20 do 2020.12.5.
- Program koalas został uaktualniony z wersji 1.4.0 do wersji 1.5.0.
- Python-apt uaktualniono z wersji 1.6.5+ubuntu0.3 do wersji 1.6.5+ubuntu0.4
- Uaktualniona biblioteka języka R:
- nlme z 3.1-150 do 3.1-151.
- Uaktualniona biblioteka Języka Java:
- zestaw azure-data-lake-store-sdk został uaktualniony z wersji 2.3.8 do wersji 2.3.9.
- Kompilacja openJDK 8 została uaktualniona do wersji Zulu 8.50.0.51-CA-linux64 (kompilacja 1.8.0_275-b01).
Apache Spark
Środowisko Databricks Runtime 7.6 zawiera platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.5 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-33740] [SQL]hadoop configs in hive-site.xml can overrides pre-existing hadoop ones (Konfiguracje hadoop [SQL]hadoop w hive-site.xml mogą przesłonić istniejące konfiguracje hadoop
-
[SPARK-33822] [SQL] Używanie metody w metodzie
CastSupport.castHashJoin - [SPARK-33398] Naprawianie ładowania modeli drzewa przed platformą Spark 3.0
- [SPARK-33029] [CORE][WEBUI] Naprawa strony funkcji wykonawczej interfejsu użytkownika niepoprawnie oznaczającej sterownik jako zablokowany na liście
-
[SPARK-34012] [SQL] Zachowaj spójność zachowania, gdy conf
spark.sqllegacy.parser.havingWithoutGroupByAsWherejest prawdziwy, korzystając z przewodnika po migracji - [SPARK-33635] [SS] Dostosowywanie kolejności ewidencjonowania w narzędziu KafkaTokenUtil.needTokenUpdate w celu rozwiązania problemu regresji wydajności
- [SPARK-33900] [WEBUI] Pokaż poprawnie rozmiar odczytu/rekordy, gdy dostępny jest tylko parametr remotebytesread
- [SPARK-33593] [SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
- [SPARK-31170] [SQL] Interfejs wiersza polecenia spark SQL powinien uwzględniać hive-site.xml i spark.sql.warehouse.dir
- [SPARK-33853] [SQL] EXPLAIN CODEGEN i BenchmarkQueryTest nie pokazują kodu podzapytania
- [SPARK-33786] [SQL] Poziom magazynowania pamięci podręcznej powinien być przestrzegany po zmianie nazwy tabeli.
- [SPARK-33841] [CORE] Rozwiązano problem polegający na tym, że zadania znikały sporadycznie z usługi SHS pod dużym obciążeniem
- [SPARK-33480] [SQL] nie uwidaczniaj danych użytkownika w komunikacie o błędzie
- [SPARK-33756] [SQL] Make BytesToBytesMap's MapIterator idempotentny
- [SPARK-33774] [Interfejs użytkownika][CORE]"Powrót do wzorca" zwraca błąd 500 w klastrze autonomicznym
- [SPARK-33733] [SQL] PullOutNondeterministic powinna sprawdzać i zbierać pole deterministyczne
- [SPARK-33670] [SQL] Sprawdź, czy dostawca partycji jest Hive w wersji 1 SHOW TABLE EXTENDED
- [SPARK-33788] [SQL][3.1][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
-
[SPARK-33819] [CORE] Element SingleFileEventLogFileReader/RollingEventLogFilesFileReader powinien mieć wartość
package private - [SPARK-33742] [SQL] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
- [SPARK-32110] [SQL] normalizacja specjalnych liczb zmiennoprzecinkowych w funkcji HyperLogLog++
- [SPARK-33071][SPARK-33536] [SQL] Nie zmieniaj konstruktora aliasu, aby nie przerywać łącznika płatka śniegu
- [SPARK-32680] [SQL] Nie przetwarzaj wstępnie 2 CTAS z nierozwiązanym zapytaniem
- [SPARK-33520] [ML][PYSPARK] Cherry-pick: make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer support Python backend estimator/evaluator
- [SPARK-33592] [ML][PYTHON]Parametry modułu sprawdzania poprawności uczenia maszynowego Pyspark w narzędziu do szacowaniaParamMap mogą zostać utracone po zapisaniu i ponownym załadowaniu
-
[SPARK-33667] [SQL] Uwzględnianie
spark.sql.caseSensitivekonfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1SHOW PARTITIONS - [SPARK-33141] [SQL] Przechwytywanie konfiguracji SQL podczas tworzenia stałych widoków
- [SPARK-33636] [PYTHON][ML] Dodawanie etykietyArray do indeksatora ciągów PySpark
- [SPARK-33629] [PYTHON]Ustawianie konfiguracji spark.buffer.size widocznej po stronie sterownika
- [SPARK-33389] [SQL] Używanie wewnętrznych klas platformy SparkSession zawsze przy użyciu aktywnego modułu SQLConf
- [SPARK-33071][SPARK-33536] [SQL] Unikaj zmiany dataset_id elementu LogicalPlan w sprzężeniu(), aby nie przerywać funkcji DetectAmbiguousSelfJoin
- [SPARK-33551] [SQL] Nie należy używać niestandardowego czytnika mieszania do ponownego dzielenia na partycje
- [SPARK-33432] [SQL] Analizator SQL powinien używać aktywnego narzędzia SQLConf
-
[SPARK-33588] [SQL] Uwzględnianie
spark.sql.caseSensitivekonfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1SHOW TABLE EXTENDED - [SPARK-33440] [CORE] Użyj bieżącego znacznika czasu z dziennikiem ostrzegawczym w elemencie HadoopFSDelegationTokenProvider, gdy data problemu dla tokenu nie jest poprawnie skonfigurowana
- [SPARK-33494] [SQL][AQE] Nie używaj lokalnego czytnika mieszania do ponownego dzielenia
Aktualizacje konserwacyjne
Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.6.
Środowisko systemu
- System operacyjny: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (kompilacja 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R w wersji 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.12.5 | cffi | 1.14.0 |
| chardet | 3.0.4 | kryptografia | 2.8 | rowerzysta | 0.10.0 |
| Cython | 0.29.15 | dekorator | 4.4.1 | docutils | 0.15.2 |
| punkty wejścia | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Koale | 1.5.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.4 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | żądania | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | Sześć | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlety | 4.3.3 |
| nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | koło | 0.34.2 |
Zainstalowane biblioteki języka R
Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports (backports) | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitowe | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| rozruch | 1.3-25 | warzyć | 1.0-6 | Brio | 1.1.0 |
| miotła | 0.7.2 | obiekt wywołujący | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | przestrzeń kolorów | 1.4-1 | commonmark | 1,7 |
| — kompilator | 3.6.3 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | kredka | 1.3.4 | Crosstalk | 1.1.0.1 |
| lok | 4.3 | data.table | 1.13.2 | usługi Power BI | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | trawić | 0.6.27 |
| dplyr | 0.8.5 | DT | 0.16 | wielokropek | 0.3.1 |
| evaluate | 0,14 | fani | 0.4.1 | farver | 2.0.3 |
| szybka mapa | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| zagraniczny | 0.8-76 | kuźnia | 0.2.0 | Fs | 1.5.0 |
| Generyczne | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globalna | 0.13.1 |
| klej | 1.4.2 | Gower | 0.2.2 | grafika | 3.6.3 |
| grDevices | 3.6.3 | siatka | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | przystań | 2.3.1 |
| wysoki | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iteratory | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | knitr | 1,30 |
| Etykietowania | 0.4.2 | później | 1.1.0.1 | krata | 0.20-41 |
| lawa | 1.6.8 | opóźnienie | 0.2.2 | cykl życia | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASA | 7.3-53 | Macierz | 1.2-18 | zapamiętywanie | 1.1.0 |
| metody | 3.6.3 | mgcv | 1.8-33 | mim | 0,9 |
| Metryki modelu | 1.2.2.2 | modeler | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-151 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | filar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | pochwała | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Postęp | 1.2.2 | Obietnice | 1.1.1 |
| Proto | 1.0.0 | PS | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| przepisy | 0.1.14 | rewanż | 1.0.1 | rewanż2 | 2.1.2 |
| Piloty | 2.2.0 | reprex | 0.3.0 | zmień kształt2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2,5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversions (rversions) | 2.0.2 |
| rvest | 0.3.6 | waga | 1.1.1 | selektor | 0.4-2 |
| sessioninfo | 1.1.1 | kształt | 1.4.4 | błyszczący | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| przestrzenny | 7.3-11 | Splajnów | 3.6.3 | sqldf | 0.4-11 |
| KWADRAT | 2020.5 | Statystyki | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | przetrwanie | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | NauczanieDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | tools | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | narzędzia | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| wąs | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | strumień | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | kolega z klasy | 1.3.4 |
| com.fasterxml.jackson.core | adnotacje jackson | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofeina | kofeina | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guawa | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | parsery jednowołciowości | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | serwlety metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | kolekcjoner | 0.12.0 |
| jakarta.adnotacja | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktywacja | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolit | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | tat | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | format strzałki | 0.15.1 |
| org.apache.arrow | strzałka w pamięci | 0.15.1 |
| org.apache.arrow | wektor strzałki | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | podkładki hive | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 inkubacja |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | bluszcz | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | podkładki orc-shim | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | kodowanie parquet | 1.10.1-databricks6 |
| org.apache.parquet | format parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | prędkość | 1.5 |
| org.apache.xbean | xbean-asm7-cieniowany | 4.15 |
| org.apache.yetus | adnotacje odbiorców | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-kontynuacja | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | lokalizator hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | moduł sprawdzania poprawności hibernacji | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podkładki | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | trzydostępne dodatkowe | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |