Databricks Runtime 8.4 (EoS)
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.
Následující poznámky k verzi obsahují informace o Databricks Runtime 8.4 a Databricks Runtime 8.4 Photon s využitím Apache Sparku 3.1.2. Databricks vydala tuto verzi v červenci 2021. Photon je ve verzi Public Preview.
Nové funkce a vylepšení
- Funkce a vylepšení Delta Lake
- Funkce a vylepšení automatického zavaděče
- Upgrady konektorů
- Opravy chyb
Funkce a vylepšení Delta Lake
- Delta table change data feed (GA)
- Snadné načtení sdílených tabulek Delta pomocí Databricks Runtime
- Další tabulky využívají dynamické vyřezávání souborů.
- Lepší výkon díky automatickému ladění velikosti cílového souboru
- Další způsoby zadávání tabulek v aplikaci
DeltaTable.forName - Robustní zápisy do více tabulek streamování s využitím
foreachBatch - Vylepšený výkon dotazů pro čtení v určitých úlohách kvůli vyladěným kontrolním bodům
- Vytvoření
GroupStatepro testování uživatelem definovaných funkcí strukturovaného streamování
Delta table change data feed (GA)
Datový kanál změn tabulky Delta je teď obecně dostupný. Představuje změny na úrovni řádků mezi různými verzemi tabulky. Pokud je tato možnost povolená, zaznamenávají se další informace týkající se změn na úrovni řádků pro každou operaci zápisu v tabulce. Viz Použití datového kanálu změn Delta Lake v Azure Databricks.
Snadné načtení sdílených tabulek Delta pomocí Databricks Runtime
Konektor Apache Spark pro rozdílové sdílení 0.1.0 je teď v Databricks Runtime. Sdílenou tabulku spark.read.format("deltaSharing").load(uri) můžete načíst přímo bez připojení konektoru Delta Sharing Spark ke clusteru.
Další tabulky využívají dynamické vyřezávání souborů.
Funkce dynamického vyřezávání souborů byla vyladěna tak, aby se aktivovala u tabulek s menším počtem souborů. Viz Dynamické vyřezávání souborů.
Lepší výkon díky automatickému ladění velikosti cílového souboru
Cílová velikost souboru pro tabulky Delta je teď automaticky vyladěná na základě velikosti tabulky. Dříve byla cílová velikost souboru a OPTIMIZE OPTIMIZE ZORDER BY byla 1 GB. Při automatickém ladění na základě velikosti tabulky budou tabulky Delta až 2,56 TB používat jako cílovou velikost 256 MB. Tabulky větší než 10 TB budou používat 1 GB jako předtím. Tabulky mezi těmito velikostmi budou používat cílové velikosti, které se proporcionálně zvětšují s velikostí tabulky.
Viz Konfigurace Delta Lake pro řízení velikosti datového souboru.
Další způsoby zadávání tabulek v aplikaci DeltaTable.forName
DeltaTable.forName nyní podporuje použití delta.`<path>` k identifikaci tabulek.
Robustní zápisy do více tabulek streamování s využitím foreachBatch
Zápisy streamování Idempotentní Delta v foreachBatch() rámci příkazu se teď podporují. Podrobnosti najdete v tématu Idempotentní zápisy více tabulek.
Vylepšený výkon dotazů pro čtení v určitých úlohách kvůli vyladěným kontrolním bodům
Delta Lake teď ladí, jak často se používá vylepšených kontrolních bodů. Místo vytváření kontrolních bodů v pevném intervalu teď Delta dynamicky upravuje frekvenci kontrolních bodů na základě určitých aktivačních událostí. To zlepšuje výkon dotazů na čtení v úlohách, kdy se některé optimalizace přeskakování dat nedala použít. Pokud chcete tyto optimalizace použít, upgradujte úlohy, které zapisují do Delta Lake, na Databricks Runtime 8.4. Viz Povolení rozšířených kontrolních bodů pro dotazy strukturovaného streamování.
Vytvoření GroupState pro testování uživatelem definovaných funkcí strukturovaného streamování
Doposud mohl instance vytvářet pouze modul strukturovaného GroupStatestreamování . Všechny testy jednotek uživatelem definované funkce proto vyžadují spuštění streamovacího dotazu v Apache Sparku.
Nyní můžete vytvářet instance GroupState použití TestGroupState.create(…). To vám umožní otestovat uživatelem definovanou funkci v jednoduchých testech jednotek, které nevyžadují spuštění Sparku. Viz Test mapGroupsWithState update funkce. Konkrétně vytváří instance typu TestGroupState , které rozšiřují rozhraní GroupState o další metody pro úvod do interního stavu po použití uživatelem definované funkce.
Funkce a vylepšení automatického zavaděče
- Konfigurace backfillingu pro zachycení zmeškaných souborů
- Vázané nároky na úložiště pro velké datové proudy svazků
- Zjednodušená konfigurace s podporou bez cest
Konfigurace backfillingu pro zachycení zmeškaných souborů
Auto Loader teď podporuje asynchronní vyplňování, aby bylo možné zachytit všechny soubory, které mohly být zmeškané s oznámeními o souborech. Systémy úložiště souborů a systémy oznámení nemohou zaručit 100% doručení všech událostí souborů. Proto Databricks doporučuje povolit pravidelné backfills zachytávat všechna data pomocí automatického zavaděče. cloudFiles.backfillInterval Pomocí této možnosti naplánujte pravidelné obnovení dat. Viz běžné možnosti automatického zavaděče.
Vázané nároky na úložiště pro velké datové proudy svazků
Teď můžete nakonfigurovat automatické zavaděče tak, aby vypršela platnost a odebrala položky ve službě RocksDB, aby svázaly s nároky na úložiště v umístění kontrolního bodu. Databricks nedoporučuje používat, pokud neingestujete data v pořadí milionů souborů za hodinu. Pokud tuto možnost nastavíte nesprávně nebo se ji pokusíte vyladit, může to vést k mnoha problémům s kvalitou dat, jako je ignorování nezpracovaných souborů nebo duplikování některých souborů místo právě po zpracování. Podrobnosti najdete v tématu Uchovávání událostí.
Zjednodušená konfigurace s podporou bez cest
Kontejnery S3
Teď můžete zadat frontu SQS, která přijímá události z více cest nebo kontejnerů S3.
Pokud zadáte adresu URL fronty SQS, path tato možnost se pro tento případ použití nevyžaduje.
Auto Loader vytváří cesty S3 pomocí kontejneru a klíče z událostí S3. Pokud chcete číst soubory prostřednictvím přípojných bodů DBFS, můžete změnit cloudFiles.pathRewrites předpony cest na DBFS. To se nevyžaduje, pokud nemáte přístup k datům v různých účtech pomocí AssumeRole.
Viz Možnosti oznámení o souboru.
Kontejnery Azure Data Lake Storage Gen2
Teď můžete zadat frontu Azure, která přijímá události z více kontejnerů.
Pokud zadáte název fronty Azure, path tato možnost se nevyžaduje.
Auto Loader ve výchozím nastavení vytváří cesty Azure Data Lake Storage Gen2 pomocí kontejneru a klíče v událostech souboru.
Pokud chcete použít cesty WASB nebo přípojné body DBFS, můžete změnit cloudFiles.pathRewrites předpony cesty.
Viz Možnosti oznámení o souboru.
Upgrady konektorů
- Konektor Snowflake Spark byl aktualizován na verzi 2.9.0.
- Šifrování Služby správy klíčů se teď podporuje v
UNLOADpříkazu konektoru Redshift.
Opravy chyb
- Opravili jsme problém s clustery s povoleným řízením přístupu k tabulce, kdy
select * from folderse obsah složky zobrazoval i v případě, že uživatel nemá oprávnění k přístupu k souborům. - Vlastníci databází, kteří nejsou správci, teď můžou v databázích vypustit tabulky, které nejsou ve vlastnictví. Tím se opraví problém, kdy vlastníci databáze nemohli odstranit databázi, pokud v databázi existovaly tabulky, které nepatří do vlastnictví.
Upgrady knihoven
- Upgradované knihovny Pythonu:
- certifikace upgradována z roku 2020.12.5 na verzi 2021.5.30
- lihovar byl upgradován z 0.3.1 na 0.3.2
- koalas upgradoval z verze 1.8.0 na verzi 1.8.1
- Protobuf upgradoval z verze 3.17.0 na verzi 3.17.3
- Upgradované knihovny jazyka R:
- od 4.0.4 do 4.1.0
- boot from 1.3-27 to 1.3-28
- třída od 7.3-18 do 7.3-19
- cluster od 2.1.1 do 2.1.2
- kompilátor z verze 4.0.4 do 4.1.0
- datové sady od 4.0.4 do 4.1.0
- grafika od 4.0.4 do 4.1.0
- grDevices od 4.0.4 do 4.1.0
- mřížka od 4.0.4 do 4.1.0
- KernSmooth od 2.23-18 do 2.23-20
- lattice od 0.20-41 do 0.20-44
- HMOTNOST od 7.3-53.1 do 7.3-54
- Matice od 1,3-2 do 1,3-3
- metody od 4.0.4 do 4.1.0
- mgcv od 1,8-33 do 1,8-35
- nnet od 7.3-15 do 7.3-16
- paralelní od 4.0.4 do 4.1.0
- Rserve od 1.8-7 do 1.8-8
- SparkR od 3.1.1 do 3.1.2
- splines od 4.0.4 do 4.1.0
- Statistiky od 4.0.4 do 4.1.0
- Statistiky 4 od 4.0.4 do 4.1.0
- přežití od 3.2-7 do 3.2-11
- tcltk od 4.0.4 do 4.1.0
- nástroje od 4.0.4 do 4.1.0
- nástroje od 4.0.4 do 4.1.0
- Upgradované knihovny Java:
- snowflake-jdbc od 3.12.8 do 3.13.3
- spark-snowflake_2.12 od 2.8.1-spark_3.0 do 2.9.0-spark_3.1
- RoaringBitmap od 0.9.0 do 0.9.14
- shims od 0.9.0 do 0.9.14
- rocksdbjni fromm 6.2.2 až 6.20.3
Apache Spark
Databricks Runtime 8.4 zahrnuje Apache Spark 3.1.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 8.3 (EoS), a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-35792] [SQL] Zobrazení by nemělo zachytávat konfigurace použité v
RelationConversions - [SPARK-35700] [SQL] Čtení tabulky char/varchar orc s vytvořenými a napsanými externími systémy
- [SPARK-35636] [SQL] Klíče lambda by neměly být odkazovány mimo funkci lambda.
- [SPARK-35800] [Výběr třešně] Vylepšení testovatelnosti GroupState zavedením testGroupState
- [SPARK-35391] Oprava nevracení paměti v ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Oprava měření metrik allUpdatesTimeMs v FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Odebrání závislosti výčtu podtřídy StateStoreCustomMetric
- [SPARK-35791 [SQL] Správně vydané mapování pro připojení ANTI s podporou null
- [SPARK-35695] [SQL] Shromažďování pozorovaných metrik z mezipamětí a dílčích stromů adaptivního spouštění
- [SPARK-35767] [SQL] Vyhněte se provádění podřízeného plánu dvakrát v CoalesceExec
- [SPARK-35746] [UŽIVATELSKÉ ROZHRANÍ] Oprava ID úkolu na časové ose úkolu na stránce fáze
- [SPARK-35673] [SQL] Oprava uživatelem definované nápovědy a nerozpoznané nápovědy v poddotazu
- [SPARK-35714] [JÁDRO] Oprava chyby zablokování během vypnutí exekutoru
- [SPARK-35689] [SS] Přidání protokolu s upozorněním, když keyWithIndexToValue vrátí hodnotu null
- [SPARK-35589] [JÁDRO][3.1] BlockManagerMasterEndpoint by neměl při aktualizaci ignorovat soubor náhodného prohazování jen pro index.
- [SPARK-35643] [PYTHON] Oprava nejednoznačného odkazu ve sloupci functions.py
- [SPARK-35652] [SQL] joinWith ve dvou tabulce vygenerovaných ze stejné tabulky
- [SPARK-35679] [SQL] přetečení instantToMicros
- [SPARK-35602] [SS] Aktualizace schématu stavu pro příjem formátu JSON s dlouhou délkou
- [SPARK-35653] [SQL] Oprava chyby interpretované cesty CatalystToExternalMap pro Map s třídami případů jako klíči nebo hodnotami
- [SPARK-35296] [SQL] Povolit Funkci Dataset.observe, i když funkce CollectMetricsExec v úloze zpracovává více oddílů
- [SPARK-35659] [SS] Vyhněte se zápisu null do StateStore
- [SPARK-35665] [SQL] Řešení unresolvedAlias v CollectMetrics
- [SPARK-35558] Optimalizuje načítání s více quantilemi.
- [SPARK-35621] [SQL] Přidání ID pravidla pro vyřazování do pravidla TypeCoercion
- [SPARK-35077] [SQL] Migrace na transformaciWithPruning pro levá pravidla optimalizátoru
- [SPARK-35610] [JÁDRO] Oprava nevracení paměti zavedeného zapínáním zarážky exekutoru
- [SPARK-35544] [SQL] Přidání vyřezávání vzorů stromu do pravidel Analyzátoru
- [SPARK-35566] [SS] Oprava výstupních řádků StateStoreRestoreExec
- [SPARK-35454] [SQL][3.1] Jeden logický plán může odpovídat více ID datových sad.
- [SPARK-35538] [SQL] Migrace transformAllExpressions volání lokalit pro použití transformAllExpressionsWithPruning
- [SPARK-35106] [Jádro][SQL] Vyhněte se neúspěšnému přejmenování způsobenému neexistujícím cílovým adresářem
- [SPARK-35287] [SQL] Povolit RemoveRedundantProjects zachovat ProjectExec, který generuje UnsafeRow pro DataSourceV2ScanRelation
- [SPARK-35495] [R] Změna správce SparkR pro CRAN
- [SPARK-27991] [JÁDRO] Odložit požadavek na načtení na netty OOM
- [SPARK-35171] [R] Deklarujte balíček Markdown jako závislost balíčku SparkR.
- [SPARK-35454] [SQL] Jeden logický plán může odpovídat více ID datových sad.
- [SPARK-35298] [SQL] Migrace na transformaciWithPruning pro pravidla v Optimizer.scala
- [SPARK-35480] [SQL] Percentile_approx pracovat s kontingenčním grafem
- [SPARK-35093] [SQL] AQE teď používá nový plánQueryStage jako klíč pro vyhledávání výměn uložených v mezipaměti pro opětovné použití.
- [SPARK-35146] [SQL] Migrace na transformWithPruning nebo resolveWithPruning pro pravidla v finishAnalysis.scala
- [SPARK-35411] [SQL] Přidání základních informací při serializaci TreeNode do formátu JSON
- [SPARK-35294] [SQL] Přidání procházení stromu v pravidlech s vyhrazenými soubory v optimalizátoru
- [SPARK-34897] [SQL][3.1] Podpora odsouhlasení schémat na základě indexu po vnořeném vyřazení sloupců
- [SPARK-35144] [SQL] Migrace na transformaciWithPruning pro pravidla objektů
- [SPARK-35155] [SQL] Přidání ID pravidla pro vyřazení do pravidel Analyzátoru
- [SPARK-35382] [PYTHON] Oprava problémů s názvy proměnných lambda ve vnořených funkcích datového rámce v rozhraních PYTHON API
- [SPARK-35359] [SQL] Vložení dat s datovým typem char/varchar selže, když délka dat překročí omezení délky
- [SPARK-35381] [R] Oprava problémů s názvy proměnných lambda ve vnořených funkcích vyššího pořadí v rozhraních API R
Prostředí systému
- Operační systém: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| kryptografie | 3.1.1 | cyklista | 0.10.0 | Cython | 0.29.21 |
| dekoratér | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| vstupní body | 0.3 | přehled omezujících vlastností | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| verizonsolver | 1.3.0 | Koaly | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| bábovka | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| jádro | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| žádosti | 2.24.0 | Opakování... | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | Šest | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornádo | 6.0.4 | vlastnosti | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| kolo | 0.35.1 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backporty | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitové | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| startování | 1.3-28 | vařit | 1.0-6 | verva | 1.1.0 |
| koště | 0.7.2 | volající | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| Rozhraní příkazového řádku | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | barevný prostor | 2.0-0 | commonmark | 1,7 |
| – kompilátor | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | pastelka | 1.3.4 | přihlašovací údaje | 1.3.0 |
| nežádoucí signál | 1.1.0.1 | kudrna | 4.3 | data.table | 1.13.4 |
| Power BI | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| trávit | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| tři tečky | 0.3.1 | evaluate | 0,14 | fanynky | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | zahraniční | 0.8-81 | kovat | 0.2.0 |
| Fs | 1.5.0 | budoucnost | 1.21.0 | Generik | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globálních objektů | 0.14.0 |
| lepidlo | 1.4.2 | Gower | 0.2.2 | Grafika | 4.1.0 |
| grDevices | 4.1.0 | mřížka | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | útočiště | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Iterátory | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | pletení | 1,30 |
| značení | 0.4.2 | později | 1.1.0.1 | mříž | 0.20-44 |
| láva | 1.6.8.1 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| sleva | 1,1 | MŠE | 7.3-54 | Matice | 1.3-3 |
| memoise | 1.1.0 | metody | 4.1.0 | mgcv | 1.8-35 |
| mim | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| paralelně | 1.22.0 | pilíř | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | chválit | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Průběh | 1.2.2 | sliby | 1.1.1 | proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| Analýza rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recepty | 0.1.15 |
| odvetný zápas | 1.0.1 | rematch2 | 2.1.2 | vzdálená zařízení | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | váhy | 1.1.1 |
| selektor | 0.4-2 | sessioninfo | 1.1.1 | tvar | 1.4.5 |
| lesklý | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | prostorový | 7.3-11 | spline křivky | 4.1.0 |
| sqldf | 0.4-11 | ČTVEREC | 2020.5 | statistické údaje | 4.1.0 |
| Statistiky 4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| přežití | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| Uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | vous | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofein | kofein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metriky – jádro | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metriky – servlety | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | sběratel | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.kurátor | kurátor-client | 2.7.1 |
| org.apache.kurátor | kurátor-framework | 2.7.1 |
| org.apache.kurátor | kurátor-recepty | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | břečťan | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | kódování parquet | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | cílové skupiny a poznámky | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | pokračování jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | žerzejové společné | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | Hibernate-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Podložky | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | nepoužitý | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | kočky-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | makro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |