Sdílet prostřednictvím

Databricks Runtime 10.4 LTS

  • Článek

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.4 LTS a Databricks Runtime 10.4 LTS Photon, které využívají Apache Spark 3.2.1. Photon je ve verzi Public Preview. Databricks vydala tuto verzi v březnu 2022.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.

Tip

Poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), najdete v poznámkách k verzi Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Převaděč tabulek Iceberg to Delta (Public Preview)

Převod na Delta teď podporuje převod tabulky Iceberg na tabulku Delta. Dělá to pomocí nativních metadat a manifestů souborů Icebergu. Viz Převod na Delta Lake.

Vrácení zpět automatického komprimace je teď ve výchozím nastavení povolené.

Tato verze zlepšuje chování zápisů Delta Lake, které potvrdí, když existují souběžné transakce automatické komprimace. Před touto verzí by se takové zápisy často ukončily kvůli souběžným úpravám tabulky. Zápisy budou nyní úspěšné i v případě, že existují souběžné transakce automatické komprimace.

Sloučení s nízkým shufflem je teď ve výchozím nastavení povolené.

Příkaz MERGE INTO teď vždy používá novou implementaci s nízkým náhodném náhodném prohazem. Toto chování výrazně zlepšuje výkon MERGE INTO příkazu u většiny úloh. Nastavení konfigurace, které bylo dříve použito k povolení této funkce, bylo odebráno. Viz Malé sloučení shuffle v Azure Databricks.

Značky pořadí vložení se teď zachovají pro UPDATEs a DELETEs.

DELETE Příkazy UPDATE teď zachovávají existující informace o clusteringu (včetně řazení Z) pro soubory, které se aktualizují nebo odstraní. Toto chování je přístup s nejlepším úsilím a tento přístup se nevztahuje na případy, kdy jsou soubory tak malé, že se tyto soubory zkombinují během aktualizace nebo odstranění.

HikariCP je teď výchozí fond připojení metastoru Hive.

HikariCP přináší mnoho vylepšení stability pro přístup k metastoru Hive a současně udržuje méně připojení v porovnání s předchozí implementací fondu připojení BoneCP. HikariCP je ve výchozím nastavení povolen v jakémkoli clusteru Databricks Runtime, který používá metastor Databricks Hive (například pokud spark.sql.hive.metastore.jars není nastavený). Můžete také explicitně přepnout na jiné implementace fondu připojení, například BoneCP, nastavením spark.databricks.hive.metastore.client.pool.type.

Konektor Azure Synapse teď umožňuje nastavit maximální počet povolených odmítnutých řádků.

Konektor Azure Synapse teď podporuje možnost maxErrors DataFrame. Tato aktualizace umožňuje nakonfigurovat maximální počet odmítnutých řádků, které jsou povoleny při čtení a zápisu před zrušením operace načítání. Všechny odmítnuté řádky se ignorují. Pokud například dva z deseti záznamů obsahují chyby, zpracuje se pouze osm záznamů.

Tato možnost se mapuje přímo na REJECT_VALUE možnost příkazu CREATE EXTERNAL TABLE v PolyBase a na MAXERRORS možnost pro příkaz konektoru COPY Azure Synapse.

Ve výchozím nastavení je hodnota nastavená na 0: očekává se, maxErrors že budou všechny záznamy platné.

Asynchronní vytváření kontrolních bodů stavu je nyní obecně dostupné.

V dotazech stavového streamování s velkými aktualizacemi stavu můžete povolit asynchronní vytváření kontrolních bodů stavu. To může snížit latenci mikrodávkové dávky na konci. Tato funkce je teď obecně dostupná. Viz Asynchronní vytváření kontrolních bodů stavu pro stavové dotazy.

Pro uživatelem definované funkce SQL je teď možné zadat výchozí hodnoty parametrů.

Když vytvoříte uživatelem definovanou funkci SQL (SQL UDF), můžete teď zadat výchozí výrazy pro parametry funkce definované uživatelem SQL. Potom můžete volat UDF SQL bez zadání argumentů pro tyto parametry a Databricks vyplní výchozí hodnoty těchto parametrů. Viz CREATE FUNCTION (SQL a Python).

Nové funkce Spark SQL

V této verzi jsou nyní k dispozici následující funkce Spark SQL:

  • try_multiply: Vrátí multiplier hodnotu vynásobenou násobením multiplicandnebo NULL při přetečení.
  • try_subtract: Vrátí odčítání expr2 od expr1, nebo NULL při přetečení.

Nový pracovní adresář pro clustery s vysokou souběžností

V clusterech s vysokou souběžností s povoleným řízením přístupu k tabulce nebo předáváním přihlašovacích údajů je aktuální pracovní adresář poznámkových bloků nyní domovským adresářem uživatele. Dříve byl /databricks/driverpracovní adresář .

Podpora sloupců identit v tabulkách Delta je teď obecně dostupná.

Delta Lake teď podporuje sloupce identit. Když napíšete do tabulky Delta, která definuje sloupec identity, a nezadáte hodnoty pro tento sloupec, Delta teď automaticky přiřadí jedinečnou a statisticky rostoucí nebo sestupnou hodnotu. Viz CREATE TABLE [USING].

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • filelock od 3.4.2 do 3.6.0
  • Upgradované knihovny jazyka R:
    • vaření od 1.0-6 do 1.0-7
    • Koště od 0.7.11 do 0.7.12
    • cli od 3.1.0 do 3.2.0
    • clipr od 0.7.1 do 0.8.0
    • barevný prostor od 2.0-2 do 2.0-3
    • crayon od 1.4.2 do 1.5.0
    • dplyr od 1.0.7 do 1.0.8
    • dtplyr od 1.2.0 do 1.2.1
    • vyhodnocení z 0,14 na 0,15
    • foreach od 1.5.1 do 1.5.2
    • budoucí od 1.23.0 do 1.24.0
    • generics from 0.1.1 to 0.1.2
    • připevnění od 1.6.0 k 1.6.1
    • gower od 0.2.2 do 1.0.0
    • iterátory od 1.0.13 do 1.0.14
    • jsonlite od 1.7.3 do 1.8.0
    • magrittr od 2.0.1 do 2.0.2
    • mgcv od 1,8-38 do 1,8-39
    • pilíř od 1.6.4 do 1.7.0
    • randomForest od 4.6-14 do 4.7-1
    • readr od 2.1.1 do 2.1.2
    • recepty od 0.1.17 do 0.2.0
    • rlang od 0.4.12 do 1.0.1
    • rpart from 4.1-15 to 4.1.16
    • RSQLite od 2.2.9 do 2.2.10
    • sparklyr od 1.7.4 do 1.7.5
    • test ze 3.1.1 do 3.1.2
    • tidyr od 1.1.4 do 1.2.0
    • Tidyselect from 1.1.1 to 1.1.2
    • tinytex od 0,36 do 0,37
    • yaml od 2.2.1 do 2.3.5
  • Upgradované knihovny Java:
    • io.delta.delta-sharing-spark_2.12 od 0.3.0 do 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS zahrnuje Apache Spark 3.2.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 10.3 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-38322] [SQL] Fáze dotazu podpory zobrazuje statistiky modulu runtime v režimu vysvětlení ve formátu
  • [SPARK-38162] [SQL] Optimalizace jednoho plánu řádků v normálním režimu a optimalizátoru AQE
  • [SPARK-38229] [SQL] Při parseru byste neměli kontrolovat temp,external/ifNotExists s webem VisitReplaceTable.
  • [SPARK-34183] [SS] Zdroj dat V2: Požadovaná distribuce a řazení v mikrodávkovém spouštění
  • [SPARK-37932] [SQL]Než použijete deduplicateRelations, počkejte na vyřešení chybějících atributů.
  • [SPARK-37904] [SQL] Vylepšení vyvážení částí v pravidlech optimalizátoru
  • [SPARK-38236] [SQL][3.2][3.1] Zkontrolujte, jestli umístění tabulky není absolutní podle "new Path(locationUri).isAbsolute" v tabulce create/alter
  • [SPARK-38035] [SQL] Přidání testů Dockeru pro dialekt JDBC build-in
  • [SPARK-38042] [SQL] Ujistěte se, že ScalaReflection.dataTypeFor funguje u aliasovaných typů polí.
  • [SPARK-38273] [SQL] decodeUnsafeRows' iterátory by měly zavřít podkladové vstupní streamy.
  • [SPARK-38311] [SQL] Oprava DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite v režimu ANSI
  • [SPARK-38305] [JÁDRO] Explicitně zkontrolujte, jestli zdroj existuje v rozbalení () před voláním metod FileUtil.
  • [SPARK-38275] [SS] Zahrnout využití paměti writeBatch jako celkové využití paměti úložiště stavů RocksDB
  • [SPARK-38132] [SQL] Odebrat NotPropagation pravidlo
  • [SPARK-38286] [SQL] MaxRows a maxRowsPerPartition union můžou přetéct
  • [SPARK-38306] [SQL] Oprava ExplainSuite, StatisticsCollectionSuite a StringFunctionsSuite v režimu ANSI
  • [SPARK-38281] [SQL][Testy] Oprava AnalysisSuite v režimu ANSI
  • [SPARK-38307] [SQL][Testy] Oprava ExpressionTypeCheckingSuite a CollectionExpressionsSuite v režimu ANSI
  • [SPARK-38300] [SQL] Použití ByteStreams.toByteArray ke zjednodušení fileToString a resourceToBytes v nástroji catalyst.util
  • [SPARK-38304] [SQL] Elt() by měla vrátit hodnotu null, pokud má index hodnotu null v režimu ANSI.
  • [SPARK-38271] PoissonSampler může vypíše více řádků než MaxRows.
  • [SPARK-38297] [PYTHON] Explicitní přetypování návratové hodnoty na DataFrame.to_numpy v POS
  • [SPARK-38295] [SQL][Testy] Oprava AritmeticExpressionSuite v režimu ANSI
  • [SPARK-38290] [SQL] Oprava JsonSuite a ParquetIOSuite v režimu ANSI
  • [SPARK-38299] [SQL] Vyčištění zastaralého využití StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respektovat allowNonNumericNumbers při analýze hodnot NaN a Nekonečno ve čtečce JSON
  • [SPARK-38276] [SQL] Přidání schválených plánů TPCDS v režimu ANSI
  • [SPARK-38206] [SS] Ignorovat možnost null při porovnávání datového typu spojovacích klíčů ve spojení streamu
  • [SPARK-37290] [SQL] – Exponenciální čas plánování v případě ne deterministické funkce
  • [SPARK-38232] [SQL] Vysvětlení formátování neshromažďuje poddotazy ve fázi dotazu v AQE
  • [SPARK-38283] [SQL] Testování neplatné analýzy data a času v režimu ANSI
  • [SPARK-38140] [SQL] Desc column stats (min, max) for timestamp type is not consistent with the values due to time zone difference
  • [SPARK-38227] [SQL][SS] Použít striktní hodnotu nullability vnořeného sloupce v časovém okně / okně relace
  • [SPARK-38221] [SQL] Dychtivě iterujte nad groupingExpressions při přesouvání složitých výrazů seskupení z agregačního uzlu
  • [SPARK-38216] [SQL] Selhání brzy, pokud jsou všechny sloupce rozdělené do oddílů při vytváření tabulky Hive
  • [SPARK-38214] [SS]Není nutné filtrovat okna, pokud windowDuration je násobek slideDuration
  • [SPARK-38182] [SQL] Oprava NoSuchElementException, pokud vložený filtr neobsahuje žádné odkazy
  • [SPARK-38159] [SQL] Přidání nového Atributu FileSourceMetadataAttribute pro metadata skrytých souborů
  • [SPARK-38123] [SQL] Jednotné používání DataType v rámci targetTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(nesprávný datový typ) v klauzuli HAVING by měl vyvolat chybu neshody dat
  • [SPARK-35173] [SQL][PYTHON] Přidání podpory pro přidání více sloupců
  • [SPARK-38177] [SQL] Oprava nesprávných transformExpressions v Optimalru
  • [SPARK-38228] [SQL] Přiřazení starší verze úložiště by nemělo selhat při chybě v režimu ANSI
  • [SPARK-38173] [SQL] Sloupec quoted nelze správně rozpoznat, když quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Kontrola odebrání array_sort seřazených položek
  • [SPARK-38199] [SQL] Odstraňte nepoužité dataType zadané v definici IntervalColumnAccessor
  • [SPARK-38203] [SQL] Oprava SQLInsertTestSuite a SchemaPruningSuite v režimu ANSI
  • [SPARK-38163] [SQL] Zachování třídy SparkThrowable chyb při vytváření tvůrce funkcí
  • [SPARK-38157] [SQL] Explicitně nastavte ANSI na false v testovacím časovém razítkuNTZ/timestamp.sql a SQLQueryTestSuite tak, aby odpovídaly očekávaným zlatým výsledkům.
  • [SPARK-38069] [SQL][SS] Vylepšení výpočtu časového intervalu
  • [SPARK-38164] [SQL] Nové funkce SQL: try_subtract a try_multiply
  • [SPARK-38176] [SQL] Režim ANSI: Povolit implicitně přetypovat řetězec na jiné jednoduché typy
  • [SPARK-37498] [PYTHON] Přidání nakonec pro test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Oprava queryExecution.debug#toFile s použitím předaného parametru maxFields při vysvětleníMode je CodegenMode
  • [SPARK-38131] [SQL] Použití tříd chyb pouze v uživatelských výjimkách
  • [SPARK-37652] [SQL] Přidání testu pro optimalizaci nerovnoměrného spojení prostřednictvím sjednocení
  • [SPARK-37585] [SQL] Aktualizace vstupní metriky v DataSourceRDD pomocí TaskCompletionListener
  • [SPARK-38113] [SQL] Použití tříd chyb v chybách provádění pivotingu
  • [SPARK-38178] [SS] Oprava logiky pro měření využití paměti RocksDB
  • [SPARK-37969] [SQL] Název pole HiveFileFormat by měl zkontrolovat
  • [SPARK-37652] Vrátit zpět "[SQL]Přidání testu pro optimalizaci nerovnoměrného spojení prostřednictvím sjednocení"
  • [SPARK-38124] [SQL][SS] Zavedení StatefulOpClusteredDistribution a použití pro připojení stream-stream
  • [SPARK-38030] [SQL] Canonicalization should not remove nullability of AttributeReference dataType
  • [SPARK-37907] [SQL] InvokeLike podporuje ConstantFolding
  • [SPARK-37891] [JÁDRO] Přidání kontroly scalastyle pro zakázání scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Aktualizace komentáře RelationConversions
  • [SPARK-37943] [SQL] Použití tříd chyb v chybách kompilace seskupení
  • [SPARK-37652] [SQL]Přidání testu pro optimalizaci nerovnoměrného spojení prostřednictvím sjednocení
  • [SPARK-38056] [Webové uživatelské rozhraní][3.2] Oprava potíží s nefunkčním strukturovaným streamováním na serveru historie při použití LevelDB
  • [SPARK-38144] [JÁDRO] Odebrání nepoužívané spark.storage.safetyFraction konfigurace
  • [SPARK-38120] [SQL] Oprava HiveExternalCatalog.listPartitions, když je název sloupce oddílu velká a tečka v hodnotě oddílu
  • [SPARK-38122] [Docs] Aktualizace klíče aplikace DocSearch
  • [SPARK-37479] [SQL] Migrace DROP NAMESPACE pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-35703] [SQL] Relax constraint for bucket join and remove HashClusteredDistribution
  • [SPARK-37983] [SQL] Back out agg build time metrics from sort aggregate
  • [SPARK-37915] [SQL] Kombinování sjednocení, pokud mezi nimi existuje projekt
  • [SPARK-38105] [SQL] Použití tříd chyb při analýze chyb spojení
  • [SPARK-38073] [PYTHON] Aktualizace funkce atexit, aby nedocházelo k problémům s pozdní vazbou
  • [SPARK-37941] [SQL] Použití tříd chyb v chybách kompilace přetypování
  • [SPARK-37937] [SQL] Použití tříd chyb při analýze chyb laterálního spojení
  • [SPARK-38100] [SQL] Odebrání nepoužívané privátní metody v Decimal
  • [SPARK-37987] [SS] Oprava flaky test StreamingAggregationSuite.changing schéma stavu při restartování dotazu
  • [SPARK-38003] [SQL] Pravidlo LookupFunctions by mělo vyhledávat jenom funkce z registru skalárních funkcí.
  • [SPARK-38075] [SQL] Oprava hasNext v HiveScriptTransformationExeciterátoru výstupu procesu
  • [SPARK-37965] [SQL] Odebrání názvu zaškrtávacího pole při čtení nebo zápisu existujících dat v orc
  • [SPARK-37922] [SQL] Sloučit na jedno přetypování, pokud můžeme bezpečně přetypovat dvě přetypování (pro dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Zabránění přepsání sloučených souborů při náhodném prohazování po dokončení náhodného prohazování
  • [SPARK-38011] [SQL] Odebrání duplicitní a zbytečné konfigurace v ParquetFileFormat
  • [SPARK-37929] [SQL] Podpora kaskádových režimů pro dropNamespace rozhraní API
  • [SPARK-37931] [SQL] V případě potřeby uvozujte název sloupce.
  • [SPARK-37990] [SQL] Podpora TimestampNTZ v RowToColumnConverter
  • [SPARK-38001] [SQL] Nahraďte třídy chyb související s nepodporovanými funkcemi. UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 podporuje částečnou agregaci push-down. AVG
  • [SPARK-37878] [SQL] Migrace příkazu SHOW CREATE TABLE tak, aby ve výchozím nastavení používala příkaz v2
  • [SPARK-37731] [SQL] Refaktoring a vyčištění vyhledávání funkcí v Analyzeru
  • [SPARK-37979] [SQL] Přepnutí na obecné třídy chyb ve funkcích AES
  • [SPARK-37867] [SQL] Kompilace agregačních funkcí dialektu JDBC sestavení
  • [SPARK-38028] [SQL] Zveřejnění vektoru šipky ze arrowColumnVector
  • [SPARK-30062] [SQL] Přidání příkazu IMMEDIATE do implementace dialektu DB2 truncate
  • [SPARK-36649] [SQL] Podpora Trigger.AvailableNow zdroje dat Kafka
  • [SPARK-38018] [SQL] Oprava sloupce ColumnVectorUtils.populate pro správné zpracování CalendarIntervalType
  • [SPARK-38023] [JÁDRO] ExecutorMonitor.onExecutorRemoved by měl zpracovat ExecutorDecommission jako dokončený
  • [SPARK-38019] [JÁDRO] Nastavení ExecutorMonitor.timedOutExecutors deterministické
  • [SPARK-37957] [SQL] Správně předat deterministický příznak pro skalární funkce V2
  • [SPARK-37985] [SQL] Oprava flaky test pro SPARK-37578
  • [SPARK-37986] [SQL] Podpora časového razítkaNTZ v radix sort
  • [SPARK-37967] [SQL] Literal.create podporuje ObjectType
  • [SPARK-37827] [SQL] Vložení některých předdefinovaných vlastností tabulky do V1Table.propertie pro přizpůsobení příkazu V2
  • [SPARK-37963] [SQL] Po přejmenování tabulky v InMemoryCatalogu je potřeba aktualizovat identifikátor URI oddílu.
  • [SPARK-35442] [SQL] Podpora šíření prázdné relace prostřednictvím agregace nebo sjednocení
  • [SPARK-37933] [SQL] Změna metody procházení pravidel v2ScanRelationPushDown
  • [SPARK-37917] [SQL] Nasdílení limitu 1 pro pravou stranu levého polo-anti join, pokud je podmínka spojení prázdná
  • [SPARK-37959] [ML] Oprava ut kontroly normy v KMeans & BiKMeans
  • [SPARK-37906] [SQL] Spark-sql by neměl předávat poslední komentář back-endu.
  • [SPARK-37627] [SQL] Přidání seřazeného sloupce v BucketTransformu

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.4 LTS.

Prostředí systému

  • Operační systém: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bělit 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cyklista 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratér 5.0.6 defusedxml 0.7.1
distlib 0.3.4 informace o distribuci 0.23ubuntu1 vstupní body 0.3
přehled omezujících vlastností 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 verizonsolver 1.3.1 Koaly 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 špatně zamyšlení 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 poznámkový blok 6.3.0 numpy 1.20.1
balení 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 bábovka 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Polštář 8.2.0 jádro 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
žádosti 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Šest 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 houževnatost 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornádo 6.1 vlastnosti 5.0.5 bezobslužné upgrady 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 kolo 0.36.2 widgetsnbextension 3.5.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2022-02-24.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.4.1
base 4.1.2 base64enc 0.1-3 bitové 4.0.4
bit64 4.0.5 blob 1.2.2 startování 1.3-28
vařit 1.0-7 verva 1.1.3 koště 0.7.12
bslib 0.3.1 cachem 1.0.6 volající 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 Rozhraní příkazového řádku 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 barevný prostor 2.0-3
commonmark 1,7 – kompilátor 4.1.2 config 0.3.1
cpp11 0.4.2 pastelka 1.5.0 přihlašovací údaje 1.3.2
kudrna 4.3.2 data.table 1.14.2 Power BI 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 trávit 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
tři tečky 0.3.2 evaluate 0.15 fanynky 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 zahraniční 0.8-82
kovat 0.2.0 Fs 1.5.2 budoucnost 1.24.0
future.apply 1.8.1 kloktadlo 1.2.0 Generik 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globálních objektů 0.14.0
lepidlo 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 Grafika 4.1.2 grDevices 4.1.2
mřížka 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 bezpečnostní přilba 0.2.0 útočiště 2.4.3
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iterátory 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 pletení 1,37 značení 0.4.2
později 1.3.0 mříž 0.20-45 láva 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 sleva 1,1 MŠE 7.3-55
Matice 1.4-0 memoise 2.0.1 metody 4.1.2
mgcv 1.8-39 mim 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 paralelně 1.30.0 pilíř 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 chválit 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Průběh 1.2.2 progressr 0.10.0
sliby 1.2.0.1 proto 1.0.0 plná moc 0.4-26
PS 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recepty 0.2.0 odvetný zápas 1.0.1 rematch2 2.1.2
vzdálená zařízení 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 drzá napodobenina 0.4.0
váhy 1.1.1 selektor 0.4-2 sessioninfo 1.2.2
tvar 1.4.6 lesklý 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 prostorový 7.3-11
spline křivky 4.1.2 sqldf 0.4-11 ČTVEREC 2021.1
statistické údaje 4.1.2 Statistiky 4 4.1.2 stringi 1.7.6
stringr 1.4.0 přežití 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 Uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
Waldo 0.3.1 vous 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-Databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy břečťan 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kódování parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty pokračování jetty 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket – společné 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core žerzejové společné 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark nepoužitý 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1