共用方式為


Databricks Runtime 10.1 (EoS)

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期,請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 發行說明版本與相容性

下列版本資訊提供由 Apache Spark 3.2.0 提供的 Databricks Runtime 10.1 和 Databricks Runtime 10.1 Photon 的相關信息。 Databricks 於 2021 年 11 月發行此版本。 Photon 處於 公開預覽狀態

新功能和改進

用於壓縮小型檔案的新 Delta 表設定

Delta 數據表屬性 delta.autoOptimize.autoCompact 現在除了 truefalse的現有值之外,還接受新值 autolegacy。 當設定為 auto (建議),自動壓縮會使用較佳的預設值,例如將 32 MB 設定為目標檔案大小(雖然預設行為在未來可能會變更)。 當設定為 legacytrue時,自動壓縮會使用 128 MB 作為目標檔案大小。

您可以將 spark.databricks.delta.autoCompact.enabled 組態設定為 autolegacytrue,以啟用所有 Delta 數據表的自動壓縮,而不是針對個別數據表設定此屬性。 在目前工作階段中,此設定優先於相關資料表的屬性。

您可以使用組態來控制 spark.databricks.delta.autoCompact.maxFileSize 自動壓縮的目標檔案大小。

如需自動壓縮的詳細資訊,請參閱 Azure Databricks 上 Delta Lake 的自動壓縮。

Parquet 查詢掃描的新數據列群組計量

使用 Parquet 掃描的查詢現在會在 Spark UI 中呈現數據列群組計量。 這些資料列群組計量如下:

  • parquet 數據列群組的總數
  • 讀取的 parquet 數據列群組數目

Delta 來源串流查詢的 Trigger.AvailableNow

這項變更支援 Scala 中差異來源串流查詢的新觸發程式類型: Trigger.AvailableNow。 就像 Trigger.Once,它會處理所有可用的數據,然後停止查詢。 不過, Trigger.AvailableNow 提供更佳的延展性,因為數據可以在多個批次中處理,而不是一個批次。 這項變更不會引進新的介面;它會實作現有的Spark API。 此觸發程式也支援 Delta 已支援作為來源的所有速率限制選項。

範例:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

請參閱什麼是自動載入器?Trigger.AvailableNow涵蓋範圍

Auto Loader 的 Trigger.AvailableNow

Trigger.AvailableNow 是類似於 Trigger.Once的新串流觸發程式模式。 Trigger.Once 處理所有可用的數據,然後停止查詢。 Trigger.AvailableNow 有更好的延展性,因為數據可以在多個批次中處理,而不是一個。 自動載入器現在同時支援 Trigger.AvailableNow Scala 的目錄清單和檔案通知模式。 請參閱什麼是自動載入器?Trigger.AvailableNow涵蓋範圍

透過 DataFrame 選項傳遞的 Hadoop 文件系統組態差異支援

與 Parquet 類似,Delta 現在支援在使用 DataFrameReader.load(path)DataFrameWriter.save(path)讀取或寫入數據表時,從 DataFrameReaderDataFrameWriter 選項中讀取 Hadoop 檔系統 組態。 請參閱 配置 Delta 儲存憑證

具狀態串流作業現在支援異步狀態檢查點處理 (公開預覽)

異步狀態檢查點檢查是一項新功能,可降低具有大型狀態更新之具狀態串流作業的端對端微批次延遲。 請參閱 具狀態查詢的異步狀態檢查點。

具有認證傳遞的 Sparklyr

您現在可以使用sparklyr API,透過認證傳遞來回讀取和寫入雲端記憶體的數據。 此功能僅限於具有單一使用者存取的標準叢集。 請參閱使用 Microsoft Entra 認證傳遞存取 Azure Data Lake Storage

Databricks 公用程式數據摘要精確度控制 (公開預覽)

用於控制摘要結果精確度的新 precise 參數 dbutils.data.summarize 。 當 precise 設定為 false(預設值)時,摘要會傳回相異計數、百分位數和常見項目計數的近似結果。 當 precise 設定為 true 時,現在會計算摘要,採用精確的唯一值計數與頻繁項目計數,並提供更精確的百分位數估計值。 請參閱 summarize 命令 (dbutils.data.summarize)

Azure Databricks Notebook 現在可以與 IPython 核心搭配使用

您現在可以設定 Azure Databricks 叢集,以使用 IPython 核心來執行 Python 程式代碼。 在 Azure Databricks 上使用 IPython 核心可新增 IPython 顯示和輸出工具的支援。 此外,IPython 核心會擷取筆記本所建立之子進程的 stdout 和 stderr 輸出,讓該輸出包含在筆記本的命令結果中。

如需詳細資訊,請參閱 IPython 核心

Spark SQL 中的新函式

已新增下列物件和命令,以便處理 Unity 目錄 (預覽) 中的數據

已針對 Delta Sharing (Preview)新增下列命令,這可讓您與組織外部的收件者共用只讀數據:

錯誤修正

  • 已修正可能導致查詢失敗 IOException 的競爭條件,例如 No FileSystem for scheme ,或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。

連結庫升級

  • 升級的 Python 連結庫:
    • filelock from 3.0.12 to 3.3.1
    • 從 1.8.1 到 1.8.2 的考拉
    • 從 5.1.0 到 5.3.0 的繪圖
  • 升級的 R 連結庫:
    • bslib 從 0.3.0 到 0.3.1
    • 從 6.0-88 到 6.0-90 的插入號
    • cpp11 從 0.3.1 到 0.4.0
    • 從 1.14.0 到 1.14.2 的 data.table
    • desc 從 1.3.0 到 1.4.0
    • diffobj 從 0.3.4 到 0.3.5
    • 摘要從 0.6.27 到 0.6.28
    • 泛型從 0.1.0 到 0.1.1
    • 從 1.1.0 到 1.1.1 的 hms
    • 從 1.34 到 1.36 的針織器
    • 從 0.20-44 到 0.20-45 的格子
    • 從 1.0.0 到 1.0.1 的生命週期
    • 從 1.7.10 到 1.8.0 的 lubridate
    • mgcv 從 1.8-37 到 1.8-38
    • mime 從 0.11 到 0.12
    • 從 1.2.2 到 1.2.3 的 pkgload
    • progressr from 0.8.0 to 0.9.0
    • 從 1.3.3 到 1.4.0 的 rcmdcheck
    • 自 2.0.1 到 2.0.2 的 readr
    • 食譜從 0.1.16 到 0.1.17
    • 從 2.4.0 到 2.4.1 的 remotes
    • rlang 從 0.4.11 到 0.4.12
    • 從 1.0.1 到 1.0.2 的rvest
    • 閃亮從 1.6.0 到 1.7.1
    • stringi 從 1.7.4 到 1.7.5
    • 測試從 3.0.4 到 3.1.0
    • 從 1.1.3 到 1.1.4
    • tinytex from 0.33 to 0.34
    • usethis from 2.0.1 to 2.1.2
    • 從 0.26 到 0.27 的 xfun
  • 升級的 Java 程式庫:
    • com.zaxxer.HikariCP,從 3.1.0 到 4.0.3

Apache Spark

Databricks Runtime 10.1 包含 Apache Spark 3.2.0。 此版本包含 Databricks Runtime 10.0 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 所做的其他錯誤修正和改進:

  • [SPARK-37037] [SQL]藉由統一 UTF8String 和 ByteArray 的 compareTo 函式來改善位元組陣列排序
  • [SPARK-37091] [R] 要包含 Java < 18 的 SystemRequirements
  • [SPARK-37041] [SQL]Backport HIVE-15025:HMS 的安全套接字層 (SSL) 支援
  • [SPARK-37098] [SQL] Alter table 屬性應該使快取失效
  • [SPARK-36992] [SQL]藉由統一 UTF8String 和 ByteArray 的 getPrefix 函式來改善位元組數位排序效能
  • [SPARK-37047] [SQL]新增二進位字串的 lpad 和 rpad 函式
  • [SPARK-37076] [SQL]明確實作 Scala 2.13 的 StructType.toString
  • [SPARK-37075] [SQL]將 UDAF 表達式建置從 sql/catalyst 移至 sql/core
  • [SPARK-37084] [SQL] 將 spark.sql.files.openCostInBytes 設定為 bytesConf
  • [SPARK-37088] [PYSPARK][SQL]工作完成接聽程式傳回之後,寫入器線程不得存取輸入
  • [SPARK-37069] [SQL]當Hive.getWithoutRegisterFns 無法使用時,正確後援
  • [SPARK-37050] [PYTHON] 更新 Conda 安裝指示
  • [SPARK-37067] [SQL] 使用 ZoneId.of() 來處理 DatetimeUtils 中的時區字串
  • [SPARK-35925] [SQL]支援 width-bucket 函式中的 DayTimeIntervalType
  • [SPARK-35926] [SQL]新增width_bucket的支援 YearMonthIntervalType
  • [SPARK-35973] [SQL]新增命令 SHOW CATALOGS
  • [SPARK-36922] [SQL]SIGN/SIGNUM 函式應該支援 ANSI 間隔
  • [SPARK-37078] [CORE]支援舊的 3 參數接收建構函式
  • [SPARK-37061] [SQL]使用內部類別時修正 CustomMetrics
  • [SPARK-35918] [AVRO] 統一讀/寫的模式不匹配處理並增強錯誤訊息
  • [SPARK-36871] [SQL]將 CreateViewStatement 遷移至 v2 命令
  • [SPARK-36898] [SQL] 讓交換哈希聯結因數可配置
  • [SPARK-36921] [SQL]支援 ANSI 間隔依據 DIV
  • [SPARK-36794] [SQL] 在建置 SEMI/ANTI 隨機哈希聯結的關聯時,忽略重複的聯結鍵
  • [SPARK-36867] [SQL] 修正具有 GROUP BY 別名的錯誤訊息
  • [SPARK-36914] [SQL]在 JDBC 中實作 dropIndex 和 listIndexes (MySQL 方言)
  • [SPARK-35531] [SQL] 呼叫 getPartitions 時,直接將 hive 數據表傳遞至 HiveClient,以避免從 HiveTable -> CatalogTable - -> HiveTable 進行不必要的轉換
  • [SPARK-36718] [SQL]只有在我們不複製昂貴的表達式時,才會折疊專案
  • [SPARK-37046] [SQL]:修改視圖不會保留欄位大小寫
  • [SPARK-36978] [SQL]InferConstraints 規則應該在存取的巢狀字段上建立 IsNotNull 條件約束,而不是根巢狀類型
  • [SPARK-37052] [CORE]當 是 sql Shell 時,Spark 應該只會將 –verbose 自變數傳遞至 main 類別
  • [SPARK-37017] [SQL]減少同步處理的範圍,以防止潛在的死結
  • [SPARK-37032] [SQL]修正 SQL 參考頁面中中斷的 SQL 語法連結
  • [SPARK-36905] [SQL] 修正讀取沒有明確欄位名稱的 Hive 視圖
  • [SPARK-36678] 依預設移轉 SHOW TABLES 以使用 V2 命令
  • [SPARK-36943] [SQL] 改善遺漏欄位錯誤訊息的可讀性
  • [SPARK-36980] [SQL] 使用 CTE 插入支持查詢
  • [SPARK-37001] [SQL]默認停用兩個層級的對應,以進行最終哈希匯總
  • [SPARK-36970][SQL]手動停用的B函式格式date_format,讓 Java 17 與 Java 8 相容
  • [SPARK-36546] [SQL]依名稱將數位支援新增至等位
  • [SPARK-36979] [SQL]將 RewriteLateralSubquery 規則新增至 nonExcludableRules
  • [SPARK-36949] [SQL] 不允許 Hive 提供者的數據表使用 ANSI 間隔
  • [SPARK-36849] [SQL]將UseStatement遷移至 v2 命令架構
  • [SPARK-36868] [SQL]將 CreateFunctionStatement 遷移至 v2 命令架構
  • [SPARK-36841] [SQL] 新增 ansi 語法 set catalog xxx 以更改目前的目錄
  • [SPARK-36821] [SQL]Make class ColumnarBatch extendable - addendum
  • [SPARK-36963] [SQL]將max_by/min_by新增至 sql.functions
  • [SPARK-36913] [SQL]在 DS V2 JDBC 中實作 createIndex 和 IndexExists (MySQL 方言)
  • [SPARK-36848] [SQL]將 ShowCurrentNamespaceStatement 遷移至 v2 命令架構
  • [SPARK-36526] [SQL]DSV2 索引支援:新增 supportsIndex 介面
  • [SPARK-36960] [SQL] 下推篩選,將 ANSI 間隔值設為 ORC
  • [SPARK-36929] [SQL] 移除未使用的方法 EliminateSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL]支援從 ORC 數據源讀取和寫入 ANSI 間隔
  • [SPARK-34980] [SQL] 支援在 AQE 中透過聯集合併分割區
  • [SPARK-36809] [SQL] 移除 DPP 中使用的 InSubqueryExec 廣播
  • [SPARK-36813] [SQL][PYTHON] 提議建立一個基礎設施以支持 as-of 連接操作並實現 ps.merge_asof
  • [SPARK-36918] [SQL]比較 unionByName 的結構時忽略類型
  • [SPARK-36891] [SQL]重構 SpecificParquetRecordReaderBase,並在向量化 Parquet 譯碼上新增更多涵蓋範圍
  • [SPARK-36920] [SQL]支援 ANSI 間隔依據 ABS()
  • [SPARK-36888] [SQL] 新增 sha2 函式的測試案例
  • [SPARK-36889][SQL]受 v2 parquet 掃描產生器的尊重spark.sql.parquet.filterPushdown
  • [SPARK-36830] [SQL]支援從 JSON 數據源讀取和寫入 ANSI 間隔
  • [SPARK-36870] [SQL]引進INTERNAL_ERROR錯誤類別
  • [SPARK-36831] [SQL]支援從 CSV 數據源讀取和寫入 ANSI 間隔。
  • [SPARK-36550] [SQL]UDF 反映失敗時的傳播原因
  • [SPARK-36866] [SQL] 下推篩選,將 ANSI 間隔值設為 parquet
  • [SPARK-33832] [SQL] 強制傾斜聯結代碼簡化和改進
  • [SPARK-36642] [SQL]新增 df.withMetadata pyspark API
  • [SPARK-35765] [SQL]不同的 aggs 不會重複區分
  • [SPARK-36825] [SQL]使用 ANSI 間隔從/到 parquet 檔案讀取/寫入數據框架
  • [SPARK-36829] [SQL]重構 collectionOperators 的 NULL 檢查
  • [SPARK-32712] [SQL] 支援寫入 Hive 分桶表(使用 Hive 哈希的 Hive 檔格式)
  • [SPARK-36797] [SQL] UNION 應將嵌套欄位解析為最上層資料行
  • [SPARK-36838] [SQL]改善 InSet 產生的程式碼效能
  • [SPARK-36683] [SQL]新增內建 SQL 函式:SEC 和 CSC
  • [SPARK-36721] [SQL]如果一邊是常值,請簡化布爾等號
  • [SPARK-36760] [SQL]新增介面 SupportsPushDownV2Filters
  • [SPARK-36652] [SQL] AQE 動態連接選取不應套用至非等值連接
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys 應該傳回聯結索引鍵上的原始條件
  • [SPARK-36107] [SQL] 重構第一組 20 個查詢執行錯誤,以使用錯誤類別
  • [SPARK-32709] [SQL] 支援寫入使用 Hive 哈希的 Hive 分桶表(Parquet/ORC 格式)
  • [SPARK-36735] [SQL]調整 DPP 快取關聯的額外負荷
  • [SPARK-33832] [SQL] 支援優化偏斜聯接,即使引入額外的數據重新分配也一樣
  • [SPARK-36822] [SQL]BroadcastNestedLoopJoinExec 應該使用所有條件,而不是非等價條件
  • [SPARK-35221] [SQL] 新增支援的聯結提示檢查
  • [SPARK-36814] [SQL]Make 類別 ColumnarBatch 可擴充
  • [SPARK-36663] [SQL] 支援 ORC 數據源中僅限數字的欄位名稱
  • [SPARK-36751] [SQL][PYTHON][R] 將位/octet_length API 新增至 Scala、Python 和 R
  • [SPARK-36733] [SQL]修正當結構有許多欄位時,SchemaPruning 中的效能問題
  • [SPARK-36724] [SQL] 支援 timestamp_ntz 作為 SessionWindow 的一種時間欄類型
  • [SPARK-36556] [SQL]新增 DSV2 篩選
  • [SPARK-36687] [SQL][CORE]使用_ERROR後綴重新命名錯誤類別
  • [SPARK-35803] [SQL]支援 DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL] 新增 df.withMetadata:更新數據框架元數據的語法要求

維護更新

請參閱 Databricks Runtime 10.1 維護更新

系統環境

  • 作業系統:Ubuntu 20.04.3 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.1
  • Delta Lake:1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
筆記本 6.3.0 numpy 1.19.2 packaging 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2.20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安裝的 R 程式庫

R 連結庫會從 2021-10-26 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
叢集 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 資歷 1.3.1
curl 4.3.2 data.table (資料表格) 1.14.2 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 遞減 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
省略符號 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 泛型 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 Lava 1.6.10 生命週期 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 矩陣 1.3-4
memoise 2.0.0 方法 4.1.1 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
進度 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet Parquet 欄位 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structure 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper ZooKeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用的 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1