共用方式為


Databricks Runtime 10.3 (EoS)

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期,請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 發行說明版本與相容性

下列版本資訊提供由 Apache Spark 3.2.1 提供的 Databricks Runtime 10.3 和 Databricks Runtime 10.3 Photon 的相關信息。 Photon 處於 公開預覽狀態。 Databricks 於 2022 年 2 月發行此版本。

新功能和改進

Parquet 和 Avro 寫入器現在會在 Parquet 數據源中重新設定時間戳時,使用會話時區

Parquet 和 Avro 寫入器現在會使用工作階段時區,同時以模式重新計算 legacy 時間戳,而不是使用預設 JVM 時區。 會話時區預設會設定為 JVM 時區。

Spark SQL 中的新函式

此版本現在支援下列 Spark SQL 函式:

  • aes_decrypt:使用 AES 解密輸入。
  • aes_encrypt:使用 AES 加密輸入。
  • contains:判斷表達式是否包含另一個表達式。
  • endswith:判斷表達式是否以另一個表達式結尾。
  • percentile_cont:傳回百分位數值。
  • startswith:判斷表達式是否以另一個表達式開頭。

低隨機合併現已正式推出

Delta MERGE INTO 命令使用稱為 低隨機合併的技術,可減少未修改數據列的隨機顯示。 這可改善命令的效能,並協助在數據表上保留現有的叢集,例如 Z 排序。 這項功能已在 Databricks Runtime 9.0 for Public Preview 中引進,現已正式推出。 若要啟用低隨機合併,請將 設定 spark.databricks.delta.merge.enableLowShuffletrue。 請參閱 Azure Databricks 上的低隨機合併。

新的 COPY INTO 功能:驗證模式和架構演進

驗證模式:現在支援一種VALIDATE模式,COPY INTO其中要載入數據表的數據會經過驗證,但不會寫入數據表。 這些驗證包括:

  • 是否可以剖析數據。
  • 架構是否符合數據表的架構,還是需要演進架構。
  • 是否符合所有可為 Null 和檢查條件約束。

使用方式範例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

預設值是驗證要載入的所有數據。 您可以提供資料列,以關鍵字進行驗證 ROWS ,例如 VALIDATE 15 ROWS。 語句 COPY INTO 會傳回 50 個數據列或更少數據的預覽,當小於 50 的數位與 關鍵詞搭配 ROWS 使用時。

架構演進: COPY INTO 現在支援使用 mergeSchema 中的 COPY_OPTIONS選項進行架構演進。 若要發展數據表的架構,您必須擁有 OWN 數據表的許可權。

使用方式範例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

請參閱 COPY INTO

差異資料表現在支援識別資料列 (公開預覽)

Delta Lake 現在支持識別數據行。 當您寫入定義識別數據行的 Delta 資料表,而且您未提供該數據行的值時,Delta 現在會自動指派唯一且以統計方式增加或減少值。 請參閱 CREATE TABLE [USING]

連結庫升級

  • 升級的 Python 連結庫:
    • 從 0.3.3 到 0.3.4 的 distlib
    • filelock from 3.4.0 to 3.4.2
    • numpy 從 1.19.2 到 1.20.1
    • 從 5.3.1 到 5.5.0 的繪圖
  • 升級的 R 連結庫:
    • 從 1.4.0 到 1.4.1 的反向移植
    • brio 從 1.1.2 到 1.1.3
    • 從 0.7.10 到 0.7.11 的掃把
    • 類別從 7.3-19 到 7.3-20
    • cpp11 從 0.4.1 到 0.4.2
    • DBI 從 1.1.1 到 1.1.2
    • 從 2.4.2 到 2.4.3 的 devtools
    • 摘要從 0.6.28 到 0.6.29
    • dtplyr 從 1.1.0 到 1.2.0
    • fansi 從 0.5.0 到 1.0.2
    • foreign from 0.8-81 to 0.8-82
    • fs 從 1.5.0 到 1.5.2
    • 從 1.4.3 到 1.5.0 的 gert
    • 從 1.5.0 到 1.6.0 的黏附
    • 從 1.6.3 到 1.6.5 的 HTTPuv
    • jsonlite 從 1.7.2 到 1.7.3
    • 從 1.36 到 1.37 的針織器
    • MASS 從 7.3-54 到 7.3-55
    • 從 1.3-4 到 1.4-0 的矩陣
    • nlme 從 3.1-152 到 3.1-155
    • nnet frm 7.3-16 至 7.3-17
    • openssl 從 1.4.5 到 1.4.6
    • 平行從 1.29.0 到 1.30.0
    • pkgbuild 從 1.2.0 到 1.3.1
    • 從 1.2.3 到 1.2.4 的 pkgload
    • progressr from 0.9.0 to 0.10.0
    • Rcpp 從 1.0.7 到 1.0.8
    • readr from 2.1.0 to 2.1.1
    • 從 2.4.1 到 2.4.2 的 remotes
    • 從 2.2.8 到 2.2.9 的 RSQLite
    • sessioninfo 從 1.2.1 到 1.2.2
    • sparklyr 從 1.7.2 到 1.7.4
    • 測試從 3.1.0 到 3.1.1
    • tinytex from 0.35 to 0.36
    • usethis from 2.1.3 to 2.1.5
    • 從 1.5.6 到 1.5.7 的 vroom
    • withr 從 2.4.2 到 2.4.3
    • 從 0.28 到 0.29 的 xfun
    • 從 1.3.2 到 1.3.3 的 xml2
  • 升級的 Java 程式庫:
    • dev.ludovic.netlib.arpack,從 1.3.2 到 2.2.1
    • dev.ludovic.netlib.blas 從 1.3.2 到 2.2.1
    • dev.ludovic.netlib.lapack 從 1.3.2 到 2.2.1
    • io.delta.delta-sharing-spark_2.12,從 0.2.0 到 0.3.0

Apache Spark

Databricks Runtime 10.3 包含 Apache Spark 3.2.1。 此版本包含 Databricks Runtime 10.2 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 進行的其他錯誤修正和改進:

  • [SPARK-37896] [SQL]實作 ConstantColumnVector 並改善隱藏檔案元數據的效能
  • [SPARK-37924] [SQL]依 VIEW 上 SHOW CREATE TABLE 中的索引鍵排序資料表屬性 (v1)
  • [SPARK-37636] [SQL]移轉 CREATE NAMESPACE 以預設使用 V2 命令
  • [SPARK-37381] [SQL]整合 v1 和 v2 SHOW CREATE TABLE 測試
  • [SPARK-37876][CORE][SQL]移至SpecificParquetRecordReaderBase.listDirectoryTestUtils
  • [SPARK-37854] [CORE]以 Spark 程式代碼中的模式比對取代類型檢查
  • [SPARK-36967] [CORE]如果扭曲,則報告精確的隨機顯示區塊大小
  • [SPARK-37864] [SQL]支援向量化讀取布爾值搭配 Parquet DataPage V2 使用 RLE 編碼
  • [SPARK-37862] [SQL]RecordBinaryComparator 應該會快速略過與未對齊平台的檢查
  • [SPARK-37855] [SQL]在巢狀結構內轉換陣列時,IllegalStateException
  • [SPARK-37858] [SQL]從 AES 函式擲回 SparkRuntimeException 錯誤類別
  • [SPARK-37841] [SQL]BasicWriteTaskStatsTracker 不應該嘗試取得略過檔案的狀態
  • [SPARK-37860] [UI]修正階段頁面工作事件時程表中的 taskindex
  • [SPARK-36879] [SQL]支援向量化路徑的 Parquet v2 資料頁編碼 (DELTA_BINARY_PACKED)
  • [SPARK-37828] [SQL]透過 RebalancePartitions 向下推入篩選
  • [SPARK-37802] [SQL][3.2] 複合域名應該使用匯總下推
  • [SPARK-37826] [SQL]在 ORC 檔名中使用 zstd 編解碼器名稱,以取得 hive orc impl
  • [SPARK-37820] [SQL]將 ApacheCommonBase64 取代為 JavaBase64 以取代字串 funcs
  • [SPARK-37832] [SQL]Orc 結構轉換器應該使用數位來查閱欄位轉換器,而不是連結清單
  • [SPARK-37786] [SQL]StreamingQueryListener 支援使用 SQLConf.get 來取得對應的 SessionState 的 SQLConf
  • [SPARK-37527] [SQL]轉譯更多標準聚合函數以進行下推
  • [SPARK-37777] [SQL]更新 SHOW FUNCTIONS 的 SQL 語法
  • [SPARK-8582] [CORE]當被要求這樣做為真正的時,檢查點急切
  • [SPARK-37822] [SQL]StringSplit 應該傳回非 Null 元素上的陣列
  • [SPARK-37812] [SQL]還原串行化 Orc 結構時,盡可能重複使用結果數據列
  • [SPARK-37367] [SQL]DDLParserSuite.create 檢視中的可重新啟用例外狀況測試 – 基本
  • [SPARK-37796] [SQL]ByteArrayMethods arrayEquals 應該會快速略過與未對齊平台的檢查
  • [SPARK-37817] [SQL][次要]拿掉 complexTypeExtractors.scala 中無法連線的程式代碼
  • [SPARK-37807] [SQL]修正 HttpAuthenticationException 訊息中的錯字
  • [SPARK-37750] [SQL]ANSI 模式:如果元素不存在於數位/map 中,選擇性地傳回 Null 結果
  • [SPARK-37789] [SQL]新增類別以代表 DS V2 中的一般聚合函數
  • [SPARK-37785] [SQL][CORE]新增 Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL]QueryExecutionListener 支援使用 SQLConf.get 來取得對應的 SessionState 的 SQLConf
  • [SPARK-37783] [SS][SQL][CORE]盡可能啟用尾遞歸
  • [SPARK-37726] [SQL]新增排序合併聯結的溢出大小計量
  • [SPARK-37800] [SQL]TreeNode.argString 錯誤地格式化 Set[_] 類型的自變數
  • [SPARK-37716] [SQL]當 LateralJoin 具有非決定性運算式時,改善錯誤訊息
  • [SPARK-37779] [SQL]使 ColumnarToRowExec 方案在 (de)serialization 之後可正式設定
  • [SPARK-37578] [SQL]從ds v2自定義計量更新工作計量
  • [SPARK-37676] [SQL]支援 ANSI 聚合函數:percentile_cont
  • [SPARK-37724] [SQL]ANSI 模式:預設停用 ANSI 保留關鍵詞
  • [SPARK-37705] [SQL][3.2] 儲存在 Parquet/Avro 元數據中會話時區的重新基底時間戳
  • [SPARK-34755] [SQL]支援轉換數位格式的公用程式
  • [SPARK-36703] [SQL]如果它是 RepartitionByExpression 的子系,請移除 Sort
  • [SPARK-37369] [SQL]避免 InMemoryTableScan 上的備援 ColumnarToRow 轉換
  • [SPARK-37450] [SQL]從產生剪除不必要的欄位
  • [SPARK-37728] [SQL]使用 ORC 向量化讀取器讀取巢狀數據行可能會導致 ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL]新增程式代碼 Gen 以排序匯總而不分組索引鍵
  • [SPARK-37659] [UI][3.2] 修正清單與 delet 記錄資訊之間的 FsHistoryProvider 競爭條件
  • [SPARK-37727] [SQL]顯示忽略的 confs 和隱藏已在 SparkSession.builder.getOrCreate 中設定的 conf 警告
  • [SPARK-37391] [SQL]JdbcConnectionProvider 會指出它是否修改安全性內容
  • [SPARK-37273] [SQL]支援 Spark SQL 中的隱藏檔案元數據數據行
  • [SPARK-36876] [SQL]支援HiveTableScanExec的動態數據分割剪除
  • [SPARK-37546] [SQL]V2 ReplaceTableAsSelect 命令應符合位置
  • [SPARK-37545] [SQL]V2 CreateTableAsSelect 命令應符合位置
  • [SPARK-37707] [SQL]允許在 datetime 類型之間儲存指派和隱含轉換
  • [SPARK-37644] [SQL]支持數據源 v2 完整匯總下推
  • [SPARK-37695] [CORE][SHUFFLE]從推播式隨機刪除略過診斷 ob merged 區塊
  • [SPARK-35295] [ML] 將完全 com.github.fommil.netlib 取代為 dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL]不允許在spark sql cli 中刪除資源
  • [SPARK-37330] [SQL]將 ReplaceTableStatement 移轉至 v2 命令
  • [SPARK-27974] [SQL]支援 ANSI 聚合函數:array_agg
  • [SPARK-36902] [SQL]將 CreateTableAsSelectStatement 遷移至 v2 命令
  • [SPARK-37678] [PYTHON]修正_cleanup_and_return簽章
  • [SPARK-37613] [SQL]支援 ANSI 聚合函數:regr_count
  • [SPARK-37689] [SQL]在 PropagateEmptyRelation 中應該支援 Expand
  • [SPARK-37654] [SQL]修正當 field 為 Null 時,Row.getSeq 中的 NPE
  • [SPARK-37496] [SQL]將 ReplaceTableAsSelectStatement 遷移至 v2 命令
  • [SPARK-37483] [SQL]支援將最上層 N 下推至 JDBC 數據源 V2
  • [SPARK-37577] [SQL]修正 ClassCastException:ArrayType 無法轉換成產生剪除的 StructType
  • [SPARK-37310] [SQL]移轉 ALTER NAMESPACE ... 根據預設,將 PROPERTIES 設定為使用 V2 命令
  • [SPARK-37501] [SQL]CREATE/REPLACE TABLE 應符合 v2 命令的位置
  • [SPARK-37343] [SQL]在 JDBC 中實作 createIndex、IndexExists 和 dropIndex (Postgres 方言)
  • [SPARK-37060] [CORE][3.2] 處理備份主機的驅動程序狀態回應
  • [SPARK-37629] [SQL]加速 Expression.canonicalized
  • [SPARK-37633] [SQL]取消包裝轉換應該略過,如果向下播失敗與...
  • [SPARK-37631] [SQL]程式代碼清除將字串升階為數學函式中的雙精度浮點數類型
  • [SPARK-37569] [SQL]不要將巢狀檢視欄位標示為可為 Null
  • [SPARK-37557] [SQL]如果子系已經排序,請將物件哈希取代為排序匯總
  • [SPARK-36850] [SQL]將 CreateTableStatement 遷移至 v2 命令架構
  • [SPARK-37592] [SQL]改善的效能 JoinSelection
  • [SPARK-37217] [SQL]寫入外部數據表時,動態分割區的數目應該提前檢查
  • [SPARK-37584] [SQL]新的 SQL 函式:map_contains_key
  • [SPARK-37455] [SQL]如果子系已經排序,請將哈希取代為排序匯總
  • [SPARK-34735] [SQL][UI]在 UI 中新增 SQL 執行的修改組態
  • [SPARK-37540] [SQL]偵測更多不支持的時間移動
  • [SPARK-37376] [SQL]引進新的 DataSource V2 介面 HasPartitionKey
  • [SPARK-37666] [SQL]在中設定 GCM 為預設模式 aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL]IsolatedClientLoader 應該後援相關版本,不一定是 hadoop-2.7.4
  • [SPARK-37561] [SQL]避免在取得Hive的DelegationToken時載入所有函式
  • [SPARK-37370] [SQL]在 3.3 中新增 SQL 組態來控制新加入的聯結程式代碼 gen
  • [SPARK-37311] [SQL]移轉 ALTER NAMESPACE ... 預設使用 V2 命令的 SET LOCATION
  • [SPARK-37192] [SQL]根據預設,將 SHOW TBLPROPERTIES 遷移至使用 V2 命令
  • [SPARK-37219] [SQL]新增 AS OF 語法支援
  • [SPARK-37316] [SQL]為存在排序合併聯結新增程序代碼 Gen
  • [SPARK-37591] [SQL]支援 GCM 模式的依據 aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] mode 將和 padding 自變數新增至 aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL]新增內建函式aes_encrypt和aes_decrypt
  • [SPARK-37392] [SQL]修正產生條件約束的推斷條件約束時的效能錯誤
  • [SPARK-37481] [Core][WebUI]修正重試後略過階段的消失
  • [SPARK-37533] [SQL]新的 SQL 函式:try_element_at
  • [SPARK-37451] [SQL]如果已啟用 spark.sql.legacy.allowNegativeScaleOfDecimal,請將轉換字元串類型修正為 decimal 類型
  • [SPARK-37062] [SS]引進新的數據源,以提供每個 microbatch 一致的一組數據列
  • [SPARK-37552][SQL]新增函式convert_timezone()
  • [SPARK-37555] [SQL] spark-sql 應該將最後一個未封閉的批注傳遞至後端
  • [SPARK-37286] [SQL]將 compileAggregates 從 JDBCRDD 移至 JdbcDialect
  • [SPARK-37485] [CORE][SQL]將取代 map 為不產生結果的表達式 foreach
  • [SPARK-37556] [SQL]Deser void 類別因 Java 串行化而失敗
  • [SPARK-37520] [SQL] startswith() 新增和 endswith() 字串函式
  • [SPARK-37471][SQL] 巢狀方括弧批注中的 spark-sql 支援;
  • [SPARK-37360] [SQL]支援 JSON 數據源中的 TimestampNTZ
  • [SPARK-37508] [SQL]新增 CONTAINS() 字串函式
  • [SPARK-37494] [SQL]整合命令的 SHOW CREATE TABLE v1 和 v2 選項輸出
  • [SPARK-37524] [SQL]測試動態數據分割剪除之後,我們應該卸除所有數據表。
  • [SPARK-37389] [SQL]檢查未封閉的括號批注
  • [SPARK-37220] [SQL]請勿將 Parquet 讀取器的輸入檔分割為匯總下推
  • [SPARK-37326] [SQL]支援 CSV 數據源中的 TimestampNTZ
  • [SPARK-35867] [SQL]啟用 VectorizedPlainValuesReader.readBooleans 的向量化讀取
  • [SPARK-37484][CORE][SQL]將和 getOrElse 取代getgetOrElse
  • [SPARK-37492] [SQL]使用AllNativeOrcReaders 優化 Orc 測試程序代碼
  • [SPARK-37458] [SS]從 foreachBatch 計劃中移除不必要的 SerializeFromObject

維護更新

請參閱 Databricks Runtime 10.3 維護更新

系統環境

  • 作業系統:Ubuntu 20.04.3 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 筆記本 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安裝的 R 程式庫

R 連結庫會從 2022-01-19 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
叢集 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 遞減 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
省略符號 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 泛型 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1.37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 Lava 1.6.10 生命週期 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 矩陣 1.4-0
memoise 2.0.1 方法 4.1.2 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
進度 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0.29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structure 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper ZooKeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用的 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1