Databricks Runtime 11.3 LTS
下列版本資訊提供由 Apache Spark 3.3.0 所提供的 Databricks Runtime 11.3 LTS 相關信息。 Databricks 於 2022 年 10 月發行此版本。
注意
LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。
提示
若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。
行為變更
[重大變更]新的 Python 版本需要更新 Databricks Connect V1 Python 用戶端
注意
後續更新會將 Databricks Runtime 11.3 LTS 中的 Python 版本移至 3.9.21。 3.9.21 版本不會引入任何行為變更。
若要套用必要的安全性修補程式，Databricks Runtime 11.3 LTS 中的 Python 版本會從 3.9.5 更新為 3.9.19。 由於這些變更可能會在使用特定 PySpark 函式的用戶端中造成錯誤，因此任何使用 Databricks Connect V1 for Python 與 Databricks Runtime 11.3 LTS 的用戶端都必須更新為 Python 3.9.7 或更新版本。
新功能和改進
- Python 從 3.9.19 升級至 3.9.21
- 結構化串流觸發程式一旦已被取代
- 變更自動載入器的來源路徑
- Databricks Kinesis 連接器現在支援在 EFO 模式中從 Kinesis 數據流讀取
- 新的 H3 地理空間函式，並為所有 H3 函式新增 Photon 支援
- 預測性 I/O 的新功能
- 增加初始分割區以掃描選擇性查詢
- 新的 AQE 方案版本視覺效果
- 新的異步進度追蹤和記錄清除模式
- Unity 目錄上的 結構化串流現在支援
display() - 管線事件現在會以 JSON 格式記錄
- 使用 Python 進行結構化串流中的任意具狀態處理
- CSV 檔案中的日期推斷
- 複製 Apache Parquet 和 Apache Iceberg 數據表的支援 （公開預覽）
- 使用 SQL 來指定 Unity 目錄受控數據表的架構和目錄層級儲存位置
從 3.9.19 升級至 3.9.21 的 Python
Databricks Runtime 11.3 LTS 中的 Python 版本會從 3.9.19 更新為 3.9.21。
結構化串流觸發程式一旦已被取代
此 Trigger.Once 設定已被取代。 Databricks 建議您使用 Trigger.AvailableNow。 請參閱《設定結構化串流觸發程序間隔》 (機器翻譯)。
變更自動載入器的來源路徑
您現在可以變更以目錄清單模式設定的自動載入器目錄輸入路徑，而不需要選擇新的檢查點目錄。 請參閱 變更自動載入器的來源路徑。
Databricks Kinesis 連接器現在支援在 EFO 模式中從 Kinesis 數據流讀取
您現在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 結構化串流來源，以增強式展開模式執行從 Kinesis 數據流讀取的查詢。 這可讓每個分區、每個取用者專用的輸送量，並在推送模式中記錄傳遞。
新的 H3 地理空間函式，並為所有 H3 函式新增 Photon 支援
引進 4 個新的 H3 函式、 h3_maxchild、 h3_minchild、 h3_pointash3和 h3_pointash3string。 這些函式適用於 SQL、Scala 和 Python。 Photon 現在支援所有 H3 表達式。 請參閱H3 地理空間函式。
預測性 I/O 的新功能
Photon 支援使用 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW執行畫面的範圍模式。 Photon 也支援使用 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }成長畫面的範圍模式。
增加初始分割區以掃描選擇性查詢
在已啟用 Photon 的叢集和 take/tail/limit Databricks SQL 中，針對選擇性查詢LIMIT，要掃描的初始分割區值已增加到 10。 使用 10 個分割區，您可以避免啟動多個小型作業和緩慢相應增加的額外負荷。 您也可以透過 spark.sql.limit.selectiveInitialNumPartitions進行此設定。
新的 AQE 方案版本視覺效果
介紹 AQE 方案版本，可讓您從調適型查詢執行將運行時間計劃更新可視化（AQE）。
新的異步進度追蹤和記錄清除模式
簡介稱為異步進度追蹤和異步記錄清除的結構化串流模式。 異步記錄清除模式會移除背景中用於進度追蹤的記錄，以降低串流查詢的延遲。
Unity 目錄上的結構化串流現在支援 display()
當您使用結構化串流來處理 Unity 目錄中註冊的數據表時，您現在可以使用 display()。
管線事件現在會以 JSON 格式記錄
Azure Databricks 現在會以 JSON 格式將管線事件寫入驅動程序記錄。 雖然每個事件都是 JSON 剖析的，但大型事件可能不包含所有字段，或字段可能會遭到截斷。 每個事件都會記錄在具有前置 Event received: 詞的單行中。 以下是範例事件。
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
使用 Python 進行結構化串流中的任意具狀態處理
applyInPandasWithState介紹可用來在 PySpark 中執行任意具狀態處理的函式。 這相當於 flatMapGroupsWithState Java API 中的 函式。
CSV 檔案中的日期推斷
引進 CSV 檔案中日期類型欄位的改良推理能力。 當資料列的記錄中日期格式一致時，這些資料列可以推斷為 DateType。 您也可以將不同資料行的日期格式組合在一起。 Azure Databricks 可以自動推斷每個數據行的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 檔案中的日期數據行會保留為 StringType。
複製 Apache Parquet 和 Apache Iceberg 數據表的支援 （公開預覽）
複製現在可用來建立和累加更新以鏡像 Apache Parquet 和 Apache Iceberg 數據表的 Delta 數據表。 您可以使用 clone 命令，更新來源 Parquet 數據表，並以累加方式將變更套用至其複製的 Delta 資料表。 請參閱 ，將 Parquet 和 Iceberg 資料表逐步複製到 Delta Lake。
使用 SQL 來指定 Unity 目錄受控數據表的架構和目錄層級儲存位置
您現在可以使用 MANAGED LOCATION SQL 命令，為目錄和架構層級的受控數據表指定雲端儲存位置。 請參閱 CREATE CATALOG 與 CREATE SCHEMA。
行為變更
Databricks Connect 11.3.2
現在支援 Databricks Connect 用戶端更新 11.3.2。 請參閱 Databricks Connect 和 Databricks Connect 版本資訊。
已更新 Azure Databricks Snowflake 連接器
Azure Databricks Snowflake 連接器已從開放原始碼存放庫 Snowflake 數據源 Apache Spark 更新為最新版本的程序代碼。 它現在與 Databricks Runtime 11.3 LTS 完全相容，包括述詞下推和內部查詢計劃下推，同時維護開放原始碼版本的所有功能。
S3A 的 Hadoop 快取現在已停用
S3A 的 Hadoop 快取 （FileSystem Apache Hadoop Main 3.3.4 API） 現已停用。 這是要與其他雲端記憶體連接器一致。 對於依賴文件系統快取的工作負載，請確定新建立的文件系統會提供正確的 Hadoop 組態，包括認證提供者。
Delta Lake 統計數據集合架構現在符合數據表架構定義中的數據行順序
這項變更解決了 Delta Lake 協議中的一個錯誤，因為 DataFrame 和資料表欄位順序不匹配，導致未收集欄位的統計資料。 在某些情況下，您可能會因為先前未追蹤的欄位上的統計數據集合而發生寫入效能降低。 請參閱 Delta Lake 的資料略過。
applyInPandasWithState 如果查詢在運算符之後有隨機顯示，就會擲回錯誤
如果查詢在運算符之後有 applyInPandasWithState ，運算子shuffle就會擲回錯誤。 當使用者在作業之後新增 shuffle ，或優化工具或接收隱含新增 shuffle 時，就會發生這種情況。
連結庫升級
- 升級的 Python 連結庫：
- 從 0.3.5 到 0.3.6 的 distlib
- 升級的 R 連結庫：
- 從 1.0.0 到 1.0.1 的掃把
- 從 3.7.1 到 3.7.2 的呼叫者
- dplyr 從 1.0.9 到 1.0.10
- dtplyr 從 1.2.1 到 1.2.2
- 從 0.5.1 到 0.5.2 的 forcat
- 未來從 1.27.0 到 1.28.0
- future.apply 從 1.9.0 到 1.9.1
- 從 1.7.0 到 1.8.0 的 gert
- globals from 0.16.0 to 0.16.1
- 從 0.3.0 到 0.3.1 的 gtable
- 從 2.5.0 到 2.5.1
- 從 1.1.1 到 1.1.2 的 hms
- httr 從 1.4.3 到 1.4.4
- 從 1.39 到 1.40 的針織器
- 從 0.1.8 到 0.1.9 的 modelr
- 從1.8.0到1.8.1的柱子
- progressr from 0.10.1 to 0.11.0
- readxl 從 1.4.0 到 1.4.1
- 從 2.0.1 重新部署至 2.0.2
- 從 1.0.4 到 1.0.5 的 rlang
- 從 2.14 到 2.16 的 rmarkdown
- 從 2.2.15 到 2.2.16 的 RSQLite
- rstudioapi 從 0.13 到 0.14
- 從 2.1.1 到 2.1.2 的 rversions
- 從 1.0.2 到 1.0.3 的 rvest
- 從 1.2.0 調整為 1.2.1
- sparklyr 從 1.7.7 到 1.7.8
- 從 1.4.0 到 1.4.1 的 stringr
- 從 3.2-13 到 3.4-0 的生存
- tinytex from 0.40 to 0.41
- viridisLite 從 0.4.0 到 0.4.1
- 升級的 Java 程式庫：
- com.fasterxml.jackson.core.jackson-annotations from 2.13.3 to 2.13.4
- com.fasterxml.jackson.core.jackson-core 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.core.jackson-databind 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310，從 2.13.3 到 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer，從 2.13.3 到 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12，從 2.13.3 到 2.13.4
- org.apache.hadoop.hadoop-client-api，從 3.3.2-databricks 到 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime 從 3.3.2 到 3.3.4
- org.apache.orc.orc-core 從 1.7.5 到 1.7.6
- org.apache.orc.orc-mapreduce 從 1.7.5 到 1.7.6
- org.apache.orc.orc-shims from 1.7.5 到 1.7.6
- org.apache.parquet.parquet-column 從版本 1.12.0-databricks-0004 更新至 1.12.0-databricks-0007
- org.apache.parquet.parquet-common 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding，從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structure，從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet 從 2.34 到 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core 從 2.34 到 2.36
- org.glassfish.jersey.core.jersey-client 從 2.34 到 2.36
- org.glassfish.jersey.core.jersey-common 從 2.34 到 2.36
- org.glassfish.jersey.core.jersey-server 從 2.34 到 2.36
- org.glassfish.jersey.inject.jersey-hk2 從 2.34 到 2.36
Apache Spark
Databricks Runtime 11.3 LTS 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.2 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-39957] [WARMFIX][sc-111425][CORE] 延遲 onDisconnected，以便驅動程式能夠接收 ExecutorExitCode
- [SPARK-39955] [WARMFIX][sc-111424][CORE] 改善 LaunchTask 程式，以避免失敗傳送 LaunchTask 訊息所造成的階段失敗
- [SPARK-40474] [SC-106248][櫻桃選擇] 更正日期時間數據行的 CSV 架構推斷行為，並導入日期欄位的自動偵測
- [SPARK-40535] [SC-111243][sql] 修正錯誤，如果輸入數據列是空的，則不會建立匯總工具的緩衝區
- [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] 在 PySpark 中實作 applyInPandasWithState
-
[SPARK-40460] [SC-110832][ss] 在選取
_metadata時修正串流計量 -
[SPARK-40324] [SC-109943][sql] 提供
ParseException的查詢內容 - [SPARK-40466] [SC-110899][ss] 當 DSv2 被停用而 DSv1 無法使用時，改善錯誤訊息。
- [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext 應該是代價低的，可以重複呼叫
- [SPARK-40169] [SC-110772][sql] 請勿下推 Parquet 篩選，而沒有數據架構參考
- [SPARK-40467] [SC-110759][ss] 將 FlatMapGroupsWithState 分割成多個測試套件
- [SPARK-40468] [SC-110813][sql] 修正選取_corrupt_record時 CSV 中的數據行剪除
- [SPARK-40291] [SC-110085][sql] 改善在 GROUP BY 子句中缺少欄位的錯誤訊息
- [SPARK-40398] [SC-110762][core][SQL] 使用迴圈而非 Arrays.stream api
- [SPARK-40433] [SC-110684][ss][PYTHON] 在 PythonSQLUtils 中新增 toJVMRow，將序列化的 PySpark Row 轉換成 JVM Row
- [SPARK-40414] [SC-110568][sql][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更多泛型類型
- [SPARK-40352] [SC-109945][sql] 新增函式別名：len、datepart、dateadd、date_diff和 curdate
- [SPARK-40470] [SC-110761][sql] 在 “arrays_zip” 函式中處理 GetArrayStructFields 和 GetMapValue
- [SPARK-40387] [SC-110685][sql] 改善 Spark Decimal 的實作
- [SPARK-40429] [SC-110675][sql] 只在參照的欄位在輸出中存在時設置 KeyGroupedPartitioning
- [SPARK-40432] [SC-110716][ss][PYTHON] 介紹 PySpark 中的 GroupStateImpl 和 GroupStateTimeout
- [SPARK-39915] [SC-110496][sql] 確保在 AQE 中的輸出分割是由使用者指定的
-
[SPARK-29260][SQL]如果 HMS 支援，支援
ALTER DATABASE SET LOCATION - [SPARK-40185] [SC-110056][sql] 當候選清單為空時移除欄建議
- [SPARK-40362] [SC-110401][sql] 修正 BinaryComparison 標準化
- [SPARK-40411] [SC-110381][ss] 將 FlatMapGroupsWithStateExec 重構為具備父特徵的形式
- [SPARK-40293] [SC-110084][sql] 讓 V2 數據表錯誤訊息更具意義
-
[SPARK-38734] [SC-110383][sql] 移除錯誤類別
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][sql] 修正當從巢狀結構中參考陣列時“arrays_zip” 函式中的欄位名稱
- [SPARK-40276] [SC-109674][core] 減少 RDD.takeOrdered 的結果大小
- [SPARK-40197] [SC-109176][sql] 用MULTI_VALUE_SUBQUERY_ERROR的相關內容取代查詢計畫
-
[SPARK-40300] [SC-109942][sql] 遷移至
DATATYPE_MISMATCH錯誤類別 - [SPARK-40149] [SC-110055][sql] 通過 Project 传播 metadata 列
- [SPARK-40280] [SC-110146][sql] 新增對已標註 int 和 long 之 parquet 下推的支援
- [SPARK-40220] [SC-110143][sc-109175][SQL] 不要輸出錯誤訊息參數的空映射
- [SPARK-40295] [SC-110070][sql] 允許帶有文字引數的 v2 函數用於寫入分配/排序
-
[SPARK-40156] [SC-109264][sql]
url_decode()應該回傳錯誤類別嗎? - [SPARK-39195] [SQL]當認可檔案與工作狀態不一致時，Spark OutputCommitCoordinator 應該中止階段
- [SPARK-40260] [SC-109424][sql] 在位置 GROUP BY 的編譯錯誤中使用錯誤類別
- [SPARK-40205] [SC-110144][sc-109082][SQL] 提供ELEMENT_AT_BY_INDEX_ZERO的查詢上下文
- [SPARK-40112] [SC-109676][sql] 改善TO_BINARY（） 函式
-
[SPARK-40209] [SC-109081][sql] 不要在錯誤時變更
changePrecision()十進位的間隔值 - [SPARK-40319] [SC-109873][sql] 移除針對 PARSE_DATETIME_BY_NEW_PARSER 的重複查詢執行錯誤處理方法
- [SPARK-40222] [SC-109209][sql] 數值try_add/try_divide/try_subtract/try_multiply應該從其子函數拋出錯誤
- [SPARK-40183] [SC-108907][sql] 使用錯誤類別NUMERIC_VALUE_OUT_OF_RANGE在十進位轉換中溢位
-
[SPARK-40180] [SC-109069][sql] 將錯誤訊息依
spark-sql格式化 - [SPARK-40153] [SC-109165][sql] 統一解析函式和數據表值函式
-
[SPARK-40308] [SC-109880][sql] 允許不可折疊的分隔符自變數
str_to_map函式 - [SPARK-40219] [SC-110052][sc-109663][SQL] 解析後的檢視邏輯計劃應保留結構以避免多餘的查找
- [SPARK-40098] [SC-109939][sc-108693][SQL] 將錯誤訊息在 Thrift Server 中進行格式化
- [SPARK-39917] [SC-109038][sql] 針對數值/間隔算術溢位使用不同的錯誤類別
- [SPARK-40033] [SC-109875][sql] 巢狀架構修剪支援，透過 element_at
- [SPARK-40194] [SC-109660][sql] SPLIT 函式的空白 regex 應該截斷尾端空字符串。
- [SPARK-40228] [SC-109835][sql] 若 child 不是廉價的表達式，則不要簡化 multiLike
- [SPARK-40039] [SC-109896][sc-109260][SS] 引進以 Hadoop Abortable 介面為基礎的串流檢查點檔案管理員
-
[SPARK-40285] [SC-109679][sql] 為 Spark
Decimal簡化roundTo[Numeric] - [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison 應該在 In/InSet downcast 的常值失敗時運作
- [SPARK-40040] [SC-109662][sql] 如果聯結條件是空的，請將本地限制推到聯結的兩邊
- [SPARK-40055] [SC-109075][sql] listCatalogs 也應該傳回spark_catalog，即使spark_catalog實作是 defaultSessionCatalog
- [SPARK-39915] [SC-109391][sql] Dataset.repartition（N） 可能不會建立 N 個數據分割非 AQE 元件
- [SPARK-40207] [SC-109401][sql] 指定數據源不支援數據類型的數據行名稱
- [SPARK-40245] [SC-109295][sql] 修正未讀取分割區或數據篩選欄位時的 FileScan 相等檢查
- [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 介面實作
- [SPARK-40211] [SC-109226][core][SQL] 允許在 take（） 行為中自定義初始數據分割編號
-
[SPARK-40252] [SC-109379][sql] 以
StringJoinerApi 取代Stream.collect(Collectors.joining) - [SPARK-40247] [SC-109272][sql] 修正 BitSet 相等性檢查
- [SPARK-40067] [SQL] 使用 Table#name（） 而不是 Scan#name（） 來填入 SparkUI 中 BatchScan 節點中的數據表名稱
- [SPARK-39966] [SQL]在 SupportsDelete 中使用 V2 篩選
- [SPARK-39607] [SC-109268][sql][DSV2] 撰寫中支援分佈和排序的 V2 函式
- [SPARK-40224] [SC-109271][sql] 使 ObjectHashAggregateExec 在回復至排序型時急切釋放記憶體
-
[SPARK-40013] [SQL]DS V2 運算式應具有預設值
toString - [SPARK-40214] [SC-109079][python][SQL] 將 'get' 新增至函式
- [SPARK-40192] [SC-109089][sql][ML] 移除多餘的 groupby
- [SPARK-40146] [SC-108694][sql] 只是取得地圖值的 codegen
- [SPARK-40109] [SQL] 新的 SQL 函式：get（）
- [SPARK-39929] [SQL]DS V2 支援向下推入字串函式（非 ANSI）
- [SPARK-39819] [SQL]DS V2 匯總下推可搭配前 N 或分頁使用 （使用表示式排序）
- [SPARK-40213] [SC-109077][sql] 支援拉丁-1 個字元的 ASCII 值轉換
- [SPARK-39887] [SQL]RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
- [SPARK-39764] [SQL]使 PhysicalOperation 與 ScanOperation 相同
- [SPARK-39964] [SQL]DS V2 下推應該統一轉譯路徑
- [SPARK-39528] [SQL]在 SupportsRuntimeFiltering 中使用 V2 篩選
- [SPARK-40066] [SQL] ANSI 模式：當對映列的存取無效時一律返回 null
- [SPARK-39912] [SPARK-39828][sql] 改進 CatalogImpl
- [SPARK-39833] [SC-108736][sql] 停用 DSv1 中的 Parquet 資料列索引，以修正重疊分區和資料列時的正確性問題
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令應該列印合格的函式名稱，例如 v1
- [SPARK-39767] [SQL] 移除 UnresolvedDBObjectName 並新增 UnresolvedIdentifier
- [SPARK-40163] [SC-108740][sql] 壯舉： SparkSession.config（地圖）
- [SPARK-40136] [SQL]修正 SQL 查詢內容的片段
- [SPARK-40107] [SC-108689][sql] 從 FileFormatWriter 提取 empty2null 轉換
- [SPARK-40121] [PYTHON][sql] 初始化「Python UDF」所使用的投影
- [SPARK-40128] [SQL] 讓 VectorizedColumnReader 辨識DELTA_LENGTH_BYTE_ARRAY為獨立數據行編碼
- [SPARK-40132] [ML] 將 rawPredictionCol 還原至 MultilayerPerceptronClassifier.setParams
-
[SPARK-40050] [SC-108696][sql] 增強
EliminateSorts，以支援透過LocalLimit移除排序 - [SPARK-39629] [SQL] 支援 v2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][sql] 將 array_sort(column, comparator) 重載新增至 DataFrame 作業
- [SPARK-40117] [PYTHON][sql] 在 DataFrameWriterV2.overwrite 中將條件轉換為 java
- [SPARK-40105] [SQL]改善 ReplaceCTERefWithRepartition 中的重新分割
- [SPARK-39503] [SQL] 新增 v1 資料庫數據表和函式的會話目錄名稱
- [SPARK-39889] [SQL]針對除以 0 的數值/間隔使用不同的錯誤類別
- [SPARK-39741] [SQL]支援 URL 編碼/譯碼為內建函式，並整理 URL 相關函式
- [SPARK-40102] [SQL]在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
- [SPARK-40014] [SQL]支援將小數轉換成 ANSI 間隔
- [SPARK-39776] [SQL][follow] ANSI 模式中更新 PlanStabilitySuite 的 UT
-
[SPARK-39963] [SQL]簡化
SimplifyCasts.isWiderCast
維護更新
請參閱 Databricks Runtime 11.3 維護更新。
系統環境
- 作業系統：Ubuntu 20.04.5 LTS
- Java：Zulu 8.56.0.21-CA-linux64
- Scala：2.12.14
- Python： 3.9.21
- R：4.1.3
- Delta Lake：2.1.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | async-generator | 1.10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | black | 22.3.0 |
| bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.3 | 密碼編譯 | 3.4.8 |
| cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | entrypoints | 0.3 | facets-overview | 1.0.0 |
| filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | 筆記本 | 6.4.5 | numpy | 1.20.3 |
| packaging | 21.0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
已安裝的 R 程式庫
R 連結庫會從 2022-09-08 上的 Microsoft CRAN 快照集安裝。 快照已無法使用。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.1 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.2 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| 叢集 | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | 資格證明 | 1.3.2 |
| curl | 4.3.2 | data.table (資料表格) | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | 遞減 | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | 省略符號 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| 泛型 | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0.9 | hms | 1.1.2 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | Lava | 1.6.10 | 生命週期 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 矩陣 | 1.4-1 |
| memoise | 2.0.1 | 方法 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 進度 | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| scales | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | survival | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.41 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-欄位 | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structure | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |