Databricks Runtime 13.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
以下版本資訊提供由 Apache Spark 3.4.0 提供資訊的 Databricks Runtime 13.1 版本資訊。
Databricks 於 2023 年 5 月發行此版本。
新功能和改進
- JDK 17 的叢集支援（公開預覽）
- 在串流資料表中新增、變更或刪除資料
- 使用 SQL 讀取 Kafka
- 新的 SQL 內建函數
- 叢集範圍的 Python 程式庫的 Unity 目錄支援
- 在 Unity 目錄中針對最佳寫入展開的預設啟用
- 結構化串流工作負載中具可設定狀態的運算子的進階支援
- Unity 目錄的 Delta 複製在公開預覽中
- 結構化串流的 Pub/Sub 支援
- 在結構化串流中的浮水印中卸除重複項
- 已使用截斷分割區資料行自冰藍資料表擴充對 Delta 轉換的支援
- 使用 Delta Lake 中的資料對應串流結構描述變更
- 移除起始版本
- Python 可用的新 H3 運算式
JDK 17 的叢集支援（公開預覽）
Databricks 現在提供 Java 開發套件 （JDK） 17 的叢集支援。 請參閱適用於 Java 的 Databricks SDK。
在串流資料表中新增、變更或刪除資料
您現在可以使用 DML 陳述式來修改依 Delta Live Tables 管線發行至 Unity 目錄的串流資料表。 請參閱 在串流資料表中新增、變更或刪除資料，以及 新增、變更或刪除目標串流資料表中的資料。 您也可以使用 DML 陳述式來修改 Databricks SQL 中建立的串流資料表。
使用 SQL 讀取 Kafka
您現在可以使用 read_kafka SQL 函數來讀取 Kafka 資料。 僅差異即時資料表或 Databricks SQL 中的串流資料表支援使用 SQL 進行串流處理。 請參閱 read_kafka 資料表值函式。
新的 SQL 內建函數
下列函數已新增：
-
array_prepend(array, elem) 傳回
array，前面加上elem。 -
try_aes_decrypt(expr, key [, mode [, padding]]) 解密使用 AES 加密產生的二進位文件，並在發生錯誤時傳回
NULL。 - sql_keywords() 傳回 Azure Databricks SQL 關鍵字的資料表。
叢集範圍的 Python 程式庫的 Unity 目錄支援
Unity 目錄對程式庫的使用方式有一些限制。 從 Databricks 執行階段 13.1 及更新版本上，支援叢集範圍的 Python 程式庫，包括以工作區檔案上傳的 Python Wheel 檔案。 不支援使用 DBFS 檔案路徑參考的程式庫，無論是在 DBFS 根或裝載至 DBFS 的外部位置。 不支援非 Python 程式庫。 請參閱叢集程式庫。
在 Databricks Runtime 13.0 和以下版本上，在已啟用 Unity 目錄的工作區中使用共用存取模式的叢集不支援叢集範圍程式庫。
在 Unity 目錄中針對最佳寫入展開的預設啟用
針對在 Unity 目錄中註冊的差異資料表的預設最佳化寫入支援已展開，以包含資料分割資料表的 CTAS 陳述式和 INSERT 作業。 此行為與 SQL 倉儲上的預設值保持一致。 請參閱 Azure Databricks 上 Delta Lake 的最佳化寫入。
結構化串流工作負載中具可設定狀態的運算子的進階支援
您現在可以將鏈結多個可設定狀態的運算子在一起，這表示您可以將運算子的輸出饋送至另一個可設定狀態的運算子，例如聯結。 請參閱 什麼是可設定狀態的串流？。
Unity 目錄的 Delta 複製在公開預覽中
您現在可以使用淺複製，從現有的 Unity 目錄受控資料表建立新的 Unity 目錄受控資料表。 請參閱<Unity 目錄資料表>的淺複製。
結構化串流的 Pub/Sub 支援
您現在可以使用內建連接器來訂閱具有結構化串流的 Google Pub/Sub。 請參閱 訂閱 Google Pub/Sub。
在結構化串流中的浮水印中卸除重複項
您現在可以與指定的浮水印閾值搭配使用 dropDuplicatesWithinWatermark，以在結構化串流中刪除重複記錄。 請參閱 在浮水印內卸除重複項。
已使用截斷分割區資料行自冰藍資料表擴充對 Delta 轉換的支援
您現在可以將 CLONE 和 CONVERT TO DELTA 與 Iceberg 資料表搭配使用，該資料表有在類型 int、long 和 string 的截斷資料欄定義的分割區。 不支援類型的 decimal 截斷資料欄。
使用 Delta Lake 中的資料對應串流結構描述變更
您現在可以提供結構描述追蹤位置，以啟用來自 Delta 資料表的串流，並啟用資料欄對應。 請參閱使用資料行對應和結構描述變更進行串流。
移除起始版本
START VERSION 現已被 ALTER SHARE 取代。
Python 可用的新 H3 運算式
h3_coverash3 和 h3_coverash3string 運算式可供 Python 使用。
錯誤修正
Parquet failOnUnknownFields 不再以無訊息模式卸除類型不符的資料
如果僅使用 failOnUnknownFields 選項或 failOnNewColumns 結構描述演進模式中的自動載入器讀取 Parquet 檔案，則無法讀取具有不同資料類型的資料行，且建議使用 rescuedDataColumn 檔案。 如果提供下列其中一個資料類型，自動載入器現在會正確讀取，且不再修復整數、Short 和位元組類型。 Parquet 檔案建議其他兩個類型之一。
重大變更
將 sqlite-jdbc 版本升級至 3.42.0.0，以處理 CVE-2023-32697
將 sqlite-jdbc 版本從 3.8.11.2 升級至 3.42.0.0。 3.42.0.0 版的 API 與 3.8.11.2 不完全相容。 如果您在 code 中使用 sqlite-jdbc，請檢查 sqlite-jdbc 相容性報告以取得詳細資料。 如果您移轉至 13.1 並使用 sqlite，請確認您的方法，並在 3.42.0.0 版中傳回型別。
程式庫升級
- 升級的 Python 程式庫：
- 從 1.0.2 到 1.0.3 的 facets-overview
- 從 3.10.7 到 3.12.0 的 firelock
- 從 7.0.0 到 8.0.0 的 pyarrow
- 從 8.0.1 到 8.1.0 的 tenacity
- 升級的 R 程式庫：
- 升級的 Java 程式庫：
- 從 2.3.4 到 2.9.3 的 com.github.ben-manes.caffeine.caffeine
- io.delta.delta-sharing-spark_2.12，從 0.6.8 到 0.6.4
- net.snowflake.snowflake-jdbc 從 3.13.29 到 3.13.22
- 從 3.5.0 到 3.19.0 的 org.checkerframework.checker-qual
- 從 3.0.8 到 3.2.15 的 org.scalactic.scalactic_2.12
- 從 3.0.8 到 3.2.15 的 org.scalatest.scalatest_2.12
- 從 3.8.11.2 到 3.42.0.0 的 org.xerial.sqlite-jdbc
Apache Spark
Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包含 Databricks Runtime 13.0 (EoS) 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-42719] [DBRRM-199][SC-131578] 還原 “[SC-125225] `MapOutputTracker#getMap…
- [SPARK-39696] [DBRRM-166][SC-130056][CORE] 還原 [SC-127830]/
- [SPARK-43331] [SC-130064][CONNECT]新增 Spark Connect SparkSession.interruptAll
- [SPARK-43332] [SC-130051][CONNECT][PYTHON] 讓其可以擴充 SparkConnectClient 的 ChannelBuilder
- [SPARK-43323] [SC-129966][SQL][PYTHON]修正已啟用 Arrow 的 DataFrame.toPandas 以正確處理例外狀況
- [SPARK-42940] [SC-129896][SS][CONNECT]改進串流查詢的工作階段管理
- [SPARK-43032] [SC-125756][CONNECT][SS]新增串流查詢管理員
- [SPARK-16484] [SC-129975][SQL] 新增了 DataSketches HllSketch 的支援
- [SPARK-43260] [SC-129281][PYTHON]將 Spark SQL pandas arrow 類型錯誤移轉至錯誤類別。
- [SPARK-41766] [SC-129964][CORE]處理在執行程式註冊之前傳送的解除委任要求
- [SPARK-43307] [SC-129971][PYTHON]將 PandasUDF 值錯誤移轉至錯誤類別
- [SPARK-43206] [SC-129903][SS][CONNECT]StreamingQuery 例外狀況 () 包含堆疊追蹤
- [SPARK-43311] [SC-129905][SS] 新增 RocksDB 狀態存放區供應商記憶體管理增強功能
- [SPARK-43237] [SC-129898][CORE] 處理事件記錄檔中的 Null 例外狀況訊息
- [SPARK-43320] [SC-129899][SQL][HIVE] 直接呼叫Hive 2.3.9 API
-
[SPARK-43270][SC-129897][PYTHON]在
__dir__()中實作pyspark.sql.dataframe.DataFrame以包含資料行 - [SPARK-43183] 還原 “[SC-128938][SS] 引入新的回撥“…
- [SPARK-43143] [SC-129902][SS][CONNECT]Scala StreamingQuery awaitTermination()
- [SPARK-43257] [SC-129675][SQL]以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2022
- [SPARK-43198] [SC-129470][CONNECT] 修正“無法初始化類別 Ammonite…” 使用篩選條件時發生錯誤
- [SPARK-43165] [SC-129777][SQL]將 canWrite 移至 DataTypeUtils
- [SPARK-43298] [SC-129729][PYTHON][ML] 具有純量輸入的 predict_batch_udf 失敗，批次大小為一
- [SPARK-43298] [SC-129700] 還原“[PYTHON][ML] 具有純量輸入的 predict_batch_udf 失敗，批次大小為一”
- [SPARK-43052] [SC-129663][CORE] 在事件記錄檔中使用 Null 檔名處理 stacktrace
- [SPARK-43183] [SC-128938][SS] 將新的回撥“onQueryIdle”引入 StreamingQueryListener
- [SPARK-43209] [SC-129190][CONNECT][PYTHON] 將運算式錯誤移轉至錯誤類別
- [SPARK-42151] [SC-128754][SQL] 使 UPDATE 指派與表格屬性一致
- [SPARK-43134] [SC-129468][CONNECT][SS] JVM 用戶端 StreamingQuery 例外狀況() API
- [SPARK-43298] [SC-129699][PYTHON][ML] 具有純量輸入的 predict_batch_udf 失敗，批次大小為一
- [SPARK-43248] [SC-129660][SQL] 平行收集程式分割區統計資料據上的路徑的不必要序列化/還原序列化
-
[SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] 引入
PySparkNotImplementedError - [SPARK-43146] [SC-128804][CONNECT][PYTHON] 針對 repr 和 repr_html 實作積極式評估
- [SPARK-42953] [SC-129469][連線][後續追蹤] 修正 Scala 用戶端 UDF 測試的 Maven 測試組建
- [SPARK-43144] [SC-129280] Scala 用戶端 DataStreamReader 資料表() API
- [SPARK-43136] [SC-129358][CONNECT] 新增 groupByKey + mapGroup + coGroup 函數
-
[SPARK-43156] [SC-129672][SC-128532][SQL]修正相互關聯的純量子查詢中的
COUNT(*) is null錯誤 - [SPARK-43046] [SC-129110][SS][連線] 已實作 Spark Connect 的 Python API dropDuplicatesWithinWatermark
- [SPARK-43199] [SC-129467][SQL]使 InlineCTE 等冪
-
[SPARK-43293] [SC-129657][SQL] 在一般資料行中會略過
__qualified_access_only - [SPARK-43276] [SC-129461][CONNECT][PYTHON]將 Spark Connect 視窗錯誤移轉至錯誤類別
- [SPARK-43174] [SC-129109][SQL] 修正 SparkSQLCLIDriver 完成程式
- [SPARK-43084] [SC-128654][SS] 新增 spark 連線的 applyInPandasWithState 支援
- [SPARK-43119] [SC-129040][SQL] 支援以動態方式取得 SQL 關鍵字到 JDBC API 和 TVF
- [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect 中 Arrow-最佳化的 Python UDF
- [SPARK-43085] [SC-128432][SQL] 支援多部分資料表名稱的資料行預設指派
- [SPARK-43226] [LC-671] 定義檔案常數中繼資料的擷取器
-
[SPARK-43210] [SC-129189][CONNECT][PYTHON] 引入
PySparkAssertionError - [SPARK-43214] [SC-129199][SQL] LocalTableScanExec/CommandResultExec 的後置驅動程式端計量
- [SPARK-43285] [SC-129347] 使用 JDK 17 修正 ReplE2ESuite 持續失敗
- [SPARK-43268] [SC-129249][SQL] 使用訊息建構例外狀況時，請使用適當的錯誤類別
- [SPARK-43142] [SC-129299] 修正具有特殊字元的屬性上的 DSL 運算式
- [SPARK-43129] [SC-128896] 串流 Spark Connect 的 Scala 核心 API
- [SPARK-43233] [SC-129250][SS]為主題分割區、offset 範圍和任務識別碼新增 Kafka Batch Reading 的記錄
- [SPARK-43249] [SC-129195][CONNECT] 修正 SQL 命令遺漏的統計資料
- [SPARK-42945] [SC-129188][CONNECT] Spark Connect 中支援PYSPARK_JVM_STACKTRACE_ENABLED
- [SPARK-43178] [SC-129197][CONNECT][PYTHON] 將 UDF 錯誤移轉至 PySpark 錯誤架構
- [SPARK-43123] [SC-128494][SQL] 內部欄位中繼資料不應外洩至目錄
- [SPARK-43217] [SC-129205] 在 findNestedField 中的巢狀地圖/陣列中正確遞迴
- [SPARK-43243] [SC-129294][PYTHON][CONNECT] 新增層級參數以列印 Python 的Schema
-
[SPARK-43230] [SC-129191][CONNECT] 簡化
DataFrameNaFunctions.fillna - [SPARK-43088] [SC-128403][SQL]與CTAS/RTAS 中的 RequiresDistributionAndOrdering 有關
-
[SPARK-43234] [SC-129192][CONNECT][PYTHON]從 Conect DataFrame 移轉
ValueError至錯誤類別 - [SPARK-43212] [SC-129187][SS][PYTHON] 將結構化串流錯誤移轉至錯誤類別
-
[SPARK-43239][SC-129186][PS]從 info()中移除
null_counts - [SPARK-43190] [SC-128930][SQL]ListQuery.childOutput 應該與子系輸出一致
- [SPARK-43191] [SC-128924][CORE] 取代 Hadoop CallerContext 的反思與直接電話撥接
- [SPARK-43193] [SC-129042][SS] 移除 HADOOP-12074 的因應措施
- [SPARK-42657] [SC-128621][CONNECT] 支援將用戶端 REPL 類別檔案尋找並轉移至伺服器作為成品
- [SPARK-43098] [SC-77059][SQL] 修正純量子查詢依子句分組時的正確性 COUNT 錯誤
-
[SPARK-43213] [SC-129062][PYTHON] 新增
DataFrame.offset至 vanilla PySpark - [SPARK-42982] [SC-128400][CONNECT][PYTHON] 修正 createDataFrame 以遵守指定的結構描述 ddl
- [SPARK-43124] [SC-129011][SQL] Dataset.show 專案 CommandResults 本機
- [SPARK-42998] [SC-127422][CONNECT][PYTHON] 使用 Null 結構修正 DataFrame.collect
- [SPARK-41498] [SC-125343] 還原”透過聯合傳播中繼資料”」
- [SPARK-42960] [SC-129010][CONNECT][SS] 在 Python 中新增串流查詢await_termination() 和 exception() API
- [SPARK-42552] [SC-128824][SQL] 更正 antlr 剖析器兩階段剖析策略
- [SPARK-43207] [SC-128937][CONNECT] 新增協助程式函數以從常值運算式擷取值
- [SPARK-43186] [SC-128841][SQL][HIVE] 移除 FileSinkDesc 的因應措施
- [SPARK-43107] [SC-128533][SQL] 在廣播聯結串流端時套用的聯結 COALESCE 貯體
- [SPARK-43195] [SC-128922][CORE] 移除 HadoopFSUtils 中不必要的可序列化包裝函式
- [SPARK-43137] [SC-128828][SQL] 如果位置為可折疊式且為正數，請改善ArrayInsert。
- [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith 外部聯結應該傳回不相符資料列的 Null 值
- [SPARK-43042] [SC-128602][SS][連線] 新增 DataStreamReader 的 table() API 支援
- [SPARK-43153] [SC-128753][CONNECT] 當 Dataframe 為本機時略過 Spark 執行
- [SPARK-43064] [SC-128496][SQL] Spark SQL CLI SQL 索引標籤應該只顯示一次陳述式一次
- [SPARK-43126] [SC-128447][SQL] 將兩個Hive UDF運算式標示為可設定狀態的
-
[SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] 將巢狀
if陳述式合併成單一if陳述式 - [SPARK-43113] [SC-128749][SQL] 在產生繫結條件的 code 時評估串流端變數
- [SPARK-42895] [SC-127258][CONNECT] 改善已停止 Spark 工作階段的錯誤訊息
- [SPARK-42884] [SC-126662][CONNECT] 新增 Ammonite REPL 積分
- [SPARK-43168] [SC-128674][SQL]從 Datatype 類別移除 get PhysicalDataType 方法
-
[SPARK-43121] [SC-128455][SQL] 在 'HiveInspectors 中使用
BytesWritable.copyBytes，而不是手動複製 - [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog 在讀取端保留 Char/Varchar 的中繼
- [SPARK-43050] [SC-128550][SQL] 藉由取代群組函數來修正建構匯總運算式
-
[SPARK-43095] [SC-128549][SQL] 避免一旦策略的等冪性中斷批次：
Infer Filters - [SPARK-43130] [SC-128597][SQL] 將 InternalType 移至 PhysicalDataType
- [SPARK-43105] [SC-128456][CONNECT] 縮寫 Proto 訊息中的位元組和字串
-
[SPARK-43099] [SC-128596][SQL] 將 udf 暫存至 FunctionRegistry 時，請使用
getName而非getCanonicalName取得建立器類別名稱 - [SPARK-42994] [SC-128586][ML][CONNECT] PyTorch 分發器支援本機模式
- [SPARK-42859] 還原「[SC-127935][CONNECT][PS] Spark Connect 上 Pandas API 的基本支援」
-
[SPARK-43021] [SC-128472][SQL] 使用 AQE 時
CoalesceBucketsInJoin無法運作 - [SPARK-43125] [SC-128477][CONNECT] 修正 Connect 伺服器無法處理 Null 訊息的例外狀況
- [SPARK-43147] [SC-128594] 修正本機檢查的 flake8 lint
- [SPARK-43031] [SC-128360][SS][連線] 啟用串流單元測試和 doctest
- [SPARK-43039] [LC-67] 支援檔案來源_metadata 資料行中的自訂資料行。
- [SPARK-43120] [SC-128407][SS] 新增針對 RocksDB 狀態存放區追蹤釘選區塊記憶體使用量的支援
- [SPARK-43110] [SC-128381][SQL] 將 asIntegral 移至 PhysicalDataType
- [SPARK-43118] [SC-128398][SS] 移除 KafkaMicroBatchStream 中 UninterruptibleThread 不必要的判斷提示
- [SPARK-43055] [SC-128331][CONNECT][PYTHON] 支援重複的巢狀欄位名稱
- [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable 將允許指定儲存體層級
- [SPARK-42985] [SC-128332][CONNECT][PYTHON] 修正 createDataFrame 以遵守 SQL 組態
- [SPARK-39696] [SC-127830][CORE] 修正 TaskMetrics.externalAccums 存取中的資料競爭
- [SPARK-43103] [SC-128335][SQL] 將 Integral 移至 PhysicalDataType
- [SPARK-42741] [SC-125547][SQL] 當常值為 null 時，請勿在二進位比較中解除包裝轉換
- [SPARK-43057] [SC-127948][CONNECT][PYTHON] 將 Spark Connect 資料行錯誤移轉至錯誤類別
- [SPARK-42859] [SC-127935][CONNECT][PS] Spark Connect 上 Pandas API 的基本支援
-
[SPARK-43013] [SC-127773][PYTHON] 從 DataFrame 移動
ValueError至PySparkValueError。 - [SPARK-43089] [SC-128051][CONNECT] 在 UI 中修訂偵錯字串
- [SPARK-43028] [SC-128070][SQL] 新增錯誤類別 SQL_CONF_NOT_FOUND
- [SPARK-42999] [SC-127842][連線] Dataset#foreach、foreachPartition
- [SPARK-43066] [SC-127937][SQL] 在 JavaDatasetSuite 中新增 dropDuplicates 的測試
-
[SPARK-43075] [SC-127939][CONNECT] 未安裝時，請變更
gRPC為grpcio。 - [SPARK-42953] [SC-127809][連線] 已輸入的篩選條件、對應、flatMap、mapPartitions
- [SPARK-42597] [SC-125506][SQL]支援日期類型取消換行至時間戳類型
- [SPARK-42931] [SC-127933][SS] 引入 dropDuplicatesWithinWatermark
- [SPARK-43073] [SC-127943][CONNECT] 新增 proto 資料類型常數
- [SPARK-43077] [SC-128050][SQL] 改進 UNRECOGNIZED_SQL_TYPE 的錯誤訊息
- [SPARK-42951] [SC-128030][SS][連線] DataStreamReader API
- [SPARK-43049] [SC-127846][SQL] 針對 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR(255)
- [SPARK-43018] [SC-127762][SQL] 修正含時間戳記常值的 INSERT 命令錯誤
- [SPARK-42855] [SC-127722][SQL] 在 TableOutputResolver 中使用執行階段 Null 檢查
- [SPARK-43030] [SC-127847][SQL] 重複資料刪除與中繼資料資料行的關係
- [SPARK-42993] [SC-127829][ML][CONNECT] 讓 PyTorch 分發器與 Spark Connect 相容
- [SPARK-43058] [SC-128072][SQL] 將 Numeric 和 Fractional 移至 PhysicalDataType
- [SPARK-43056] [SC-127946][SS] 只有在已暫停時，RocksDB 狀態存放區提交才會繼續背景工作
- [SPARK-43059] [SC-127947][CONNECT][PYTHON] 從 DataFramer（讀取器|寫入器）移轉 TypeErro 進入錯誤類別
- [SPARK-43071] [SC-128018][SQL] SELECT 支援 DEFAULT 與 ORDER BY、LIMIT、OFFSET 來源關聯 INSERT
- [SPARK-43061] [SC-127956][CORE][SQL] 引入適用於 SQL 運算式執行的 PartitionEvaluator
- [SPARK-43067] [SC-127938][SS] 更正 Kafka 連接器中錯誤類別資源檔案的位置
- [SPARK-43019] [SC-127844][SQL] 將 Ordering 移至 PhysicalDataType
- [SPARK-43010] [SC-127759][PYTHON] 將資料行錯誤移轉至錯誤類別
-
[SPARK-42840] [SC-127782][SQL] 變更
_LEGACY_ERROR_TEMP_2004錯誤為內部錯誤 - [SPARK-43041] [SC-127765][SQL] 還原連接器 API 中相容性例外狀況的建構函式
- [SPARK-42939] [SC-127761][SS][CONNECT] 適用於 Spark Connect 的核心串流 Python API
-
[SPARK-42844] [SC-127766][SQL] 將錯誤類別從
_LEGACY_ERROR_TEMP_2008更新為INVALID_URL - [SPARK-42316] [SC-127720][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_2044
- [SPARK-42995] [SC-127723][CONNECT][PYTHON] 將 Spark Connect DataFrame 錯誤移轉至錯誤類別
- [SPARK-42983] [SC-127717][CONNECT][PYTHON] 修正 createDataFrame 以正確處理 0 dim numpy 陣列
- [SPARK-42955] [SC-127476][SQL] 略過 sparkThrowable 的 classifyException 並裝合 AnalysisException
- [SPARK-42949] [SC-127255][SQL] 簡化 NAAJ 的 code
-
[SPARK-43011] [SC-127577][SQL]
array_insert應該失敗，並且索引為 0 -
[SPARK-42974] [SC-127487][CORE] 還原
Utils.createTempDir以使用ShutdownHookManager並清除JavaUtils.createTempDir方法。 - [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' 也代表資料表已經存在
- [SPARK-42978] [SC-127351][SQL] Derby&PG：RENAME 無法以 schema-Name 限定 new-table-Name
- [SPARK-37980] [SC-127668][SQL] 在測試中盡可能透過 _metadata 存取 row_index
- [SPARK-42655] [SC-127591][SQL] 不正確的不明確資料行參考錯誤
-
[SPARK-43009] [SC-127596][SQL] 使用
sql()常數參數化了Any - [SPARK-43026] [SC-127590][SQL] 使用非交換資料表快取套用 AQE
- [SPARK-42963] [SC-127576][SQL] 擴充 SparkSessionExtensions，將規則插入 AQE 查詢階段最佳化工具
- [SPARK-42918] [SC-127357] 將 FileSourceStrategy 中的中繼資料屬性的處理一般化
-
[SPARK-42806] [SC-127452][SPARK-42811][CONNECT] 新增
Catalog的支援 - [SPARK-42997] [SC-127535][SQL] TableOutputResolver 必須在陣列和對應的錯誤訊息中使用正確的資料行路徑
- [SPARK-43006] [SC-127486][PYSPARK] 修正 StorageLevel eq() 中的錯字
- [SPARK-43005] [SC-127485][PYSPARK] 修正 pyspark/pandas/config.py 中的錯字
- [SPARK-43004] [SC-127457][CORE] 修正 ResourceRequest.equals() 中的錯字
- [SPARK-42907] [SC-126984][CONNECT][PYTHON] 實作 Avro 函數
- [SPARK-42979] [SC-127272][SQL] 將常值建構函式定義為關鍵詞字
- [SPARK-42946] [SC-127252][SQL] 以變數替代為巢狀的性資料進行校訂
- [SPARK-42952] [SC-127260][SQL] 簡化分析器規則 PreprocessTableCreation 和 DataSourceAnalysis 的參數
- [SPARK-42683] [LC-75]自動重新命名衝突的中繼資料資料行
- [SPARK-42853] [SC-126101][FollowUp] 修正衝突
- [SPARK-42929] [SC-126748][CONNECT] 讓 mapInPandas / mapInArrow 支援 “is_barrier”
- [SPARK-42968] [SC-127271][SS] 新增選項以略過 DSv2 來源/接收器的 StreamingWrite API 一部分的確認協調器
-
[SPARK-42954] [SC-127261][PYTHON][CONNECT] 新增
YearMonthIntervalType至 PySpark 和 Spark Connect Python 用戶端 -
[SPARK-41359] [SC-127256][SQL] 在UnsafeRow 中使用
PhysicalDataType而不是 DataType - [SPARK-42873] [SC-127262][SQL] 將 Spark SQL 類型定義為關鍵字
-
[SPARK-42808] [SC-126302][CORE] 避免每次在
MapOutputTrackerMaster#getStatistics中取得 availableProcessors -
[SPARK-42937] [SC-126880][SQL]
PlanSubqueries應將InSubqueryExec#shouldBroadcast設定為 true -
[SPARK-42896] [SC-126729][SQL][PYTHON] 讓
mapInPandas/mapInArrow支援屏障模式執行 - [SPARK-42874] [SC-126442][SQL] 啟用新的黃金檔案測試架構以分析所有輸入檔
- [SPARK-42922] [SC-126850][SQL] 從 Random 移至 SecureRandom
- [SPARK-42753] [SC-126369] ReusedExchange 是指不存在的節點
- [SPARK-40822] [SC-126274][SQL] 穩定衍生的資料行別名
- [SPARK-42908] [SC-126856][PYTHON] 需要 SparkContext 但未初始化時引發 RuntimeError
- [SPARK-42779] [SC-126042][SQL] 允許 V2 寫入指出諮詢隨機分割區大小
-
[SPARK-42914][SC-126727][PYTHON] 針對
transformUnregisteredFunction重複使用DistributedSequenceID。 - [SPARK-42878] [SC-126882][CONNECT] DataFrameReader 中的資料表 API 也可以接受選項
-
[SPARK-42927] [SC-126883][CORE] 將
o.a.spark.util.Iterators#size的存取範圍變更為private[util] - [SPARK-42943] [SC-126879][SQL] 針對有效長度使用 LONGTEXT 而不是 StringType 的 TEXT
- [SPARK-37677] [SC-126855][CORE] 解壓縮可能會保留檔案權限
- [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON]實作 CoGrouped 對應 API
- [SPARK-41876] [SC-126849][CONNECT][PYTHON] 實作 DataFrame.toLocalIterator
-
[SPARK-42930] [SC-126761][CORE][SQL] 將相關實作的
ProtobufSerDe存取範圍變更為private[protobuf] - [SPARK-42819] [SC-125879][SS] 新增對串流中使用的 RocksDB 設定max_write_buffer_number和write_buffer_size 的支援
- [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] 釐清參數化 SQL 引數的註解
- [SPARK-42748] [SC-126455][CONNECT] 伺服器端成品管理
- [SPARK-42816] [SC-126365][CONNECT] 支援最多 128 MB 的訊息大小上限
- [SPARK-42850] [SC-126109][SQL] 移除最佳化器中重複的規則 CombineFilters
- [SPARK-42662] [SC-126355][CONNECT][PS] 在 Spark 預設索引上新增 pandas API 的 Proto 訊息
- [SPARK-42720] [SC-126136][PS][SQL] 針對散發式-排序-預設索引使用運算式，而不是方案
- [SPARK-42790] [SC-126174][SQL] 將排除方法抽象化，藉此取得 JDBC Docker 測試的更佳測試。
- [SPARK-42900] [SC-126473][CONNECT][PYTHON] 修正 createDataFrame 以遵守推斷和資料行名稱
- [SPARK-42917] [SC-126657][SQL] 修正 DerbyDialect 的 getUpdateColumnNullabilityQuery for DerbyDialect
- [SPARK-42684] [SC-125157][SQL] v2 目錄預設不允許資料行預設值
- [SPARK-42861] [SC-126635][SQL] 使用 private[sql] 而不是 protected[sql] 以避免產生 API 檔
- [SPARK-42920] [SC-126728][CONNECT][PYTHON] 使用UDT啟用UDF的測試
- [SPARK-42791] [SC-126617][SQL] 建立新的黃金檔案測試架構進行分析
- [SPARK-42911] [SC-126652][PYTHON] 引入更多基本例外狀況
- [SPARK-42904] [SC-126634][SQL] JDBC 目錄的 Char/Varchar 支援
-
[SPARK-42901] [SC-126459][CONNECT][PYTHON] 將
StorageLevel移動至個別的檔案以避免潛在的file recursively imports -
[SPARK-42894][SC-126451][CONNECT] 支援 Spark 連線 jvm 用戶端的
cache/persist/unpersist/storageLevel - [SPARK-42792] [SC-125852][SS] 新增對串流可設定狀態運算子中使用 RocksDB WRITE_FLUSH_BYTES 的支援
- [SPARK-41233] [SC-126441][CONNECT][PYTHON] 新增 array_prepend 至 Spark Connect Python 用戶端
- [SPARK-42681] [SC-125149][SQL] 放寬 ALTER TABLE ADD 的排序條件約束|REPLACE 數據行描述元
- [SPARK-42889] [SC-126367][CONNECT][PYTHON] 實作快取、保存、取消保存和 storageLevel
- [SPARK-42824] [SC-125985][CONNECT][PYTHON] 為不支援的 JVM 屬性提供明確的錯誤訊息
- [SPARK-42340] [SC-126131][CONNECT][PYTHON] 實作群組對應 API
- [SPARK-42892] [SC-126454][SQL] 將 sameType 和相關方法移出 DataType
-
[SPARK-42827] [SC-126126][CONNECT] 支援 Scala 連線用戶端的
functions#array_prepend -
[SPARK-42823] [SC-125987][SQL]
spark-sqlshell 支援多部分命名空間進行初始化 - [SPARK-42817] [SC-125960][CORE] 在 ApplicationMaster 中記錄隨機服務名稱一次
- [SPARK-42786] [SC-126438][連線] 已輸入選取
-
[SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] 實作 ml 函數
{array_to_vector, vector_to_array} - [SPARK-42052] [SC-126439][SQL] HiveSimpleUDF 的 Codegen 支援
-
[SPARK-41233] [SC-126110][SQL][PYTHON]新增
array_prepend函數 -
[SPARK-42864] [SC-126268][ML][3.4] 將
IsotonicRegression.PointsAccumulator設為私人 - [SPARK-42876] [SC-126281][SQL] DataType 的 physicalDataType 應該是 private[sql]
- [SPARK-42101] [SC-125437][SQL] 讓 AQE 支援 InMemoryTableScanExec
- [SPARK-41290] [SC-124030][SQL] 支援建立/取代陳述式中資料行的 GENERATED ALWAYS AS 運算式
-
[SPARK-42870][SC-126220][CONNECT] 將
toCatalystValue移動至connect-common - [SPARK-42247] [SC-126107][CONNECT][PYTHON] 修正 UserDefinedFunction 以擁有 returnType
- [SPARK-42875] [SC-126258][CONNECT][PYTHON] 修正 toPandas 以正確處理時區和對應類型
- [SPARK-42757] [SC-125626][CONNECT] 實作 DataFrameReader 的 textFile
- [SPARK-42803] [SC-126081][CORE][SQL][ML] 使用 getParameterCount 函數，而不是 getParameterTypes.length
-
[SPARK-42833][SC-126043][SQL]在
applyExtensions中重構SparkSession - [SPARK-41765] 還原 “[SC-123550][SQL] 提取 v1 寫入計量...
- [SPARK-42848] [SC-126105][CONNECT][PYTHON] 實作 DataFrame.registerTempTable
- [SPARK-42020] [SC-126103][CONNECT][PYTHON] 在 Spark Connect 中支援 UserDefinedType
- [SPARK-42818] [SC-125861][CONNECT][PYTHON] 實作 DataFrameReader/Writer.jdbc
- [SPARK-42812] [SC-125867][CONNECT] 將client_type 新增至 AddArtifactsRequest protobuf 訊息
- [SPARK-42772] [SC-125860][SQL] 將 JDBC 選項的預設值變更為 true
- [SPARK-42771] [SC-125855][SQL] 重構 HiveGenericUDF
- [SPARK-25050] [SC-123839][SQL] Avro：寫入複雜聯合
-
[SPARK-42765][SC-125850][CONNECT][PYTHON] 啟用從
pandas_udf匯入pyspark.sql.connect.functions -
[SPARK-42719] [SC-125225][CORE]
MapOutputTracker#getMapLocation應遵守spark.shuffle.reduceLocality.enabled - [SPARK-42480] [SC-125173][SQL] 改進卸除分割區的效能
- [SPARK-42689] [SC-125195][CORE][SHUFFLE] 允許 ShuffleDriverComponent 宣告是否可靠地儲存隨機資料
-
[SPARK-42726] [SC-125279][CONNECT][PYTHON] 實作
DataFrame.mapInArrow - [SPARK-41765] [SC-123550][SQL] 將 v1 寫入計量提取至 WriteFiles
- [SPARK-41171] [SC-124191][SQL] 如果 partitionSpec 是空的，則透過視窗推斷和下推視窗限制
- [SPARK-42686] [SC-125292][CORE] 延遲 TaskMemoryManager 中偵錯訊息的格式設定
- [SPARK-42756] [SC-125443][CONNECT][PYTHON] 協助程式函數，將 proto 常值轉換成 Python 用戶端中的值
-
[SPARK-42793] [SC-125627][CONNECT]
connect模組需要build_profile_flags -
[SPARK-42701] [SC-125192][SQL] 新增
try_aes_decrypt()函數 - [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame 不適用於不可為 Null 的結構描述
- [SPARK-42733] [SC-125542][CONNECT][後續追蹤] 不使用路徑或資料表寫入
- [SPARK-42777] [SC-125525][SQL] 支援將 TimestampNTZ 目錄統計資料轉換為方案統計資料
-
[SPARK-42770][SC-125558][CONNECT] 新增
truncatedTo(ChronoUnit.MICROS)以讓SQLImplicitsTestSuite在 Java 17 每日測試 GA 工作通過 - [SPARK-42752] [SC-125550][PYSPARK][SQL] 讓 PySpark 例外狀況在初始化期間可列印
- [SPARK-42732] [SC-125544][PYSPARK][CONNECT] 支援 Spark 連接工作階段 getActiveSession 方法
-
[SPARK-42755] [SC-125442][CONNECT] 將因數常值轉換成
connect-common - [SPARK-42747] [SC-125399][ML] 修正不正確的 LoR 和 AFT 的內部狀態
- [SPARK-42740] [SC-125439][SQL] 修正某些內建方言的下推位移或分頁無效的錯誤
- [SPARK-42745] [SC-125332][SQL] 改進 AliasAwareOutputExpression 可與 DSv2 搭配運作
- [SPARK-42743] [SC-125330][SQL] 支援分析 TimestampNTZ 資料行
- [SPARK-42721] [SC-125371][CONNECT] RPC 記錄攔截器
- [SPARK-42691] [SC-125397][CONNECT][PYTHON] 實作 Dataset.semanticHash
- [SPARK-42688] [SC-124922][CONNECT] 將連線 proto 要求 client_id 重新命名為 session_id
- [SPARK-42310] [SC-122792][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_1289
- [SPARK-42685] [SC-125339][CORE] 最佳化 Utils.bytesToString 常式
- [SPARK-42725] [SC-125296][CONNECT][PYTHON] 讓 LiteralExpression 支援陣列參數
- [SPARK-42702] [SC-125293][SPARK-42623][SQL] 支援子查詢與 CTE 中的參數化查詢
- [SPARK-42697] [SC-125189][WEBUI] 修正 /api/v1/applications 以傳回工作欄位段的總運作時間，而不是 0
- [SPARK-42733] [SC-125278][CONNECT][PYTHON] 修正 DataFrameWriter.save 以在沒有路徑參數的情況下運作
- [SPARK-42376] [SC-124928][SS] 介紹運算子之間的浮水印傳播
- [SPARK-42710] [SC-125205][CONNECT][PYTHON] 將 FrameMap proto 重新命名為 MapPartitions
- [SPARK-37099] [SC-123542][SQL] 引入以排名為基礎的篩選條件之 Window 群組限制，以最佳化 top-k 計算
- [SPARK-42630] [SC-125207][CONNECT][PYTHON] 引入 UnparsedDataType 和延遲剖析 DDL 字串，直到 SparkConnectClient 可用為止
- [SPARK-42690] [SC-125193][CONNECT]實作 Scala 用戶端的 CSV/JSON 剖析函數
-
[SPARK-42709][SC-125172][PYTHON] 移除可用的假設
__file__ - [SPARK-42318] [SC-122648][SPARK-42319][SQL] 將名稱指派給 LEGACY_ERROR_TEMP（2123|2125）
- [SPARK-42723] [SC-125183][SQL] 支援剖析器資料類型 json “timestamp_ltz” 作為 TimestampType
- [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() 不應該快取結構描述
- [SPARK-42643] [SC-125152][CONNECT][PYTHON] 註冊 Java (aggregate) 使用者定義函數
- [SPARK-42656] [SC-125177][CONNECT][待處理] 修正spark-connect 腳本
- [SPARK-41516] [SC-123899][SQL]允許 jdbc 方言覆寫用來建立資料表的查詢
- [SPARK-41725] [SC-124396][CONNECT] 積極式執行DF.sql()
-
[SPARK-42687] [SC-124896][SS] 串流中不支援
pivot作業的更佳錯誤訊息 - [SPARK-42676] [SC-124809][SS] 將串流查詢的暫存檢查點寫入本機文件系統，即使以不同的方式設定預設 FS
- [SPARK-42303] [SC-122644][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_1326
- [SPARK-42553] [SC-124560][SQL] 請確定“interval”之後至少一個時間單位
- [SPARK-42649] [SC-124576][CORE] 從第三方來源檔案頂端移除標準 Apache 授權標頭
- [SPARK-42611] [SC-124395][SQL] 在解析期間插入 char/varchar 長度檢查內部欄位
- [SPARK-42419] [SC-124019][CONNECT][PYTHON] 移轉至Spark Connect 資料行 API 的錯誤架構。
- [SPARK-42637] [SC-124522][CONNECT] 新增 SparkSession.stop()
- [SPARK-42647] [SC-124647][PYTHON] 變更 numpy 已取代和已移除類型的別名
- [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver 只能關閉已啟動的 hive sessionState
- [SPARK-42593] [SC-124405][PS] 取代和移除將在 pandas 2.0 中移除的 API。
- [SPARK-41870] [SC-124402][CONNECT][PYTHON] 修正 createDataFrame 以處理重複的資料行名稱
- [SPARK-42569] [SC-124379][CONNECT] 針對不支援的工作階段 API 擲回例外狀況
- [SPARK-42631] [SC-124526][CONNECT] 在 Scala 用戶端中支援自訂延伸項目
- [SPARK-41868] [SC-124387][CONNECT][PYTHON] 修正 createDataFrame 以支持持續時間
- [SPARK-42572] [SC-124171][SQL][SS] 修正 StateStoreProvider.validateStateRowFormat 的行為
維護更新
請參閱 Databricks Runtime 13.1 維護更新。
系統環境
- 作業系統：Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python：3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | 密碼編譯 | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | docstring-to-markdown | 0.12 | entrypoints | 0.4 |
| 正在執行 | 1.2.0 | facets-overview | 1.0.3 | fastjsonschema | 2.16.3 |
| filelock | 3.12.0 | fonttools | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 筆記本 | 6.4.12 | numpy | 1.21.5 | oauthlib | 3.2.0 |
| packaging | 21.3 | pandas | 1.4.4 | pandocfilters | 1.5.0 |
| parso | 0.8.3 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
| pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 8.0.0 |
| pycparser | 2.21 | pydantic | 1.10.6 | pyflakes | 3.0.1 |
| Pygments | 2.11.2 | PyGObject | 3.42.1 | PyJWT | 2.3.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 | pytz | 2022.1 |
| pyzmq | 23.2.0 | requests | 2.28.1 | 繩子 | 1.7.0 |
| s3transfer | 0.6.0 | scikit-learn | 1.1.1 | scipy | 1.9.1 |
| seaborn | 0.11.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| setuptools | 63.4.1 | six | 1.16.0 | soupsieve | 2.3.1 |
| ssh-import-id | 5.11 | stack-data | 0.6.2 | statsmodels | 0.13.2 |
| tenacity | 8.1.0 | terminado | 0.13.1 | testpath | 0.6.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.1 | typing_extensions | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.11 |
| virtualenv | 20.16.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | whatthepatch | 1.0.2 | wheel | 0.37.1 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
已安裝 R 程式庫
R 程式庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | 遞減 | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| 省略符號 | 0.3.2 | evaluate | 0.20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | 泛型 | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| Lava | 1.7.1 | 生命週期 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | 矩陣 | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 進度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 原生 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.4 |
| io.dropwizard.metrics | 計量 - EF Core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlet | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | Snowflake DB | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | 墊片 | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest 相容 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | 蛇形 | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |