Databricks Runtime 12.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
下列版本資訊提供由 Apache Spark 3.3.1 提供之 Databricks Runtime 12.1 的相關信息。
Databricks 於 2023 年 1 月發行此版本。
新功能和改進
- 支援通訊協定管理的 Delta Lake 數據表功能
- 更新的預測性 I/O 處於公開預覽狀態
- 目錄總管現在可供所有角色使用
- 支援單一串流查詢中的多個具狀態運算符
- 對通訊協議緩衝區的支持處於公開預覽狀態
- 支援 Confluent 架構登錄驗證
- 支援使用 Delta Sharing 共用共用數據表歷程記錄
- 支援使用差異共用共享進行串流
- 目錄中差異共享數據表現在支援使用時間戳的數據表版本
- 支援 WHEN NOT MATCHED BY SOURCE for MERGE INTO
- CONVERT TO DELTA 的優化統計數據集合
- Undropping 資料表的 Unity 目錄支援
支援通訊協定管理的 Delta Lake 數據表功能
Azure Databricks 引進了 Delta Lake 數據表功能的支援，其引進了細微旗標，以指定指定數據表所支援的功能。 請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？。
更新的預測性 I/O 處於公開預覽狀態
預測性 I/O 現在可 DELETE加速 Delta 資料表的、 MERGE和 UPDATE 作業，並在已啟用 Photon 的計算上啟用刪除向量。 請參閱什麼是預測性 I/O？。
目錄總管現在可供所有角色使用
使用 Databricks Runtime 7.3 LTS 和更新版本時，目錄總管現在可供所有 Azure Databricks 角色使用。
支援單一串流查詢中的多個具狀態運算符
用戶現在可以在串流查詢中使用附加模式來鏈結具狀態運算符。 並非所有運算子都完全受到支援。 數據流串流時間間隔聯結，不允許 flatMapGroupsWithState 鏈結其他具狀態運算符。
對通訊協議緩衝區的支持處於公開預覽狀態
您可以使用 from_protobuf 和 to_protobuf 函式，在二進位和結構類型之間交換數據。 請參閱讀取和寫入通訊協定緩衝區。
支援 Confluent 架構登錄驗證
Azure Databricks 與 Confluent Schema Registry 整合現在支援具有驗證的外部架構登錄位址。 此功能適用於 from_avro、 to_avro、 from_protobuf和 to_protobuf 函式。 請參閱 Protobuf 或 Avro。
支援使用 Delta Sharing 共用共用數據表歷程記錄
您現在可以使用差異共用來共用具有完整歷程記錄的數據表，讓收件者能夠使用Spark結構化串流執行時間移動查詢和查詢數據表。 WITH HISTORY 建議使用 ， CHANGE DATA FEED而不是 ，但後者仍會繼續受到支援。 請參閱 ALTER SHARE 和 將數據表新增至共用。
支援使用差異共用共享進行串流
Spark 結構化串流現在可在使用 WITH HISTORY共用的來源 Delta 共用數據表上使用 格式deltasharing。
目錄中差異共享數據表現在支援使用時間戳的數據表版本
您現在可以在語句中使用 SELECT SQL 語法TIMESTAMP AS OF來指定掛接在目錄中的 Delta Sharing 數據表版本。 必須使用 共用數據表 WITH HISTORY。
支援 WHEN NOT MATCHED BY SOURCE for MERGE INTO
您現在可以將 子句新增 WHEN NOT MATCHED BY SOURCE 至 ， MERGE INTO 以根據合併條件來更新或刪除源數據表中沒有相符專案之所選數據表中的數據列。 新的 子句可在 SQL、Python、Scala 和 Java 中使用。 請參閱 MERGE INTO。
CONVERT TO DELTA 的優化統計數據集合
作業的 CONVERT TO DELTA 統計數據收集現在要快得多。 這樣可減少可能用於 NO STATISTICS 效率的工作負載數目。
Undropping 資料表的 Unity 目錄支援
這項功能最初是在公開預覽版中發行。 截至 2023 年 10 月 25 日，正式發行。
您現在可以在卸除七天內，將現有架構中已卸除的Managed或外部數據表取消卸除。 請參閱 UNDROP TABLE 和 SHOW TABLES DROPPED。
連結庫升級
- 升級的 Python 連結庫：
- filelock from 3.8.0 to 3.8.2
- 從 2.5.4 到 2.6.0 的 platformdirs
- setuptools from 58.0.4 to 61.2.0
- 升級的 R 程式庫：
- 升級的 Java 程式庫：
- io.delta.delta-sharing-spark_2.12，從 0.5.2 到 0.6.2
- org.apache.hive.hive-storage-api，從 2.7.2 到 2.8.1
- org.apache.parquet.parquet-column from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
- org.apache.parquet.parquet-common，從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
- org.apache.parquet.parquet-encoding，從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
- org.apache.parquet.parquet-format-structure，從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
- org.apache.parquet.parquet-hadoop 從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
- org.apache.parquet.parquet-jackson 從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
- org.tukaani.xz 從 1.8 到 1.9
Apache Spark
Databricks Runtime 12.1 包含 Apache Spark 3.3.1。 此版本包含 Databricks Runtime 12.0 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-41405] [SC-119769][12.1.0] 還原 “[SC-119411][SQL] 集中處理數據行解析邏輯” 和 “[SC-117170][SPARK-41338][SQL] 解析相同分析器批次中的外部參考和一般數據行”
- [SPARK-41405] [SC-119411][SQL]集中處理數據行解析邏輯
- [SPARK-41859] [SC-119514][SQL]CreateHiveTableAsSelectCommand 應該正確設定覆寫旗標
- [SPARK-41659] [SC-119526][CONNECT][12.X]在 pyspark.sql.connect.readwriter 中啟用 doctests
- [SPARK-41858] [SC-119427][SQL]修正 ORC 讀取器效能回歸，因為預設值功能
- [SPARK-41807] [SC-119399][CORE]拿掉不存在的錯誤類別：UNSUPPORTED_FEATURE。DISTRIBUTE_BY
- [SPARK-41578] [12.x][SC-119273][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2141
- [SPARK-41571] [SC-119362][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2310
- [SPARK-41810] [SC-119373][CONNECT]從 SparkSession.createDataFrame 中的字典清單中推斷名稱
- [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X]將 Spark Connect 檔和腳本移至開發/和 Python 檔
- [SPARK-41534] [SC-119456][CONNECT][SQL][12.x]設定 Spark Connect 的初始客戶端模組
- [SPARK-41365] [SC-118498][UI][3.3] 階段 UI 頁面無法在特定 yarn 環境中載入 Proxy
- [SPARK-41481] [SC-118150][CORE][SQL]重複使用
INVALID_TYPED_LITERAL而非_LEGACY_ERROR_TEMP_0020 - [SPARK-41049] [SC-119305][SQL]重新流覽具狀態表達式處理
- [SPARK-41726] [SC-119248][SQL]刪除
OptimizedCreateHiveTableAsSelectCommand - [SPARK-41271] [SC-118648][SC-118348][SQL]支援參數化 SQL 查詢依據
sql() - [SPARK-41066] [SC-119344][CONNECT][PYTHON]實作
DataFrame.sampleBy和DataFrame.stat.sampleBy - [SPARK-41407] [SC-119402][SC-119012][SQL][所有測試]提取 v1 寫入 WriteFiles
- [SPARK-41565] [SC-118868][SQL]新增錯誤類別
UNRESOLVED_ROUTINE - [SPARK-41668] [SC-118925][SQL]當傳遞 NULL 時，DECODE 函式會傳回錯誤的結果
- [SPARK-41554] [SC-119274] 修正當小數字數減少 m...
- [SPARK-41065] [SC-119324][CONNECT][PYTHON]實作
DataFrame.freqItems和DataFrame.stat.freqItems - [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X]可重新設定文件測試，並將遺漏的數據行別名新增至 count（）
- [SPARK-41069] [SC-119310][CONNECT][PYTHON]實作
DataFrame.approxQuantile和DataFrame.stat.approxQuantile - [SPARK-41809] [SC-119367][CONNECT][PYTHON]Make 函式
from_json支援 DataType 架構 - [SPARK-41804] [SC-119382][SQL]針對UDT數位選擇中
InterpretedUnsafeProjection正確的元素大小 - [SPARK-41786] [SC-119308][CONNECT][PYTHON]重複資料刪除協助程式函式
- [SPARK-41745] [SC-119378][SPARK-41789][12.X]建立
createDataFrame數據列的支援清單 - [SPARK-41344] [SC-119217][SQL]在 SupportsCatalogOptions 目錄中找不到資料表時，請清除錯誤
- [SPARK-41803] [SC-119380][CONNECT][PYTHON]新增遺漏的函式
log(arg1, arg2) - [SPARK-41808] [SC-119356][CONNECT][PYTHON]讓 JSON 函式支援選項
- [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON]進行
__getitem__支援篩選並選取 - [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON]讓數據行操作支援無
- [SPARK-41440] [SC-119279][CONNECT][PYTHON]請避免一般範例的快取運算符。
- [SPARK-41785] [SC-119290][CONNECT][PYTHON]實現
GroupedData.mean - [SPARK-41629] [SC-119276][CONNECT]支援關聯和表達式中的通訊協定延伸
- [SPARK-41417] [SC-118000][CORE][SQL]將重新命名
_LEGACY_ERROR_TEMP_0019為INVALID_TYPED_LITERAL - [SPARK-41533] [SC-119342][CONNECT][12.X]Spark Connect Server / 用戶端的正確錯誤處理
- [SPARK-41292] [SC-119357][CONNECT][12.X]pyspark.sql.window 命名空間中的支持視窗
- [SPARK-41493] [SC-119339][CONNECT][PYTHON]讓 csv 函式支援選項
- [SPARK-39591] [SC-118675][SS]異步進度追蹤
- [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X]實現
Column.{withField, dropFields} - [SPARK-41068] [SC-119268][CONNECT][PYTHON]實現
DataFrame.stat.corr - [SPARK-41655] [SC-119323][CONNECT][12.X]在 pyspark.sql.connect.column 中啟用 doctests
- [SPARK-41738] [SC-119170][CONNECT]在SparkSession 快取中混合 ClientId
- [SPARK-41354] [SC-119194][CONNECT]新增
RepartitionByExpression至 proto - [SPARK-41784][SC-119289][CONNECT][PYTHON]在數據行中新增遺漏
__rmod__ - [SPARK-41778] [SC-119262][SQL]將別名 「reduce」 新增至 ArrayAggregate
- [SPARK-41067] [SC-119171][CONNECT][PYTHON]實現
DataFrame.stat.cov - [SPARK-41764] [SC-119216][CONNECT][PYTHON]讓內部字串 op 名稱與 FunctionRegistry 保持一致
- [SPARK-41734] [SC-119160][CONNECT]新增目錄的父訊息
- [SPARK-41742] [SC-119263]支援 df.groupBy（）。agg（{“*”：“count”}）
- [SPARK-41761][SC-119213][CONNECT][PYTHON]修正算術運算：
__neg__、、__pow____rpow__ - [SPARK-41062] [SC-118182][SQL]將重新命名
UNSUPPORTED_CORRELATED_REFERENCE為CORRELATED_REFERENCE - [SPARK-41751] [SC-119211][CONNECT][PYTHON]修復
Column.{isNull, isNotNull, eqNullSafe} - [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X]實作
unwrap_udt函式 - [SPARK-41333] [SC-119195][SPARK-41737]實現
GroupedData.{min, max, avg, sum} - [SPARK-41751] [SC-119206][CONNECT][PYTHON]修復
Column.{bitwiseAND, bitwiseOR, bitwiseXOR} - [SPARK-41631] [SC-101081][SQL]支持匯總上的隱含橫向數據行別名解析
- [SPARK-41529] [SC-119207][CONNECT][12.X]實作 SparkSession.stop
- [SPARK-41729] [SC-119205][CORE][SQL][12.X]將重新命名
_LEGACY_ERROR_TEMP_0011為UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES - [SPARK-41717][SC-119078][CONNECT][12.X]在 LogicalPlan 刪除重複資料刪除列印和repr_html
- [SPARK-41740] [SC-119169][CONNECT][PYTHON]實現
Column.name - [SPARK-41733] [SC-119163][SQL][SS]為規則 ResolveWindowTime 套用樹狀模式型剪除
- [SPARK-41732] [SC-119157][SQL][SS]為規則 SessionWindowing 套用樹狀模式型剪除
- [SPARK-41498] [SC-119018]透過聯集傳播元數據
- [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X]實作數據行存取子
- [SPARK-41736] [SC-119161][CONNECT][PYTHON]
pyspark_types_to_proto_types應該支援ArrayType - [SPARK-41473] [SC-119092][CONNECT][PYTHON]實作
format_number函式 - [SPARK-41707] [SC-119141][CONNECT][12.X]在Spark Connect 中實作目錄 API
- [SPARK-41710] [SC-119062][CONNECT][PYTHON]實現
Column.between - [SPARK-41235] [SC-119088][SQL][PYTHON]高階函式：array_compact實作
- [SPARK-41518] [SC-118453][SQL]將名稱指派給錯誤類別
_LEGACY_ERROR_TEMP_2422 - [SPARK-41723] [SC-119091][CONNECT][PYTHON]實作
sequence函式 - [SPARK-41703] [SC-119060][CONNECT][PYTHON]在常值中結合 NullType 和typed_null
- [SPARK-41722] [SC-119090][CONNECT][PYTHON]實作 3 個遺漏的時間範圍函式
- [SPARK-41503] [SC-119043][CONNECT][PYTHON]實作數據分割轉換函式
- [SPARK-41413] [SC-118968][SQL]避免在分割區索引鍵不符但聯結表達式不相容時，避免在記憶體分割區聯結中隨機顯示
- [SPARK-41700] [SC-119046][CONNECT][PYTHON]刪除
FunctionBuilder - [SPARK-41706] [SC-119094][CONNECT][PYTHON]
pyspark_types_to_proto_types應該支援MapType - [SPARK-41702] [SC-119049][CONNECT][PYTHON]新增無效的數據行作業
- [SPARK-41660] [SC-118866][SQL]只有在使用元數據行時才會傳播元數據行
- [SPARK-41637] [SC-119003][SQL]ORDER BY ALL
- [SPARK-41513] [SC-118945][SQL]實作累加器以收集每個對應程序數據列計數計量
- [SPARK-41647] [SC-119064][CONNECT][12.X]pyspark.sql.connect.functions 中的重複數據刪除檔字串
- [SPARK-41701] [SC-119048][CONNECT][PYTHON]建立數據行操作支援
decimal - [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693]實作
rollup、cube和pivot - [SPARK-41635] [SC-118944][SQL]依所有群組
- [SPARK-41645] [SC-119057][CONNECT][12.X]pyspark.sql.connect.dataframe 中的重複數據刪除檔字串
- [SPARK-41688] [SC-118951][CONNECT][PYTHON]將表達式移至 expressions.py
- [SPARK-41687] [SC-118949][CONNECT]pyspark.sql.connect.group 中的重複數據刪除 docstrings
- [SPARK-41649] [SC-118950][CONNECT]pyspark.sql.connect.window 中的重複數據刪除檔字串
- [SPARK-41681] [SC-118939][CONNECT]Factor GroupedData out to group.py
- [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X]實作
Window函式 - [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X]建立數據行作業支援
datetime - [SPARK-41672] [SC-118929][CONNECT][PYTHON]啟用已被取代的函式
- [SPARK-41673] [SC-118932][CONNECT][PYTHON]實現
Column.astype - [SPARK-41364] [SC-118865][CONNECT][PYTHON]實作
broadcast函式 - [SPARK-41648] [SC-118914][CONNECT][12.X]pyspark.sql.connect.readwriter 中的重複數據刪除檔字串
- [SPARK-41646] [SC-118915][CONNECT][12.X]pyspark.sql.connect.session 中的重複數據刪除 docstrings
- [SPARK-41643] [SC-118862][CONNECT][12.X]pyspark.sql.connect.column 中的重複數據刪除 docstrings
- [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X]實作 Lambda 函式的其餘部分
- [SPARK-41441] [SC-118557][SQL]支持產生，不需要子輸出來裝載外部參考
- [SPARK-41669] [SC-118923][SQL]canCollapseExpressions 中的早期剪除
- [SPARK-41639] [SC-118927][SQL][PROTOBUF] ：從 SchemaConverters 移除 ScalaReflectionLock
- [SPARK-41464] [SC-118861][CONNECT][PYTHON]實現
DataFrame.to - [SPARK-41434] [SC-118857][CONNECT][PYTHON]初始
LambdaFunction實作 - [SPARK-41539] [SC-118802][SQL]針對 LogicalRDD 邏輯計劃中輸出的統計數據和條件約束重新對應
- [SPARK-41396] [SC-118786][SQL][PROTOBUF]OneOf 欄位支援和遞歸檢查
- [SPARK-41528] [SC-118769][CONNECT][12.X]Spark Connect 和 PySpark API 的合併命名空間
- [SPARK-41568] [SC-118715][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1236
- [SPARK-41440] [SC-118788][CONNECT][PYTHON]實現
DataFrame.randomSplit - [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF]使用指定相依性將 Spark Connect 和 protobuf 新增至 setup.py
- [SPARK-27561] [SC-101081][12.x][SQL]支援 Project 上的隱含橫向數據行別名解析
- [SPARK-41535] [SC-118645][SQL]在和 中正確設定行事曆間隔欄位的
InterpretedUnsafeProjectionNullInterpretedMutableProjection - [SPARK-40687] [SC-118439][SQL]支援資料遮罩內建函式 'mask'
- [SPARK-41520] [SC-118440][SQL]分割AND_OR TreePattern 以分隔 AND 和 OR TreePatterns
- [SPARK-41349] [SC-118668][CONNECT][PYTHON]實作 DataFrame.hint
- [SPARK-41546] [SC-118541][CONNECT][PYTHON]
pyspark_types_to_proto_types應該支援 StructType。 - [SPARK-41334] [SC-118549][CONNECT][PYTHON]將 Proto 從關聯移至
SortOrder表達式 - [SPARK-41387] [SC-118450][SS]從 Trigger.AvailableNow 的 Kafka 數據源判斷提示目前的結束位移
- [SPARK-41508] [SC-118445][CORE][SQL]將重新命名
_LEGACY_ERROR_TEMP_1180為UNEXPECTED_INPUT_TYPE和移除_LEGACY_ERROR_TEMP_1179 - [SPARK-41319] [SC-118441][CONNECT][PYTHON]實作數據行。{when， otherwise} and Function
whenwithUnresolvedFunction - [SPARK-41541] [SC-118460][SQL]修正 SQLShuffleWriteMetricsReporter.decRecordsWritten（） 中錯誤子方法的呼叫
- [SPARK-41453] [SC-118458][CONNECT][PYTHON]實現
DataFrame.subtract - [SPARK-41248] [SC-118436][SC-118303][SQL]新增 「spark.sql.json.enablePartialResults」，以啟用/停用 JSON 部分結果
- [SPARK-41437] 還原 “[SC-117601][SQL] 不要針對 v1 回寫後援優化輸入查詢兩次」
- [SPARK-41472] [SC-118352][CONNECT][PYTHON]實作字串/二進位函式的其餘部分
- [SPARK-41526] [SC-118355][CONNECT][PYTHON]實現
Column.isin - [SPARK-32170] [SC-118384][CORE]透過階段工作計量改善猜測。
- [SPARK-41524] [SC-118399][SS]區分 StateStoreConf 中的 SQLConf 和 extraOptions，以在 RocksDBConf 中使用 SQLConf
- [SPARK-41465] [SC-118381][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1235
- [SPARK-41511] [SC-118365][SQL]LongToUnsafeRowMap 支援 ignoresDuplicatedKey
- [SPARK-41409] [SC-118302][CORE][SQL]將重新命名
_LEGACY_ERROR_TEMP_1043為WRONG_NUM_ARGS.WITHOUT_SUGGESTION - [SPARK-41438] [SC-118344][CONNECT][PYTHON]實現
DataFrame.colRegex - [SPARK-41437] [SC-117601][SQL]請勿針對 v1 回寫後援優化輸入查詢兩次
- [SPARK-41314] [SC-117172][SQL]將名稱指派給錯誤類別
_LEGACY_ERROR_TEMP_1094 - [SPARK-41443] [SC-118004][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1061
- [SPARK-41506] [SC-118241][CONNECT][PYTHON]重構 LiteralExpression 以支援 DataType
- [SPARK-41448] [SC-118046]在 FileBatchWriter 和 FileFormatWriter 中建立一致的 MR 作業標識符
- [SPARK-41456] [SC-117970][SQL]改善try_cast的效能
- [SPARK-41495] [SC-118125][CONNECT][PYTHON]實作
collection函式：P~Z - [SPARK-41478] [SC-118167][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1234
- [SPARK-41406] [SC-118161][SQL]重構的錯誤訊息
NUM_COLUMNS_MISMATCH，使其更泛型 - [SPARK-41404] [SC-118016][SQL]重構
ColumnVectorUtils#toBatch以讓ColumnarBatchSuite#testRandomRows測試更基本數據類型 - [SPARK-41468] [SC-118044][SQL]修正 EquivalentExpressions 中的 PlanExpression 處理
- [SPARK-40775] [SC-118045][SQL]修正 V2 檔案掃描的重複描述專案
- [SPARK-41492] [SC-118042][CONNECT][PYTHON]實作MISC函式
- [SPARK-41459] [SC-118005][SQL] 修正 thrift 伺服器作業記錄輸出是空的
- [SPARK-41395] [SC-117899][SQL]
InterpretedMutableProjection應該使用setDecimal在不安全的數據列中設定小數點的 Null 值 - [SPARK-41376] [SC-117840][CORE][3.3] 更正執行程序啟動時的 Netty preferDirectBufs 檢查邏輯
- [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x]實作
collection函式：E~M - [SPARK-41389] [SC-117426][CORE][SQL]重複使用
WRONG_NUM_ARGS而非_LEGACY_ERROR_TEMP_1044 - [SPARK-41462] [SC-117920][SQL]日期和時間戳類型可以向上轉換成 TimestampNTZ
- [SPARK-41435][SC-117810][SQL]當 不是空白時
expressions，要呼叫invalidFunctionArgumentsErrorcurdate()的變更 - [SPARK-41187] [SC-118030][CORE]當 ExecutorLost 發生時，AppStatusListener 中的 LiveExecutor MemoryLeak
- [SPARK-41360] [SC-118083][CORE]如果執行程式遺失，請避免 BlockManager 重新註冊
- [SPARK-41378] [SC-117686][SQL]DS v2 中的支持數據行統計數據
- [SPARK-41402] [SC-117910][SQL][CONNECT][12.X]覆寫 StringDecode 的 prettyName
- [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x]實作日期/時間戳函式
- [SPARK-41329] [SC-117975][CONNECT]解決Spark Connect中的迴圈匯入
- [SPARK-41477] [SC-118025][CONNECT][PYTHON]正確推斷常值整數的數據類型
- [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x]建立
createDataFrame支持架構和更多輸入數據集類型 - [SPARK-41475] [SC-117997][CONNECT]修正 lint-scala 命令錯誤和錯字
- [SPARK-38277] [SC-117799][SS]在 RocksDB 狀態存放區認可之後清除寫入批次
- [SPARK-41375] [SC-117801][SS]避免空白最新的 KafkaSourceOffset
- [SPARK-41412] [SC-118015][CONNECT]實現
Column.cast - [SPARK-41439] [SC-117893][CONNECT][PYTHON]實作
DataFrame.melt和DataFrame.unpivot - [SPARK-41399] [SC-118007][SC-117474][CONNECT]將數據行相關的測試重構為 test_connect_column
- [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x]數據行應該支援 ！= 運算符
- [SPARK-40697] [SC-117806][SC-112787][SQL]新增讀取端字元填補以涵蓋外部數據檔
- [SPARK-41349] [SC-117594][CONNECT][12.X]實作 DataFrame.hint
- [SPARK-41338] [SC-117170][SQL]解析相同分析器批次中的外部參考和一般數據行
- [SPARK-41436] [SC-117805][CONNECT][PYTHON]實作
collection函式：A~C - [SPARK-41445] [SC-117802][CONNECT]實作 DataFrameReader.parquet
- [SPARK-41452] [SC-117865][SQL]
to_char當格式為 null 時，應該傳回 null - [SPARK-41444] [SC-117796][CONNECT]支援read.json（）
- [SPARK-41398] [SC-117508][SQL]當運行時間篩選之後的數據分割索引鍵不相符時，放寬記憶體分割聯結的條件約束
- [SPARK-41228] [SC-117169][SQL]重新命名和改善的錯誤
COLUMN_NOT_IN_GROUP_BY_CLAUSE訊息。 - [SPARK-41381] [SC-117593][CONNECT][PYTHON]實作
count_distinct和sum_distinct函式 - [SPARK-41433] [SC-117596][CONNECT]讓 Max Arrow BatchSize 可設定
- [SPARK-41397] [SC-117590][CONNECT][PYTHON]實作字串/二進位函式的一部分
- [SPARK-41382] [SC-117588][CONNECT][PYTHON]實作
product函式 - [SPARK-41403] [SC-117595][CONNECT][PYTHON]實現
DataFrame.describe - [SPARK-41366] [SC-117580][CONNECT]DF.groupby.agg（） 應該相容
- [SPARK-41369] [SC-117584][CONNECT]將通用連線新增至伺服器的著色 jar
- [SPARK-41411] [SC-117562][SS]多狀態操作員浮水印支援錯誤修正
- [SPARK-41176] [SC-116630][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1042
- [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X]實作聚合函數
- [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X]實作一般函式
- [SPARK-41305] [SC-117411][CONNECT]改善命令 Proto 的檔
- [SPARK-41372] [SC-117427][CONNECT][PYTHON]實作 DataFrame TempView
- [SPARK-41379] [SC-117420][SS][PYTHON]在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
- [SPARK-41373] [SC-117405][SQL][ERROR]將CAST_WITH_FUN_SUGGESTION重新命名為 CAST_WITH_FUNC_SUGGESTION
- [SPARK-41358][SC-117417][SQL]要使用的
PhysicalDataType重構ColumnVectorUtils#populate方法，而不是DataType - [SPARK-41355] [SC-117423][SQL]因應措施Hive數據表名稱驗證問題
- [SPARK-41390] [SC-117429][SQL]更新用來在 中產生
register函式的腳本UDFRegistration - [SPARK-41206] [SC-117233][SC-116381][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_1233重新命名為COLUMN_ALREADY_EXISTS - [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X]實作數學函式
- [SPARK-40970] [SC-117308][CONNECT][PYTHON]Join on 自變數的支援清單[資料行]
- [SPARK-41345] [SC-117178][CONNECT]新增提示以連線 Proto
- [SPARK-41226] [SC-117194][SQL][12.x]透過引進實體類型來重構 Spark 類型
- [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X]新增 DataFrameWriter 的基本支援
- [SPARK-41347] [SC-117173][CONNECT]將 Cast 新增至運算式 proto
- [SPARK-41323] [SC-117128][SQL]支援current_schema
- [SPARK-41339] [SC-117171][SQL]關閉並重新建立 RocksDB 寫入批次，而不只是清除
- [SPARK-41227] [SC-117165][CONNECT][PYTHON]實作 DataFrame 交叉聯結
- [SPARK-41346] [SC-117176][CONNECT][PYTHON]實作
asc和desc函式 - [SPARK-41343] [SC-117166][CONNECT]將 FunctionName 剖析移至伺服器端
- [SPARK-41321] [SC-117163][CONNECT]UnresolvedStar 的支持目標欄位
- [SPARK-41237][SC-117167][SQL]重複使用的錯誤類別
UNSUPPORTED_DATATYPE_LEGACY_ERROR_TEMP_0030 - [SPARK-41309] [SC-116916][SQL]重複使用
INVALID_SCHEMA.NON_STRING_LITERAL而非_LEGACY_ERROR_TEMP_1093 - [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO]將的建構函式使用優化
StructType - [SPARK-41335] [SC-117135][CONNECT][PYTHON]支持數據行中的IsNull和IsNotNull
- [SPARK-41332][SC-117131][CONNECT][PYTHON]修正
nullOrderingSortOrder - [SPARK-41325] [SC-117132][CONNECT][12.X]修正 DF 上的 GroupBy 遺漏 avg（）
- [SPARK-41327][SC-117137][CORE]透過開啟/關閉HeapStorageMemory 信息來修正
SparkStatusTracker.getExecutorInfos - [SPARK-41315] [SC-117129][CONNECT][PYTHON]實作
DataFrame.replace和DataFrame.na.replace - [SPARK-41328] [SC-117125][CONNECT][PYTHON]將邏輯和字串 API 新增至數據行
- [SPARK-41331] [SC-117127][CONNECT][PYTHON]新增
orderBy和drop_duplicates - [SPARK-40987] [SC-117124][CORE]
BlockManager#removeBlockInternal應確保鎖定正常解除鎖定 - [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON]重構 API 相容性的「數據行」
- [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X]實作 DataFrame.withColumnRenamed
- [SPARK-41221] [SC-116607][SQL]新增錯誤類別
INVALID_FORMAT - [SPARK-41272] [SC-116742][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2019
- [SPARK-41180] [SC-116760][SQL]重複使用
INVALID_SCHEMA而非_LEGACY_ERROR_TEMP_1227 - [SPARK-41260] [SC-116880][PYTHON][SS][12.X]將 NumPy 實例轉換成 GroupState 更新中的 Python 基本類型
- [SPARK-41174][SC-116609][CORE][SQL]將錯誤類別傳播給使用者，表示無效
formatto_binary() - [SPARK-41264] [SC-116971][CONNECT][PYTHON]讓常值支援更多數據類型
- [SPARK-41326] [SC-116972][CONNECT]修正重複資料刪除遺漏輸入
- [SPARK-41316] [SC-116900][SQL]盡可能啟用尾遞歸
- [SPARK-41297] [SC-116931][CONNECT][PYTHON]支援篩選中的字串表示式。
- [SPARK-41256] [SC-116932][SC-116883][CONNECT]實作 DataFrame.withColumn（s）
- [SPARK-41182] [SC-116632][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1102
- [SPARK-41181] [SC-116680][SQL]將對應選項錯誤移轉至錯誤類別
- [SPARK-40940] [SC-115993][12.x]拿掉串流查詢的多具狀態運算子檢查程式。
- [SPARK-41310] [SC-116885][CONNECT][PYTHON]實作 DataFrame.toDF
- [SPARK-41179] [SC-116631][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1092
- [SPARK-41003] [SC-116741][SQL]BHJ LeftAnti 不會在停用 codegen 時更新 numOutputRows
- [SPARK-41148] [SC-116878][CONNECT][PYTHON]實作
DataFrame.dropna和DataFrame.na.drop - [SPARK-41217] [SC-116380][SQL]新增錯誤類別
FAILED_FUNCTION_CALL - [SPARK-41308] [SC-116875][CONNECT][PYTHON]改善 DataFrame.count（）
- [SPARK-41301] [SC-116786][CONNECT]SparkSession.range 的同質化行為（）
- [SPARK-41306] [SC-116860][CONNECT]改善 Connect 運算式 Proto 檔
- [SPARK-41280] [SC-116733][CONNECT]實作 DataFrame.tail
- [SPARK-41300] [SC-116751][CONNECT]未設定的架構會解譯為架構
- [SPARK-41255] [SC-116730][SC-116695][CONNECT]重新命名 RemoteSparkSession
- [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON]DataFrame。 toPandas 不應該傳回選擇性 pandas 數據框架
- [SPARK-41291] [SC-116738][CONNECT][PYTHON]
DataFrame.explain應該列印並傳回 None - [SPARK-41278] [SC-116732][CONNECT]清除 Expression.proto 中未使用的 QualifiedAttribute
- [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF]拿掉 Scala 2.13 程式代碼上的備援集合轉換
- [SPARK-41261] [SC-116718][PYTHON][SS]修正當群組索引鍵的數據行未依最早順序排列時，applyInPandasWithState 的問題
- [SPARK-40872] [SC-116717][3.3] 當推送合併隨機區塊為零大小時，後援至原始隨機區塊
- [SPARK-41114] [SC-116628][CONNECT]支援 LocalRelation 的本機數據
- [SPARK-41216] [SC-116678][CONNECT][PYTHON]實現
DataFrame.{isLocal, isStreaming, printSchema, inputFiles} - [SPARK-41238] [SC-116670][CONNECT][PYTHON]支援更多內建數據類型
- [SPARK-41230][SC-116674][CONNECT][PYTHON]從匯總表達式類型移除
str - [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT]以箭頭為基礎的優化收集實作，以從伺服器串流至用戶端
- [SPARK-41222] [SC-116625][CONNECT][PYTHON]統一輸入定義
- [SPARK-41225] [SC-116623][CONNECT][PYTHON]停用不支援的函式。
- [SPARK-41201] [SC-116526][CONNECT][PYTHON]在 Python 用戶端中實
DataFrame.SelectExpr作 - [SPARK-41203] [SC-116258][CONNECT]在 Python 用戶端中支援 Dataframe.tansform。
- [SPARK-41213] [SC-116375][CONNECT][PYTHON]實作
DataFrame.__repr__和DataFrame.dtypes - [SPARK-41169] [SC-116378][CONNECT][PYTHON]實現
DataFrame.drop - [SPARK-41172] [SC-116245][SQL]將模棱兩可的 ref 錯誤移轉至錯誤類別
- [SPARK-41122] [SC-116141][CONNECT]說明 API 可以支援不同的模式
- [SPARK-41209] [SC-116584][SC-116376][PYTHON]改善 _merge_type 方法中的 PySpark 類型推斷
- [SPARK-41196] [SC-116555][SC-116179][CONNECT]跨Spark連線伺服器將 protobuf 版本同質化，以使用相同的主要版本。
- [SPARK-35531] [SC-116409][SQL]更新hive數據表統計數據而不必要轉換
- [SPARK-41154] [SC-116289][SQL]使用時間移動規格進行查詢的關聯快取不正確
- [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON]實現
DataFrame.isEmpty - [SPARK-41135] [SC-116400][SQL]將重新命名
UNSUPPORTED_EMPTY_LOCATION為INVALID_EMPTY_LOCATION - [SPARK-41183] [SC-116265][SQL]新增擴充功能 API 以規劃快取的正規化
- [SPARK-41054] [SC-116447][UI][CORE]在即時 UI 中支援 RocksDB 作為 KVStore
- [SPARK-38550] [SC-115223]還原 “[SQL][CORE] 使用磁碟存放區來儲存即時 UI 的更多偵錯資訊」
- [SPARK-41173] [SC-116185][SQL]從字串表達式的建構函式移
require()出 - [SPARK-41188] [SC-116242][CORE][ML] 將 executorEnv OMP_NUM_THREADS設定為 spark.task.cpus，預設為 spark 執行程式 JVM 進程
- [SPARK-41130] [SC-116155][SQL]將重新命名
OUT_OF_DECIMAL_TYPE_RANGE為NUMERIC_OUT_OF_SUPPORTED_RANGE - [SPARK-41175] [SC-116238][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1078
- [SPARK-41106] [SC-116073][SQL]在建立 AttributeMap 時減少集合轉換
- [SPARK-41139] [SC-115983][SQL]改善錯誤類別：
PYTHON_UDF_IN_ON_CLAUSE - [SPARK-40657] [SC-115997][PROTOBUF]需要 Java 類別 jar 的底紋，改善錯誤處理
- [SPARK-40999] [SC-116168]子查詢的提示傳播
- [SPARK-41017] [SC-116054][SQL]支援具有多個非決定性篩選的數據行剪除
- [SPARK-40834] [SC-114773][SQL]使用 SparkListenerSQLExecutionEnd 來追蹤 UI 中的最終 SQL 狀態
- [SPARK-41118][SC-116027][SQL]
to_number/try_to_number當格式為 時應該傳回nullnull - [SPARK-39799] [SC-115984][SQL]DataSourceV2：檢視目錄介面
- [SPARK-40665] [SC-116210][SC-112300][CONNECT]避免在 Apache Spark 二進位版本中內嵌 Spark Connect
- [SPARK-41048] [SC-116043][SQL]使用 AQE 快取改善輸出資料分割和排序
- [SPARK-41198] [SC-116256][SS]修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
- [SPARK-41199] [SC-116244][SS]修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
- [SPARK-40957] [SC-116261][SC-114706]在 HDFSMetadataLog 中新增記憶體快取
- [SPARK-40940] 還原 “[SC-115993] 移除串流查詢的多具狀態運算符檢查程式。
- [SPARK-41090] [SC-116040][SQL]依數據集 API 建立暫存檢視時擲
db_name.view_name回例外狀況 - [SPARK-41133][SC-116085][SQL]整合到
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONNUMERIC_VALUE_OUT_OF_RANGE - [SPARK-40557] [SC-116182][SC-111442][CONNECT]程式代碼傾印 9 認可
- [SPARK-40448] [SC-114447][SC-111314][CONNECT]Spark Connect 建置為具有陰影相依性的驅動程式外掛程式
- [SPARK-41096] [SC-115812][SQL]支援讀取 parquet FIXED_LEN_BYTE_ARRAY 類型
- [SPARK-41140] [SC-115879][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_2440重新命名為INVALID_WHERE_CONDITION - [SPARK-40918] [SC-114438][SQL]在產生單欄輸出時，FileSourceScanExec 和 Orc 和 ParquetFileFormat 不符
- [SPARK-41155] [SC-115991][SQL]將錯誤訊息新增至 SchemaColumnConvertNotSupportedException
- [SPARK-40940] [SC-115993]拿掉串流查詢的多具狀態運算子檢查程式。
- [SPARK-41098] [SC-115790][SQL]將重新命名
GROUP_BY_POS_REFERS_AGG_EXPR為GROUP_BY_POS_AGGREGATE - [SPARK-40755] [SC-115912][SQL]將數位格式設定的類型檢查失敗移轉至錯誤類別
- [SPARK-41059] [SC-115658][SQL]將重新命名
_LEGACY_ERROR_TEMP_2420為NESTED_AGGREGATE_FUNCTION - [SPARK-41044] [SC-115662][SQL]轉換DATATYPE_MISMATCH。要INTERNAL_ERROR UNSPECIFIED_FRAME
- [SPARK-40973] [SC-115132][SQL]將重新命名
_LEGACY_ERROR_TEMP_0055為UNCLOSED_BRACKETED_COMMENT
維護更新
請參閱 Databricks Runtime 12.1 維護更新。
系統環境
- 作業系統：Ubuntu 20.04.5 LTS
- Java：Zulu 8.64.0.19-CA-linux64
- Scala：2.12.14
- Python：3.9.5
- R: 4.2.2
- Delta Lake：2.2.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.0.4 | 密碼編譯 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | executing | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 筆記本 | 6.4.8 | numpy | 1.21.5 | packaging | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.0 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | 繩子 | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| six | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安裝的 R 程式庫
R 連結庫會從 2022-11-11 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | 叢集 | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | 遞減 | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略符號 | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | 泛型 | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| Lava | 1.7.0 | 生命週期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | 矩陣 | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 進度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | Snowflake DB | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structure | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |