Databricks Runtime 12.2 LTS
下列版本資訊提供由 Apache Spark 3.3.2 提供之 Databricks Runtime 12.2 LTS 的相關信息。
Databricks 於 2023 年 3 月發行此版本。
注意
LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。
提示
若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。
行為變更
[重大變更]新的 Python 版本需要更新 Databricks Connect V1 Python 用戶端
注意
後續更新會將 Databricks Runtime 12.2 LTS 中的 Python 版本移至 3.9.21。 3.9.21 版本不會引入任何行為變更。
若要套用必要的安全性修補程式，Databricks Runtime 12.2 LTS 中的 Python 版本會從 3.9.5 升級至 3.9.19。 由於這些變更可能會在使用特定 PySpark 函式的用戶端中造成錯誤，因此任何使用 Databricks Connect V1 for Python 與 Databricks Runtime 12.2 LTS 的用戶端都必須更新為 Python 3.9.7 或更新版本。
新功能和改進
- Python 從 3.9.19 升級至 3.9.21
- Delta Lake 架構演進支援在合併語句中指定源數據行
- 具有共用存取模式的叢集支持結構化串流工作負載
- 預測性 I/O 的新功能
- 隱含橫向數據行別名支援
- 新的 forEachBatch 功能
- 查詢同盟的標準化連接選項
- 數位管理的擴充 SQL 函式連結庫
- 匿名字串的新遮罩函式
- 常見的錯誤狀況現在會傳回 SQLSTATEs
- 在FROM子句中叫用產生器函式
- 通訊協議緩衝區的支援已正式推出
- 筆記本變數和函式的 Go-to-definition
- 自動匯入連結庫的筆記本快速修正
- 錯誤修正
從 3.9.19 升級至 3.9.21 的 Python
Databricks Runtime 12.2 LTS 中的 Python 版本會從 3.9.19 更新為 3.9.21。
Delta Lake 架構演進支援在合併語句中指定源數據行
您現在可以在啟用架構演進時，在插入或更新合併語句的動作中，指定源數據表中存在的數據行。 在 Databricks Runtime 12.1 和以下版本中，只能 INSERT * 使用 或 UPDATE SET * 動作搭配合併進行架構演進。 請參閱 Delta Lake merge 的自動架構演進。
具有共用存取模式的叢集支持結構化串流工作負載
您現在可以使用結構化串流，透過標準存取模式與計算上的 Unity 目錄互動。 適用某些限制。 請參閱 Unity 目錄支援哪些結構化串流功能？。
預測性 I/O 的新功能
現在已提供接收的 Foreachbatch Photon 支援。 從來源串流並合併到 Delta 數據表或寫入多個接收的工作負載，現在可以受益於 Photonized Foreachbatch 接收。
隱含橫向數據行別名支援
Azure Databricks 現在默認支援隱含橫向數據行別名。 您現在可以重複使用先前在相同 SELECT 清單中指定的運算式。 例如，假設 SELECT 1 AS a為 ，a + 1 AS ba中的 a + 1 可以解析為先前定義的 1 AS a。 如需解析順序的詳細資訊，請參閱 名稱解析 。
若要關閉此功能，您可以將 設定 spark.sql.lateralColumnAlias.enableImplicitResolution 為 false。
新的 forEachBatch 功能
使用 寫入數據接收器時 foreachBatch ，現在支援 Photon。
查詢同盟的標準化連線選項
您現在可以使用一組統一的選項（主機、埠、資料庫、使用者、密碼）來聯機到查詢同盟中支持的數據源。
Port 是選擇性的，除非指定，否則會針對每個數據源使用預設埠號碼。
數位管理的擴充 SQL 函式連結庫
您現在可以使用 array_compact，從數位中移除所有 NULL 元素。 若要將元素附加至陣列，請使用 array_append。
匿名字串的新遮罩函式
叫用mask函式來匿名敏感性字串值。
常見的錯誤狀況現在會傳回 SQLSTATEs
Databricks Runtime 現在包含記載的 SQLSTATE 值，這些值可用來以符合 SQL 標準標準的方式測試錯誤。
在FROM子句中叫用產生器函式
您現在可以叫用數據表值產生器函式，例如。 這會將產生器函式調用與其他內建和使用者定義數據表函式對齊。
通訊協議緩衝區的支援已正式推出
您可以使用 from_protobuf 和 to_protobuf 函式，在二進位和結構類型之間交換數據。 請參閱讀取和寫入通訊協定緩衝區。
筆記本變數和函式的 Go-to-definition
在筆記本中，您可以以滑鼠右鍵按兩下變數或函式名稱，快速、函式或程式代碼定義。
自動匯入連結庫的筆記本快速修正
Databricks Notebooks 現在提供自動匯入連結庫的快速修正功能。 如果您忘記匯入像 pandas 這樣的連結庫，請將滑鼠停留在底線語法警告上方，然後按兩下 [ 快速修正]，此功能需要在工作區中啟用 Databricks Assistant。
錯誤修正
- 針對與
update、delete和merge命令相關的空白交易，改善 Delta 提交行為的一致性。 在WriteSerializable隔離等級中，不會產生任何變更的命令現在會建立空的認可。Serializable在隔離等級中，這類空白交易現在不會建立認可。
行為變更
具有新橫向數據行別名功能的行為變更
新的橫向數據行別名功能會在名稱解析期間，針對下列情況引入行為變更：
- 橫向數據行別名現在優先於具有相同名稱的相互關聯參考。 例如，針對此查詢，內部的 已解析為相互關聯的參考
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)，但現在會變更為橫向數據行別名c1。c1 AS c2t.c11 AS c1查詢現在會傳NULL回 。 - 橫向數據行別名現在優先於具有相同名稱的函式參數。 例如，針對函式，
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx函式主體中的 已解析為函式參數 x，但變更為函式主體中的橫向數據行別名x + 1。 查詢SELECT * FROM func(1)現在會傳2, 2回 。 - 若要關閉橫向資料行別名功能，請將 設定
spark.sql.lateralColumnAlias.enableImplicitResolution為false。 如需詳細資訊，請參閱 名稱解析。
連結庫升級
- 升級的 Python 連結庫：
- filelock from 3.8.2 to 3.9.0
- joblib 從 1.1.0 到 1.1.1
- 從 2.6.0 到 2.6.2 的 platformdirs
- 從 1.0.3 到 1.0.4 的 whatthepatch
- 升級的 R 連結庫：
- 類別從 7.3-20 到 7.3-21
- 從 0.2-18 到 0.2-19 的程式代碼工具
- MASS 從 7.3-58 到 7.3-58.2
- nlme 從 3.1-160 到 3.1-162
- 從 1.8-11 到 1.8-12 的 Rserve
- 從 3.3.1 到 3.3.2 的 SparkR
行為變更
- 在建立具有已定義位置的架構時，用戶現在必須擁有
SELECT和MODIFY許可權。
Apache Spark
Databricks Runtime 12.2 包含 Apache Spark 3.3.2。 此版本包含 Databricks Runtime 12.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-42416] [SC-123205][sc-122851][SQL] Dateset 作業不應該再次解析分析的邏輯計劃
- [SPARK-41848] 還原 “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] 修正使用 TaskResourceProfile 超排程的工作”
- [SPARK-42162] [SC-122711][es-556261] 引進 MultiCommutativeOp 表達式作為規範化大型交換性表達式樹狀結構的記憶體優化措施
- [SPARK-42406] [SC-122998][protobuf][Cher-pick] 修正 Protobuf 函式的遞歸深度設定
- [SPARK-42002] [SC-122476][connect][PYTHON] 實作 DataFrameWriterV2
- [SPARK-41716] [SC-122545][connect] 將_catalog_to_pandas 在目錄中重新命名為_execute_and_fetch
- [SPARK-41490] [SC-121774][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] 實作 Catalog.cacheTable、isCached 和 uncache
- [SPARK-42191] [SC-121990][sql] 支援 udf 'luhn_check'
- [SPARK-42253] [SC-121976][python] 新增測試以偵測重複的錯誤類別
- [SPARK-42268] [SC-122251][connect][PYTHON] 在 protos 中新增 UserDefinedType
-
[SPARK-42231] [SC-121841][sql] 將
MISSING_STATIC_PARTITION_COLUMN轉換成internalError - [SPARK-42136] [SC-122554]重構 BroadcastHashJoinExec 輸出分割計算
-
[SPARK-42158] [SC-121610][sql] 將
_LEGACY_ERROR_TEMP_1003整合到FIELD_NOT_FOUND - [SPARK-42192] [12.x][sc-121820][PYTHON] 將 TypeError 從 pyspark/sql/dataframe.py 移轉至 PySparkTypeError
- [SPARK-35240] 還原 “[SC-118242][ss] 使用 CheckpointFileManager ...
- [SPARK-41488] [SC-121858][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_1176 （和 1177）
-
[SPARK-42232] [SC-122267][sql] 重新命名錯誤類別：
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [SC-122480][sql] 在子查詢合併之後重寫相異匯總
-
[SPARK-42306] [SC-122539][sql] 將
_LEGACY_ERROR_TEMP_1317整合到UNRESOLVED_COLUMN.WITH_SUGGESTION -
[SPARK-42234] [SC-122354][sql] 重新命名錯誤類別：
UNSUPPORTED_FEATURE.REPEATED_PIVOT -
[SPARK-42343] [SC-122437][core] 如果 SparkContext 停止，則忽略
handleBlockRemovalFailure中的IOException - [SPARK-41295] [SC-122442][spark-41296][SQL] 重新命名錯誤類別
- [SPARK-42320] [SC-122478][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851][connect] SparkConnectClient 現在支援 RetryPolicies
- [SPARK-38728] [SC-116723][sql] 測試錯誤類別：FAILED_RENAME_PATH
- [SPARK-40005] [12.X]PySpark 中的獨立範例
- [SPARK-39347] [SC-122457][ss] 錯誤修正事件時間範圍計算 < 0
-
[SPARK-42336] [SC-122458][core] 在 ResourceAllocator 中使用
getOrElse()而不是contains() - [SPARK-42125] [SC-121827][connect][PYTHON] Spark Connect 中的 Pandas UDF
- [SPARK-42217] [SC-122263][sql] 在查詢中使用 Window 支援隱含橫向數據行別名
- [SPARK-35240] [SC-118242][ss] 使用 CheckpointFileManager 進行檢查點檔案操作
- [SPARK-42294] [SC-122337][sql] 在 V2 數據表的 DESCRIBE 輸出中包含數據行預設值
- [SPARK-41979] 重新取消「取消『[12.x][sc-121190][SQL] 新增錯誤類別中錯誤訊息的遺漏點。』」
- [SPARK-42286] [SC-122336][sql] 回退至使用 CAST 的複雜表達式的先前代碼路徑
- [SPARK-42275] [SC-122249][connect][PYTHON] 避免在靜態類型中使用內建清單、字典
- [SPARK-41985] [SC-122172][sql] 整合更多欄位解析規則
- [SPARK-42126] [SC-122330][python][CONNECT] 接受 Spark Connect 中 Python 標量 UDF 的 DDL 字串內的返回類型
- [SPARK-42197] [SC-122328][sc-121514][CONNECT] 重複使用 JVM 初始化，並分開組態群組以遠端本機模式設定
- [SPARK-41575] [SC-120118][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2054
- [SPARK-41985] 恢復 “[SC-122172][sql] 集中更多欄解析規則”
- [SPARK-42123] [SC-122234][sc-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 輸出中包含數據行預設值
- [SPARK-41985] [SC-122172][sql] 集中化更多欄位解析規則
- [SPARK-42284] [SC-122233][connect] 在執行客戶端測試之前，請確定已建置連線伺服器元件 - SBT
-
[SPARK-42239] [SC-121790][sql] 整合
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY -
[SPARK-42278] [SC-122170][sql] DS V2 下推支持支援自行編譯 JDBC 方言
SortOrder - [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics 應該處理 Python UDAF
- [SPARK-41979] 還原 “[12.x][sc-121190][SQL] 新增錯誤類別中錯誤訊息的遺漏點。
- [SPARK-42224] [12.x][sc-121708][CONNECT] 將 TypeError 遷移至 Spark Connect 函式的錯誤架構
- [SPARK-41712] [12.x][sc-121189][PYTHON][connect] 將 Spark Connect 錯誤移轉至 PySpark 錯誤架構。
- [SPARK-42119] [SC-121913][sc-121342][SQL] 新增內嵌數據表值函式和inline_outer
- [SPARK-41489] [SC-121713][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] 介紹 PySparkValueError 和 PySparkTypeError
- [SPARK-42081] [SC-121723][sql] 改善計劃變更驗證
- [SPARK-42225] [12.x][sc-121714][CONNECT] 新增 SparkConnectIllegalArgumentException 以精確地處理 Spark Connect 錯誤。
-
[SPARK-42044] [12.x][sc-121280][SQL] 修正不正確的錯誤訊息
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42194] [12.x][sc-121712][PS] 使用數列建立 DataFrame 時允許 columns 參數。
- [SPARK-42078] [12.x][sc-120761][PYTHON] 將 JVM 擲回的錯誤遷移至 PySparkException。
- [SPARK-42133] [12.x][sc-121250] 將基本數據集 API 方法新增至 SparkConnect Scala 用戶端
- [SPARK-41979] [12.x][sc-121190][SQL] 在錯誤類別的錯誤訊息中添加缺少的句點。
- [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect 中的純量內嵌 Python UDF
- [SPARK-42051] [SC-121994][sql] 對 HiveGenericUDF 的 Codegen 支援
- [SPARK-42257] [SC-121948][core] 移除未使用的變數外部排序器
- [SPARK-41735] [SC-121771][sql] 使用 MINIMAL 以取代 STANDARD 對於 SparkListenerSQLExecutionEnd
-
[SPARK-42236] [SC-121882][sql] 精簡
NULLABLE_ARRAY_OR_MAP_ELEMENT -
[SPARK-42233] [SC-121775][sql] 改善
PIVOT_AFTER_GROUP_BY的錯誤訊息 -
[SPARK-42229] [SC-121856][core] 將
SparkCoreErrors移轉至錯誤類別 - [SPARK-42163] [SC-121839][sql] 修正不可展開的陣列索引或映射鍵的架構剪除
- [SPARK-40711] [SC-119990][sql] 新增視窗溢出大小計量
-
[SPARK-42023] [SC-121847][spark-42024][CONNECT][python] 讓
createDataFrame支援AtomicType -> StringType強制 - [SPARK-42202] [SC-121837][connect][Test] 改善 E2E 測試伺服器停止邏輯
- [SPARK-41167] [SC-117425][sql] 藉由建立平衡的表達式樹述詞來改善多重 LIKE 的效能
- [SPARK-41931] [SC-121618][sql] 更完整的錯誤訊息，用於不完整的複雜類型定義
- [SPARK-36124] [SC-121339][sc-110446][SQL] 支援透過 UNION 相互關聯的子查詢
- [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引進 sasl 重試計數
-
[SPARK-42157] [SC-121264][core]
spark.scheduler.mode=FAIR應提供 FAIR 排程器 - [SPARK-41572] [SC-120772][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2149
-
[SPARK-41983] [SC-121224][sql] 重新命名 & 改善
NULL_COMPARISON_RESULT的錯誤訊息 -
[SPARK-41976] [SC-121024][sql] 改善
INDEX_NOT_FOUND的錯誤訊息 - [SPARK-41994] [SC-121210][sc-120573] 指派 SQLSTATE（1/2）
- [SPARK-41415] [SC-121117][3.3] SASL 要求重試
- [SPARK-38591] [SC-121018][sql] 新增 flatMapSortedGroups 和 cogroupSorted
-
[SPARK-41975] [SC-120767][sql] 改善
INDEX_ALREADY_EXISTS的錯誤訊息 - [SPARK-42056] [SC-121158][sql][PROTOBUF] 新增 Protobuf 函式的遺漏選項
-
[SPARK-41984] [SC-120769][sql] 重新命名 & 改善
RESET_PERMISSION_TO_ORIGINAL的錯誤訊息 - [SPARK-41948] [SC-121196][sql] 修正錯誤類別的 NPE：CANNOT_PARSE_JSON_FIELD
-
[SPARK-41772] [SC-121176][connect][PYTHON] 修正
withField's doctest 中不正確的數據行名稱 -
[SPARK-41283] [SC-121175][connect][PYTHON] 新增
array_append至連線 - [SPARK-41960] [SC-120773][sql] 將名稱指派給_LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116][sql] 修正 getPartitionFiltersAndDataFilters（） 來處理沒有參考屬性的篩選
-
[SPARK-42096] [SC-121012][connect]
connect模組進行一些代碼清理 -
[SPARK-42099] [SC-121114][spark-41845][CONNECT][python] 修正
count(*)和count(col(*)) - [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL 模式：Round/Bround 應該在整數溢出時傳回錯誤
- [SPARK-42043] [SC-120968][connect] Scala 用戶端結果與 E2E 測試
- [SPARK-41884] [SC-121022][connect] 支援簡單元組作為巢狀行
-
[SPARK-42112] [SC-121011][sql][SS] 新增 null 檢查，再關閉
ContinuousWriteRDD#compute函式dataWriter - [SPARK-42077] [SC-120553][connect][PYTHON] 常值應該針對不支援的 DataType 擲回 TypeError
-
[SPARK-42108] [SC-120898][sql] 讓分析器
Count(*)轉換成Count(1) -
[SPARK-41666] [SC-120928][sc-119009][PYTHON]
sql()支持參數化 SQL - [SPARK-40599] [SC-120930][sql] 放寬 multiTransform 規則類型，允許替代選項成為任何類型的序列
-
[SPARK-41574] [SC-120771][sql] 將
_LEGACY_ERROR_TEMP_2009更新為INTERNAL_ERROR。 - [SPARK-41579] [SC-120770][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_1249
-
[SPARK-41974] [SC-120766][sql] 將
INCORRECT_END_OFFSET轉換成INTERNAL_ERROR - [SPARK-41530] [SC-120916][sc-118513][CORE] 將 MedianHeap 重新命名為 PercentileMap，並支援 percentile
- [SPARK-41757] [SC-120608][spark-41901][CONNECT] 修正 Column 類別的字元串表示法
- [SPARK-42084] [SC-120775][sql] 避免洩漏限定存取限制
- [SPARK-41973] [SC-120765][sql] 將名稱指派給_LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655][sql] SPJ： 移除 KeyGroupedPartitioning#partitionValuesOpt 中的選項
-
[SPARK-42079] [SC-120712][connect][PYTHON] 重新命名
toDF和withColumnsRenamed的 proto 訊息 - [SPARK-42089] [SC-120605][connect][PYTHON] 修正巢狀 Lambda 函式中的變數名稱問題
- [SPARK-41982] [SC-120604][sql] 類型字串串的數據分割不應視為數值類型
- [SPARK-40599] [SC-120620][sql] 將 multiTransform 方法新增至 TreeNode 以產生替代專案
-
[SPARK-42085] [SC-120556][connect][PYTHON] 讓
from_arrow_schema支援巢狀類型 - [SPARK-42057] [SC-120507][sql][PROTOBUF] 修正錯誤報告中如何處理例外狀況。
-
[SPARK-41586] [12.x][所有測試][SC-120544][python] 介紹 PySpark 的
pyspark.errors和錯誤類別。 -
[SPARK-41903] [SC-120543][connect][PYTHON]
Literal應該支援 1-dim ndarray -
[SPARK-42021] [SC-120584][connect][PYTHON]
createDataFrame支援array.array - [SPARK-41896] [SC-120506][sql] 依數據列索引篩選會傳回空的結果
- [SPARK-41162] [SC-119742][sql] 修正使用匯總進行自我聯結的反聯結和半聯結
- [SPARK-41961] [SC-120501][sql] 支援具有 LATERAL 的資料表值函式
- [SPARK-41752] [SC-120550][sql][UI] 將巢狀執行整理在根執行下
- [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] 常值應該支援 Numpy 數據類型
- [SPARK-42028] [SC-120344][connect][PYTHON] 截斷奈秒時間戳記
- [SPARK-42011] [SC-120534][connect][PYTHON] 實作 DataFrameReader.csv
-
[SPARK-41990] [SC-120532][sql] 在 V1 到 V2 篩選轉換中使用
FieldReference.column而不是apply - [SPARK-39217] [SC-120446][sql] 讓 DPP 支援對有 Union 的剪枝側進行剪除
-
[SPARK-42076] [SC-120551][connect][PYTHON] 因素數據轉換
arrow -> rows輸出至conversion.py -
[SPARK-42074] [SC-120540][sql] 在
TPCDSQueryBenchmark中啟用KryoSerializer以強制執行 SQL 類別註冊 - [SPARK-42012] [SC-120517][connect][PYTHON] 實作 DataFrameReader.orc
-
[SPARK-41832] [SC-120513][connect][PYTHON] 修正
DataFrame.unionByName，新增allow_missing_columns -
[SPARK-38651] [SC-120514][SQL]加
spark.sql.legacy.allowEmptySchemaWrite -
[SPARK-41991] [SC-120406][sql]
CheckOverflowInTableInsert應接受 ExpressionProxy 作為子系 - [SPARK-41232] [SC-120073][sql][PYTHON] 新增array_append函式
- [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader 應該支持路徑清單
-
[SPARK-42071] [SC-120533][core] 向 KyroSerializer 註冊
scala.math.Ordering$Reverse - [SPARK-41986] [SC-120429][sql] 在 SinglePartition 上導入 Shuffle
- [SPARK-42016] [SC-120428][connect][PYTHON] 啟用與巢狀數據行相關的測試
-
[SPARK-42042] [SC-120427][connect][PYTHON]
DataFrameReader應該支援 StructType 架構 -
[SPARK-42031] [SC-120389][core][SQL] 清除不需要覆寫的
remove方法 -
[SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] 使
createDataFrame(rows/lists/tuples/dicts)支援巢狀類型 - [SPARK-41437] [SC-117601][sql][ALL TESTS] 不要對於 v1 回寫後援的輸入查詢進行兩次優化。
-
[SPARK-41840] [SC-119719][connect][PYTHON] 新增遺漏的別名
groupby - [SPARK-41846] [SC-119717][connect][PYTHON] 啟用視窗函式的文件測試
- [SPARK-41914] [SC-120094][sql] FileFormatWriter 在存取 outputOrdering 之前具體化 AQE 方案
- [SPARK-41805] [SC-119992][sql] 在 WindowSpecDefinition 中重複使用表達式
- [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range 以 float 作為自變數
-
[SPARK-42029] [SC-120336][connect] 將 Guava Shading 規則新增至
connect-common以避免啟動失敗 - [SPARK-41989] [SC-120334][python] 避免從 pyspark.pandas 中斷記錄設定
- [SPARK-42003] [SC-120331][sql] 減少 ResolveGroupByAll 中的重複程序代碼
- [SPARK-41635] [SC-120313][sql] 依所有錯誤報告修正群組
- [SPARK-41047] [SC-120291][sql] 改進四捨五入的文件
- [SPARK-41822] [SC-120122][connect] 設定 Scala/JVM 用戶端的 gRPC 連線
-
[SPARK-41879] [SC-120264][connect][PYTHON] 讓
DataFrame.collect支援巢狀類型 -
[SPARK-41887] [SC-120268][connect][PYTHON] 讓
DataFrame.hint接受清單類型參數 - [SPARK-41964] [SC-120210][connect][PYTHON] 新增不支援的 IO 函式清單
- [SPARK-41595] [SC-120097][sql] 支持 FROM 子句中的 generator 函式 explode/explode_outer
-
[SPARK-41957] [SC-120121][connect][PYTHON] 啟用
DataFrame.hint的 doctest -
[SPARK-41886] [SC-120141][connect][PYTHON]
DataFrame.intersectdoctest 輸出有不同的順序 - [SPARK-41442] [SC-117795][sql][ALL TESTS] 只有在合併有效計量時才更新 SQLMetric 值
- [SPARK-41944] [SC-120046][connect] 在本機遠端模式開啟時傳遞設定
-
[SPARK-41708] [SC-119838][sql] 將 v1write 信息提取至
WriteFiles - zh-TW: [SPARK-41780] [SC-120000][sql] 應該拋出 INVALID_PARAMETER_VALUE.PATTERN 當參數
regexp無效時 - [SPARK-41889] [SC-119975][sql] 將根本原因附加至無效的PatternError & 重構錯誤類別INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028][sql] 使 AvroScanBuilder 和 JsonScanBuilder 成為樣例類別
- [SPARK-41945] [SC-120010][connect][PYTHON] Python：使用 pyarrow 連接用戶端遺失的數據行數據。Table.to_pylist
- [SPARK-41690] [SC-119102][sc-119087][SQL][connect] 無從驗證編碼器
- [SPARK-41354] [SC-119995][connect][PYTHON] 實作 RepartitionByExpression 函數
-
[SPARK-41581] [SC-119997][sql] 更新
_LEGACY_ERROR_TEMP_1230為INTERNAL_ERROR -
[SPARK-41928] [SC-119972][connect][PYTHON] 新增不支援的
functions列表 - [SPARK-41933] [SC-119980][connect] 提供自動啟動伺服器的本機模式
- [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' 應該尊重使用者提供的 DDL 架構
-
[SPARK-41936] [SC-119978][connect][PYTHON] 讓
withMetadata重複使用withColumnsproto - [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween， Window.rangeBetween 參數類型檢查與 pyspark 的同位
-
[SPARK-41939] [SC-119977][connect][PYTHON] 新增不支援的
catalog函式清單 -
[SPARK-41924] [SC-119946][connect][PYTHON] 使 StructType 支援中繼資料並實作
DataFrame.withMetadata -
[SPARK-41934] [SC-119967][connect][PYTHON] 新增不支援的
session函式清單 -
[SPARK-41875] [SC-119969][connect][PYTHON] 新增
Dataset.to()的測試案例 - [SPARK-41824] [SC-119970][connect][PYTHON] Ingore doctest 說明連線
-
[SPARK-41880] [SC-119959][connect][PYTHON] 讓函式
from_json接受非常值架構 -
[SPARK-41927] [SC-119952][connect][PYTHON] 新增不支援的
GroupedData列表 -
[SPARK-41929] [SC-119949][connect][PYTHON] 新增函式
array_compact -
[SPARK-41827] [SC-119841][connect][PYTHON] 使
GroupBy接受欄位清單 -
[SPARK-41925] [SC-119905][sql] 預設啟用
spark.sql.orc.enableNestedColumnVectorizedReader -
[SPARK-41831] [SC-119853][connect][PYTHON] Make
DataFrame.selectaccept 欄位清單 -
[SPARK-41455] [SC-119858][connect][PYTHON] 讓
DataFrame.collect捨棄時區資訊 -
[SPARK-41923] [SC-119861][connect][PYTHON] 將
DataFrame.writeTo新增至不支援的清單 - [SPARK-41912] [SC-119837][sql] 子查詢不應該驗證 CTE
-
[SPARK-41828] [SC-119832][connect][PYTHON][12.x] 讓
createDataFrame支援空白數據框架 - [SPARK-41905] [SC-119848][connect] 支援切片中作為字串的名稱
- [SPARK-41869] [SC-119845][connect] 拒絕在 dropDuplicates 中使用單一字串
-
[SPARK-41830] [SC-119840][connect][PYTHON] 讓
DataFrame.sample接受與 PySpark 相同的參數 - [SPARK-41849] [SC-119835][connect] 實現 DataFrameReader.text
- [SPARK-41861] [SC-119834][sql] 使 v2 ScanBuilders 的 build() 方法能夠返回類型化的掃描
-
[SPARK-41825] [SC-119710][connect][PYTHON] 啟用與
DataFrame.show相關的 doctests -
[SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] 讓
createDataFrame正確處理 None/NaN -
[SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] 讓
DataFrame.collect正確處理 None/NaN/Array/Binary - [SPARK-39318] [SC-119713][sql] 移除 tpch-plan-stability WithStats 黃金檔案
- [SPARK-41791] [SC-119745]新增檔案來源元數據數據行類型
- [SPARK-41790] [SC-119729][sql] 正確設定 TRANSFORM 讀取器和寫入器的格式
-
[SPARK-41829] [SC-119725][connect][PYTHON] 在
Sort和sortWithinPartitions中新增遺漏的排序參數 - [SPARK-41576] [SC-119718][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716][connect][PYTHON] 修正 DataFrame.describe 的 doc test。
- [SPARK-41871] [SC-119714][connect] DataFrame 提示參數可以是 str、float 或 int
- [SPARK-41720] [SC-119076][sql] 將 UnresolvedFunc 重新命名為 UnresolvedFunctionName
- [SPARK-41573] [SC-119567][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492][sql] 修正 Orc 讀取器中預設值相關的正確性錯誤
-
[SPARK-41582] [SC-119482][sc-118701][CORE][sql] 重複使用
INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0022
維護更新
請參閱 Databricks Runtime 12.2 維護更新。
系統環境
- 作業系統：Ubuntu 20.04.5 LTS
- Java：Zulu 8.68.0.21-CA-linux64
- Scala：2.12.15
- Python： 3.9.21
- R: 4.2.2
- Delta Lake：2.2.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.0.4 | 密碼編譯 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | executing | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 筆記本 | 6.4.8 | numpy | 1.21.5 | packaging | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | 繩子 | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| six | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安裝的 R 程式庫
R 連結庫會從 2022-11-11 上的 Microsoft CRAN 快照集安裝。 快照已無法使用。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-21 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | 遞減 | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略符號 | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | 泛型 | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| Lava | 1.7.0 | 生命週期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58.2 | 矩陣 | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 進度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | Snowflake DB | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structure | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |