Databricks Runtime 11.2 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
下列版本資訊提供由 Apache Spark 3.3.0 提供之 Databricks Runtime 11.2 的相關信息。 Databricks 於 2022 年 9 月發行此版本。
新功能和改進
- 在 table 訪問控制中更改為 ALTER TABLE 權限（table ACLs）
- 動態修剪 MERGE INTO
- 已使用動態檔案剪除改善 Delta 中的衝突偵測
- DSE/SQL 首頁中的新開放原始碼整合卡片
- CONVERT TO DELTA partition 偵測功能的改進
- Table 架構現在支援 columns 的預設 values
- 新的 H3 地理空間函式
- 新的 Databricks 運行時間相依性
- 自備金鑰：Git credentials 加密
- SQL：新的聚合函數any_value
- 更多叢集類型允許的 Databricks 公用程式檔案系統命令
- CREATE 許可權現在可以在 Unity Catalog 的 metastores 上授與
- 已啟用 Photon 功能的叢集中針對未分割 tables 進行優化寫入
- 更多數據源的 Photon 支援
- SQL：ALTER SHARE 現在支援 START VERSION
變更 table 存取控制中的 ALTER TABLE 權限（table ACL）
現在，使用者只需要 MODIFY 許可權，即可使用 ALTER TABLE來變更 table的 schema 或屬性。 擁有權仍然是更改 table上的 grant 權限、變更其擁有者和位置或重新命名所必需的。 這項變更會讓 table ACL 的許可權模型與 Unity Catalog一致。 請參閱 ALTER TABLE。
MERGE INTO 的動態修剪
使用啟用了 Photon 的運算時，MERGE INTO 現在會使用動態檔案和 partition 剪除功能，以在適當時提升效能，例如當小型來源 table 合併到較大的目標 table時。
已使用動態檔案剪除改善 Delta 中的衝突偵測
在認可期間檢查潛在衝突時，衝突偵測現在會考慮動態檔案剪除所剪除的檔案，但靜態篩選不會剪除。 這會導致失敗的交易數目減少。
DSE/SQL 首頁中的新開放原始碼整合卡片
在 DSE/SQL 首頁中介紹新的「開放原始碼整合」卡片，其中顯示開放原始碼整合選項，例如 Delta Live Tables 和 dbt 核心。
CONVERT TO DELTA partition 偵測性能提升
CONVERT TO DELTA 會自動推演那些已註冊到 Hive 中繼資料庫或 Unity Catalog的 Parquet tables 的 partitionschema，從而無需提供 PARTITIONED BY 子句。
CONVERT TO DELTA 利用來自中繼資料存放區的 partition 資訊探索 Parquet table 的檔案，而不是列出整個基礎路徑，以確保已刪除的分區不會 get 添加至 Delta table。
請參閱 轉換成 Delta Lake。
Table 架構現在支援預設 values 用於 columns
Table 架構現在支援設定 columns的預設 values。 這些 columns 的 INSERT、UPDATE和 DELETE 命令可以使用 DEFAULT 關鍵詞來參考這些 values。 例如， CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET 後面接著 INSERT INTO t VALUES (1, DEFAULT) 會附加資料列 (1, 42)。 CSV、JSON、Orc 和 Parquet 數據源支援此行為。
新的 H3 地理空間函式
您現在可以使用 28 個新的內建 H3 運算式，在已啟用 Photon 的叢集中進行地理空間處理，可在 SQL、Scala 和 Python 中使用。 請參閱H3 地理空間函式。
新的 Databricks 運行時間相依性
Databricks Runtime 現在取決於 H3 Java 連結庫 3.7.0 版。
攜帶您自己的金鑰：Git credentials 加密
您可以使用 Azure Key Vault 加密 Git 個人存取權杖 (PAT) 或其他 Git 認證。
請參閱 Set 上的 Databricks Git 資料夾（Repos）。
SQL：新的聚合函數any_value
新的 any_value 聚合函數會針對一組數據列傳回 的任何隨機值 expr 。
請參閱any_value聚合函數。
更多叢集類型允許的 Databricks 公用程式檔案系統命令
dbutils.fs 命令（掛接相關命令除外）現在允許在具有 Unity Catalog的使用者隔離群集上執行，此外，也允許在使用者具有 ANY FILE 許可權的舊版 table ACL 群集上執行。
現在可以在 Unity Catalog 上授予 metastores 的 CREATE 權限
CREATE CATALOG、CREATE EXTERNAL LOCATION、CREATE SHARE、CREATE RECIPIENT和 CREATE PROVIDER 許可權現在可以在 Unity Catalogmetastores上授與。
已啟用 Photon 的叢集中未分割 tables 優化寫入
Unity Catalog Managed tables 現在會自動儲存大小經過調整的檔案於未分區 tables，以提升查詢速度及 Unity 系統的 optimize 效能。
更多數據源的 Photon 支援
Photon 現在支援更多數據源，包括 CSV 和 Avro，也與快取的數據框架相容。 先前，掃描這些數據源表示不論查詢的運算符或表達式為何，都無法將整個查詢進行光化。 現在，掃描這些數據源的查詢可以進行光化、解除鎖定顯著的延遲和 TCO 改善。
這項功能預設會由 spark.databricks.photon.photonRowToColumnar.enabled 組態啟用。
限制：
- 此版本中不支援具有巢狀類型的架構（例如數位、對應和結構）。
- 此版本中不支援 ORC、RDD、Kinesis、Kafka 和 EventHub 來源。
SQL：ALTER SHARE 現在支援 START VERSION
ALTER SHARE 命令現在支援 START VERSION，這可讓 providers 從特定 table 版本開始共享數據。 請參閱 ALTER SHARE。
連結庫升級
- 升級的 Python 連結庫：
- 從 0.3.4 到 0.3.5 的 distlib
- filelock from 3.7.1 to 3.8.0
- 從 5.8.2 到 5.9.0 的繪圖
- protobuf 從 4.21.2 到 4.21.5
- 升級的 R 連結庫：
- 從 0.8.0 到 1.0.0 的掃把
- bslib 從 0.3.1 到 0.4.0
- 從 3.7.0 到 3.7.1 的呼叫者
- 從 6.0-92 到 6.0-93 的插入號
- dbplyr 從 2.2.0 到 2.2.1
- 從 2.4.3 到 2.4.4 的 devtools
- 從 0.15 評估為 0.16
- 遠從 2.1.0 到 2.1.1
- fontawesome 從 0.2.2 到 0.3.0
- 未來從 1.26.1 到 1.27.0
- 泛型從 0.1.2 到 0.1.3
- 從 1.6.0 到 1.7.0 的 gert
- globals from 0.15.1 to 0.16.0
- googlesheets4 從 1.0.0 到 1.0.1
- 從 1.1.0 到 1.2.0 的 hardhat
- 從 0.5.2 到 0.5.3 的 htmltools
- 平行從 1.32.0 到 1.32.1
- 從1.7.0到1.8.0的柱子
- pkgload 從 1.2.4 到 1.3.0
- processx 從 3.6.1 到 3.7.0
- Rcpp 從 1.0.8.3 到 1.0.9
- 食譜從 0.2.0 到 1.0.1
- rlang 從 1.0.2 到 1.0.4
- roxygen2 從 7.2.0 到 7.2.1
- RSQLite 從 2.2.14 到 2.2.15
- sass from 0.4.1 to 0.4.2
- 閃亮從 1.7.1 到 1.7.2
- stringi 從 1.7.6 到 1.7.8
- 從 3.1.7 到 3.1.8 的 tibble
- 從 1.3.1 到 1.3.2 的 tidyverse
- timeDate 從 3043.102 到 4021.104
- xfun 從 0.31 到 0.32
- 升級的 Java 程式庫：
- org.apache.orc.orc-core 從 1.7.4 到 1.7.5
- org.apache.orc.orc-mapreduce 從 1.7.4 到 1.7.5
- org.apache.orc.orc-shims from 1.7.4 到 1.7.5
Apache Spark
Databricks Runtime 11.2 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：
- [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL]從百分位數函式傳回更廣泛的 ANSI 間隔類型
- [SPARK-40054] [SQL] Restore try_cast（） 的錯誤處理語法
- [SPARK-39489] [CORE]使用 Jackson 而非 Json4s 改善事件記錄 JsonProtocol 效能
-
[SPARK-39319] [CORE][SQL]將查詢內容設為的一部分
SparkThrowable - [SPARK-40085] [SQL]使用INTERNAL_ERROR錯誤類別而非 IllegalStateException 來指出 Bug
- [SPARK-40001] [SQL] 令 NULL 寫入 JSON 預設值 columns 將 'null' 寫入儲存
- [SPARK-39635] [SQL]在 DS v2 自訂計量 API 中支援驅動程式計量
- [SPARK-39184] [SQL]處理日期和時間戳序列中不分化的結果陣列
-
[SPARK-40019] [SQL]ArrayType 的重構批註包含Null 並重構 collectionOperator 表達式中的誤解邏輯
containsNull - [SPARK-39989] [SQL] 支援可折迭表達式時 column 統計數據的估計值
- [SPARK-39926] [SQL] 修正非向量化 Parquet 掃描 column DEFAULT 支援中的錯誤
- [SPARK-40052] [SQL]處理 VectorizedDeltaBinaryPackedReader 中的直接位元組緩衝區
- [SPARK-40044] [SQL]修正轉換溢位錯誤中的目標間隔類型
- [SPARK-39835] [SQL] 修正在本機排序下方的 EliminateSorts remove 全域排序
- [SPARK-40002] [SQL] 不要使用 ntile 透過 window 向下推 limit
- [SPARK-39976] [SQL]ArrayIntersect 應該正確處理左運算式中的 Null
- [SPARK-39985] [SQL] 從 DataFrame 插入中啟用隱含 DEFAULT columnvalues
- [SPARK-39776] [SQL] JOIN 詳細字串應該新增 Join 類型
- [SPARK-38901] [SQL]DS V2 支援下推錯誤函式
- [SPARK-40028] [SQL][FollowUp]改善字串函式的範例
- [SPARK-39983] [CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
-
[SPARK-39812] [SQL]簡化使用 建構的程序
AggregateExpression代碼toAggregateExpression - [SPARK-40028] [SQL]新增字串表達式的二進位範例
- [SPARK-39981] [SQL]在 Cast 中擲回 Exception QueryExecutionErrors.castingCauseOverflowErrorInTableInsert
- [SPARK-40007] [PYTHON][SQL]將 『mode』 新增至函式
- [SPARK-40008] [SQL]支援將整數轉換成 ANSI 間隔
- [SPARK-40003] [PYTHON][SQL]將 『median』 新增至函式
- [SPARK-39952] [SQL]SaveIntoDataSourceCommand 應該會重新產生結果關聯
- [SPARK-39951] [SQL] Update Parquet V2 單欄式檢查巢狀字段
- [SPARK-33236] [隨機顯示]回到 DBR 11.x：啟用推送式隨機顯示服務，以將狀態儲存在 NM 層級 DB 中，以保留重新啟動的工作
- [SPARK-39836] [SQL]藉由擷取通用方法簡化 V2ExpressionBuilder。
-
[SPARK-39873] [SQL] Remove
OptimizeLimitZero，並將其合併到EliminateLimits - [SPARK-39961] [SQL]如果轉換安全，DS V2 下推轉轉換
-
[SPARK-39872][SQL]在中變更為與陣列輸入 API 搭配使用
BytePackerForLong#unpack8ValuesVectorizedDeltaBinaryPackedReader -
[SPARK-39858] [SQL] Remove 某些規則不必要的
AliasHelper或PredicateHelper - [SPARK-39900] [SQL]解決二進位格式述詞下推中的部分或否定條件
- [SPARK-39904] [SQL]將 inferDate 重新命名為 prefersDate，並釐清 CSV 數據源中選項的語意
- [SPARK-39958] [SQL]無法載入自定義計量物件時新增警告記錄
- [SPARK-39932] [SQL] WindowExec 應該清除最終 partition 緩衝區
- [SPARK-37194] [SQL] 避免在 v1 寫入中不必要的排序，如果不是動態 partition
- [SPARK-39902] [SQL]在 SparkUI 中將掃描詳細資料新增至 Spark 計劃掃描節點
- [SPARK-39865] [SQL] 在 tableinsert 溢位錯誤上顯示適當的錯誤訊息
- [SPARK-39940] [SS] Refreshcatalogtable 在進行搭配 DSv1 匯入端的串流查詢
-
[SPARK-39827][SQL]在 int overflow 上使用 error 類別
ARITHMETIC_OVERFLOWadd_months() - [SPARK-39914] [SQL]將 DS V2 篩選新增至 V1 篩選轉換
- [SPARK-39857] [SQL]手動 DBR 11.x backport;V2ExpressionBuilder 針對 In 述詞 #43454 使用錯誤的 LiteralValue 數據類型
- [SPARK-39840] [SQL][PYTHON]將 PythonArrowInput 分解為 PythonArrowOutput 的對稱
- [SPARK-39651] [SQL]如果與 rand 比較是決定性的剪除篩選條件
- [SPARK-39877] [PYTHON] 將 unpivot 新增至 PySpark DataFrame API
- [SPARK-39909] [SQL]組織 JDBCV2Suite 的下推資訊檢查
- [SPARK-39834] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原點統計數據和條件約束
- [SPARK-39849] [SQL] Dataset.as（StructType）以 null 值填充缺失的新欄位 columns
- [SPARK-39860] [SQL]更多表達式應該擴充述詞
- [SPARK-39823] [SQL][PYTHON]將 Dataset.as 重新命名為 Dataset.to，並在 PySpark 中新增 DataFrame.to
- [SPARK-39918] [SQL][MINOR]將錯誤訊息中的「不可比較」字組取代為「無法比對」的字組
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder 針對 In 述詞使用錯誤的 LiteralValue 數據類型
- [SPARK-39862] [SQL] 針對以 DBR 11.x 為目標的 PR 43654 手動回送：Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS 允許/denyALTER TABLE... 請單獨新增 COLUMN 命令。
- [SPARK-39844] [SQL]以 DBR 11.x 為目標的 PR 43652 手動備份
-
[SPARK-39899] [SQL] 修正訊息傳遞 parameters 至
InvalidUDFClassException - [SPARK-39890] [SQL]讓TakeOrderedAndProjectExec繼承 AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON]支援 PySpark 中的 CharType
- [SPARK-38864] [SQL] 將 unpivot/融化至數據集
- [SPARK-39864] [SQL]Lazily register ExecutionListenerBus
- [SPARK-39808] [SQL]支援聚合函數MODE
-
[SPARK-39875] [SQL]將最終類別中的方法變更
protected為private或package-visible - [SPARK-39731] [SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
- [SPARK-39805] [SS]取代 Trigger.Once 和 Promote Trigger.AvailableNow
- [SPARK-39784] [SQL] 將文字常數 values 轉化為數據源篩選條件後，將其放在數據源篩選條件的右邊
- [SPARK-39672] [SQL][3.1] 修正在篩選與相互關聯的子查詢之前移除專案
-
[SPARK-39552] [SQL]整合 v1 和 v2
DESCRIBE TABLE - [SPARK-39810] [SQL] Catalog.tableExists 應該處理巢狀命名空間
- [SPARK-37287] [SQL] 從 FileFormatWriter 提取動態 partition 和貯體排序
- [SPARK-39469] [SQL] CSV schema 推斷的推斷日期類型
- [SPARK-39148] [SQL] DS V2 匯總下推可以使用 OFFSET 或 LIMIT
- [SPARK-39818] [SQL] 修正 ARRAY、STRUCT、MAP 類型在含有 NULL 字段的 DEFAULT 中的 BUG values
- [SPARK-39792] [SQL]為十進位平均值新增 DecimalDivideWithOverflowCheck
-
[SPARK-39798][SQL]在 建構函式中使用 Replcace
toSeq.toArray.toArray[Any]GenericArrayData - [SPARK-39759] [SQL]在 JDBC 中實作 listIndexes （H2 方言）
-
[SPARK-39385] [SQL]支援下
REGR_AVGX推和REGR_AVGY - [SPARK-39787] [SQL] 在函式剖析錯誤 to_timestamp 中使用錯誤類別
- [SPARK-39760] [PYTHON]支援 PySpark 中的 Varchar
- [SPARK-39557] [SQL] 手動回送至 DBR 11.x：支援 ARRAY、STRUCT、MAP 作為預設類型 values
- [SPARK-39758] [SQL][3.3] 修正無效模式上 regexp 函式的 NPE
- [SPARK-39749] [SQL]ANSI SQL 模式：在將十進位轉換成字串時使用純字串表示法
- [SPARK-39704] [SQL]在 JDBC 中實作 createIndex & dropIndex & indexExists （H2 方言）
-
[SPARK-39803] [SQL]使用
LevenshteinDistance而非StringUtils.getLevenshteinDistance - [SPARK-39339] [SQL]支援 JDBC 資料源中的 TimestampNTZ 類型
- [SPARK-39781] [SS]新增對 rocksdb 狀態存放區提供者提供max_open_files的支援
- [SPARK-39719] [R] 在 SparkR 中實作 databaseExists/getDatabase 支援 3L 命名空間
- [SPARK-39751] [SQL]重新命名哈希匯總金鑰探查計量
- [SPARK-39772] 當舊建構函式中的資料庫為 null 時，命名空間應該是 null
- [SPARK-39625] [SPARK-38904][SQL]新增 Dataset.as（結構類型）
- [SPARK-39384] [SQL]編譯 JDBC 方言的內建線性回歸聚合函數
- [SPARK-39720] [R] 在 SparkR 中實作 tableExists/getTable for 3L 命名空間
-
[SPARK-39744][SQL]新增函式
REGEXP_INSTR - [SPARK-39716] [R] 使 SparkR 中的 currentDatabase/setCurrentDatabase/listCatalogs 支援 3L 命名空間
-
[SPARK-39788][SQL]將重新命名
catalogName為dialectNameJdbcUtils - [SPARK-39647] [CORE]向 ESS 註冊執行程式，再註冊 BlockManager
-
[SPARK-39754] [CORE][SQL] Remove 未使用的
import或不必要的{} -
[SPARK-39706] [SQL] Set 遺漏 defaultValue 作為常數的 column，
ParquetColumnVector - [SPARK-39699] [SQL]讓 CollapseProject 更聰明地瞭解集合建立表達式
-
[SPARK-39737] [SQL]
PERCENTILE_CONT和PERCENTILE_DISC應該支持匯總篩選 - [SPARK-39579] [SQL][PYTHON][R] 讓 ListFunctions/getFunction/functionExists 與 3 層命名空間相容
- [SPARK-39627] [SQL]JDBC V2 下推應該統一編譯 API
- [SPARK-39748] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原始邏輯計劃
- [SPARK-39385] [SQL]平移下推的線性回歸聚合函數
-
[SPARK-39695][SQL]新增函式
REGEXP_SUBSTR - [SPARK-39667] [SQL] 在沒有足夠記憶體時，新增其他因應措施以建置和廣播 table
-
[SPARK-39666][ES-337834][SQL]在 ExpressionEncoder 中使用 UnsafeProjection.create
spark.sql.codegen.factoryMode - [SPARK-39643] [SQL] 禁止 DEFAULT values 中的子查詢表達式
- [SPARK-38647] [SQL]在介面中新增 Scan 的 SupportsReportOrdering 混合 （DataSourceV2）
- [SPARK-39497] [SQL] 改善缺少映射鍵時的分析異常 column
- [SPARK-39661] [SQL]避免建立不必要的 SLF4J 記錄器
- [SPARK-39713] [SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
- [SPARK-38899] [SQL]DS V2 支援下推日期時間函式
-
[SPARK-39638] [SQL] 改為使用
ConstantColumnVector將 partitioncolumns 儲存在OrcColumnarBatchReader -
[SPARK-39653][SQL]清除
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils -
[SPARK-39231] [SQL] 使用
ConstantColumnVector而不是On/OffHeapColumnVector將 partitioncolumns 儲存在VectorizedParquetRecordReader - [SPARK-39547] [SQL]V2SessionCatalog 不應該在 loadNamspaceMetadata 中擲回 NoSuchDatabaseException
- [SPARK-39447] [SQL]避免 AdaptiveSparkPlanExec.doExecuteBroadcast 中的 AssertionError
- [SPARK-39492] [SQL]重新作業MISSING_COLUMN
- [SPARK-39679] [SQL]TakeOrderedAndProjectExec 應遵守子輸出順序
- [SPARK-39606] [SQL]使用子統計數據來估計訂單運算符
- [SPARK-39611] [PYTHON][PS]修正array_ufunc中的 錯誤別名
- [SPARK-39656] [SQL][3.3] 在 DescribeNamespaceExec 中修正錯誤的命名空間
- [SPARK-39675] [SQL]將 『spark.sql.codegen.factoryMode』 組態從測試用途切換為內部用途
- [SPARK-39139] [SQL]DS V2 支援向下推播 DS V2 UDF
- [SPARK-39434] [SQL] 當陣列索引超出界限時，提供執行階段錯誤查詢內容
- [SPARK-39479] [SQL]DS V2 支援向下推算數學函式（非 ANSI）
-
[SPARK-39618][SQL]新增函式
REGEXP_COUNT - [SPARK-39553] [CORE]使用 Scala 2.13 時，多線程取消註冊洗牌不應該擲回 NPE
- [SPARK-38755] [PYTHON][3.3] 新增檔案以解決遺漏的 pandas 一般函式
- [SPARK-39444] [SQL] 將 OptimizeSubqueries 新增至 nonExcludableRules list
- [SPARK-39316] [SQL]將 PromotePrecision 和 CheckOverflow 合併為十進位二進位算術
- [SPARK-39505] [UI]逸出UI中轉譯的記錄內容
-
[SPARK-39448] [SQL] 將
ReplaceCTERefWithRepartition新增至nonExcludableRuleslist - [SPARK-37961] [SQL]覆寫某些邏輯運算子的 MaxRows/maxRowsPerPartition
- [SPARK-35223] 還原新增問題NavigationLink
- [SPARK-39633] [SQL]使用 Dataframe 選項支援 TimeTravel 的秒數時間戳
- [SPARK-38796] [SQL] Update 有關 {try_}to_number 函式的數字格式字符串的說明文件
- [SPARK-39650] [SS] 修正串流去重與向後相容性時不正確的值 schema
- [SPARK-39636] [CORE][UI]修正 JsonProtocol 中的多個錯誤，影響堆積 StorageLevels 和 Task/Executor ResourceRequests
- [SPARK-39432] [SQL]從element_at傳回ELEMENT_AT_BY_INDEX_ZERO（*， 0）
- [SPARK-39349] 為錯誤路徑的 QA 新增集中式 CheckError 方法
- [SPARK-39453] [SQL]DS V2 支援下推非聚合函數（非 ANSI）
- [SPARK-38978] [SQL] DS V2 支援下推 OFFSET 運算符
- [SPARK-39567] [SQL]支援百分位數函式中的 ANSI 間隔
- [SPARK-39383] [SQL] ALTER TABLE ALTER COLUMNS 支援 V2 數據源中的 DEFAULT columns
- [SPARK-39396] [SQL] 修正 LDAP 登入例外狀況 'error code 49 - 無效的 credentials'
- [SPARK-39548] [SQL] CreateView 命令與 window 子句查詢發生錯誤 window 定義找不到問題
- [SPARK-39575] [AVRO] 在 Avr 中新增 ByteBuffer#rewind 之後 ByteBuffer#get...
- [SPARK-39543] 如果後援至 v1，則 DataFrameWriterV2 的選項應該傳遞至記憶體屬性
- [SPARK-39564] [SS] 將 catalogtable 的資訊顯露到串流查詢的邏輯計劃中
-
[SPARK-39582] [SQL]修正的 「Since」 標記
array_agg -
[SPARK-39388][SQL]下推 Orc 述詞時重複使用
orcSchema - [SPARK-39511] [SQL] 如果 join 條件是空的，請增強向左半/反 join 右側的下推本機 limit 1
- [SPARK-38614] [SQL] 不要透過使用 percent_rank 的 window 向下推 limit
- [SPARK-39551] [SQL]新增 AQE 無效的計劃檢查
- [SPARK-39383] [SQL] 支援 ALTER TABLE ADD COLUMNS 至 V2 數據源中的 DEFAULT columns
- [SPARK-39538] [SQL]避免建立不必要的 SLF4J 記錄器
- [SPARK-39383] [SQL] 手動回送至 DBR 11.x：重構 DEFAULT column 支援，以略過傳遞主要分析器
- [SPARK-39397] [SQL]放寬 AliasAwareOutputExpression 以支援具有表達式的別名
-
[SPARK-39496] [SQL]在中處理 Null 結構
Inline.eval -
[SPARK-39545][SQL]在 Scala 2.13 中覆
concat寫ExpressionSet方法來改善效能 - [SPARK-39340] [SQL] DS v2 agg 下推應該允許最上層 columns 名稱中的點
- [SPARK-39488] [SQL]簡化 TempResolvedColumn 的錯誤處理
- [SPARK-38846] [SQL]在 Teradata Numeric Type 與 Spark DecimalType 之間新增明確的數據對應
-
[SPARK-39520][SQL]Scala 2.13 中的 Override
--方法ExpressionSet - [SPARK-39470] [SQL]支援將 ANSI 間隔轉換成小數點
- [SPARK-39477] [SQL] Remove SQLQueryTestSuite 黃金檔案中的「查詢數目」資訊
- [SPARK-39419] [SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
-
[SPARK-39061] [SQL] Set 正確處理為 null
Inline輸出屬性 -
[SPARK-39320] [SQL]支援聚合函數
MEDIAN - [SPARK-39261] [CORE]改善錯誤訊息的新行格式設定
- [SPARK-39355] [SQL] 單個 column 使用引號來建構 UnresolvedAttribute
- [SPARK-39351] [SQL] SHOW CREATE TABLE 應隱藏屬性
- [SPARK-37623] [SQL]支援 ANSI 聚合函數：regr_intercept
- [SPARK-39374] [SQL] 改善使用者指定的錯誤訊息 columnlist
- [SPARK-39255] [SQL][3.3] 改善錯誤訊息
- [SPARK-39321] [SQL]重構 TryCast 以使用 RuntimeReplaceable
- [SPARK-39406] [PYTHON]接受 createDataFrame 中的 NumPy 陣列
- [SPARK-39267] [SQL]清除 dsl 不必要的符號
- [SPARK-39171] [SQL]統一 Cast 運算式
- [SPARK-28330] [SQL] 支援 ANSI SQL：查詢表達式中的結果子句 offset
- [SPARK-39203] [SQL] 根據資料庫 URI 將 table 位置重寫為絕對 URI
-
[SPARK-39313] [SQL]
toCatalystOrdering如果無法翻譯 V2Expression，應該會失敗 - [SPARK-39301] [SQL][PYTHON]利用 Arrow 優化利用 createDataFrame 中的 LocalRelation 和尊重 Arrow 批次大小
- [SPARK-39400] [SQL] spark-sql 在所有情況下都應該 remove hive 資源 dir
維護更新
請參閱 Databricks Runtime 11.2 維護更新。
系統環境
- 操作系統：Ubuntu 20.04.4 LTS
- Java：Zulu 8.56.0.21-CA-linux64
- Scala：2.12.14
- Python：3.9.5
- R：4.1.3
- Delta Lake：2.1.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
| 密碼編譯 | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| 筆記本 | 6.4.5 | numpy | 1.20.3 | packaging | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
已安裝的 R 程式庫
R 連結庫會從 2022-08-15 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| 叢集 | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | 數據。table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | 遞減 | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | 省略符號 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| 泛型 | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | Lava | 1.6.10 | 生命週期 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 矩陣 | 1.4-1 |
| memoise | 2.0.1 | 方法 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 進度 | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structure | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |