Databricks Runtime 11.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
下列版本資訊提供由 Apache Spark 3.3.0 提供之 Databricks Runtime 11.1 的相關信息。 Databricks 於 2022 年 7 月發行此版本。
新功能和改進
- Photon 已正式發行
- Photon：支持的實例類型
- 變更數據摘要現在可以自動處理超出範圍的時間戳
- 描述並顯示 SQL 函式現在在其輸出中顯示 Unity 目錄名稱 （公開預覽）
- 自動載入器中 Parquet 檔案的架構推斷和演進 （公開預覽）
- 自動載入器現在支援 Avro 的架構演進 （GA）
- 動態分割區覆寫的 Delta Lake 支援
- Unity 目錄中建立之物件的信息架構支援
- 具有 Unity 目錄之 Delta Lake 資料表的資訊條件約束 （公開預覽）
- Unity Catalog 已正式發行
- Delta Sharing 已正式發行
Photon 是 GA
Photon 現已正式推出，從 Databricks Runtime 11.1 開始。 Photon 是 Azure Databricks 上的原生向量化查詢引擎，其撰寫為直接與 Apache Spark API 相容，以便能與您現有的程式碼搭配運作。 Photon 使用 C++ 開發而成，會利用新式硬體並使用向量化查詢流程中的最新技術來利用 CPU 中的資料層級和指令層級平行性，強化真實世界資料和應用程式的效能 — 所有這些都在您的資料湖上進行。
Photon 是高效能執行階段的一部分，可更快速地執行您現有的 SQL 和 DataFrame API 呼叫，並減少每個工作負載的總成本。 Photon 預設會在 Databricks SQL 倉儲中使用。
新功能和改善包括：
- 新的向量化排序運算符
- 新的向量化視窗函式
- 所有雲端的新實例類型和大小
限制：
- Photon 不支援 Scala/Python UDF
- Photon 不支援 RDD
- Photon 不支持結構化串流
如需詳細資訊，請參閱下列 Photon 公告。
Photon：新的向量化排序運算符
當查詢包含 SORT_BY、 CLUSTER_BY或具有 的視窗函 ORDER BY式時，Photon 現在支援 的向量化排序。
限制：Photon 不支援全域 ORDER BY 子句。 窗口評估的排序將會進行相片化，但全域排序將會繼續在Spark中執行。
Photon：新的向量化視窗函式
Photon 現在支援許多畫面類型和函式的向量化視窗函式評估。 新的視窗函式包括：row_number、、rank、、dense_ranklaglead、percent_rank、 ntile和 。 nth_value 支援的視窗框架類型：執行 （UNBOUNDED PRECEDING AND CURRENT ROW）、未系結 （UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING）、成長 （UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING） 和縮小 （<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING）。
限制：
- Photon 僅
ROWS支援所有框架類型的版本。 - Photon 尚不支援滑動框架類型 （
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING）。
Photon：支持的實例類型
- dds_v5
- ds_v5
- eas_v4
- eds_v4
- eds_v5
- es_v5
- las_v3
- ls_v3
變更數據摘要現在可以自動處理超出範圍的時間戳
變更數據摘要 （CDF） 現在有新的模式，可讓您提供超過最新認可版本的時間戳或版本，而不會擲回錯誤。 預設會停用此模式。 您可以將組態 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled 設定為 true來啟用它。
描述並顯示 SQL 函式現在在其輸出中顯示 Unity 目錄名稱 （公開預覽）
命令 DESC TABLE、DESC DATABASE、、、DESC FUNCTIONDESC SCHEMADESC NAMESPACE、 EXPLAIN和 SHOW CREATE TABLE 現在一律會在輸出中顯示目錄名稱。
自動載入器中 Parquet 檔案的架構推斷和演進 （公開預覽）
自動載入器現在支援 Parquet 檔案的架構推斷和演進。 就像 JSON、CSV 和 Avro 格式一樣，您現在可以使用已獲救的數據行來拯救可能出現在 Parquet 檔案中的非預期數據。 這包括無法在預期的數據類型、具有不同大小寫的數據行，或不屬於預期架構一部分的其他數據行中剖析的數據。 當遇到在傳入資料中新增資料行時，您可以設定自動載入器來發展架構。 請參閱 在自動載入器中設定架構推斷和演進。
自動載入器現在支援 Avro 的架構演進 （GA）
請參閱 在自動載入器中設定架構推斷和演進。
動態分割區覆寫的 Delta Lake 支援
Delta Lake 現在可讓動態數據分割覆寫模式覆寫每個邏輯分割區中的所有現有數據，寫入會認可新數據。 請參閱 選擇性地使用 Delta Lake 覆寫數據。
Unity 目錄中建立之物件的信息架構支援
信息架構提供 SQL 型、自我描述 API 給各種資料庫物件的元數據，包括數據表和檢視表、條件約束和例程。
在信息架構中，您會找到一組檢視，描述您具有許可權的架構目錄已知對象的檢視。
目錄的信息架構 SYSTEM 會傳回中繼存放區內所有目錄的對象相關信息。
請參閱資訊結構描述。
具有 Unity 目錄之 Delta Lake 資料表的資訊條件約束 （公開預覽）
您現在可以使用 Unity 目錄，在 Delta Lake 數據表上定義參考主鍵和外鍵條件約束。 不會強制執行參考條件約束。 請參閱限制式子句。
Unity Catalog 已正式發行
Unity 目錄現已正式推出，從 Databricks Runtime 11.1 開始。 請參閱什麼是 Unity Catalog？。
Delta Sharing 已正式發行
差異共享現已正式推出，從 Databricks Runtime 11.1 開始。
Databricks 到 Databricks Delta Sharing 完全受控，不需要交換令牌。 您可以在UI中建立和管理提供者、收件者及共用，或使用SQL和REST API。
某些功能包括限制收件者存取、使用IP存取清單和區域限制查詢數據，以及將差異共用管理委派給非系統管理員。 您也可以使用變更數據摘要來查詢數據的變更，或共用累加版本。 請參閱什麼是 Delta Sharing？。
行為變更
DESCRIBE TABLE 和SHOW TABLE PROPERTIES的敏感性屬性修訂
機密屬性會在 DataFrames 中修訂，以及和 SHOW TABLE PROPERTIES 命令的DESCRIBE TABLE輸出。
作業叢集預設為具有 Databricks Runtime 11.1 和更新版本的單一使用者存取模式
若要具備 Unity 目錄功能，使用 Databricks Runtime 11.1 和更新版本透過作業 UI 或作業 API 建立的作業叢集，預設為單一使用者存取模式。 單一使用者存取模式支援大部分的程式設計語言、叢集功能和數據控管功能。 您仍然可以透過UI或API設定共用存取模式，但語言或功能可能會受到限制。
連結庫升級
- 升級的 Python 連結庫：
- filelock from 3.6.0 to 3.7.1
- 從 5.6.0 到 5.8.2 的繪圖
- protobuf 從 3.20.1 到 4.21.2
- 升級的 R 連結庫：
- 2.3-56 到 2.3-57 的 chron
- DBI 從 1.1.2 到 1.1.3
- dbplyr 從 2.1.1 到 2.2.0
- e1071 從 1.7-9 到 1.7-11
- 從 1.25.0 到 1.26.1 的未來
- globals from 0.14.0 to 0.15.1
- 從 0.2.0 到 1.1.0 的 hardhat
- ipred 從 0.9-12 到 0.9-13
- openssl 從 2.0.0 到 2.0.2
- 平行從 1.31.1 到 1.32.0
- processx 從 3.5.3 到 3.6.1
- progressr from 0.10.0 to 0.10.1
- 從 0.4-26 到 0.4-27 的 Proxy
- ps 從 1.7.0 到 1.7.1
- randomForest 從 4.7-1 到 4.7-1.1
- roxygen2 從 7.1.2 到 7.2.0
- 從 1.8-10 到 1.8-11 的 Rserve
- RSQLite 從 2.2.13 到 2.2.14
- sparklyr 從 1.7.5 到 1.7.7
- tinytex from 0.38 to 0.40
- usethis from 2.1.5 to 2.1.6
- xfun 從 0.30 到 0.31
- 升級的 Java 程式庫：
- io.delta.delta-sharing-spark_2.12，從 0.4.0 到 0.5.0
Apache Spark
Databricks Runtime 11.2 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：
- [SPARK-40054] [SQL]還原try_cast的錯誤處理語法（）
- [SPARK-39489] [CORE]使用 Jackson 而非 Json4s 改善事件記錄 JsonProtocol 效能
- [SPARK-39319] [CORE][SQL]將查詢內容設為的一部分
SparkThrowable - [SPARK-40085] [SQL]使用INTERNAL_ERROR錯誤類別而非 IllegalStateException 來指出 Bug
- [SPARK-40001] [SQL]將 NULL 寫入 JSON DEFAULT 資料行，將 'null' 寫入記憶體
- [SPARK-39635] [SQL]在 DS v2 自訂計量 API 中支援驅動程式計量
- [SPARK-39184] [SQL]處理日期和時間戳序列中不分化的結果陣列
- [SPARK-40019] [SQL]ArrayType 的重構批註包含Null 並重構 collectionOperator 表達式中的誤解邏輯
containsNull - [SPARK-39989] [SQL]如果它是可折疊的表達式，則支持估計數據行統計數據
- [SPARK-39926] [SQL]修正非向量化 Parquet 掃描數據行 DEFAULT 支援中的 Bug
- [SPARK-40052] [SQL]處理 VectorizedDeltaBinaryPackedReader 中的直接位元組緩衝區
- [SPARK-40044] [SQL]修正轉換溢位錯誤中的目標間隔類型
- [SPARK-39835] [SQL]修正 RemoveSorts 移除本機排序下方的全域排序
- [SPARK-40002] [SQL]請勿使用 ntile 透過視窗向下推低限制
- [SPARK-39976] [SQL]ArrayIntersect 應該正確處理左運算式中的 Null
- [SPARK-39985] [SQL]從 DataFrame 插入中啟用隱含 DEFAULT 資料行值
- [SPARK-39776] [SQL]JOIN 詳細資訊字串應該新增 Join 類型
- [SPARK-38901] [SQL]DS V2 支援下推錯誤函式
- [SPARK-40028] [SQL][FollowUp]改善字串函式的範例
- [SPARK-39983] [CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
- [SPARK-39812] [SQL]簡化使用 建構的程序
AggregateExpression代碼toAggregateExpression - [SPARK-40028] [SQL]新增字串表達式的二進位範例
- [SPARK-39981] [SQL]在 Cast 中擲回 Exception QueryExecutionErrors.castingCauseOverflowErrorInTableInsert
- [SPARK-40007] [PYTHON][SQL]將 『mode』 新增至函式
- [SPARK-40008] [SQL]支援將整數轉換成 ANSI 間隔
- [SPARK-40003] [PYTHON][SQL]將 『median』 新增至函式
- [SPARK-39952] [SQL]SaveIntoDataSourceCommand 應該會重新產生結果關聯
- [SPARK-39951] [SQL]更新 Parquet V2 數據行式檢查巢狀欄位
- [SPARK-39775] [CORE][AVRO]剖析 Avro 架構時停用驗證預設值
- [SPARK-33236] [隨機顯示]回到 DBR 11.x：啟用推送式隨機顯示服務，以將狀態儲存在 NM 層級 DB 中，以保留重新啟動的工作
- [SPARK-39836] [SQL]藉由擷取通用方法簡化 V2ExpressionBuilder。
- [SPARK-39867] [SQL]全域限制不應繼承 OrderPreservingUnaryNode
- [SPARK-39873] [SQL]將它移除
OptimizeLimitZero並合併到EliminateLimits - [SPARK-39961] [SQL]如果轉換安全，DS V2 下推轉轉換
- [SPARK-39872][SQL]在中變更為與陣列輸入 API 搭配使用
BytePackerForLong#unpack8ValuesVectorizedDeltaBinaryPackedReader - [SPARK-39858] [SQL]拿掉不必要的
AliasHelper或PredicateHelper某些規則 - [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL]當群組屬性是空的時套用投影
- [SPARK-39900] [SQL]解決二進位格式述詞下推中的部分或否定條件
- [SPARK-39904] [SQL]將 inferDate 重新命名為 prefersDate，並釐清 CSV 數據源中選項的語意
- [SPARK-39958] [SQL]無法載入自定義計量物件時新增警告記錄
- [SPARK-39936] [SQL]將架構儲存在Spark檢視的屬性中
- [SPARK-39932] [SQL]WindowExec 應該清除最終的數據分割緩衝區
- [SPARK-37194] [SQL]如果 v1 不是動態分割區，請避免在 v1 寫入中不必要的排序
- [SPARK-39902] [SQL]在 SparkUI 中將掃描詳細資料新增至 Spark 計劃掃描節點
- [SPARK-39865] [SQL]在數據表插入的溢位錯誤上顯示適當的錯誤訊息
- [SPARK-39940] [SS]使用 DSv1 接收重新整理串流查詢上的目錄資料表
- [SPARK-39827][SQL]在 int overflow 上使用 error 類別
ARITHMETIC_OVERFLOWadd_months() - [SPARK-39914] [SQL]將 DS V2 篩選新增至 V1 篩選轉換
- [SPARK-39857] [SQL]手動 DBR 11.x backport;V2ExpressionBuilder 針對 In 述詞 #43454 使用錯誤的 LiteralValue 數據類型
- [SPARK-39840] [SQL][PYTHON]將 PythonArrowInput 分解為 PythonArrowOutput 的對稱
- [SPARK-39651] [SQL]如果與 rand 比較是決定性的剪除篩選條件
- [SPARK-39877] [PYTHON]將 Unpivot 新增至 PySpark DataFrame API
- [SPARK-39847] [WARMFIX][SS]如果呼叫端線程中斷，請修正 RocksDBLoader.loadLibrary（） 中的競爭狀況
- [SPARK-39909] [SQL]組織 JDBCV2Suite 的下推資訊檢查
- [SPARK-39834] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原點統計數據和條件約束
- [SPARK-39849] [SQL] Dataset.as（StructType） 以 Null 值填入遺漏的新數據行
- [SPARK-39860] [SQL]更多表達式應該擴充述詞
- [SPARK-39823] [SQL][PYTHON]將 Dataset.as 重新命名為 Dataset.to，並在 PySpark 中新增 DataFrame.to
- [SPARK-39918] [SQL][MINOR]將錯誤訊息中的「不可比較」字組取代為「無法比對」的字組
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder 針對 In 述詞使用錯誤的 LiteralValue 數據類型
- [SPARK-39862] [SQL]以 DBR 11.x 為目標的 PR 43654 手動回送：更新SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS以允許/拒絕 ALTER TABLE ... 個別新增 COLUMN 命令。
- [SPARK-39844] [SQL]以 DBR 11.x 為目標的 PR 43652 手動備份
- [SPARK-39899] [SQL]修正將訊息參數傳遞至
InvalidUDFClassException - [SPARK-39890] [SQL]讓TakeOrderedAndProjectExec繼承 AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON]支援 PySpark 中的 CharType
- [SPARK-38864] [SQL]將取消樞紐/融化新增至數據集
- [SPARK-39864] [SQL]Lazily register ExecutionListenerBus
- [SPARK-39808] [SQL]支援聚合函數MODE
- [SPARK-39839] [SQL]在 UnsafeRow 結構完整性檢查中使用非零位移處理 Null 可變長度十進位的特殊案例AndSize
- [SPARK-39875] [SQL]將最終類別中的方法變更
protected為private或package-visible - [SPARK-39731] [SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
- [SPARK-39805] [SS]取代 Trigger.Once 和 Promote Trigger.AvailableNow
- [SPARK-39784] [SQL]將 Catalyst Expression 轉譯為數據源篩選條件之後，將常值放在數據源篩選的右側
- [SPARK-39672] [SQL][3.1] 修正在篩選與相互關聯的子查詢之前移除專案
- [SPARK-39552] [SQL]整合 v1 和 v2
DESCRIBE TABLE - [SPARK-39806] [SQL]存取
_metadata分割數據表可能會當機查詢 - [SPARK-39810] [SQL]Catalog.tableExists 應該處理巢狀命名空間
- [SPARK-37287] [SQL]從 FileFormatWriter 提取動態分割區和貯體排序
- [SPARK-39469] [SQL]推斷 CSV 架構推斷的日期類型
- [SPARK-39148] [SQL]DS V2 匯總下推下可以使用 OFFSET 或 LIMIT
- [SPARK-39818] [SQL]修正具有 NULL 欄位之預設值的 ARRAY、STRUCT、MAP 類型錯誤
- [SPARK-39792] [SQL]為十進位平均值新增 DecimalDivideWithOverflowCheck
- [SPARK-39798][SQL]在 建構函式中使用 Replcace
toSeq.toArray.toArray[Any]GenericArrayData - [SPARK-39759] [SQL]在 JDBC 中實作 listIndexes （H2 方言）
- [SPARK-39385] [SQL]支援下
REGR_AVGX推和REGR_AVGY - [SPARK-39787] [SQL] 在函式剖析錯誤 to_timestamp 中使用錯誤類別
- [SPARK-39760] [PYTHON]支援 PySpark 中的 Varchar
- [SPARK-39557] [SQL]手動回送至 DBR 11.x：支援 ARRAY、STRUCT、MAP 類型作為預設值
- [SPARK-39758] [SQL][3.3] 修正無效模式上 regexp 函式的 NPE
- [SPARK-39749] [SQL]ANSI SQL 模式：在將十進位轉換成字串時使用純字串表示法
- [SPARK-39704] [SQL]在 JDBC 中實作 createIndex & dropIndex & indexExists （H2 方言）
- [SPARK-39803] [SQL]使用
LevenshteinDistance而非StringUtils.getLevenshteinDistance - [SPARK-39339] [SQL]支援 JDBC 資料源中的 TimestampNTZ 類型
- [SPARK-39781] [SS]新增對 rocksdb 狀態存放區提供者提供max_open_files的支援
- [SPARK-39719] [R] 在 SparkR 中實作 databaseExists/getDatabase 支援 3L 命名空間
- [SPARK-39751] [SQL]重新命名哈希匯總金鑰探查計量
- [SPARK-39772] 當舊建構函式中的資料庫為 null 時，命名空間應該是 null
- [SPARK-39625] [SPARK-38904][SQL]新增 Dataset.as（結構類型）
- [SPARK-39384] [SQL]編譯 JDBC 方言的內建線性回歸聚合函數
- [SPARK-39720] [R] 在 SparkR 中實作 tableExists/getTable for 3L 命名空間
- [SPARK-39744][SQL]新增函式
REGEXP_INSTR - [SPARK-39716] [R] 使 SparkR 中的 currentDatabase/setCurrentDatabase/listCatalogs 支援 3L 命名空間
- [SPARK-39788][SQL]將重新命名
catalogName為dialectNameJdbcUtils - [SPARK-39647] [CORE]向 ESS 註冊執行程式，再註冊 BlockManager
- [SPARK-39754] [CORE][SQL]拿掉未
import使用或不必要的{} - [SPARK-39706] [SQL]在中將 defaultValue 設定為常數的遺漏數據行
ParquetColumnVector - [SPARK-39699] [SQL]讓 CollapseProject 更聰明地瞭解集合建立表達式
- [SPARK-39737] [SQL]
PERCENTILE_CONT和PERCENTILE_DISC應該支持匯總篩選 - [SPARK-39579] [SQL][PYTHON][R] 讓 ListFunctions/getFunction/functionExists 與 3 層命名空間相容
- [SPARK-39627] [SQL]JDBC V2 下推應該統一編譯 API
- [SPARK-39748] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原始邏輯計劃
- [SPARK-39385] [SQL]平移下推的線性回歸聚合函數
- [SPARK-39695][SQL]新增函式
REGEXP_SUBSTR - [SPARK-39667] [SQL]當記憶體不足而無法建置和廣播數據表時，請新增另一個因應措施
- [SPARK-39666][ES-337834][SQL]在 ExpressionEncoder 中使用 UnsafeProjection.create
spark.sql.codegen.factoryMode - [SPARK-39643] [SQL]禁止 DEFAULT 值的子查詢表達式
- [SPARK-38647] [SQL]在介面中新增 Scan 的 SupportsReportOrdering 混合 （DataSourceV2）
- [SPARK-39497] [SQL] 改善遺漏對應索引鍵資料行的分析例外狀況
- [SPARK-39661] [SQL]避免建立不必要的 SLF4J 記錄器
- [SPARK-39713] [SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
- [SPARK-38899] [SQL]DS V2 支援下推日期時間函式
- [SPARK-39638] [SQL]變更為用來
ConstantColumnVector將分割區數據行儲存在OrcColumnarBatchReader - [SPARK-39653][SQL]清除
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils - [SPARK-39231] [SQL]使用
ConstantColumnVector而非On/OffHeapColumnVector將分割區數據行儲存在VectorizedParquetRecordReader - [SPARK-39547] [SQL]V2SessionCatalog 不應該在 loadNamspaceMetadata 中擲回 NoSuchDatabaseException
- [SPARK-39447] [SQL]避免 AdaptiveSparkPlanExec.doExecuteBroadcast 中的 AssertionError
- [SPARK-39492] [SQL]重新作業MISSING_COLUMN
- [SPARK-39679] [SQL]TakeOrderedAndProjectExec 應遵守子輸出順序
- [SPARK-39606] [SQL]使用子統計數據來估計訂單運算符
- [SPARK-39611] [PYTHON][PS]修正array_ufunc中的 錯誤別名
- [SPARK-39656] [SQL][3.3] 在 DescribeNamespaceExec 中修正錯誤的命名空間
- [SPARK-39675] [SQL]將 『spark.sql.codegen.factoryMode』 組態從測試用途切換為內部用途
- [SPARK-39139] [SQL]DS V2 支援向下推播 DS V2 UDF
- [SPARK-39434] [SQL] 當陣列索引超出界限時，提供執行階段錯誤查詢內容
- [SPARK-39479] [SQL]DS V2 支援向下推算數學函式（非 ANSI）
- [SPARK-39618][SQL]新增函式
REGEXP_COUNT - [SPARK-39553] [CORE]使用 Scala 2.13 時，多線程取消註冊洗牌不應該擲回 NPE
- [SPARK-38755] [PYTHON][3.3] 新增檔案以解決遺漏的 pandas 一般函式
- [SPARK-39444] [SQL]將 OptimizeSubqueries 新增至 nonExcludableRules 清單
- [SPARK-39316] [SQL]將 PromotePrecision 和 CheckOverflow 合併為十進位二進位算術
- [SPARK-39505] [UI]逸出UI中轉譯的記錄內容
- [SPARK-39448] [SQL]新增
ReplaceCTERefWithRepartition至nonExcludableRules清單 - [SPARK-37961] [SQL]覆寫某些邏輯運算子的 MaxRows/maxRowsPerPartition
- [SPARK-35223] 還原新增問題NavigationLink
- [SPARK-39633] [SQL]使用 Dataframe 選項支援 TimeTravel 的秒數時間戳
- [SPARK-38796] [SQL]使用 {try_} to_number 函式更新數位格式字串的檔
- [SPARK-39650] [SS]修正串流重複數據刪除與回溯相容性中的不正確值架構
- [SPARK-39636] [CORE][UI]修正 JsonProtocol 中的多個錯誤，影響堆積 StorageLevels 和 Task/Executor ResourceRequests
- [SPARK-39432] [SQL]從element_at傳回ELEMENT_AT_BY_INDEX_ZERO（*， 0）
- [SPARK-39349] 為錯誤路徑的 QA 新增集中式 CheckError 方法
- [SPARK-39453] [SQL]DS V2 支援下推非聚合函數（非 ANSI）
- [SPARK-38978] [SQL]DS V2 支援向下推移 OFFSET 運算子
- [SPARK-39567] [SQL]支援百分位數函式中的 ANSI 間隔
- [SPARK-39383] [SQL]支援 ALTER TABLE ALTER COLUMNS 到 V2 資料源中的 DEFAULT 資料行
- [SPARK-39396] [SQL]修正 LDAP 登入例外狀況 「錯誤碼 49 - 無效的認證」
- [SPARK-39548] [SQL]具有 window 子句查詢的 CreateView 命令遇到找不到錯誤的視窗定義問題
- [SPARK-39575] [AVRO] 在 Avr 中新增 ByteBuffer#rewind after ByteBuffer#get...
- [SPARK-39543] 如果後援至 v1，則 DataFrameWriterV2 的選項應該傳遞至記憶體屬性
- [SPARK-39564] [SS]將目錄資料表的信息公開至串流查詢中的邏輯計劃
- [SPARK-39582] [SQL]修正的 「Since」 標記
array_agg - [SPARK-39388][SQL]下推 Orc 述詞時重複使用
orcSchema - [SPARK-39511] [SQL]如果聯結條件是空的，請針對左半/反聯結的右側增強下推本機限制 1
- [SPARK-38614] [SQL]請勿透過使用 percent_rank的視窗下推限制
- [SPARK-39551] [SQL]新增 AQE 無效的計劃檢查
- [SPARK-39383] [SQL]支援 ALTER TABLE 中的 DEFAULT 資料行將 COLUMNS 新增至 V2 資料源
- [SPARK-39538] [SQL]避免建立不必要的 SLF4J 記錄器
- [SPARK-39383] [SQL]手動回送至 DBR 11.x：重構 DEFAULT 資料行支援，以略過傳遞主要分析器
- [SPARK-39397] [SQL]放寬 AliasAwareOutputExpression 以支援具有表達式的別名
- [SPARK-39496] [SQL]在中處理 Null 結構
Inline.eval - [SPARK-39545][SQL]在 Scala 2.13 中覆
ExpressionSet寫concat方法來改善效能 - [SPARK-39340] [SQL]DS v2 agg 下推應該允許最上層數據行名稱中的點
- [SPARK-39488] [SQL]簡化 TempResolvedColumn 的錯誤處理
- [SPARK-38846] [SQL]在 Teradata Numeric Type 與 Spark DecimalType 之間新增明確的數據對應
- [SPARK-39520][SQL]Scala 2.13 中的 Override
--方法ExpressionSet - [SPARK-39470] [SQL]支援將 ANSI 間隔轉換成小數點
- [SPARK-39477] [SQL]從 SQLQueryTestSuite 的黃金檔案中移除「查詢數目」資訊
- [SPARK-39419] [SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
- [SPARK-39061] [SQL]針對輸出屬性正確
Inline設定可為 Null - [SPARK-39320] [SQL]支援聚合函數
MEDIAN - [SPARK-39261] [CORE]改善錯誤訊息的新行格式設定
- [SPARK-39355] [SQL]單一數據行使用引號來建構 UnresolvedAttribute
- [SPARK-39351] [SQL]SHOW CREATE TABLE 應修訂屬性
- [SPARK-37623] [SQL]支援 ANSI 聚合函數：regr_intercept
- [SPARK-39374] [SQL]改善使用者指定資料行清單的錯誤訊息
- [SPARK-39255] [SQL][3.3] 改善錯誤訊息
- [SPARK-39321] [SQL]重構 TryCast 以使用 RuntimeReplaceable
- [SPARK-39406] [PYTHON]接受 createDataFrame 中的 NumPy 陣列
- [SPARK-39267] [SQL]清除 dsl 不必要的符號
- [SPARK-39171] [SQL]統一 Cast 運算式
- [SPARK-28330] [SQL]支援 ANSI SQL：查詢表達式中的結果位移子句
- [SPARK-39203] [SQL]根據資料庫 URI 將數據表位置重寫為絕對 URI
- [SPARK-39313] [SQL]
toCatalystOrdering如果無法翻譯 V2Expression，應該會失敗 - [SPARK-39301] [SQL][PYTHON]利用 Arrow 優化利用 createDataFrame 中的 LocalRelation 和尊重 Arrow 批次大小
- [SPARK-39400] [SQL] spark-sql 在所有情況下都應該移除 hive 資源 dir
維護更新
請參閱 Databricks Runtime 11.1 維護更新。
系統環境
- 操作系統：Ubuntu 20.04.4 LTS
- Java：Zulu 8.56.0.21-CA-linux64
- Scala：2.12.14
- Python：3.9.5
- R：4.1.3
- Delta Lake：1.2.1
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
| 密碼編譯 | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| 筆記本 | 6.4.5 | numpy | 1.20.3 | packaging | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
已安裝的 R 程式庫
R 連結庫會從 2022-08-15 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| 叢集 | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | 遞減 | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | 省略符號 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| 泛型 | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | Lava | 1.6.10 | 生命週期 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 矩陣 | 1.4-1 |
| memoise | 2.0.1 | 方法 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 進度 | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structure | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |