Databricks Runtime 8.4 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
下列版本資訊提供由 Apache Spark 3.1.2 提供之 Databricks Runtime 8.4 和 Databricks Runtime 8.4 Photon 的相關信息。 Databricks 於 2021 年 7 月發行此版本。 Photon 處於 公開預覽狀態。
新功能和改進
Delta Lake 功能和改善
- 差異資料表變更資料摘要 （GA）
- 使用 Databricks Runtime 輕鬆地載入共用的 Delta 數據表
- 更多數據表受益於動態檔案剪除
- 使用自動目標檔案大小微調來提升效能
- 在中指定數據表的更多方式
DeltaTable.forName - 強固的串流多數據表寫入使用
foreachBatch - 已改善特定工作負載中的讀取查詢效能，因為已微調的檢查點
- 建立
GroupState以測試使用者定義的結構化串流函式
差異資料表變更資料摘要 （GA）
Delta 數據表變更數據摘要現已正式推出。 它代表不同數據表版本之間的數據列層級變更。 啟用時，會記錄有關數據表上每個寫入作業之數據列層級變更的其他資訊。 請參閱 在 Azure Databricks 上使用 Delta Lake 變更數據摘要。
使用 Databricks Runtime 輕鬆地載入共用的 Delta 數據表
適用於 Delta Sharing 0.1.0 的 Apache Spark 連接器現在位於 Databricks Runtime 中。 您可以直接使用 spark.read.format("deltaSharing").load(uri) 載入共享資料表，而不需將 Delta Sharing Spark 連接器連結至您的叢集。
更多數據表受益於動態檔案剪除
動態檔案剪除功能已調整為在具有較少檔案的數據表上觸發。 請參閱動態檔案剪除。
使用自動目標檔案大小微調來提升效能
Delta 資料表的目標檔案大小現在會根據數據表大小自動調整。 先前，和 OPTIMIZE ZORDER BY 的目標檔案大小OPTIMIZE是 1GB。 使用以數據表大小為基礎的自動調整，達達數據表最多 2.56TB 會使用 256MB 作為目標大小。 大於 10TB 的數據表會像以前一樣使用 1GB。 這些大小之間的數據表會使用與數據表大小成正比成長的目標大小。
請參閱設定 Delta Lake 來控制資料檔大小。
在中指定數據表的更多方式 DeltaTable.forName
DeltaTable.forName 現在支援使用 delta.`<path>` 來識別數據表。
強固的串流多數據表寫入使用 foreachBatch
現在支援命令內的 foreachBatch() 等冪差異串流寫入。 如需詳細資訊，請參閱 等冪多數據表寫入。
已改善特定工作負載中的讀取查詢效能，因為已微調的檢查點
Delta Lake 現在會調整其執行增強檢查點的頻率。 Delta 現在會根據特定事件觸發程式動態調整檢查點頻率，而不是以固定間隔進行檢查點檢查。 這可改善無法套用某些數據略過優化之工作負載中的讀取查詢效能。 若要使用這些優化，請將寫入 Delta Lake 的作業升級至 Databricks Runtime 8.4。 請參閱 啟用結構化串流查詢的增強檢查點。
建立 GroupState 以測試使用者定義的結構化串流函式
到目前為止，只有結構化串流引擎可以建立的 GroupState實例。 因此，任何使用者定義函式的單元測試都需要在 Apache Spark 中執行串流查詢。
現在您可以使用 來建立的GroupStateTestGroupState.create(…)實例。 這可讓您在不需要執行 Spark 的簡單單元測試中測試使用者定義的函式。 請參閱 測試 mapGroupsWithState 更新函式。 具體來說，它會產生 類型的 TestGroupState 實例，其會使用其他方法來擴充 介面 GroupState ，以在套用使用者定義函式之後反省內部狀態。
自動載入器功能和改善
設定回填以擷取遺漏的檔案
自動載入器現在支援以異步方式執行回填，以擷取任何可能遺漏檔案通知的檔案。 檔案儲存系統和通知系統無法保證所有檔案事件的 100% 傳遞。 因此，Databricks 建議啟用定期回填，以使用自動載入器擷取所有數據。 cloudFiles.backfillInterval使用 選項來排程定期回填數據。 請參閱 常見的自動載入器選項。
大型磁碟區數據流的系結記憶體使用量
您現在可以將自動載入器設定為過期，並移除 RocksDB 中的專案，使其儲存空間系結在檢查點位置。 除非您以每小時數百萬個檔案的順序擷取數據，否則不建議您使用 Databricks。 設定此選項不正確或嘗試微調，可能會導致許多數據質量問題，例如未處理的檔案被忽略或重複某些檔案，而不是只處理一次。 如需詳細資訊，請參閱 事件保留。
使用無路徑支援簡化的設定
S3 貯體
您現在可以提供 SQS 佇列，以接收來自多個路徑或 S3 貯體的事件。
如果您提供 SQS 佇列 URL， path 則此使用案例不需要選項。
自動載入器會使用 S3 事件中的貯體和索引鍵來建構 S3 路徑。 如果您想要透過 DBFS 裝入點讀取檔案，您可以使用 cloudFiles.pathRewrites 將路徑前置詞變更為 DBFS。 除非您使用 存取不同帳戶 AssumeRole中的數據，否則不需要此專案。
請參閱 檔案通知選項。
Azure Data Lake Storage Gen2 容器
您現在可以提供從多個容器接收事件的 Azure 佇列。
如果您提供 Azure 佇列名稱， path 則不需要選項。
根據預設，自動載入器會使用檔案事件中的容器和密鑰來建構 Azure Data Lake Storage Gen2 路徑。
如果您想要使用 WASB 路徑或 DBFS 裝入點，您可以使用 cloudFiles.pathRewrites 來變更路徑前置詞。
請參閱 檔案通知選項。
連接器升級
- Snowflake Spark 連接器已更新為 v2.9.0。
- Redshift 連接器的 語句現在支援
UNLOADKMS 加密。
錯誤修正
- 已修正使用數據表訪問控制啟用的叢集問題，即使使用者沒有檔案訪問許可權，也可以
select * from folder顯示資料夾內容。 - 非系統管理員資料庫擁有者現在可以卸除資料庫中的非擁有數據表。 這會修正資料庫擁有者在資料庫中不存在非擁有數據表時，無法卸除資料庫的問題。
連結庫升級
- 升級的 Python 連結庫：
- 認證從 2020.12.5 升級至 2021.5.30
- 從 0.3.1 升級至 0.3.2
- koalas 從 1.8.0 升級至 1.8.1
- protobuf 從 3.17.0 升級至 3.17.3
- 升級的 R 連結庫：
- base 從 4.0.4 到 4.1.0
- 從 1.3-27 開機到 1.3-28
- 類別從 7.3-18 到 7.3-19
- 從 2.1.1 到 2.1.2 的叢集
- 編譯程式從 4.0.4 到 4.1.0
- 從 4.0.4 到 4.1.0 的數據集
- 從 4.0.4 到 4.1.0 的圖形
- grDevices 從 4.0.4 到 4.1.0
- 從 4.0.4 到 4.1.0 的方格
- 從 2.23-18 到 2.23-20 的 KernSmooth
- 從 0.20-41 到 0.20-44 的格子
- MASS 從 7.3-53.1 到 7.3-54
- 從 1.3-2 到 1.3-3 的矩陣
- 從 4.0.4 到 4.1.0 的方法
- mgcv 從 1.8-33 到 1.8-35
- nnet 從 7.3-15 到 7.3-16
- 平行從 4.0.4 到 4.1.0
- 從 1.8-7 到 1.8-8 的 Rserve
- 從 3.1.1 到 3.1.2 的 SparkR
- 從 4.0.4 到 4.1.0 的曲線
- 從 4.0.4 到 4.1.0 的統計數據
- stats4 從 4.0.4 到 4.1.0
- 從 3.2-7 到 3.2-11 的生存
- tcltk 從 4.0.4 到 4.1.0
- 從 4.0.4 到 4.1.0 的工具
- utils from 4.0.4 to 4.1.0
- 升級的 Java 程式庫：
- snowflake-jdbc 從 3.12.8 到 3.13.3
- spark-snowflake_2.12，從 2.8.1-spark_3.0 到 2.9.0-spark_3.1
- 從 0.9.0 到 0.9.14 的咆哮Bitmap
- 填充碼從 0.9.0 到 0.9.14
- rocksdbjni fromm 6.2.2 to 6.20.3
Apache Spark
Databricks Runtime 8.4 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 8.3 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-35792] [SQL]檢視不應該擷取中使用的設定
RelationConversions - [SPARK-35700] [SQL]讀取由外部系統建立和寫入的char/varchar orc資料表
- [SPARK-35636] [SQL]Lambda 索引鍵不應在 Lambda 函式外部參考
- [SPARK-35800] [櫻桃選擇]藉由介紹 TestGroupState 來改善 GroupState 測試性
- [SPARK-35391] 修正 ExecutorAllocationListener 中的記憶體流失
- [SPARK-35799] [CherryPick]修正 FlatMapGroupsWithStateExec 中測量 allUpdatesTimeMs 計量
- [SPARK-35763] [SS]拿掉 StateStoreCustomMetric 子類別列舉相依性
- [SPARK-35791 [SQL] 針對 NULL 感知 ANTI 聯結正確發行進行中對應
- [SPARK-35695] [SQL]從快取和自適性執行子樹收集觀察到的計量
- [SPARK-35767] [SQL]避免在 CoalesceExec 中執行子計劃兩次
- [SPARK-35746] [UI]修正階段頁面工作事件時程表中的 taskid
- [SPARK-35673] [SQL]修正子查詢中使用者定義的提示和無法辨識的提示。
- [SPARK-35714] [CORE]在執行程式關機期間修正死結的錯誤
- [SPARK-35689] [SS]當 keyWithIndexToValue 傳回 Null 值時新增記錄警告
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint 不應該在更新期間忽略僅限索引的隨機檔案
- [SPARK-35643] [PYTHON]修正 functions.py 資料行中的模棱兩可參考（）
- [SPARK-35652] [SQL] joinWith 上產生自相同數據表的兩個數據表
- [SPARK-35679] [SQL] instantToMicros 溢位
- [SPARK-35602] [SS]更新狀態架構以接受長長度 JSON
- [SPARK-35653] [SQL]修正 Map 的 CatalystToExternalMap 解譯路徑失敗，且案例類別為索引鍵或值
- [SPARK-35296] [SQL]即使工作中的 CollectMetricsExec 處理多個分割區，也允許 Dataset.觀察運作。
- [SPARK-35659] [SS]避免將 Null 寫入 StateStore
- [SPARK-35665] [SQL]解決 CollectMetrics 中未解決的Alias
- [SPARK-35558] 優化多分位數擷取
- [SPARK-35621] [SQL]將規則標識碼剪除新增至 TypeCoercion 規則
- [SPARK-35077] [SQL]移轉至轉換針對剩餘優化器規則進行轉換WithPruning
- [SPARK-35610] [CORE]修正執行程式停止關機攔截所引進的記憶體流失
- [SPARK-35544] [SQL]將樹狀結構模式剪除新增至分析器規則
- [SPARK-35566] [SS]修正 StateStoreRestoreExec 輸出數據列
- [SPARK-35454] [SQL][3.1] One LogicalPlan 可以比對多個數據集標識碼
- [SPARK-35538] [SQL]移轉 transformAllExpressions 呼叫月臺以使用 transformAllExpressionsWithPruning
- [SPARK-35106] [Core][SQL]避免因為目的地目錄不存在而導致的重新命名失敗
- [SPARK-35287] [SQL]允許 RemoveRedundantProjects 保留 ProjectExec，這會產生 DataSourceV2ScanRelation 的 UnsafeRow
- [SPARK-35495] [R] 變更 CRAN 的 SparkR 維護工具
- [SPARK-27991] [CORE]延遲 Netty OOM 上的擷取要求
- [SPARK-35171] [R] 將 Markdown 套件宣告為 SparkR 套件的相依性
- [SPARK-35454] [SQL]一個 LogicalPlan 可以比對多個數據集標識碼
- [SPARK-35298] [SQL]移轉至 Optimizer.scala 中規則的 transformWithPruning
- [SPARK-35480] [SQL]讓percentile_approx使用樞紐
- [SPARK-35093] [SQL]AQE 現在使用 newQueryStage 方案作為查詢快取交換以供重複使用的密鑰
- [SPARK-35146] [SQL]移轉至 transformWithPruning 或 resolveWithPruning，以取得 finishAnalysis.scala 中的規則
- [SPARK-35411] [SQL]將 TreeNode 串行化為 json 時新增基本資訊
- [SPARK-35294] [SQL]在優化器下，使用專用檔案在規則中新增樹狀結構周遊剪除
- [SPARK-34897] [SQL][3.1] 支援在巢狀數據行剪除之後根據索引協調架構
- [SPARK-35144] [SQL]移轉至轉換物件規則的 TransformWithPruning
- [SPARK-35155] [SQL]將規則識別碼剪除新增至分析器規則
- [SPARK-35382] [PYTHON]修正 Python API 中巢狀 DataFrame 函式中的 Lambda 變數名稱問題。
- [SPARK-35359] [SQL]當數據長度超過長度限制時，使用 char/varchar 數據類型插入數據將會失敗
- [SPARK-35381] [R] 修正 R API 中巢狀較高順序函式中的 Lambda 變數名稱問題
系統環境
- 操作系統：Ubuntu 18.04.5 LTS
- Java：Zulu 8.54.0.21-CA-linux64
- Scala：2.12.10
- Python：3.8.8
- R： 4.1.0 （2021-05-18）
- Delta Lake 1.0.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| 密碼編譯 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
已安裝的 R 程式庫
R 連結庫會從 2020-11-02 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | 叢集 | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credentials | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| datasets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| 遞減 | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 省略符號 | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | 泛型 | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| Lava | 1.6.8.1 | lazyeval | 0.2.2 | 生命週期 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | 矩陣 | 1.3-3 |
| memoise | 1.1.0 | 方法 | 4.1.0 | mgcv | 1.8-35 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 進度 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.咖啡因 | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | HttpClient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | ZooKeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | 墊片 | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |