Databricks Runtime 4.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
Databricks 於 2018 年 5 月發行此版本。
重要
此版本已於 2019 年 1 月 17 日被取代。 如需 Databricks Runtime 淘汰原則和排程的詳細資訊，請參閱 Databricks 支援生命週期。
下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.1 的相關信息。
Delta Lake
Databricks Runtime 4.1 版會將主要質量改進和功能新增至 Delta Lake。 Databricks 強烈建議所有 Delta Lake 客戶升級至新的運行時間。 此版本仍為私人預覽版，但代表即將推出正式發行的候選版本。
Delta Lake 現在也適用於 Azure Databricks 使用者的私人預覽版。 請聯絡您的帳戶管理員，或在 https://databricks.com/product/databricks-delta 註冊。
重大變更
Databricks Runtime 4.1 包含交易通訊協議的變更，以啟用新功能，例如驗證。 使用 Databricks Runtime 4.1 建立的數據表會自動使用新版本，而且無法由舊版 Databricks Runtime 寫入。 您必須升級現有的數據表，才能利用這些改進功能。 若要升級現有的數據表，請先升級寫入數據表的所有作業。 然後執行：
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")如需詳細資訊，請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？
寫入現在會根據數據表的目前架構進行驗證，而不是自動新增目的地數據表中遺漏的數據行。 若要開啟先前的行為，請將
mergeSchema選項設定為true。如果您執行的是舊版的 Databricks Delta，您必須先升級所有作業，才能使用 Databricks Runtime 4.1。 如果您看到上述任一錯誤，請升級至 Databricks Runtime 4.1：
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchError數據表不能再有只有大小寫不同的數據行。
差異特定的數據表組態現在必須加上前置詞
delta.
新功能
架構管理 - Databricks Delta 現在會驗證現有數據表的附加和覆寫，以確保寫入的架構符合架構。
- Databricks Delta 會繼續支援自動架構演進。
- Databricks Delta 現在支援下列 DDL 來明確修改架構：
ALTER TABLE ADD COLUMN將新數據行新增至數據表ALTER TABLE CHANGE COLUMNS變更數據行順序ALTER TABLE [SET|UNSET] TBLPROPERTIES
如需詳細資訊，請參閱 架構強制執行。
增強的 DDL 和數據表支援
- 數據表 DDL 和
saveAsTable()的完整支援。save()和saveAsTable()現在具有相同的語意。 - 所有 DDL 與 DML 命令都支援資料表名稱與
delta.`<path-to-table>`。 SHOW PARTITIONSSHOW COLUMNSDESC TABLE- 詳細的數據表資訊 - 您可以執行
DESCRIBE DETAIL來檢視資料表目前的讀取器和寫入器版本。 請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？。 - 數據表詳細數據 - 源數據現在可供每個寫入數據表使用。 數據提要欄位也會顯示 Databricks Delta 數據表的詳細數據表資訊和歷程記錄。 如需詳細數據，請參閱 檢閱 Delta Lake 數據表詳細數據。
- 串流數據表 - 您可以使用 來建立
spark.readStream.format("delta").table("<table-name>")串流資料框架。 - 僅限附加數據表 - Databricks Delta 現在支援基本數據控管。 您可以藉由設定 table 屬性
delta.appendOnly=true來封鎖資料表的刪除和修改。 MERGE INTOsource - 將更全面的支援新增至 的來源查詢規格MERGE。 例如，您可以在來源中指定LIMIT和ORDER BYINLINE TABLE。- 數據表 ACL 的完整支援。
- 數據表 DDL 和
效能改善
- 減少統計數據收集額外負荷 - 統計數據集合的效率已改善，而且統計數據現在只會針對可設定的數據行數目收集，預設會設定為 32。 由於統計數據收集額外負荷降低，Databricks Delta 寫入效能已提升高達 2 倍。 若要設定資料列數目，請設定 資料表屬性
delta.dataSkippingNumIndexedCols=<number-of-columns>。 - 限制下推的支援 - 統計數據可用來限制針對具有數據分割數據行和述詞的查詢
LIMIT掃描的檔案數目。 這適用於筆記本中的查詢，因為所有筆記本命令的隱含limit=1000作用。 - 篩選串流來源中的下推 - 串流查詢現在會在啟動新數據流時使用數據分割來略過不相關的數據。
- 改善的
OPTIMIZE-OPTIMIZE平行處理原則現在會以單一Spark工作的形式執行，並將使用叢集上可用的所有平行處理原則（先前一次限制為100個壓縮檔）。 - DML -
UPDATE、DELETE和MERGE中的數據在尋找需要重寫的檔案時，現在會使用統計數據。 - 減少檢查點保留 - 檢查點現在會保留兩天（歷程記錄仍保留 30 次），以減少事務歷史記錄的記憶體成本。
API 行為
- Databricks Delta 中 的行為
insertInto(<table-name>)與其他數據源相同。- 如果未指定任何模式，或
mode為ErrorIfExists、Ignore或Append，會將 DataFrame 中的數據附加至 Databricks Delta 數據表。 - 如果
mode為Overwrite，則會刪除現有數據表中的所有數據，並將 DataFrame 中的數據插入 Databricks Delta 數據表。
- 如果未指定任何模式，或
- 如果快取，則必須手動取消快取 的
MERGE目的地數據表。
使用性增強功能
- 工作負載移轉驗證 - 將工作負載移轉至 Databricks Delta 時所犯的常見錯誤現在會擲回例外狀況，而不是失敗：
- 使用
format("parquet")來讀取或寫入數據表。 - 直接讀取或寫入數據分割（也就是
/path/to/delta/part=1）。 - 清理數據表的子目錄。
INSERT OVERWRITE DIRECTORY在數據表上使用 Parquet。
- 使用
- 不區分大小寫的設定 - DataFrame 讀取器/寫入器和數據表屬性的選項現在不區分大小寫（包括讀取路徑和寫入路徑）。
- 數據列名稱 - 資料表資料列名稱現在可以包含點。
已知問題
- 多插入語句的插入位於不同的工作單位中，而不是相同的交易。
錯誤修正
- 在快速更新數據表上啟動新數據流時，已修正無限迴圈。
棄用項目
結構化串流不會處理不是附加的輸入，如果在做為來源的數據表上發生任何修改，則會擲回例外狀況。 您先前可以使用 旗標覆寫此行為 ignoreFileDeletion ，但現在已被取代。 請改用 ignoreDeletes 或 ignoreChanges。 請參閱 Delta 數據表作為來源。
其他變更和改善
- 查詢監看程式 會針對使用UI建立的所有用途叢集啟用。
- 改善 DBIO 快取的驅動程式端效能
- 透過新的原生 Parquet 譯碼器改善 Parquet 譯碼器的效能
- 改善常見子表達式消除的效能
- 改善大型資料表聯結小型資料表的數據略過效能（事實維度數據表聯結）
display()現在會將包含影像數據類型的數據行轉譯為豐富的 HTML。- 記錄、載入、註冊及部署 MLflow 模型的改善
- 已將 dbml-local 升級至最新版本 0.4.1
- 已修正使用
threshold指定參數導出的模型 Bug - 已新增導出
OneVsRestModel的支援，GBTClassificationModel
- 已升級一些已安裝的 Python 連結庫：
- pip：從 9.0.1 到 10.0.0b2
- setuptools：從 38.5.1 到 39.0.1
- 龍捲風：4.5.3 至 5.0.1
- wheel：0.30.0 至 0.31.0
- 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。
- 已將 Azure Data Lake Store SDK 從 2.0.11 升級至 2.2.8。
- 將 CUDA 從 8.0 升級至 9.0，並將 CUDNN 從 6.0 升級至 7.0 的 GPU 叢集。
Apache Spark
Databricks Runtime 4.1 包含 Apache Spark 2.3.0。 此版本包含 Databricks Runtime 4.0 （EoS） 中包含的所有修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-24007][SQL]FloatType 和 DoubleType 的 EqualNullSafe 可能會由 codegen 產生錯誤的結果。
- [SPARK-23942][PYTHON][SQL]將 PySpark 中收集為查詢執行程式接聽程式的動作
- [SPARK-23815][CORE]Spark 寫入器動態數據分割覆寫模式可能無法在多層級分割區上寫入輸出
- [SPARK-23748][SS]修正 SS 連續程式不支援 SubqueryAlias 問題
- [SPARK-23963][SQL]在以文字為基礎的Hive數據表上正確處理查詢中的大量數據行
- [SPARK-23867][SCHEDULER] 在 logWarning 中使用 dropdCount
- [SPARK-23816][CORE]已終止的工作應該忽略 FetchFailures。
- [SPARK-23809][SQL]Active SparkSession 應該由 getOrCreate 設定
- [SPARK-23966][SS]重構通用 CheckpointFileManager 介面中寫入邏輯的所有檢查點檔案
- [SPARK-21351][SQL]根據子系輸出更新可為 Null
- [SPARK-23847][PYTHON][SQL]將asc_nulls_first、asc_nulls_last新增至 PySpark
- [SPARK-23822][SQL]改善 Parquet 架構不相符的錯誤訊息
- [SPARK-23823][SQL]在 transformExpression 中保留原始來源
- [SPARK-23838][WEBUI]在 [SQL] 索引標籤中，執行中的 SQL 查詢會顯示為「已完成」
- [SPARK-23802][SQL]PropagateEmptyRelation 可能會讓查詢計劃處於未解析的狀態
- [SPARK-23727][SQL]支援在 parquet 中推送 DateType 的篩選
- [SPARK-23574][SQL]當 DataSourceV2ScanExec 中只有 1 個數據讀取器處理站時，報表 SinglePartition。
- [SPARK-23533][SS]新增變更 ContinuousDataReader startOffset 的支援
- [SPARK-23491][SS]從 ContinuousExecution 重新設定移除明確的作業取消
- [SPARK-23040][CORE]傳回隨機讀取器的可中斷反覆運算器
- [SPARK-23827][SS]StreamingJoinExec 應該確保輸入數據分割成特定數目的數據分割
- [SPARK-23639][SQL]在SparkSQL CLI中的 init 中繼存放區用戶端之前取得令牌
- [SPARK-23806]Broadcast.unpersist 可在使用時造成嚴重例外狀況...
- [SPARK-23599][SQL]在 Uuid 運算式中使用 RandomUUIDGenerator
- [SPARK-23599][SQL]從虛擬隨機數新增 UUID 產生器
- [SPARK-23759][UI]無法將Spark UI系結至特定的主機名/IP
- [SPARK-23769][CORE]拿掉不必要地停用 Scalastyle 檢查的批注
- [SPARK-23614][SQL]修正使用快取時不正確的重複使用交換
- [SPARK-23760][SQL]CodegenContext.withSubExprEliminationExprs 應該正確儲存/還原 CSE 狀態
- [SPARK-23729][CORE]解析 Glob 時尊重 URI 片段
- [SPARK-23550][CORE] 清除 Utils
- [SPARK-23288][SS]修正含 parquet 接收的輸出計量
- [SPARK-23264][SQL]修正 scala。literals.sql.out 中的 MatchError
- [SPARK-23649][SQL]略過UTF-8中不允許的字元
- [SPARK-23691][PYTHON]盡可能在 PySpark 測試中使用sql_conf公用程式
- [SPARK-23644][CORE][UI]在 SHS 中使用 REST 呼叫的絕對路徑
- [SPARK-23706][PYTHON] spark.conf.get（value， default=None） 應該在 PySpark 中產生 None
- [SPARK-23623][SS]避免在 CachedKafkaConsumer 中同時使用快取取用者
- [SPARK-23670][SQL]修正 SparkPlanGraphWrapper 上的記憶體流失
- [SPARK-23608][CORE][WEBUI]在 attachSparkUI 和 detachSparkUI 函式之間新增 SHS 中的同步處理，以避免 Jetty 處理程式發生並行修改問題
- [SPARK-23671][CORE]修正條件以啟用 SHS 線程集區。
- [SPARK-23658][LAUNCHER]InProcessAppHandle 在 getLogger 中使用錯誤的類別
- [SPARK-23642][DOCS]AccumulatorV2 子類別 isZero scaladoc 修正
- [SPARK-22915][MLLIB]spark.ml.feature 的串流測試，從 N 到 Z
- [SPARK-23598][SQL]將 BufferedRowIterator 中的方法設為公用，以避免大型查詢的運行時間錯誤
- [SPARK-23546][SQL]重構 CodegenContext 中的無狀態方法/值
- [SPARK-23523][SQL]修正規則 OptimizeMetadataOnlyQuery 所造成的不正確結果
- [SPARK-23462][SQL] 改善 StructType 中的遺漏字段錯誤訊息
- [SPARK-23624][SQL]修訂 Datasource V2 中方法 pushFilters 的檔
- [SPARK-23173][SQL]避免在從 JSON 載入數據時建立損毀的 parquet 檔案
- [SPARK-23436][SQL]只有當數據分割可以轉換成 Date 時，才會將分割區推斷為 Date
- [SPARK-23406][SS]啟用串流自我聯結
- [SPARK-23490][SQL]使用 CreateTable 中的現有數據表檢查 storage.locationUri
- [SPARK-23524]不應該檢查大型本機隨機區塊是否有損毀。
- [SPARK-23525][SQL]支援外部 Hive 資料表的 ALTER TABLE CHANGE COLUMN COMMENT
- [SPARK-23434][SQL]Spark 不應該警告 HDFS 檔案路徑的元數據目錄
- [SPARK-23457][SQL]先在 ParquetFileFormat 中註冊工作完成接聽程式
- [SPARK-23329][SQL]修正三角函數的檔
- [SPARK-23569][PYTHON]允許pandas_udf使用 python3 樣式型別批注函式
- [SPARK-23570][SQL]在HiveExternalCatalogVersionsSuite 中新增Spark 2.3.0
- [SPARK-23517][PYTHON]將 _pyspark.util。 exception_message Py4JJavaError 從 Java 端產生追蹤
- [SPARK-23508][CORE]修正 BlockmanagerId 以防 blockManagerIdCache 造成 oom
- [SPARK-23448][SQL]釐清檔中的 JSON 和 CSV 剖析器行為
- [SPARK-23365][CORE]請勿在終止閑置執行程式時調整 num 執行程式。
- [SPARK-23438][DSTREAMS]修正驅動程序當機時的 DStreams 資料遺失
- [SPARK-23475][UI]顯示也略過階段
- [SPARK-23518][SQL]當使用者只想要讀取和寫入數據框架時，請避免中繼存放區存取
- [SPARK-23406][SS]啟用串流自我聯結
- [SPARK-23541][SS]允許 Kafka 來源以比發行項分割區數目更大的平行處理原則讀取數據
- [SPARK-23097][SQL][SS]將文字套接字來源移轉至 V2
- [SPARK-23362][SS]將 Kafka Microbatch 來源遷移至 v2
- [SPARK-23445]ColumnStat 重構
- [SPARK-23092][SQL]將 MemoryStream 遷移至 DataSourceV2 API
- [SPARK-23447][SQL]Cleanup codegen template for Literal
- [SPARK-23366]改善 ReadAheadInputStream 中的經常性讀取路徑
- [SPARK-22624][PYSPARK]公開範圍分割隨機顯示
維護更新
請參閱 Databricks Runtime 4.1 維護更新。
系統環境
- 操作系統：Ubuntu 16.04.4 LTS
- Java：1.8.0_162
- Scala：2.11.8
- Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
- R：R 3.4.4 版 （2018-03-15）
- GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
- 特斯拉司機 375.66
- CUDA 9.0
- cuDNN 7.0
已安裝的 Python 連結庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密碼編譯 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.0b2 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | 沖刷 | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.0 |
| wsgiref | 0.1.2 |
已安裝的 R 連結庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | 汽車 | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| 叢集 | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | 遞減 | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-69 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| Lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-49 | 矩陣 | 1.2-13 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | 方法 | 3.4.4 | mgcv | 1.8-23 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| 力拓 | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.41-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlet | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收集器 | 0.7 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | Avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | HttpClient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | ZooKeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | 澤西-瓜瓦 | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |