共用方式為

Databricks Runtime 4.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

Databricks 於 2018 年 3 月發行此版本。

重要

此版本已於 2018 年 11 月 1 日淘汰。 如需 Databricks Runtime 淘汰原則和排程的詳細資訊，請參閱 Databricks 支援生命週期。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.0 的相關信息。

變更和改善

  • JSON 數據源現在會嘗試自動偵測編碼，而不是假設它是 UTF-8。 如果自動偵測失敗，用戶可以指定 charset 選項來強制執行特定編碼。 請參閱 Charset 自動偵測。
  • 完全支援在結構化串流中使用Spark MLlib管線進行評分和預測。
  • 完全支援 Databricks ML 模型導出。 透過這項功能，您可以在 Databricks 上定型 Spark MLlib 模型、使用函式呼叫導出它，並在您選擇的系統中使用 Databricks 連結庫來匯入模型並評分新數據。
  • 新的 Spark 數據源實作提供可調整的 Azure Synapse Analytics 讀取/寫入存取權。 請參閱 Spark - Synapse Analytics 連接器。
  • 函式的 from_json 架構現在一律會轉換成可為 Null 的架構。 換句話說，所有欄位，包括巢狀字段，都是可為 Null 的。 這可確保數據與架構相容，在數據中遺漏欄位且使用者提供的架構將欄位宣告為不可為 Null 時，將數據寫入 parquet 之後，防止損毀。
  • 已升級一些已安裝的 Python 連結庫：
    • 期貨：從 3.1.1 到 3.2.0
    • pandas：從 0.18.1 到 0.19.2
    • pyarrow：從 0.4.1 到 0.8.0
    • setuptools：從 38.2.3 到 38.5.1
    • 龍捲風：4.5.2 至 4.5.3
  • 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。
  • 已將 AWS Java SDK 從 1.11.126 升級至 1.11.253。
  • 已將 SQL Server JDBC 驅動程式從 6.1.0.jre8 升級為 6.2.2.jre8。
  • 已將 PostgreSQL JDBC 驅動程式從 9.4-1204-jdbc41 升級為 42.1.4。

Apache Spark

Databricks Runtime 4.0 包含 Apache Spark 2.3.0。

Core、PySpark 和 Spark SQL

主要功能

  • 向量化 ORC 讀取器：[SPARK-16060]：新增對新的 ORC 讀取器的支援，可大幅改善 ORC 掃描輸送量，透過向量化 （2-5x）。 若要開啟讀取器，使用者可以將 設定 spark.sql.orc.impl 為 native。
  • Spark 歷程記錄伺服器 V2： [SPARK-18085]：新的 Spark 歷程記錄伺服器 （SHS） 後端，可為具有更有效率的事件儲存機制，為大規模應用程式提供更好的延展性。
  • 數據源 API V2： [SPARK-15689][SPARK-22386]：用於在 Spark 中插入新數據源的實驗 API。 新的 API 會嘗試解決 V1 API 的數個限制，並旨在協助開發高效能、易於維護且可延伸的外部數據源。 此 API 仍在進行中開發，且應該預期重大變更。
  • PySpark 效能增強功能： [SPARK-22216][SPARK-21187]：快速數據串行化和向量化執行大幅改善 Python 效能和互操作性。

效能與穩定性

其他值得注意的變更

結構化串流

連續處理

  • 新的執行引擎，只要變更一行用戶程序代碼，即可使用子毫秒端對端延遲來執行串流查詢。 若要深入瞭解，請參閱程序設計指南。

Stream-Stream 聯結

  • 能夠聯結兩個數據流，緩衝數據列直到相符的 Tuple 到達另一個數據流為止。 述詞可用於事件時間數據行，以系結需要保留的狀態數量。

串流 API V2

  • 用於插入適用於批次、微批次和連續執行之新來源和接收的實驗 API。 此 API 仍在進行中開發，且應該預期重大變更。

MLlib

重點

  • ML 預測現在可搭配結構化串流使用，並使用更新的 API。 詳細數據如下。

新的和改良的 API

  • [SPARK-21866]：內建支援將影像讀取到數據框架（Scala/Java/Python）。
  • [SPARK-19634]：數據框架函式，用於對向量數據行的描述性摘要統計數據（Scala/Java）。
  • [SPARK-14516]： ClusteringEvaluator 用於微調群集演算法，支援 Cosine 剪影和方形的 Euclidean 剪影計量 （Scala/Java/Python）。
  • [SPARK-3181]：具有中樞遺失的強固線性回歸（Scala/Java/Python）。
  • [SPARK-13969]： FeatureHasher 轉換器（Scala/Java/Python）。
  • 多個功能轉換器的多欄支援：
  • [SPARK-21633] 和 SPARK-21542]：已改善 Python 中自定義管線元件的支援。

新功能

  • [SPARK-21087]： CrossValidator 和 TrainValidationSplit 可以在調整時收集所有模型（Scala/Java）。 這可讓您檢查或儲存所有適合的模型。
  • [SPARK-19357]：中繼演算法 CrossValidator、 TrainValidationSplit支援OneVsRest 平行處理原則 Param，以在平行 Spark 作業中調整多個子模型。
  • [SPARK-17139]：多項羅吉斯回歸的模型摘要（Scala/Java/Python）
  • [SPARK-18710]：在 GLM 中新增位移。
  • [SPARK-20199]：已將 Param 新增 featureSubsetStrategy 至 GBTClassifier 和 GBTRegressor。 使用此功能來子取樣功能可以大幅提升訓練速度;這個選項是的主要 xgboost強度。

其他值得注意的變更

  • [SPARK-22156]：已修正 Word2Vec 反覆 num 項目的學習速率調整。 新的學習速率會設定為符合原始 Word2Vec C 程式代碼，而且應該從定型取得更好的結果。
  • [SPARK-22289]：新增 JSON 對矩陣參數的支援（這已修正在係數上使用界限時使用 ML 持續性 LogisticRegressionModel 的 Bug。
  • [SPARK-22700]： Bucketizer.transform 不正確地卸除包含 NaN的數據列。 當 Param handleInvalid 設定為 「skip」 Bucketizer 時，如果另一個 （不相關） 資料行具有 NaN 值，則會卸除輸入數據行中具有有效值的數據列。
  • [SPARK-22446]：當設定為 「錯誤」時handleInvalid，催化劑優化器有時會擲StringIndexerModel回不正確的「看不見標籤」例外狀況。 由於述詞下推，所以篩選的數據可能會發生這種情況，即使在輸入數據集篩選了無效的數據列之後，也會導致錯誤。
  • [SPARK-21681]：修正了多項羅吉斯回歸的邊緣案例 Bug，當某些特徵具有零變異數時，導致係數不正確。
  • 主要優化：
    • [SPARK-22707]：減少 的 CrossValidator記憶體耗用量。
    • [SPARK-22949]：減少 的 TrainValidationSplit記憶體耗用量。
    • [SPARK-21690]： Imputer 應該使用單一傳遞數據來定型。
    • [SPARK-14371]： OnlineLDAOptimizer 避免針對每個迷你批次收集驅動程序的統計數據。

SparkR

2.3.0 版本中SparkR的主要重點是改善UDF的穩定性，並在現有API周圍新增數個新的SparkR包裝函式：

主要功能

GraphX

優化

  • [SPARK-5484]:P regel 現在會定期檢查點以避免 StackOverflowErrors。
  • [SPARK-21491]：數個地方的效能小改善。

棄用項目

Python

  • [SPARK-23122]： register* 在 PySpark 中 SQLContext 取代 Catalog UDF

MLlib

  • [SPARK-13030]： OneHotEncoder 已被取代，並將在 3.0 中移除。 它已由新的 OneHotEncoderEstimator取代。 OneHotEncoderEstimator 將在 3.0 中重新命名為 OneHotEncoder （但 OneHotEncoderEstimator 會保留為別名）。

行為變更

SparkSQL

  • [SPARK-22036]：如果不可能確切表示法，小數點之間的算術運算預設會傳回捨入值（而不是在舊版中傳回 NULL ）
  • [SPARK-22937]：當所有輸入都是二進位時，SQL elt() 會以二進位形式傳回輸出。 否則，它會以字串的形式傳回。 在舊版中，不論輸入類型為何，它一律會以字串的形式傳回。
  • [SPARK-22895]：如果可能的話，聯結/篩選在第一個不具決定性述詞之後的聯結/篩選條件述詞也會向下推入/通過子運算符。 在舊版中，這些篩選條件不符合述詞下推的資格。
  • [SPARK-22771]：當所有輸入都是二進制時， functions.concat() 會以二進位形式傳回輸出。 否則，它會以字串的形式傳回。 在舊版中，不論輸入類型為何，它一律會以字串的形式傳回。
  • [SPARK-22489]：當任一聯結端可廣播時，我們偏好廣播在廣播提示中明確指定的數據表。
  • [SPARK-22165]：數據分割數據行推斷先前發現不同推斷類型的常見類型不正確。 例如，先前它最後會以 double 類型做為類型和date類型的一般類型double。 現在它會找到這類衝突的正確常見類型。 如需詳細資訊，請參閱移轉指南。
  • [SPARK-22100]：函 percentile_approx 式先前接受 numeric 類型輸入和輸出 double 的類型結果。 現在它支援 date 類型、 timestamp 類型和 numeric 類型作為輸入類型。 結果類型也會變更為與輸入類型相同，這比百分位數更合理。
  • [SPARK-21610]：當參考的數據行只包含內部損毀的記錄數據行時，不允許來自原始 JSON/CSV 檔案的查詢（預設命名 _corrupt_record ）。 相反地，您可以快取或儲存剖析的結果，然後傳送相同的查詢。
  • [SPARK-23421]：由於 Spark 2.2.1 和 2.3.0，當數據源數據表同時有數據分割架構和數據架構中的數據行時，一律會在運行時間推斷架構。 推斷的架構沒有數據分割的數據行。 讀取數據表時，Spark 會遵守這些重疊數據行的數據分割值，而不是儲存在數據源檔案中的值。 在 2.2.0 和 2.1.x 版本中，推斷的架構會分割，但使用者看不到數據表的數據（也就是結果集是空的）。

PySpark

  • [SPARK-19732]： na.fill() 或 fillna 也接受布爾值，並以布爾值取代 Null。 在先前的 Spark 版本中，PySpark 只會忽略它，並傳回原始的數據集/數據框架。
  • [SPARK-22395]：使用 pandas 相關功能需要 pandas 0.19.2 或 uppers，例如 toPandas， createDataFrame 從 pandas DataFrame 等。
  • [SPARK-22395]:p andas 相關功能的時間戳值行為已變更為遵守會話時區，在舊版中會忽略。
  • [SPARK-23328]： df.replace 當 不是字典時to_replace，不允許省略value。 先前， value 在其他情況下可以省略，且預設為 None ，這是反直覺式且容易出錯的情況。

MLlib

  • 重大 API 變更：羅吉斯回歸模型摘要的類別和特徵階層已變更為更簡潔且更能配合多類別摘要的新增。 這是將轉換成 LogisticRegressionTrainingSummary BinaryLogisticRegressionTrainingSummary的用戶程式代碼的重大變更。 用戶應該改用 model.binarySummary 方法。 如需詳細資訊，請參閱 [SPARK-17139]：如需詳細資訊（請注意這是 API @Experimental ）。 這不會影響 Python 摘要方法，這仍然適用於多項式和二進位案例。
  • [SPARK-21806]： BinaryClassificationMetrics.pr()第一個點 （0.0， 1.0） 具有誤導性，而且已被 （0.0， p） 取代，其中精確度 p 符合最低的召回點。
  • [SPARK-16957]：判定樹現在會在選擇分割值時使用加權中點。 這可能會變更模型定型的結果。
  • [SPARK-14657]： RFormula 在沒有攔截的情況下，現在會在編碼字串詞彙時輸出參考類別，以符合原生 R 行為。 這可能會變更模型定型的結果。
  • [SPARK-21027]：中使用的 OneVsRest 預設平行處理原則現在設定為 1（亦即序列）。 在2.2和舊版中，平行處理原則的層級設定為 Scala 中的預設線程集區大小。 這可能會變更效能。
  • [SPARK-21523]：將微風升級至 0.13.2。 這包括強式沃爾夫行搜尋 L-BFGS 中的重要 Bug 修正。
  • [SPARK-15526]：JPMML 相依性現在已著色。
  • 另請參閱「錯誤修正」一節，以瞭解因修正錯誤而產生的行為變更。

已知問題

  • [SPARK-23523][SQL]：規則 OptimizeMetadataOnlyQuery所造成的結果不正確。
  • [SPARK-23406]：串流自我聯結中的 Bug。

維護更新

請參閱 Databricks Runtime 4.0 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.4 LTS
  • Java：1.8.0_151
  • Scala：2.11.8
  • Python：2.7.12（如果使用 Python 3，則為 3.5.2）
  • R：R 3.4.3 版 （2017-11-30）
  • GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
    • 特斯拉司機 375.66
    • CUDA 8.0
    • CUDNN 6.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

Installed R libraries

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 boot 1.3-20
brew 1.0-6 broom 0.4.3 汽車 2.1-6
caret 6.0-77 chron 2.3-51 class 7.3-14
叢集 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.3 DBI 0.7 ddalpha 1.3.1
DEoptimR 1.0-8 遞減 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
Lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 maps 3.2.0 MASS 7.3-48
矩陣 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
方法 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper ZooKeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用的 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52