共用方式為

Databricks Runtime 5.5 LTS (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 版本資訊版本和相容性 (機器翻譯)。

Databricks 於 2019 年 7 月發行此版本。 它於 2019 年 8 月宣佈為長期支援（LTS）。 支援已於 2021 年 7 月 27 日結束。 Databricks Runtime 5.5 外延支援 （EoS） 於 2021 年 7 月 8 日發行，並在 2021 年 12 月之前延長 5.5 支援。 它會使用 Ubuntu 18.04.5 LTS，而不是原始 Databricks Runtime 5.5 LTS 中使用的已取代 Ubuntu 16.04.6 LTS 散發套件。 Ubuntu 16.04.6 LTS 支援已於 2021 年 4 月 1 日停止。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 5.5 的相關信息。

新功能

Azure Databricks 上的 Delta Lake 自動優化

今天，當您將數據寫入雲端記憶體時，您需要壓縮檔案以獲得最佳 I/O 效能。 您必須擔心正確的檔案大小、壓縮檔案的頻率、要使用的叢集大小等等。 為了解決這一類問題，我們很高興宣佈 Azure Databricks 上的 Delta Lake 自動優化正式推出。 在每次寫入 Delta 數據表時，我們都會自動找出正確的檔案大小和精簡檔案，讓您不必擔心優化記憶體配置。 在寫入期間，如果 auto-optimize 選項為 true，Azure Databricks 會自動判斷是否需要優化，並將小型檔案優化。 如需詳細資訊，請參閱 設定 Delta Lake 來控制數據檔大小。

Azure Databricks 上的 Delta Lake 改善了最小值、最大值和計數彙總查詢效能

Azure Databricks 上 Delta Lake 的最小、最大值和計數匯總查詢效能已大幅改善，可減少讀取的數據量。 這些查詢現在會使用元數據中的統計數據和數據分割值來執行，而不是掃描數據。

處理速度更快的模型推斷管線以及已改善的二進位檔案資料來源和純量迭代器 pandas UDF (公開預覽)

機器學習工作，特別是在影像和視訊網域中，通常必須處理大量的檔案。 在 Databricks Runtime 5.4 中，我們已將二進位文件數據源提供給 Spark 數據表，以協助 ETL 任意檔案，例如影像。 在 Databricks Runtime 5.5 中，我們已新增選項 recursiveFileLookup，以遞歸方式從巢狀輸入目錄載入檔案。 請參閱 二進位檔。

二進位檔數據源可讓您使用純量 pandas UDF，從 Spark 數據表平行執行模型推斷工作。 不過，您可能必須為每個記錄批次初始化模型，這會造成額外負荷。 在 Databricks Runtime 5.5 中，我們從 Apache Spark 主機回傳名為 “scalar iterator” 的新 pandas UDF 類型。 透過它，您只能初始化模型一次，並將模型套用至許多輸入批次，這可能會導致 ResNet50 等模型加速 2-3 倍。 請參閱 對純量 UDF 的數列。

R 筆記本中的祕密 API

秘密 API 可讓您將秘密插入筆記本，而不需硬式編碼。 除了 Python 和 Scala 筆記本的現有支援之外，R 筆記本現在也提供此 API。 您可以使用 函 dbutils.secrets.get 式來取得秘密。 在列印至筆記本數據格之前，會先修改秘密。

改善

  • 支援在 Python foreachBatch中執行 Delta Lake SQL 作業：我們已修正無法從 Python 中定義的結構化串流查詢內部 foreachBatch 寫入 Delta 數據表的已知限制。 這在常見的 Python 串流工作負載中很有用;例如， 使用 MERGE 和 foreachBatch 在更新模式中撰寫串流匯總。
  • 儲存在 Azure Data Lake Gen2 中的 Delta 數據表效能：ADLS Gen2 上最新版 Delta 數據表的檢查現在只會檢查事務歷史記錄的結尾，而不是列出所有可用的版本。 此優化可讓 UPDATE 固定時間作業大幅改善延遲。
  • Optimize ZORDER BY的延展性：非常大型差異數據表上的 Z 排序現在會使用較小型的工作單位，這些單位是由進階許可控制所控管。 這項功能可改善此作業的穩定性，而不會犧牲叢集使用率。
  • 改善具有大量數據行之數據表的 DML 命令效能：我們現在在掃描、 DELETE和 MERGE 命令中UPDATE比對數據時，執行更好的數據行剪除。
  • 支援 Spark - Synapse Analytics 連接器中的 VNet + 服務端點設定：我們已將 ADL Gen2 路徑新增至允許清單作為暫存數據位置 （.option("tempDir", "abfss://..."），並新增名為 useAzureMSI的新選項，以使用 ，以防 forward_spark_azure_storage_credentials Synapse Analytics 設定為透過受控識別向 V2 儲存器帳戶進行驗證。
  • 磁碟快取的自動失效：磁碟快取現在會自動偵測快取之後已修改或覆寫的檔案。 任何過時的專案都會自動失效，並從快取收回。 請參閱使用 Azure Databricks 上的快取將效能最佳化。
  • 已將 Python 連結庫轉輪從 0.33.3 升級至 0.33.4。
  • 從 3.1-139 升級為 3.1-140 的 R 連結庫 nlme。

錯誤修正

  • 已修正未執行 Spark 作業的 R 命令取消。 先前，不會執行 Spark 作業的 R 命令可能會取消，但筆記本的狀態將會遺失;命令現在可以取消，而不會遺失筆記本狀態。
  • 卸除或移動Managed數據表現在會使快取的 Delta Lake 記錄失效。
  • 修正了寫入 Delta Lake 檢查點可能會因為 而失敗的錯誤 FileAlreadyExistsException。
  • Scala REPL 現在會設定適當的 -target:jvm-1.8 旗標，以支援呼叫使用 Java 8 功能的 Java 方法。

Apache Spark

Databricks Runtime 5.5 包含 Apache Spark 2.4.3。 此版本包含 Databricks Runtime 5.4 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-24695] 允許 UDF 傳回 CalendarInterval
  • [SPARK-28056] 新增 docstring/doctest for SCALAR_ITER pandas UDF
  • [SPARK-28185] 當 Python UDF 提早停止時關閉產生器
  • [SPARK-24703] 支援間隔乘法
  • [SPARK-27018][CORE]修正在 PeriodicCheckpointer 中不正確的清除檢查點檔案
  • [SPARK-28127][SQL]TreeNode mapChildren 方法上的微優化
  • [SPARK-26038] Decimal toScalaBigInt/toJavaBigInteger for decimals not in long
  • [SPARK-26555][SQL] 讓 ScalaReflection 子類型檢查線程安全
  • [SPARK-28081][ML] 處理 word2vec 中的大型vocab 計數
  • [SPARK-21882][CORE]OutputMetrics 不會在 saveAsHadoopDataset 函式中正確計算寫入的位元組
  • [SPARK-28030] 將 filePath 轉換為二進位檔案數據源中的 URI
  • [SPARK-27803][SQL][PYTHON]修正 Python UDF 的數據行剪除
  • [SPARK-27917][SQL] CaseWhen 物件的正式格式不正確
  • [SPARK-27798][SQL] 當轉換成本機關聯時，from_avro不應該產生相同的值
  • [SPARK-27873][SQL] columnNameOfCorruptRecord 不應該在停用 enforceSchema 時檢查 CSV 標頭中的數據行名稱
  • [SPARK-27907][SQL]HiveUDAF 在 0 個數據列的情況下應該傳回 NULL
  • [SPARK-27699][SQL]在 Parquet/ORC 中部分下推分離述詞
  • [SPARK-27868][CORE]更好的套接字伺服器待辦項目預設值和檔。
  • [SPARK-27869][CORE]從UI修訂系統屬性中的敏感性資訊
  • [SPARK-27863][SQL][BACKPORT-2.4] 元數據檔案和臨時檔不應計入數據檔
  • [SPARK-27657][ML] 修正 ml.util.Instrumentation.logFai 的記錄格式...
  • [SPARK-27858][SQL]修正具有多個非 Null 類型的聯集類型上的 Avro 還原串行化
  • [SPARK-27711][CORE]在工作結束時取消設定 InputFileBlockHolder
  • [SPARK-27351][SQL]AggregateEstimation 之後只有 Null 值數據行的 OutputRows 估計錯誤
  • [SPARK-27539][SQL]修正包含 Null 值的數據行不正確的匯總 outputRows 估計」
  • [SPARK-27800][SQL]修正 BitwiseXor 測試案例的錯誤答案
  • [SPARK-27639][SQL]InMemoryTableScan 會盡可能在 UI 上顯示資料表名稱
  • [SPARK-27726][CORE]修正在高負載下使用 InMemoryStore 時，ElementTrackingStore 刪除的效能
  • [SPARK-27771][SQL]新增群組函式的 SQL 描述（Cube、匯總、群組和grouping_id）
  • [SPARK-27735][SS]剖析間隔字串在 SS 中應該不區分大小寫
  • [SPARK-26856][PYSPARK]from_avro和to_avro API 的 Python 支援
  • [SPARK-26870][SQL]由於 Java 相容性，將to_avro/from_avro移至函式物件
  • [SPARK-26812][SQL]在 Union 中報告複雜數據類型的正確 Null 性
  • [SPARK-27671][SQL]修正從結構中巢狀 Null 轉換時的錯誤
  • [SPARK-27673][SQL]將資訊新增 since 至隨機、regex、Null 運算式
  • [SPARK-27672][SQL]將資訊新增 since 至字串表達式
  • [SPARK-25139][SPARK-18406][CORE]避免 NonFatals 在 PythonRunner 中終止執行程式
  • [SPARK-27624][CORE]修正 CalenderInterval 以正確顯示空白間隔
  • [SPARK-27577][MLLIB]在 BinaryClassificationMetrics 中縮小閾值
  • [SPARK-27621][ML] 線性回歸 - 驗證定型相關參數，例如只有在適配階段才會遺失
  • [SPARK-26048][SPARK-24530] 將所有遺漏的認可都切入 2.4 版本腳本
  • [SPARK-24935][SQL] 支援 INIT - UPDATE ->> MERGE -> Hive UDAF 配接器中的完成

維護更新

請參閱 Databricks Runtime 5.5 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.6 LTS
  • Java：1.8.0_252
  • Scala：2.11.12
  • Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
  • R：R 3.6.0 版 （2019-04-26）
  • GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
    • 特斯拉司機 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

雖然 Apache Spark 2.4 支援 Scala 2.12，但 Databricks Runtime 5.5 不支援它。

本節內容：

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 19.1.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 41.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.4
wsgiref 0.1.2

已安裝的 R 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 askpass 1.1 assertthat 0.2.1
backports 1.1.3 base 3.6.0 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.2.0 汽車 3.0-2
carData 3.0-2 caret 6.0-82 cellranger 1.1.0
chron 2.3-53 class 7.3-15 cli 1.1.0
clipr 0.5.0 clisymbols 1.2.0 叢集 2.0.8
codetools 0.2-16 colorspace 1.4-1 commonmark 1.7
compiler 3.6.0 config 0.3 crayon 1.3.4
curl 3.3 data.table 1.12.0 datasets 3.6.0
DBI 1.0.0 dbplyr 1.3.0 遞減 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 省略符號 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forge 0.2.0 fs 1.2.7 gbm 2.1.5
泛型 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r 0.25.2 glmnet 2.0-16 glue 1.3.1
gower 0.2.0 graphics 3.6.0 grDevices 3.6.0
grid 3.6.0 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0.3
lattice 0.20-38 Lava 1.6.5 lazyeval 0.2.2
littler 0.3.7 lme4 1.1-21 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-5 MASS 7.3-51.1 矩陣 1.2-17
MatrixModels 0.4-1 memoise 1.1.0 方法 3.6.0
mgcv 1.8-28 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-10
nlme 3.1-140 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.3 openxlsx 4.1.0
parallel 3.6.0 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.3 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.14.0
processx 3.3.0 prodlim 2018.04.18 進度 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.2
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.1 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.12 readr 1.3.1
readxl 1.3.1 recipes 0.1.5 rematch 1.0.1
remotes 2.0.2 reshape2 1.4.3 力拓 0.5.16
rlang 0.3.3 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.10 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.4 SparseM 1.77 spatial 7.3-11
splines 3.6.0 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.6.0 stats4 3.6.0
stringi 1.4.3 stringr 1.4.0 survival 2.43-3
sys 3.1 tcltk 3.6.0 TeachingDemos 2.10
testthat 2.0.1 tibble 2.1.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.6.0
usethis 1.4.0 utf8 1.1.4 utils 3.6.0
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.1

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-glue 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-exec-with-glue hive-12679-patch_deploy
maven-trees hive-exec-with-glue hive-exec_shaded
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-encoding 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper ZooKeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap 墊片 0.7.45
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用的 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52