共用方式為

Databricks Runtime 9.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.1.2 提供之 Databricks Runtime 9.0 和 Databricks Runtime 9.0 Photon 的相關信息。 Databricks 於 2021 年 8 月發行此版本。 Photon 處於 公開預覽狀態。

修正

舊版的版本資訊錯誤地指出Apache Parquet相依性已從1.10升級至1.12。 事實上，Parquet 相依性會維持在 1.10 版。 已移除不正確的版本附註。

新功能和改進

資料集摘要統計數據的新 API （公開預覽）

Databricks Utilities 中的新 dbutils.data.summarize 命令可讓您啟動 Spark 作業，以自動計算 Spark DataFrame 數據行上的摘要統計數據，然後以互動方式顯示結果。 此函式可在 Scala 和 Python 中使用。 請參閱 資料公用程式 （dbutils.data） 。

Azure Synapse 連接器的較容易外部數據源組態

Azure Synapse Analytics 連接器中查詢數據的新externalDataSource選項可讓您使用預先布建的外部數據源從 Azure Synapse 資料庫讀取。 選項 externalDataSource 會移除先前所需許可權的需求 CONTROL 。

設定 externalDataSource時，外部數據源和 tempDir 用來設定暫存記憶體的選項必須參考記憶體帳戶中的相同容器。

選擇性地將會話限制為 Amazon Redshift 連接器的指定持續時間

使用 Azure Databricks 連接器查詢 Amazon Redshift 中的新fs.s3a.assumed.role.session.duration選項可讓您選擇性地設定會話的持續時間，當 Redshift 存取具有假設角色的暫存 S3 貯體時。

自動載入器

優化檔案清單

自動載入器優化可在雲端記憶體中列出巢狀目錄時提供效能改善和節省成本，包括 AWS S3、Azure Data Lake Storage Gen2（ADLS Gen2）和 Google 雲端記憶體 （GCS）。

例如，如果您將檔案上傳為 /some/path/YYYY/MM/DD/HH/fileName，以尋找這些目錄中的所有檔案，則自動載入器會用來平行列出所有子目錄，導致每年目錄的 365 （每天） * 24 （每小時） = 8760 LIST API 目錄呼叫基礎記憶體。 透過從這些記憶體系統接收扁平化回應，自動載入器可減少記憶體系統中檔案數目的 API 呼叫數目，除以每個 API 呼叫傳回的結果數目（針對 S3 為 1000、ADLS Gen2 為 5000，以及 GCS 為 1024），大幅降低您的雲端成本。

優化影像數據記憶體

自動載入器現在可以自動偵測正在擷取的影像數據，並將其儲存在 Delta 數據表中優化，以改善讀取和寫入效能。 請參閱 將影像或二進位數據內嵌至 Delta Lake for ML。

二進位檔的影像縮圖 （公開預覽）

binaryFile使用自動載入器載入或儲存為差異數據表格式的影像已附加批注，以便在您在 Azure Databricks 筆記本中顯示資料表時，影像縮圖會出現。 如需詳細資訊，請參閱 影像。

DirectoryRename 事件可啟用多個檔案的不可部分完成處理

在 Azure Data Lake Storage Gen2 上的 Databricks Runtime 9.0 和更新版本中建立的自動載入器串流會設定檔案事件通知，以包含目錄重新命名和接聽 RenameDirectory 事件。 您可以使用目錄重新命名，讓多個檔案以不可部分完成的方式顯示至自動載入器。

SQL

排除中的數據行 （ SELECT * 公開預覽）

SELECT * 現在支持 EXCEPT 關鍵詞，可讓您從展開中排除指定的最上層數據行。 例如， SELECT * EXCEPT (b) FROM tbl 從架構 (a, b, c) 的數據表展開至 (a, c)。

SQL 純量函式 （公開預覽）

CREATE FUNCTION 現在支援 SQL 純量函式。 您可以建立採用一組自變數並傳回單一純量型別值的純量函式。 SQL 函式主體可以是任何表達式。 例如：

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

如需詳細資訊，請參閱 CREATE FUNCTION （SQL 和 Python） 。

在子查詢中 FROM 參考上述別名和資料列 （公開預覽）

查詢子句中的 FROM 子查詢現在前面可以加上 LATERAL 關鍵詞，以便參考上述 FROM 專案中的別名和數據行。 例如：

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

關鍵字 LATERAL 支援 INNER、 CROSS與 LEFT (OUTER) JOIN。

請參閱 參數 和 參數。

R 支援

筆記本範圍的 R 連結庫 （公開預覽）

筆記本範圍的連結庫可讓您安裝連結庫，並建立範圍設定為筆記本會話的環境。 這些連結庫不會影響在相同叢集上執行的其他筆記本。 驅動程式和背景工作節點上都有連結庫可供使用，因此您可以在使用者定義函式中參考它們。 請參閱 筆記本範圍的 R 連結庫。

R 筆記本中的警告訊息

選項的 warn 預設值現在設定為 R 筆記本內的 1。 因此，所有警告現在都會公開為命令結果的一部分。 若要深入瞭解選項 warn ，請參閱 選項設定。

為結構化串流具狀態處理指定初始狀態，以避免重做

您現在可以使用 [flat]MapGroupsWithState 運算符，為結構化串流具狀態處理指定使用者定義的初始狀態。

請參閱 指定 mapGroupsWithState 的初始狀態。

Delta MERGE INTO 命令的低隨機實作現已推出 （公開預覽）

Delta MERGE INTO 命令有新的可用實作，可減少未修改數據列的隨機顯示。 這可改善命令的效能，並協助在數據表上保留現有的叢集，例如 Z 排序。 若要啟用低隨機合併，請將 設定 spark.databricks.delta.merge.enableLowShuffle 為 true。 請參閱 Azure Databricks 上的低隨機合併。

錯誤修正

  • 您無法再建立具有相同名稱的檢視來覆寫檢視。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 2021.5.30 到 2020.12.5 的認證
    • chardet 從 3.0.4 到 4.0.0
    • Cython 從 0.29.21 到 0.29.23
    • 裝飾專案從 4.4.2 到 5.0.6
    • 從 7.19.0 到 7.22.0 的 ipython
    • joblib 從 0.17.0 到 1.0.1
    • jupyter-client 從 6.1.7 到 6.1.12
    • 從 4.6.3 到 4.7.1 的 jupyter-core
    • kiwisolver 從 1.3.0 到 1.3.1
    • matplotlib 從 3.2.2 到 3.4.2
    • pandas from 1.1.5 to 1.2.4
    • pip 從 20.2.4 到 21.0.1
    • prompt-toolkit 從 3.0.8 到 3.0.17
    • protobuf 從 3.17.3 到 3.17.2
    • ptyprocess 從 0.6.0 到 0.7.0
    • pyarrow 從 1.0.1 到 4.0.0
    • 從 2.7.2 到 2.8.1 的 Pygments
    • pyzmq 從 19.0.2 到 20.0.0
    • 要求從 2.24.0 到 2.25.1
    • s3transfer 從 0.3.6 到 0.3.7
    • scikit-learn 從 0.23.2 到 0.24.1
    • scipy 從 1.5.2 到 1.6.2
    • seaborn 從 0.10.0 到 0.11.1
    • setuptools from 50.3.1 to 52.0.0
    • 從 0.12.0 到 0.12.2 的 statsmodel
    • 龍捲風從 6.0.4 到 6.1
    • virtualenv 從 20.2.1 到 20.4.1
    • 方向盤從 0.35.1 到 0.36.2
  • 升級的 R 連結庫：
    • 從 1.3-3 到 1.3-4 的矩陣

Apache Spark

Databricks Runtime 9.0 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 8.4 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

  • [SPARK-35886] [SQL][3.1] PromotePrecision 不應該覆寫 genCodePromotePrecision 不應該覆寫 genCode
  • [SPARK-35879] [CORE][SHUFFLE]修正 collectFetchRequests 所造成的效能回歸
  • [SPARK-35817] [SQL][3.1] 針對寬 Avro 數據表還原查詢的效能
  • [SPARK-35841] [SQL]如果 ...
  • [SPARK-35783] [SQL]設定工作組態中的讀取資料行清單，以減少 ORC 資料的讀取
  • [SPARK-35576] [SQL][3.1] 在 Set 命令的結果中修訂敏感性資訊
  • [SPARK-35449] [SQL][3.1] 只有在設定 elseValue 時，才從 CaseWhen 值擷取通用表達式
  • [SPARK-35288] [SQL]StaticInvoke 應該會尋找方法，而不需完全符合確切的自變數類別
  • [SPARK-34794] [SQL]修正巢狀 DataFrame 函式中的 Lambda 變數名稱問題
  • [SPARK-35278] [SQL]Invoke 應該會尋找具有正確參數數目的方法
  • [SPARK-35226] [SQL]支援 JDBC 數據源中的 refreshKrb5Config 選項
  • [SPARK-35244] [SQL]叫用應該擲回原始例外狀況
  • [SPARK-35213] [SQL]在與Field 作業鏈結的巢狀結構中保留正確的順序
  • [SPARK-35087] [UI]階段詳細數據頁面執行程式所匯總計量中的某些數據行顯示不正確。
  • [SPARK-35168] [SQL] mapred.reduce.tasks 應該是 shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [UI]當我們在不同的階段詳細數據頁面之間切換時，新開啟頁面的項目專案可能空白
  • [SPARK-35142][PYTHON][ML] 修正 中不正確的傳回類型rawPredictionUDFOneVsRestModel
  • [SPARK-35096] [SQL]SchemaPruning 應該遵守 spark.sql.caseSensitive 設定
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias 不應該建立 UnresolvedAlias
  • [SPARK-35080] [SQL]只有在彙總子查詢時，才允許相互關聯的相等述詞子集
  • [SPARK-35117] [UI]將進度列變更回反白顯示進行中任務的比例
  • [SPARK-35136] 拿掉初始 null 值 LiveStage.info
  • [SPARK-34834] [NETWORK]修正 TransportResponseHandler 中潛在的 Netty 記憶體流失
  • [SPARK-35045] [SQL]新增內部選項以控制單一調用中的輸入緩衝區
  • [SPARK-35014] 修正 PhysicalAggregation 模式，以不重寫可折疊運算式
  • [SPARK-35019] [PYTHON][SQL]修正pyspark.sql中的類型提示不符。*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment（） 應遵守分割區值為 null
  • [SPARK-34630] [PYTHON]新增 pyspark 的 typehint。版本
  • [SPARK-34963] [SQL]修正巢狀數據行剪除，以從結構數位擷取不區分大小寫的結構字段
  • [SPARK-34988] [CORE][3.1] 升級 Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] 在 CBO 中使用相對成本比較函式
  • [SPARK-34970] [SQL][SECURITY][3.1] explain（） 輸出中的修訂地圖類型選項
  • [SPARK-34923] [SQL]針對更多計劃，元數據輸出應該是空的
  • [SPARK-34949] [CORE]當執行程式關閉時，防止 BlockManager 重新註冊
  • [SPARK-34939] [CORE]無法還原串行化廣播的地圖狀態時擲回擷取失敗例外狀況
  • [SPARK-34909] [SQL]修正將負數轉換為 unsigned in conv（）
  • [SPARK-34845] [CORE]ProcfsMetricsGetter 不應該傳回部分 procfs 計量
  • [SPARK-34814] [SQL]LikeSimplification 應該處理 NULL
  • [SPARK-34876] [SQL]填入不可為 Null 匯總的 defaultResult
  • [SPARK-34829] [SQL]修正較高順序的函式結果
  • [SPARK-34840] [SHUFFLE]修正合併洗牌中的損毀案例...
  • [SPARK-34833] [SQL]正確套用右填補以進行相互關聯的子查詢
  • [SPARK-34630] [PYTHON][SQL]已新增 typehint for pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col（）， $“name” 和 df（“name”） 應該正確地處理引號數據行名稱
  • [SPARK-33482][SPARK-34756] [SQL] 修正 FileScan 相等檢查
  • [SPARK-34790] [CORE]啟用io加密時，停用批次中擷取隨機區塊
  • [SPARK-34803] [PYSPARK]如果 pandas 或 pyarrow 無法匯入，請傳遞引發的 ImportError
  • [SPARK-34225] [CORE]當 URI 窗體字串傳遞至 addFile 或 addJar 時，請勿進一步編碼
  • [SPARK-34811] [CORE]修訂fs.s3a.access.key，例如秘密和令牌
  • [SPARK-34796] [SQL][3.1] 在 doProduce 中初始化 LIMIT 程式代碼 gen 的計數器變數（）
  • [SPARK-34128] [SQL]隱藏與 THRIFT-4805 相關的不想要 TTransportException 警告
  • [SPARK-34776] [SQL]巢狀數據行剪除不應該修剪視窗產生的屬性
  • [SPARK-34087] [3.1][SQL]修正 ExecutionListenerBus 的記憶體流失
  • [SPARK-34772] [SQL]RebaseDateTime loadRebaseRecords 應該使用 Spark 類別載入器，而不是內容
  • [SPARK-34719] [SQL][3.1] 正確解析具有重複數據行名稱的檢視查詢
  • [SPARK-34766] [SQL][3.1] 不要擷取檢視的 maven 設定
  • [SPARK-34731] [CORE]在 EventLoggingListener 中修訂屬性時，請避免 ConcurrentModificationException
  • [SPARK-34737] [SQL][3.1] 將輸入浮點數轉換成 double TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] 簡化 ResolveCreateNamedStruct
  • [SPARK-34768] [SQL]遵守 Univocity 中的預設輸入緩衝區大小
  • [SPARK-34770] [SQL]如果資料庫不存在，InMemoryCatalog.tableExists 不應該失敗
  • [SPARK-34504] [SQL]避免不必要的解析 DDL 命令的 SQL 暫存檢視
  • [SPARK-34727] [SQL]修正將浮點數轉換成時間戳的差異
  • [SPARK-34723] [SQL]完整階段下子表達式消除的正確參數類型
  • [SPARK-34724] [SQL]修正使用 getMethod 而非 getDeclaredMethod 解譯評估
  • [SPARK-34713] [SQL]使用 ExtractValue 依 CreateStruct 修正群組
  • [SPARK-34697] [SQL]允許 DESCRIBE 函式和顯示函式說明 ||（字串串連運算）
  • [SPARK-34682] [SQL]使用 PrivateMethodTester 而非反映
  • [SPARK-34682] [SQL]修正 CustomShuffleReaderExec 中標準化錯誤檢查中的回歸
  • [SPARK-34681] [SQL]修正在建置具有不相等條件的左側時，完整外部隨機哈希聯結的 Bug
  • [SPARK-34545] [SQL]修正pyolite 的 valueCompare 功能問題
  • [SPARK-34607] [SQL][3.1] 新增 Utils.isMemberClass 以修正 jdk8u 上格式不正確的類別名稱錯誤
  • [SPARK-34596] [SQL]使用 Utils.getSimpleName 避免在 NewInstance.doGenCode 中達到格式不正確的類別名稱
  • [SPARK-34613] [SQL]修正檢視不會擷取停用提示設定
  • [SPARK-32924] [WEBUI]讓主要 UI 中的持續時間數據行依正確順序排序
  • [SPARK-34482] [SS]更正 StreamExecution.logicalPlan 的作用中 SparkSession
  • [SPARK-34567] [SQL]CreateTableAsSelect 也應該更新計量
  • [SPARK-34599] [SQL]修正 INSERT INTO OVERWRITE 不支援包含 DSv2 點的數據分割數據行的問題
  • [SPARK-34577] [SQL]修正將數據行置放/新增至 的數據集 DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL]在 v2 數據表中插入時，靜態分割區也應該遵循 StoreAssignmentPolicy
  • [SPARK-34555] [SQL]解析 DataFrame 的元數據輸出
  • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時出現的 blockIds 順序問題
  • [SPARK-34547] [SQL]僅使用元數據行進行解析作為最後手段
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap 因具有點的數據行名稱而失敗
  • [SPARK-34561] [SQL]修正從 v2 的數據集卸除/新增數據行 DESCRIBE TABLE
  • [SPARK-34556] [SQL]檢查重複的靜態分割區數據行應該遵守區分大小寫的 conf
  • [SPARK-34392] [SQL]支援 DateTimeUtils 中的 ZoneOffset +h：mm。 getZoneId
  • [SPARK-34550] [SQL]將推送篩選期間略過 InSet Null 值至 Hive 中繼存放區
  • [SPARK-34543] [SQL]在解析 v1 中的數據分割規格時遵守 spark.sql.caseSensitive 設定 SET LOCATION
  • [SPARK-34436] [SQL]DPP 支援 LIKE ANY/ALL 運算式
  • [SPARK-34531] [CORE]拿掉 PrometheusServlet 中的實驗性 API 標籤
  • [SPARK-34497] [SQL]修正內建 JDBC 連線提供者以還原 JVM 安全性內容變更
  • [SPARK-34515] [SQL]修正 NPE，如果 InSet 在 getPartitionsByFilter 期間包含 Null 值
  • [SPARK-34490] [SQL]如果檢視參考已卸除的數據表，分析應該會失敗
  • [SPARK-34473] [SQL]避免 DataFrameReader.schema 中的 NPE（StructType）
  • [SPARK-34384] [CORE]新增 ResourceProfile API 的遺漏檔
  • [SPARK-34373] [SQL]HiveThriftServer2 startWithContext 可能會因為種族問題而停止回應
  • [SPARK-20977] [CORE]針對 CollectionAccumulator 的狀態使用非最終欄位
  • [SPARK-34421] [SQL]使用 CTE 解決檢視中的暫存函式和檢視
  • [SPARK-34431] [CORE]僅載入 hive-site.xml 一次
  • [SPARK-34405] [CORE]修正 PrometheusServlet 類別中的 timersLabels 平均值
  • [SPARK-33438] [SQL]具有已定義 SQL Confs for 命令的熱切 init 物件 set -v
  • [SPARK-34158] pom.xml中唯一開發人員Matei的URL不正確
  • [SPARK-34346] [CORE][SQL][3.1] 由 spark.buffer.size 設定的 io.file.buffer.size 會藉由意外載入來覆寫hive-site.xml可能會導致 perf 回歸
  • [SPARK-34359] [SQL][3.1] 新增舊版設定以還原 SHOW DATABASES 的輸出架構
  • [SPARK-34331] [SQL]加速 DS v2 元數據 col 解析
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex 應該使用包含換行符的數據行名稱和限定符
  • [SPARK-34326] [CORE][SQL]根據暫存路徑長度，修正SPARK-31793中新增的UT
  • [SPARK-34319] [SQL]解決 FlatMapCoGroupsInPandas/MapInPandas 的重複屬性
  • [SPARK-34310] [CORE][SQL]以 flatMap 取代 map 和 flatten
  • [SPARK-34083] [SQL][3.1] 針對 char/varchar colums 使用 TPCDS 原始定義
  • [SPARK-34233] [SQL][3.1] 修正二進位比較中字元填補的 NPE
  • [SPARK-34270] [SS]合併 StateStoreMetrics 不應該覆寫 StateStoreCustomMetric
  • [SPARK-34144] [SQL]嘗試將 LocalDate 和 Instant 值寫入 JDBC 關聯時擲回的例外狀況
  • [SPARK-34273] [CORE]停止SparkContext時，請勿重新註冊 BlockManager
  • [SPARK-34262] [SQL][3.1] 在 中重新整理 v1 數據表的快取數據 ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB]以計數取代篩選和大小
  • [SPARK-34260] [SQL]修正在建立暫存檢視兩次時未解決的Exception
  • [SPARK-33867] [SQL]產生 SQL 查詢時，不會處理立即和 LocalDate 值
  • [SPARK-34193] [CORE]TorrentBroadcast 區塊經理解除委任比賽修正
  • [SPARK-34221] [WEBUI]確定UI頁面中的階段是否失敗，可以正確顯示對應的錯誤訊息
  • [SPARK-34236] [SQL]修正 v2 覆寫 w/ null 靜態分割引發 無法將表達式轉譯為來源篩選： null
  • [SPARK-34212] [SQL]修正從 Parquet 檔案讀取不正確的十進位數
  • [SPARK-34244] [SQL]拿掉 scala 函式版本的 regexp_extract_all
  • [SPARK-34235] [SS]將 spark.sql.hive 設為私人套件
  • [SPARK-34232] [CORE]記錄中的 Redact SparkListenerEnvironmentUpdate 事件
  • [SPARK-34229] [SQL]Avro 應該使用檔案架構讀取十進位值
  • [SPARK-34223] [SQL]在 InsertIntoHadoopFsRelationCommand 中使用 Null 的靜態分割區修正 NPE
  • [SPARK-34192] [SQL]移動字元填補以寫入端，並移除讀取端的長度檢查
  • [SPARK-34203][SQL]將分割區值__HIVE_DEFAULT_PARTITION__轉換成 null v1 In-Memory 目錄中
  • [SPARK-33726] [SQL]修正匯總期間的重複功能變數名稱
  • [SPARK-34133] [AVRO]執行 Catalyst 對 Avro 字段比對時的區分大小寫
  • [SPARK-34187] [SS]檢查位移驗證時，使用輪詢期間取得的可用位移範圍
  • [SPARK-34052] [SQL][3.1] 會儲存使用 “CACHE TABLE .. 建立之暫存檢視的 SQL 文字。 AS SELECT ...”
  • [SPARK-34213] [SQL]在中重新整理 v1 資料表的快取數據 LOAD DATA
  • [SPARK-34191] [PYTHON][SQL]新增 udf 多載的輸入
  • [SPARK-34200] [SQL]模棱兩可的數據行參考應考慮屬性可用性
  • [SPARK-33813] [SQL][3.1] 修正 JDBC 來源無法處理 MS SQL Server 空間類型的問題
  • [SPARK-34178] [SQL]複製 MultiInstanceRelation.newInstance 所建立新節點的標記
  • [SPARK-34005] [CORE][3.1] 更新工作端上每個執行程式的尖峰記憶體計量
  • [SPARK-34115] [CORE]檢查SPARK_TESTING為延遲 val 以避免變慢
  • [SPARK-34153][SQL][3.1][3.0] 移除未使用的getRawTable()HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL]Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] 中的重新整理快取 ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] java.io.File.toURL 以取代 java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] 將 QueryCompilationErrors.scala 移至 org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON]新增 UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] 減少 SingleFileEventLogFileReader 中 getFileStatus 的 rpc 呼叫
  • [SPARK-34118] [CORE][SQL][3.1] 取代篩選，並檢查是否空虛存在或全部
  • [SPARK-34114] [SQL] 不應該將右側修剪為讀取端字元長度檢查和填補
  • [SPARK-34086] [SQL][3.1] RaiseError 會產生太多程序代碼，而且可能會在 char varchar 的長度檢查中失敗 codegen
  • [SPARK-34075] [SQL][CORE]隱藏的目錄正在針對數據分割推斷列出
  • [SPARK-34076] [SQL]如果快取非空白，SQLContext.dropTempTable 就會失敗
  • [SPARK-34084] [SQL][3.1] 修正 中的數據表統計數據自動更新 ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS]在 KafkaTokenUtil.needTokenUpdate 中使用的 Cache HadoopDelegationTokenManager.isServiceEnabled 結果
  • [SPARK-34069] [CORE]終止屏障工作應遵守SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL]隨機批次擷取應該能夠在啟用后停用
  • [SPARK-34059] [SQL][CORE][3.1] 使用 for/foreach，而不是對應，以確保立即執行
  • [SPARK-34002] [SQL]修正 ScalaUDF 中的編碼器使用方式
  • [SPARK-34060] [SQL][3.1] 修正更新統計數據時 Hive 數據表快取 ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL]修正執行匯總時不正確的記憶體溢出計量
  • [SPARK-33591][SQL][3.1] 在分割區規格值中辨識null
  • [SPARK-34055] [SQL][3.1] 中的重新整理快取 ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] ReplaceTable 應該使快取失效
  • [SPARK-34003] [SQL]修正 PaddingAndLengthCheckForCharVarchar 和 ResolveAggregateFunctions 之間的規則衝突
  • [SPARK-33938] [SQL][3.1] LikeSimplification 將 Like Any/all 優化
  • [SPARK-34021] [R] 修正 CRAN 提交的 SparkR 檔中的超連結
  • [SPARK-34011] [SQL][3.1][3.0] 中的重新整理快取 ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL]修正 Scala 2.13 中 MapObjects.doGenCode 方法的 CodeGen 錯誤
  • [SPARK-33635] [SS]調整 KafkaTokenUtil.needTokenUpdate 中的檢查順序，以補救 perf 回歸
  • [SPARK-33029] [CORE][WEBUI]修正 UI 執行程式頁面，錯誤地將驅動程式標示為排除
  • [SPARK-34015] [R] 修正差距中的輸入時間
  • [SPARK-34012][SQL]使用移轉指南保持行為一致spark.sql.legacy.parser.havingWithoutGroupByAsWhere
  • [SPARK-33844] [SQL][3.1] InsertIntoHiveDir 命令也應該檢查 col 名稱
  • [SPARK-33935] [SQL]修正 CBO 成本函式
  • [SPARK-33100] [SQL]忽略 spark-sql 中括弧批注內的分號
  • [SPARK-34000] [CORE]修正 stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] 覆寫 transformUpWithNewOutput 以新增 allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL]變更 mllib 中私用案例類別的可見度，以避免使用 Scala 2.13 的運行時間編譯錯誤
  • [SPARK-33950] [SQL][3.1][3.0] v1 中的重新整理快取 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS]在spark.readStream.schema 中使char/varchar失效
  • [SPARK-33945] [SQL][3.1] 處理由 expr 樹組成的隨機種子
  • [SPARK-33398] 修正 Spark 3.0 之前的載入樹狀結構模型
  • [SPARK-33963] [SQL]Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI]修正 UI 執行程式頁面因未定義 peakMemoryMetrics 而停滯的錯誤
  • [SPARK-33944] [SQL]SharedState 選項中倉儲金鑰的記錄不正確
  • [SPARK-33936] [SQL][3.1] 新增連接器介面時的版本
  • [SPARK-33916] [CORE]修正後援記憶體位移並改善壓縮編解碼器測試涵蓋範圍
  • [SPARK-33899] [SQL][3.1] 修正 v1 顯示數據表/檢視中的判斷提示失敗 spark_catalog
  • [SPARK-33901] [SQL]修正 DDL 之後的 Char 和 Varchar 顯示錯誤
  • [SPARK-33897] [SQL]無法在聯結方法中設定選項 'cross'
  • [SPARK-33907] [SQL][3.1] 剖析選項空白時，僅剪除 JsonToStructs 的數據行
  • [SPARK-33621][SPARK-33784] [SQL][3.1] 新增插入數據源重寫規則的方式
  • [SPARK-33900] [WEBUI]當只有 remotebytesread 可用時，正確顯示隨機讀取大小/記錄
  • [SPARK-33892] [SQL]在 DESC 和 SHOW CREATE TABLE 中顯示 char/varchar
  • [SPARK-33895] [SQL]ThriftServer 的 MetaOperation 中 Char 和 Varchar 失敗
  • [SPARK-33659] [SS]記錄 DataStreamWriter.toTable API 的目前行為
  • [SPARK-33893] [CORE]從執行程式清單排除後援區塊管理員
  • [SPARK-33277] [PYSPARK][SQL]使用 ContextAwareIterator 在工作結束之後停止取用
  • [SPARK-33889][SQL][3.1] 修正 V2 資料表上的 NPE SHOW PARTITIONS
  • [SPARK-33879] [SQL]Char Varchar 值失敗，因為分割區數據行發生比對錯誤
  • [SPARK-33877] [SQL]INSERT w/ 資料列清單的 SQL 參考檔
  • [SPARK-33876] [SQL]從數據表 w/ 外部位置新增讀取 char/varchar 的長度檢查
  • [SPARK-33846] [SQL]在 StructType.toDDL 中包含巢狀架構的批注
  • [SPARK-33860] [SQL]讓 CatalystTypeConverters.convertToCatalyst 符合特殊數位值
  • [SPARK-33834] [SQL]使用 Char 和 Varchar 確認 ALTER TABLE CHANGE COLUMN
  • [SPARK-33853] [SQL]EXPLAIN CODEGEN 和 BenchmarkQueryTest 不會顯示子查詢程序代碼
  • [SPARK-33836] [SS][PYTHON]公開 DataStreamReader.table 和 DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] 重新命名 v2 數據表應該重新建立快取
  • [SPARK-33756] [SQL]Make BytesToBytesMap 的 MapIterator idempotent
  • [SPARK-33850] [SQL]EXPLAIN FORMATTED 不會在啟用 AQE 的情況下顯示子查詢的計劃
  • [SPARK-33841] [CORE][3.1] 修正工作在高負載下間歇性消失的問題
  • [SPARK-33593] [SQL]向量讀取器取得具有二進位數據分割值的不正確數據
  • [SPARK-26341] [WEBUI]在階段層級的 [階段] 索引卷標中公開執行程式記憶體計量
  • [SPARK-33831] [UI]更新為 jetty 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast 在 HashJoin 中使用 方法
  • [SPARK-33774] [UI][CORE]回到主伺服器」會在獨立叢集中傳回 500 錯誤
  • [SPARK-26199][SPARK-31517] [R] 修正處理... 變動中的名稱
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader 應該是 package private
  • [SPARK-33697] [SQL]RemoveRedundantProjects 預設應該需要數據行排序
  • [SPARK-33752] [SQL][3.1] 避免 AnalysisException 的 getSimpleMessage 重複新增分號
  • [SPARK-33788] [SQL][3.1][3.0][2.4] 從 HiveExternalCatalog.dropPartitions 擲回 NoSuchPartitionsException（）
  • [SPARK-33803] [SQL]在 DESCRIBE TABLE 命令中依索引鍵排序數據表屬性
  • [SPARK-33786] [SQL]更改資料表名稱時，應該遵守快取的儲存層級
  • [SPARK-33273] [SQL]修正子查詢執行中的競爭條件
  • [SPARK-33653] [SQL][3.1] DSv2：REFRESH TABLE 應該重新整理數據表本身
  • [SPARK-33777] [SQL]排序 V2 SHOW PARTITIONS 的輸出
  • [SPARK-33733] [SQL]PullOutNondeterministic 應該檢查並收集確定性字段
  • [SPARK-33764] [SS]將狀態存放區維護間隔設為 SQL 設定
  • [SPARK-33729] [SQL]重新整理快取時，Spark 不應該在重新快取數據時使用快取計劃
  • [SPARK-33742] [SQL][3.1] 從 HiveExternalCatalog.createPartitions 擲回 PartitionsAlreadyExistException（）
  • [SPARK-33706] [SQL]需要 partitionExists 中完全指定的分割區識別碼（）
  • [SPARK-33740] [SQL] hive-site.xml中的 hadoop 組態可以覆寫既有的 hadoop 設定
  • [SPARK-33692] [SQL]檢視應該使用擷取的目錄和命名空間來查閱函式
  • [SPARK-33669] 當 sc.stop 在 yarn 用戶端模式中停止時，YARN 應用程式狀態監視器的錯誤訊息
  • [SPARK-32110] [SQL] 在 HyperLogLog++ 中正規化特殊浮點數
  • [SPARK-33677] [SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
  • [SPARK-33693] [SQL] 取代 spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL]使公用 API 中產生不正確結果的新 char/varchar 類型失效
  • [SPARK-32680] [SQL]請勿使用未解決的查詢預先處理 V2 CTAS
  • [SPARK-33676] [SQL]需要完全比對 V2 中架構的數據分割規格 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL]確認分割區提供者在 v1 SHOW TABLE EXTENDED 中為 Hive
  • [SPARK-33663] [SQL]在不存在的暫存檢視上不應該呼叫未快取
  • [SPARK-33667] [SQL]在解析 v1 中的數據分割規格時遵守 spark.sql.caseSensitive 設定 SHOW PARTITIONS
  • [SPARK-33652] [SQL]DSv2：DeleteFrom 應該重新整理快取

維護更新

請參閱 Databricks Runtime 9.0 維護更新。

系統環境

  • 作業系統：Ubuntu 20.04.2 LTS
  • Java：Zulu 8.54.0.21-CA-linux64
  • Scala：2.12.10
  • Python：3.8.10
  • R： 4.1.0 （2021-05-18）
  • Delta Lake 1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

已安裝的 R 程式庫

R 連結庫會從 2021-07-28 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 叢集 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
遞減 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
省略符號 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 泛型 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
Lava 1.6.8.1 lazyeval 0.2.2 生命週期 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 矩陣 1.3-4
memoise 1.1.0 方法 4.1.0 mgcv 1.8-36
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
進度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper ZooKeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用的 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52