共用方式為

Databricks Runtime 14.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.0 的相關信息。

Databricks 於 2023 年 9 月發行此版本。

新功能和改進

數據列追蹤為 GA

Delta Lake 的數據列追蹤現已正式推出。 請參閱對差異資料表使用資料列追蹤。

更新的預測性 I/O 已正式發行

更新的預測性 I/O 現已正式發行。 請參閱什麼是預測性 I/O？。

刪除向量已正式發行

刪除向量現已正式發行。 請參閱什麼是刪除向量？。

Spark 3.5.0 是 GA

Apache Spark 3.5.0 現已正式推出。 請參閱 Spark 3.5.0 版。

適用於 Python 的使用者定義數據表函式公開預覽

使用者定義的數據表函式 （UDF） 可讓您註冊傳回數據表而非純量值的函式。 請參閱 Python 使用者定義資料表函式 （UDF）。

數據列層級並行的公開預覽

數據列層級並行存取可藉由偵測數據列層級的變更，並自動解決並行寫入中的競爭變更，以更新或刪除相同數據檔中的不同數據列，以減少並行寫入作業之間的衝突。 請參閱<資料列層級並行寫入衝突>。

預設目前的工作目錄已變更

本機執行之程式代碼的預設目前工作目錄 （CWD） 現在是包含執行筆記本或文稿的目錄。 這包括程序代碼，例如 %sh 和 Python 或 R 程式代碼，而不是使用 Spark。 請參閱預設的目前工作目錄是什麼？。

sparklyr 的已知問題

已安裝的 sparklyr 套件版本 （1.8.1 版） 與 Databricks Runtime 14.0 不相容。 若要使用 sparklyr，請安裝 1.8.3 版或更新版本。

在共用叢集架構中介紹Spark Connect

使用 Databricks Runtime 14.0 和更新版本時，共用叢集現在預設會使用 Spark Connect 與 Python REPL 中的 Spark 驅動程式。 無法再從使用者程式代碼存取內部Spark API。

Spark Connect 現在會從 REPL 與 Spark 驅動程序互動，而不是舊版 REPL 整合。

列出可用的 Spark 版本 API 更新

藉由設定 runtime_engine = PHOTON啟用 Photon，然後選擇 graviton 實例類型來啟用 aarch64 。 Azure Databricks 會設定正確的 Databricks Runtime 版本。 先前，Spark 版本 API 會傳回每個版本的實作特定運行時間。 請參閱 REST API 參考中的 GET /api/2.0/clusters/spark-versions 。

重大變更

在 Databricks Runtime 14.0 和更新版本中，具有共用存取模式的叢集會使用 Spark Connect 進行用戶端-伺服器通訊。 這包括下列變更。

如需共用存取模式限制的詳細資訊，請參閱 Unity 目錄的計算存取模式限制。

具有共用存取模式之叢集上的 Python

  • sqlContext 無法使用。 Azure Databricks 建議針對 SparkSession 實例使用 spark 變數。
  • Spark 內容 （sc） 已無法在筆記本中使用，或在具有共用存取模式的叢集上使用 Databricks Connect 時。 下列 sc 函式已無法使用：
    • emptyRDD、range、init_batched_serializer、parallelize、 pickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • 不再支持數據集資訊功能。
  • 查詢 Apache Spark 時，不再相依於 JVM，因此不再支援與 JVM 相關的內部 API，例如_jsc、_jconf、_jseq_jvm_jc_jsparkSession_jreader、 _jdf_jmap和 。_jcols
  • 使用 spark.conf 動態運行時間組態值存取組態值時，可以存取。
  • 共用叢集尚不支持差異實時數據表分析命令。

具有共用存取模式的叢集差異

  • 在 Python 中，查詢 Apache Spark 時不再相依於 JVM。 不再支援與 JVM 相關的內部 API， 例如DeltaTable._jdt、 DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder與 DeltaOptimizeBuilder._jbuilder 。

具有共用存取模式的叢集上的 SQL

  • DBCACHE 不再支援和 DBUNCACHE 命令。
  • 不再支援像 這樣的 cache table db as show databases 罕見使用案例。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 2.2.1 到 2.0.5 的 asttokens
    • attrs 從 21.4.0 到 22.1.0
    • 從 1.27.28 到 1.27.96 的 botocore
    • 認證從 2022.9.14 到 2022.12.7
    • 從 37.0.1 到 39.0.1 的密碼編譯
    • 從 1.6.0 到 1.6.7 的 debugpy
    • docstring-to-markdown 從 0.12 到 0.11
    • 從 1.2.0 執行到 0.8.3
    • 從 1.0.3 到 1.1.1 的 facets-overview
    • googleapis-common-protos，從 1.56.4 到 1.60.0
    • 從 1.48.1 到 1.48.2 的 grpcio
    • 從 3.3 到 3.4 的 idna
    • ipykernel 從 6.17.1 到 6.25.0
    • 從 8.10.0 到 8.14.0 的 ipython
    • Jinja2 從 2.11.3 到 3.1.2
    • jsonschema 從 4.16.0 到 4.17.3
    • 從 4.11.2 到 5.2.0 jupyter_core
    • kiwisolver 從 1.4.2 到 1.4.4
    • MarkupSafe 從 2.0.1 到 2.1.1
    • matplotlib 從 3.5.2 到 3.7.0
    • nbconvert 從 6.4.4 到 6.5.4
    • nbformat 從 5.5.0 到 5.7.0
    • nest-asyncio 從 1.5.5 到 1.5.6
    • 從 6.4.12 到 6.5.2 的筆記本
    • 從 1.21.5 到 1.23.5 的 numpy
    • 封裝從 21.3 到 22.0
    • pandas from 1.4.4 to 1.5.3
    • pathspec 從 0.9.0 到 0.10.3
    • patsy 從 0.5.2 到 0.5.3
    • 枕頭從 9.2.0 到 9.4.0
    • pip 從 22.2.2 到 22.3.1
    • protobuf 從 3.19.4 到 4.24.0
    • pytoolconfig 從 1.2.2 到 1.2.5
    • pytz 從 2022.1 到 2022.7
    • s3transfer 從 0.6.0 到 0.6.1
    • seaborn 從 0.11.2 到 0.12.2
    • setuptools from 63.4.1 to 65.6.3
    • 湯西夫從 2.3.1 到 2.3.2.post1
    • 從 0.6.2 到 0.2.0 的 stack-data
    • statsmodels from 0.13.2 to 0.13.5
    • terminado 從 0.13.1 到 0.17.1
    • 從 5.1.1 到 5.7.1 的特性
    • 從 4.3.0 到 4.4.0 typing_extensions
    • 從 1.26.11 到 1.26.14 的 urllib3
    • virtualenv 從 20.16.3 到 20.16.7
    • 方向盤從 0.37.1 到 0.38.4
  • 升級的 R 連結庫：
    • 從 10.0.1 到 12.0.1 的箭號
    • base 從 4.2.2 到 4.3.1
    • 從 1.2.3 到 1.2.4 的 Blob
    • 從 1.0.3 到 1.0.5 的掃把
    • bslib 從 0.4.2 到 0.5.0
    • cachem 從 1.0.6 到 1.0.8
    • 從 6.0-93 到 6.0-94 的插入號
    • 2.3-59 到 2.3-61 的 chron
    • 類別從 7.3-21 到 7.3-22
    • cli 從 3.6.0 到 3.6.1
    • 時鐘從 0.6.1 到 0.7.0
    • 從 1.8.1 到 1.9.0 的 commonmark
    • 編譯程式從 4.2.2 到 4.3.1
    • cpp11 從 0.4.3 到 0.4.4
    • curl 從 5.0.0 到 5.0.1
    • 從 1.14.6 到 1.14.8 的 data.table
    • 從 4.2.2 到 4.3.1 的數據集
    • dbplyr 從 2.3.0 到 2.3.3
    • 摘要從 0.6.31 到 0.6.33
    • downlit from 0.4.2 to 0.4.3
    • dplyr 從 1.1.0 到 1.1.2
    • dtplyr 從 1.2.2 到 1.3.1
    • 從 0.20 評估為 0.21
    • fastmap 從 1.1.0 到 1.1.1
    • fontawesome 從 0.5.0 到 0.5.1
    • fs 從 1.6.1 到 1.6.2
    • 從 1.31.0 到 1.33.0 的未來
    • future.apply 從 1.10.0 到 1.11.0
    • 從 1.3.0 到 1.5.1
    • ggplot2 從 3.4.0 到 3.4.2
    • gh 從 1.3.1 到 1.4.0
    • 從 4.1-6 到 4.1-7 的 glmnet
    • googledrive 從 2.0.0 到 2.1.1
    • googlesheets4 從 1.0.1 到 1.1.1
    • 從 4.2.2 到 4.3.1 的圖形
    • grDevices 從 4.2.2 到 4.3.1
    • 從 4.2.2 到 4.3.1 的方格
    • 從 0.3.1 到 0.3.3 的 gtable
    • 從 1.2.0 到 1.3.0 的 hardhat
    • 從 2.5.1 到 2.5.3
    • 從 1.1.2 到 1.1.3 的 hms
    • 從 0.5.4 到 0.5.5 的 htmltools
    • 從 1.6.1 到 1.6.2 的 htmlwidgets
    • HTTPuv 從 1.6.8 到 1.6.11
    • httr 從 1.4.4 到 1.4.6
    • ipred 從 0.9-13 到 0.9-14
    • jsonlite 從 1.8.4 到 1.8.7
    • 從 2.23-20 到 2.23-21 的 KernSmooth
    • 從 1.42 到 1.43 的針織器
    • 稍後從 1.3.0 到 1.3.1
    • 從 0.20-45 到 0.21-8 的格子
    • 從 1.7.1 到 1.7.2.1 的熔岩
    • 從 1.9.1 到 1.9.2 的 lubridate
    • Markdown 從 1.5 到 1.7
    • 從 7.3-58.2 到 7.3-60 的 MASS
    • 從 1.5-1 到 1.5-4.1 的矩陣
    • 從 4.2.2 到 4.3.1 的方法
    • mgcv 從 1.8-41 到 1.8-42
    • modelr 從 0.1.10 到 0.1.11
    • nnet 從 7.3-18 到 7.3-19
    • openssl 從 2.0.5 到 2.0.6
    • 平行從 4.2.2 到 4.3.1
    • 平行從 1.34.0 到 1.36.0
    • 從1.8.1到1.9.0的柱子
    • pkgbuild 從 1.4.0 到 1.4.2
    • pkgload 從 1.3.2 到 1.3.2.1
    • pROC 從 1.18.0 到 1.18.4
    • processx 從 3.8.0 到 3.8.2
    • 從 2019.11.13 到 2023.03.31 的 prodlim
    • profvis 從 0.3.7 到 0.3.8
    • ps 從 1.7.2 到 1.7.5
    • Rcpp 從 1.0.10 到 1.0.11
    • 自 2.1.3 到 2.1.4 的 readr
    • readxl 從 1.4.2 到 1.4.3
    • 食譜從 1.0.4 到 1.0.6
    • rlang 從 1.0.6 到 1.1.1
    • 從 2.20 到 2.23 的 rmarkdown
    • 從 1.8-12 到 1.8-11 的 Rserve
    • RSQLite 從 2.2.20 到 2.3.1
    • rstudioapi 從 0.14 到 0.15.0
    • sass from 0.4.5 to 0.4.6
    • 閃亮從 1.7.4 到 1.7.4.1
    • sparklyr 從 1.7.9 到 1.8.1
    • 從 3.4.1 到 3.5.0 的 SparkR
    • 從 4.2.2 到 4.3.1 的曲線
    • 從 4.2.2 到 4.3.1 的統計數據
    • stats4 從 4.2.2 到 4.3.1
    • 從 3.5-3 到 3.5-5 的生存
    • sys 從 3.4.1 到 3.4.2
    • tcltk 從 4.2.2 到 4.3.1
    • 測試從 3.1.6 到 3.1.10
    • 從 3.1.8 到 3.2.1 的 tibble
    • 從 1.3.2 到 2.0.0 的 tidyverse
    • tinytex from 0.44 to 0.45
    • 從 4.2.2 到 4.3.1 的工具
    • tzdb 從 0.3.0 到 0.4.0
    • usethis from 2.1.6 to 2.2.2
    • utils from 4.2.2 to 4.3.1
    • 從 0.5.2 到 0.6.3 的 vctrs
    • viridisLite 從 0.4.1 到 0.4.2
    • 從 1.6.1 到 1.6.3 的 vroom
    • waldo 從 0.4.0 到 0.5.1
    • 從 0.37 到 0.39 的 xfun
    • xml2 從 1.3.3 到 1.3.5
    • zip 從 2.2.2 到 2.3.0
  • 升級的 Java 程式庫：
    • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.core.jackson-core 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.core.jackson-databind 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310，從 2.13.4 到 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer，從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12，從 2.14.2 到 2.15.2
    • com.github.luben.zstd-jni，從 1.5.2-5 到 1.5.5-4
    • com.google.code.gson.gson 從 2.8.9 到 2.10.1
    • com.google.crypto.tink.tink 從 1.7.0 到 1.9.0
    • commons-codec.commons-codec 從 1.15 到 1.16.0
    • commons-io.commons-io 從 2.11.0 到 2.13.0
    • io.airlift.aircompressor from 0.21 to 0.24
    • io.dropwizard.metrics.metrics-core 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-graphite 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks，從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-jmx 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-json 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-jvm 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-servlets，從 4.2.10 到 4.2.19
    • io.netty.netty-all 從 4.1.87.Final 到 4.1.93.Final
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-buffer
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-codec
    • io.netty.netty-codec-http，從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-codec-http2，從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-codec-socks，從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-common 從 4.1.87.Final 到 4.1.93.Final
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-handler
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-handler-proxy
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-resolver
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll 從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue 從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-transport-native-epoll 從 4.1.87.Final-linux-x86_64到 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 從 4.1.87.Final-osx-x86_64 到 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common，從 4.1.87.Final 到 4.1.93.Final
    • org.apache.arrow.arrow-format from 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-memory-core，從 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-memory-netty 從 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-vector 從 11.0.0 到 12.0.1
    • org.apache.avro.avro 從 1.11.1 到 1.11.2
    • org.apache.avro.avro-ipc 從 1.11.1 到 1.11.2
    • org.apache.avro.avro-mapred 從 1.11.1 到 1.11.2
    • org.apache.commons.commons-compress 從 1.21 到 1.23.0
    • org.apache.hadoop.hadoop-client-runtime 從 3.3.4 到 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api，從 2.19.0 到 2.20.0
    • org.apache.logging.log4j.log4j-api 從 2.19.0 到 2.20.0
    • org.apache.logging.log4j.log4j-core 從 2.19.0 到 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl，從 2.19.0 到 2.20.0
    • org.apache.orc.orc-core，從 1.8.4-shaded-protobuf 到 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce 從 1.8.4-shaded-protobuf 到 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.4 到 1.9.0
    • org.apache.xbean.xbean-asm9-shaded 從 4.22 到 4.23
    • org.checkerframework.checker-qual 從 3.19.0 到 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet 從 2.36 到 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-client 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-common 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-server 從 2.36 到 2.40
    • org.glassfish.jersey.inject.jersey-hk2 從 2.36 到 2.40
    • org.javassist.javassist 從 3.25.0-GA 到 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client 從 2.7.4 到 2.7.9
    • org.postgresql.postgresql 從 42.3.8 到 42.6.0
    • org.roaringbitmap.RoaringBitmap 從 0.9.39 到 0.9.45
    • org.roaringbitmap.shims from 0.9.39 to 0.9.45
    • org.rocksdb.rocksdbjni 從 7.8.3 到 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12，從 2.4.3 到 2.9.0
    • org.slf4j.jcl-over-slf4j，從 2.0.6 到 2.0.7
    • org.slf4j.jul-to-slf4j，從 2.0.6 到 2.0.7
    • org.slf4j.slf4j-api 從 2.0.6 到 2.0.7
    • org.xerial.snappy.snappy-java 從 1.1.10.1 到 1.1.10.3
    • org.yaml.snakeyaml 從 1.33 到 2.0

Apache Spark

Databricks Runtime 14.0。 此版本包含 Databricks Runtime 13.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-45109] [DBRRM-462][SC-142247][SQL][CONNECT]修正 Connect 中的aes_decrypt和 ln 函式
  • [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 修正繼承的 namedtuples，以在 createDataFrame 中運作
  • [SPARK-44795] [DBRRM-462][SC-139720][CONNECT]CodeGenerator 快取應該是類別載入器特定的
  • [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][SC-139767][CONNECT]讓串流查詢與 Connect 的成品管理搭配運作
  • [SPARK-44791] [DBRRM-462][SC-139623][CONNECT]讓 ArrowDeserializer 與 REPL 產生的類別搭配運作
  • [SPARK-44876] [DBRRM-480][SC-140431][PYTHON]修正 Spark Connect 上箭號優化的 Python UDF
  • [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON]支援適用於Spark Connect的 Python Protobuf 函式
  • [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT]從 PySpark 移除函式 uuid/random/chr
  • [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW]修正成品的元數據值
  • [SPARK-44822] [DBRRM-464][PYTHON][SQL]默認將 Python UDDF 設為不具決定性
  • [SPARK-44836] [DBRRM-468][SC-140228][PYTHON]重構箭號 Python UDTF
  • [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT]將遺漏的用戶端元數據新增至呼叫
  • [SPARK-44722] [DBRRM-462][SC-139306][CONNECT]ExecutePlanResponseReattachableIterator._call_iter： AttributeError： 'NoneType' 對象沒有屬性 'message'
  • [SPARK-44625] [DBRRM-396][SC-139535][CONNECT]SparkConnectExecutionManager 來追蹤所有執行
  • [SPARK-44663] [SC-139020][DBRRM-420][PYTHON]根據預設，針對 Python UDDF 停用箭頭優化
  • [SPARK-44709] [DBRRM-396][SC-139250][CONNECT]在新線程中重新連結執行 ExecuteGrpcResponseSender 以修正流程控制
  • [SPARK-44656] [DBRRM-396][SC-138924][CONNECT]將所有反覆運算器設為 CloseableIterators
  • [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT]如果初始要求未連線到 Python 用戶端中的伺服器，請重試 ExecutePlan
  • [SPARK-44624] [DBRRM-396][SC-138919][CONNECT]如果初始要求未連線到伺服器，請重試 ExecutePlan
  • [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT]移至 sq/api 的錯誤也應該使用 AnalysisException
  • [SPARK-44613] [DBRRM-396][SC-138473][CONNECT]新增 Encoders 物件
  • [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT]當Spark Connect的用戶端會話逾時時，串流查詢終止的後續追蹤
  • [SPARK-44642] [DBRRM-396][SC-138882][CONNECT]從伺服器收到錯誤之後，ExecutePlanResponseReattachableIterator 中的 ReleaseExecute
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] 拿掉 Connect Client Catalyst 相依性
  • [SPARK-44664] [DBRRM-396][PYTHON][CONNECT]在 Python 用戶端中關閉反覆運算器時釋放執行
  • [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] 收回隔離會話快取時移除會話型目錄
  • [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT]Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][SC-138570][CONNECT]不要讓懸空的反覆運算器
  • [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] 用於重新附加至Spark Connect 中現有執行的 Python 用戶端
  • [SPARK-44637] [SC-138571]同步處理 ExecuteResponseObserver 的存取權
  • [SPARK-44538] [SC-138178][CONNECT][SQL] 恢復 Row.jsonValue 和 friend
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] 在Spark Connect 中重新連結執行
  • [SPARK-44418] [SC-136807][PYTHON][CONNECT]將 protobuf 從 3.19.5 升級至 3.20.3
  • [SPARK-44587] [SC-138315][SQL][CONNECT] 增加 protobuf 封送器遞歸限制
  • [SPARK-44591] [SC-138292][CONNECT][SQL]將 jobTags 新增至 SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][SQL]建立新實例時，DeduplicateRelations 應該保留別名元數據
  • [SPARK-44542] [SC-138323][CORE]急切地在例外狀況處理程式中載入 SparkExitCode 類別
  • [SPARK-44264] [SC-138143][PYTHON]適用於 Deepspeed 的 E2E 測試
  • [SPARK-43997] [SC-138347][CONNECT]新增 Java UDF 的支援
  • [SPARK-44507] [SQL][CONNECT][14.x][14.0] 將 AnalysisException 移至 sql/api
  • [SPARK-44453] [SC-137013][PYTHON]使用 difflib 在 assertDataFrameEqual 中顯示錯誤
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] 新增 Spark Connect 的 Spark UI 頁面
  • [SPARK-44611] [SC-138415][CONNECT]請勿排除 scala-xml
  • [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] 將編碼器推斷移至 sql/api
  • [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] 修正類別載入問題 cau...
  • [SPARK-44590] [SC-138296][SQL][CONNECT]拿掉 SqlCommandResult 的箭頭批次記錄限制
  • [SPARK-43968] [SC-138115][PYTHON]使用錯誤數目的輸出改善 Python UDF 的錯誤訊息
  • [SPARK-44432] [SC-138293][SS][CONNECT]在Spark Connect 中會話逾時終止串流查詢
  • [SPARK-44584] [SC-138295][CONNECT]在 Scala 用戶端中設定 AddArtifactsRequest 和 ArtifactStatusesRequest 的client_type資訊
  • [SPARK-44552] [14.0][SC-138176][SQL]從中移除 private object ParseState 定義 IntervalUtils
  • [SPARK-43660][SC-136183][CONNECT][PS]使用Spark Connect 啟用resample
  • [SPARK-44287] [SC-136223][SQL]在 RowToColumnarExec 和 ColumnarToRowExec SQL 運算符中使用 PartitionEvaluator API。
  • [SPARK-39634] [SC-137566][SQL]允許檔案分割與數據列索引產生結合
  • [SPARK-44533] [SC-138058][PYTHON]在 Python UDTF 的分析中新增累積器、廣播和 Spark 檔案的支援
  • [SPARK-44479] [SC-138146][PYTHON]修正 ArrowStreamPandasUDFSerializer 以接受無數據行 pandas DataFrame
  • [SPARK-44425] [SC-138177][CONNECT]驗證使用者提供的 sessionId 是否為 UUID
  • [SPARK-44535] [SC-138038][CONNECT][SQL]將必要的串流 API 移至 sql/api
  • [SPARK-44264] [SC-136523][ML][PYTHON]撰寫 Deepspeed Distributed Learning 類別 DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][SQL]修正 ResolveInlineTables 無法處理 RuntimeReplaceable 表達式
  • [SPARK-44060] [SC-135693][SQL]建置端外部隨機哈希聯結的程式代碼 Gen
  • [SPARK-44496] [SC-137682][SQL][CONNECT]將 SCSC 所需的介面移至 sql/api
  • [SPARK-44532] [SC-137893][CONNECT][SQL]將 ArrowUtils 移至 sql/api
  • [SPARK-44413] [SC-137019][PYTHON]釐清 assertDataFrameEqual 中不支援的 arg 數據類型錯誤
  • [SPARK-44530] [SC-138036][CORE][CONNECT]將 SparkBuildInfo 移至 common/util
  • [SPARK-36612] [SC-133071][SQL]在隨機哈希聯結中支援左方外部聯結組建左方或右方外部聯接組建
  • [SPARK-44519] [SC-137728][CONNECT]SparkConnectServerUtils 為 jar 產生不正確的參數
  • [SPARK-44449] [SC-137818][CONNECT]直接箭號還原串行化的向上傳播
  • [SPARK-44131] [SC-136346][SQL]為 Scala API 新增call_function並取代call_udf
  • [SPARK-44541][SQL]從中移除無用函式hasRangeExprAgainstEventTimeColUnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][SQL]如果條件為 FalseLiteral，篩選條件的 maxRows/maxRowsPerPartition 為 0
  • [SPARK-44540] [SC-137873][UI]拿掉 jsonFormatter 未使用的樣式表單和 javascript 檔案
  • [SPARK-44466] [SC-137856][SQL]從修改後的組態中排除開頭為 SPARK_DRIVER_PREFIX 和 SPARK_EXECUTOR_PREFIX 的組態
  • [SPARK-44477] [SC-137508][SQL]將TYPE_CHECK_FAILURE_WITH_HINT視為錯誤子類別
  • [SPARK-44509] [SC-137855][PYTHON][CONNECT]在Spark Connect Python 用戶端中新增作業取消 API 集
  • [SPARK-44059] [SC-137023]為內建函式新增具名自變數的分析器支援
  • [SPARK-38476] [SC-136448][CORE]在 org.apache.spark.storage 中使用錯誤類別
  • [SPARK-44486] [SC-137817][PYTHON][CONNECT]實作 PyArrow self_destruct 功能 toPandas
  • [SPARK-44361] [SC-137200][SQL]在 MapInBatchExec 中使用 PartitionEvaluator API
  • [SPARK-44510] [SC-137652][UI]將 dataTable 更新為 1.13.5，並移除一些未快取的 png 檔案
  • [SPARK-44503] [SC-137808][SQL]在TVF呼叫的TABLE自變數後面新增 PARTITION BY 和 ORDER BY 子句的 SQL 文法
  • [SPARK-38477] [SC-136319][CORE]在 org.apache.spark.shuffle 中使用錯誤類別
  • [SPARK-44299] [SC-136088][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][CONNECT]Spark Connect 細部中斷
  • [SPARK-44380] [SC-137415][SQL][PYTHON]支援 Python UDTF 在 Python 中進行分析
  • [SPARK-43923] [SC-137020][CONNECT]Post listenerBus events durin...
  • [SPARK-44303] [SC-136108][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][UI]修正 HeapHistogram 數據行未預期地顯示 w/ select-all-box
  • [SPARK-44409] [SC-136975][SQL]處理 Dataset.to 中的 char/varchar，以與其他人員保持一致
  • [SPARK-44334] [SC-136576][SQL][UI]失敗 DDL/DML 的 REST API 回應中狀態，沒有作業應為 FAILED，而不是 COMPLETED
  • [SPARK-42309] [SC-136703][SQL]簡介 INCOMPATIBLE_DATA_TO_TABLE 和子類別。
  • [SPARK-44367] [SC-137418][SQL][UI]針對每個失敗的查詢，在UI上顯示錯誤訊息
  • [SPARK-44474] [SC-137195][CONNECT]在SparkConnectServiceSuite上重新設定 「測試觀察回應」
  • [SPARK-44320] [SC-136446][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][CONNECT]Connect Server 啟動記錄應該會顯示主機名和埠
  • [SPARK-44309] [SC-136193][UI]在 [執行程式] 索引標籤上顯示執行程式新增/移除時間
  • [SPARK-42898] [SC-137556][SQL]標示字串/日期轉換不需要時區標識符
  • [SPARK-44475] [SC-137422][SQL][CONNECT]將 DataType 和剖析器重新放置至 sql/api
  • [SPARK-44484] [SC-137562][SS]將 batchDuration 新增至 StreamingQueryProgress json 方法
  • [SPARK-43966] [SC-137559][SQL][PYTHON]支援不具決定性的數據表值函式
  • [SPARK-44439] [SC-136973][CONNECT][SS]已修正 listListeners 僅將標識碼傳回用戶端
  • [SPARK-44341] [SC-137054][SQL][PYTHON]透過 PartitionEvaluator API 定義運算邏輯，並將其用於 WindowExec 和 WindowInPandasExec
  • [SPARK-43839][SC-132680][SQL]轉換成_LEGACY_ERROR_TEMP_1337UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][CONNECT][SS]在 Scala 中新增 Spark Connect 中的串流接聽程序支援
  • [SPARK-44260] [SC-135618][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1215-1245-2329] & 使用 checkError（） 檢查_CharVarchar_Suite
  • [SPARK-42454] [SC-136913][SQL]SPJ：在 BatchScanExec 中封裝所有 SPJ 相關參數
  • [SPARK-44292] [SC-135844][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][連線]直接箭號還原串行化
  • [SPARK-44324] [SC-137172][SQL][CONNECT]將 CaseInsensitiveMap 移至 sql/api
  • [SPARK-44395] [SC-136744][SQL]將測試新增回 StreamingTableSuite
  • [SPARK-44481] [SC-137401][CONNECT][PYTHON]將 pyspark.sql.is_remote 設為 API
  • [SPARK-44278] [SC-137400][CONNECT]實作清除線程本機屬性的 GRPC 伺服器攔截器
  • [SPARK-44264] [SC-137211][ML][PYTHON]支援使用 Deepspeed 的函式分散式定型
  • [SPARK-44430] [SC-136970][SQL]將原因新增至 AnalysisException 選項無效時
  • [SPARK-44264] [SC-137167][ML][PYTHON]將 FunctionPickler 併入 TorchDistributor
  • [SPARK-44216] [SC-137046][PYTHON]將 assertSchemaEqual API 設為公用
  • [SPARK-44398] [SC-136720][CONNECT]Scala foreachBatch API
  • [SPARK-43203] [SC-134528][SQL]將所有Drop Table案例移至 DataSource V2
  • [SPARK-43755] [SC-137171][CONNECT][MINOR]開啟 AdaptiveSparkPlanHelper.allChildren 而非使用複製 MetricGenerator
  • [SPARK-44264] [SC-137187][ML][PYTHON]重構 TorchDistributor 以允許自定義 「run_training_on_file」 函式指標
  • [SPARK-43755] [SC-136838][CONNECT]將執行從 SparkExecutePlanStreamHandler 移至不同的線程
  • [SPARK-44411] [SC-137198][SQL]在 ArrowEvalPythonExec 和 BatchEvalPythonExec 中使用 PartitionEvaluator API
  • [SPARK-44375] [SC-137197][SQL]在 DebugExec 中使用 PartitionEvaluator API
  • [SPARK-43967] [SC-137057][PYTHON]支援具有空白傳回值的一般 Python UDF
  • [SPARK-43915] [SC-134766][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][PYTHON][CONNECT]在Spark Connect中支援 Python UDTF
  • [SPARK-44154] [SC-137050][SQL]已將更多單元測試新增至 BitmapExpressionUtilsSuite，並稍微改善位圖匯總運算式
  • [SPARK-44169] [SC-135497][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][CONNECT][SQL]拿掉 StructType.toAttributes
  • [SPARK-43964] [SC-136676][SQL][PYTHON]支援箭頭優化的 Python UDDF
  • [SPARK-44321] [SC-136308][CONNECT]將 ParseException 與 AnalysisException 分離
  • [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON]具有相關變更的可重新test_artifact
  • [SPARK-44145] [SC-136698][SQL]準備好執行時的回呼
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT]啟用交叉驗證器估算器測試
  • [SPARK-44399] [SC-136669][PYHTON][CONNECT]只有在 useArrow 為 None 時，才在 Python UDF 中匯入 SparkSession
  • [SPARK-43631] [SC-135300][CONNECT][PS]使用 Spark Connect 啟用 Series.interpolate
  • [SPARK-44374] [SC-136544][PYTHON][ML] 為 Spark 連線新增分散式 ML 的範例程式代碼
  • [SPARK-44282] [SC-135948][CONNECT]準備 DataType 剖析以用於 Spark Connect Scala 用戶端
  • [SPARK-44052] [SC-134469][CONNECT][PS]新增 util 以取得 Spark Connect 的適當 Column 或 DataFrame 類別。
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT]實作交叉驗證器估算器
  • [SPARK-44290] [SC-136300][CONNECT]Spark Connect 中的會話型檔案和封存
  • [SPARK-43710] [SC-134860][PS][CONNECT]支援 functions.date_part Spark Connect
  • [SPARK-44036] [SC-134036][CONNECT][PS]清除和合併票證以簡化工作。
  • [SPARK-44150] [SC-135790][PYTHON][CONNECT]箭號 Python UDF 中不相符傳回類型的明確箭號轉換
  • [SPARK-43903] [SC-134754][PYTHON][CONNECT]改善箭頭 Python UDF 中的 ArrayType 輸入支援
  • [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT]實作分類評估工具
  • [SPARK-44255] [SC-135704][SQL]將 StorageLevel 重新放置至一般/公用程式
  • [SPARK-42169] [SC-135735][SQL]實作to_csv函式的程式代碼產生 （StructsToCsv）
  • [SPARK-44249] [SC-135719][SQL][PYTHON]重構 PythonUDTFRunner 以個別傳送其傳回類型
  • [SPARK-43353] [SC-132734][PYTHON]將剩餘的工作階段錯誤移轉至錯誤類別
  • [SPARK-44133] [SC-134795][PYTHON]將 MyPy 從 0.920 升級至 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
  • [SPARK-43353] 還原 “[SC-132734][ES-729763][PYTHON] 將剩餘的會話錯誤移轉至錯誤類別”
  • [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON]將命名空間從 pyspark.mlv2 移至 pyspark.ml.connect
  • [SPARK-44220] [SC-135484][SQL]將 StringConcat 移至 sql/api
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT]新增 Catalog.listFunctions 的選擇性模式
  • [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT]在Spark連線上實作ML的管線估算器
  • [SPARK-43888] [SC-132893][CORE]將記錄重新放置至一般/公用程式
  • [SPARK-42941] 還原 “[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde”
  • [SPARK-43624] [SC-134557][PS][CONNECT]新增 EWM 至 SparkConnectPlanner。
  • [SPARK-43981] [SC-134137][PYTHON][ML] Spark 連線上 ML 的基本儲存/載入實作
  • [SPARK-43205] [SC-133371][SQL] 修正 SQLQueryTestSuite
  • [SPARK-43376] 還原 “[SC-130433][SQL] 改善數據表快取的重複使用子查詢”
  • [SPARK-44040] [SC-134366][SQL]修正在 QueryStageExec 上方的 AggregateExec 節點時計算統計數據
  • [SPARK-43919] [SC-133374][SQL]從數據列擷取 JSON 功能
  • [SPARK-42618] [SC-134433][PYTHON][PS]下一個主要版本中 pandas 相關行為變更的警告
  • [SPARK-43893] [SC-133381][PYTHON][CONNECT]箭頭優化 Python UDF 中的非不可部分完成數據類型支援
  • [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT]在Spark Connect 中啟用 pyspark.pandas.spark.functions.{kurt, skew} 。
  • [SPARK-43798] [SC-133990][SQL][PYTHON]支援 Python 使用者定義數據表函式
  • [SPARK-43616][SC-133849][PS][CONNECT]在Spark Connect 中啟用pyspark.pandas.spark.functions.mode
  • [SPARK-43133] [SC-133728]Scala 用戶端 DataStreamWriter Foreach 支援
  • [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS]修正 (NullOps|NumOps).(eq|ne) Spark Connect。
  • [SPARK-43645][SC-134151][SPARK-43622][PS][CONNECT]在Spark Connect 中啟用pyspark.pandas.spark.functions.{var, stddev}
  • [SPARK-43617][SC-133893][PS][CONNECT]在Spark Connect 中啟用pyspark.pandas.spark.functions.product
  • [SPARK-43610] [SC-133832][CONNECT][PS]在Spark Connect 中啟用 InternalFrame.attach_distributed_column 。
  • [SPARK-43621][SC-133852][PS][CONNECT]在Spark Connect 中啟用pyspark.pandas.spark.functions.repeat
  • [SPARK-43921] [SC-133461][PROTOBUF]在建置階段產生 Protobuf 描述元檔案
  • [SPARK-43613][SC-133727][PS][CONNECT]在Spark Connect 中啟用pyspark.pandas.spark.functions.covar
  • [SPARK-43376] [SC-130433][SQL]使用數據表快取改善重複使用子查詢
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON]在 Python 用戶端中實作 SparkSession.addArtifact（s）
  • [SPARK-43920] [SC-133611][SQL][CONNECT]建立 sql/api 模組
  • [SPARK-43097] [SC-133372][ML] 在散發者之上實作的新 pyspark ML 羅吉斯回歸估算器
  • [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Make MLv2 （spark connect 上的 ML） 支援 pandas >= 2.0
  • [SPARK-43024] [SC-132716][PYTHON]將 pandas 升級至 2.0.0
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT]新增 Catalog.listDatabases 的選擇性模式
  • [SPARK-39281] [SC-131422][SQL]使用 JSON/CSV 數據源中的舊版格式加速時間戳類型推斷
  • [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT]新增 Catalog.listCatalogs 的選擇性模式
  • [SPARK-43132] [SC-131623][SS][CONNECT]Python 用戶端 DataStreamWriter foreach（） API
  • [SPARK-43545] [SC-132378][SQL][PYTHON]支援巢狀時間戳類型
  • [SPARK-43353] [SC-132734][PYTHON]將剩餘的工作階段錯誤移轉至錯誤類別
  • [SPARK-43304] [SC-129969][CONNECT][PYTHON]遷移 NotImplementedError 至 PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT]spark3.5 的sparkML基底介面：估算器/轉換器/模型/評估工具
  • [SPARK-43128]還原 “[SC-131628][CONNECT][SS] 讓recentProgress與原生 Scala Api 保持一致並lastProgress傳回StreamingQueryProgress
  • [SPARK-43543] [SC-131839][PYTHON]修正 Pandas UDF 中的巢狀 MapType 行為
  • [SPARK-38469] [SC-131425][CORE]在 org.apache.spark.network 中使用錯誤類別
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE]使用類別擴充INTERNAL_ERROR，並新增錯誤類別INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653]將錯誤架構移至常見的公用程式模組
  • [SPARK-43440] [SC-131229][PYTHON][CONNECT]支援註冊箭號優化的 Python UDF
  • [SPARK-43528] [SC-131531][SQL][PYTHON]在具有 pandas DataFrame 的 createDataFrame 中支援重複的功能變數名稱
  • [SPARK-43412] [SC-130990][PYTHON][CONNECT]介紹 SQL_ARROW_BATCHED_UDF 適用於箭號優化 Python UDF 的 EvalType
  • [SPARK-40912] [SC-130986][CORE]KryoDeserializationStream 中的例外狀況額外負荷
  • [SPARK-39280] [SC-131206][SQL]使用 JSON/CSV 數據來源中的使用者提供格式加速時間戳類型推斷
  • [SPARK-43473] [SC-131372][PYTHON]從 pandas DataFrame 支援 createDataFrame 中的結構類型
  • [SPARK-43443] [SC-131024][SQL]使用無效值時，新增時間戳類型推斷的基準檢驗
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT]新增涉及多個數據框架的作業檢查
  • [SPARK-43296] [SC-130627][CONNECT][PYTHON]將 Spark Connect 工作階段錯誤移轉至錯誤類別
  • [SPARK-43324] [SC-130455][SQL]處理差異型來源的 UPDATE 命令
  • [SPARK-43347] [SC-130148][PYTHON]拿掉 Python 3.7 支援
  • [SPARK-43292][SC-130525][CORE][CONNECT]core移至ExecutorClassLoader模組並簡化Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900][ML] [CONNECT] 新增火炬散發者數據載入器，以從Spark 分割區數據載入數據
  • [SPARK-43331] [SC-130061][CONNECT]新增 Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][PYTHON]從 Spark SQL 類型遷移 ValueError 至錯誤類別
  • [SPARK-43261] [SC-129674][PYTHON]從 Spark SQL 類型遷移 TypeError 至錯誤類別。
  • [SPARK-42992] [SC-129465][PYTHON]介紹 PySparkRuntimeError
  • [SPARK-16484] [SC-129975][SQL] 新增了 DataSketches HllSketch 的支援
  • [SPARK-43165] [SC-128823][SQL]將 canWrite 移至 DataTypeUtils
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect 中 Arrow-最佳化的 Python UDF
  • [SPARK-43084] [SC-128654][SS] 新增 spark 連線的 applyInPandasWithState 支援
  • [SPARK-42657] [SC-128621][CONNECT] 支援將用戶端 REPL 類別檔案尋找並轉移至伺服器作為成品
  • [SPARK-43098] [SC-77059][SQL] 修正純量子查詢依子句分組時的正確性 COUNT 錯誤
  • [SPARK-42884] [SC-126662][CONNECT] 新增 Ammonite REPL 積分
  • [SPARK-42994] [SC-128333][ML][CONNECT]PyTorch 散發者支援本機模式
  • [SPARK-41498] [SC-125343] 還原”透過聯合傳播中繼資料”」
  • [SPARK-42993] [SC-127829][ML][CONNECT] 讓 PyTorch 分發器與 Spark Connect 相容
  • [SPARK-42683] [LC-75]自動重新命名衝突的中繼資料資料行
  • [SPARK-42874] [SC-126442][SQL] 啟用新的黃金檔案測試架構以分析所有輸入檔
  • [SPARK-42779] [SC-126042][SQL] 允許 V2 寫入指出諮詢隨機分割區大小
  • [SPARK-42891] [SC-126458][CONNECT][PYTHON]實作 CoGrouped 對應 API
  • [SPARK-42791] [SC-126134][SQL]建立新的黃金檔案測試架構進行分析
  • [SPARK-42615] [SC-124237][CONNECT][PYTHON]重構 AnalyzePlan RPC 並新增 session.version
  • [SPARK-41302] 還原 “[ALL TESTS][SC-122423][SQL] 將名稱指派給_LEGACY_ERROR_TEMP_1185”
  • [SPARK-40770] [SC-122652][PYTHON]已改善 applyInPandas 的架構不符錯誤訊息
  • [SPARK-40770] 還原 “[ALL TESTS][SC-122652][PYTHON] 已改善 applyInPandas 架構不符的錯誤訊息”
  • [SPARK-42398] [SC-123500][SQL]精簡預設數據行值 DS v2 介面
  • [SPARK-40770] [所有測試][SC-122652][PYTHON]已改善 applyInPandas 的架構不符錯誤訊息
  • [SPARK-40770] 還原 “[SC-122652][PYTHON] 已改善 applyInPandas 架構不相符的錯誤訊息”
  • [SPARK-40770] [SC-122652][PYTHON]已改善 applyInPandas 的架構不符錯誤訊息
  • [SPARK-42038] [所有測試]還原“還原 ”[SC-122533][SQL] SPJ：支援部分叢集散發”
  • [SPARK-42038] 還原 “[SC-122533][SQL] SPJ：支援部分叢集散發」
  • [SPARK-42038] [SC-122533][SQL]SPJ：支援部分叢集散發
  • [SPARK-40550] [SC-120989][SQL]DataSource V2：處理差異型來源的 DELETE 命令
  • [SPARK-40770] 還原 “[SC-122652][PYTHON] 已改善 applyInPandas 架構不相符的錯誤訊息”
  • [SPARK-40770] [SC-122652][PYTHON]已改善 applyInPandas 的架構不符錯誤訊息
  • [SPARK-41302] 還原 “[SC-122423][SQL] 將名稱指派給_LEGACY_ERROR_TEMP_1185”
  • [SPARK-40550] 還原 “[SC-120989][SQL] DataSource V2：處理差異型來源的 DELETE 命令”
  • [SPARK-42123] 還原 “[SC-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 輸出中包含數據行預設值”
  • [SPARK-42146] [SC-121172][CORE]重構 Utils#setStringField 以讓 maven 建置在 sql 模組使用此方法時傳遞
  • [SPARK-42119] 還原 “[SC-121342][SQL] 新增內建數據表值函式內嵌和inline_outer”

重點

Spark Connect

Spark SQL

功能

函式

資料來源

查詢優化

程式代碼產生和查詢執行

其他值得注意的變更

PySpark

功能

其他值得注意的變更

  • 在 pyspark.sql.dataframe.DataFrame 中新增 df[|] 的自動完成支援 [SPARK-43892]
  • 取代和移除將在 pandas 2.0 中移除的 API [SPARK-42593]
  • 將 Python 設為程式代碼範例的第一個索引標籤 - Spark SQL、DataFrame 和數據集指南 SPARK-42493
  • 更新其餘 Spark 檔程式代碼範例，以依預設 顯示 Python SPARK-42642
  • 建立箭頭 RecordBatch 時，請使用重複資料刪除功能變數名稱 [SPARK-41971]
  • 在具有 pandas DataFrame 的 createDataFrame 中支持重複的域名 [SPARK-43528]
  • 使用數列建立 DataFrame 時允許 columns 參數 [SPARK-42194]

核心

結構化串流

ML

UI

建置和其他專案

拿掉、行為變更和取代

即將移除

下一個 Spark 主要版本中將會移除下列功能

  • 支援 Java 8 和 Java 11，最低支援的 Java 版本將是 Java 17
  • Scala 2.12 的支援，且最低支援的 Scala 版本將是 2.13

移轉指南

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。

系統環境

  • 作業系統：Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python：3.10.12
  • R：4.3.1
  • Delta Lake: 2.4.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 密碼編譯 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 GCC 執行階段程式庫 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 筆記本 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 packaging 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 繩子 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

已安裝 R 程式庫

R 連結庫會從 2023-07-13 上的 Posit 封裝管理員 CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 叢集 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 衝突 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 遞減 1.4.2
devtools 2.4.5 圖表 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略符號 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 泛型 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
Lava 1.7.2.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 矩陣 1.5-4.1 memoise 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 進度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0.45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.咖啡因 caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlet 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper ZooKeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 墊片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1