Databricks Runtime 16.1
以下发行说明提供有关由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.1 的信息。
Databricks 于 2024 年 12 月发布了此版本。
提示
若要查看已达到支持终止的 Databricks Runtime 版本的发行说明（EoS），请参阅 Databricks Runtime 支持终止版本的发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。
行为更改
重大变更：Photon 的正则表达式处理现在变得与 Apache Spark 一致
在 Databricks Runtime 15.4 及更高版本中，Photon 中的正则表达式处理已更新，以匹配 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。
由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如，表达式 split(str_col, '{') 中包含不匹配的大括号，以前 Photon 会接受，现在提示失败。 若要修复此表达式，可以对大括号字符进行转义：split(str_col, '\\{')。
对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 这也是为了让 Photon 的行为与 Apache Spark 一致而进行的更新。
VARIANT 数据类型不能再用于需要比较的操作
在 Databricks Runtime 16.1 及更高版本中，不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符：
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
此外，不能使用这些 DataFrame 函数：
df.dropDuplicates()df.repartition()
这些操作执行比较，以及使用 VARIANT 数据类型的比较会生成未定义的结果，并且 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT 类型，Databricks 建议进行以下更改：
- 更新查询或表达式，以将
VARIANT值显式转换为非VARIANT数据类型。 - 如果字段必须与上述任何操作一起使用，请从
VARIANT数据类型中提取这些字段，并使用非VARIANT数据类型存储这些字段。
若要了解详细信息，请参阅 查询变体数据。
新功能和改进
- 在 Apache Spark 中对排序规则的支持目前处于公共预览阶段
- 在 Delta Lake 中对排序规则的支持目前处于公共预览阶段
- 真空模式
LITE处于公测阶段 - 支持参数化
USE CATALOG with IDENTIFIER子句 - COMMENT ON COLUMN 支持，用于表和视图
- 新的 SQL 函数
- 为更多函数提供命名参数调用
- REPAIR TABLE REPAIR TABLE 命令的
SYNC METADATASYNC METADATA 参数支持使用 Hive 元存储 - 增强了压缩的 Apache Arrow 批处理的数据完整性
- 增加了对 Unity Catalog 共享访问模式计算的 Scala 方法的支持
- 内置 Teradata JDBC 驱动程序
- 对 Scala 的 StreamingQueryListener 支持
- 内置 Oracle JDBC 驱动程序
- 关于使用路径访问 Delta 表的更多错误详情
在 Apache Spark 中对排序规则的支持目前处于公共预览阶段
现在可以为 STRING STRING 列和表达式分配语言感知、不区分大小写并且不考虑访问权限的排序规则。 这些排序规则用于字符串比较、排序、分组操作和许多字符串函数。 请参阅排序规则。
在 Delta Lake 中对排序规则的支持目前处于公共预览阶段
现在可以在创建或更改 Delta 表时为列定义排序规则。 请参阅对 Delta Lake 的排序规则支持。
用于清理的 LITE LITE 模式目前处于公共预览阶段
现在，可以使用 VACUUM table_name LITE 执行轻量级真空操作，以利用 Delta 事务日志中的元数据。 请参阅 完整版与简化版 和 VACUUM。
支持参数化 USE CATALOG with IDENTIFIER 子句
在 Databricks Runtime 16.1 及更高版本中，USE CATALOG USE CATALOG 语句支持 IDENTIFIER IDENTIFIER 子句。 借助此支持，可以根据字符串变量或参数标记参数化当前目录。
COMMENT ONCOLUMN 对表和视图的支持
在 Databricks Runtime 16.1 及更高版本中，COMMENT ON 语句支持更改视图和表列的注释。
新的 SQL 函数
在 Databricks Runtime 16.1 及更高版本中，提供了以下新的内置 SQL 函数：
- dayname(expr) 会返回给定日期的星期几的三个字母英语首字母缩略词。
- uniform（expr1， expr2 [，seed]） 返回在指定数字范围内具有独立且相同分布值的随机值。
- randstr（length） 返回一个包含
length个字母数字字符的随机字符串。
更多函数的命名参数调用
在 Databricks Runtime 16.1 及更高版本中，以下函数支持命名参数调用：
REPAIR TABLE 命令的 SYNC METADATA 参数支持使用 Hive 元存储
在 Databricks Runtime 16.1 及更高版本中，可以将 SYNC METADATA 参数与 REPAIR TABLE 命令配合使用来更新 Hive 元存储托管表的元数据。 请参阅 REPAIR TABLE。
增强了压缩的 Apache Arrow 批处理的数据完整性
在 Databricks Runtime 16.1 及更高版本中，为了进一步防止数据损坏，现在每个采用 LZ4 压缩的 Arrow 批处理都包含LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。
在 Unity 目录共享访问模式计算上添加了对 Scala 方法的支持
在 Databricks Runtime 16.1 及更高版本中，在 Unity 目录共享访问模式计算中，添加了对以下 Scala 方法的支持：Dataset.flatMapGroups()、Dataset.mapGroups()和 DataStreamWriter.foreach()。
内置 Teradata JDBC 驱动程序
在 Databricks Runtime 16.1 及更高版本中，Teradata JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，必须提供自己的驱动程序。
对 Scala 的 StreamingQueryListener 支持
现在，你可以在配置了共享访问模式的计算上使用 StreamingQueryListener 在 Scala 中。
内置 Oracle JDBC 驱动程序
在 Databricks Runtime 16.1 及更高版本中，Oracle JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse Federation。 对于其他用例，必须提供自己的驱动程序。
关于使用路径访问 Delta 表的更多错误详情
关于使用路径访问 Delta 表的新错误信息体验现已提供。 所有异常现在都转发给用户。 现在，DELTA_MISSING_DELTA_TABLE 异常被保留用于无法将基础文件读取为 Delta 表的情况。
其他更改
已重命名 cloudFiles 结构化流式处理源的错误代码
此版本包括重命名以下错误代码的更改：
_LEGACY_ERROR_TEMP_DBR_0143重命名为CF_INCORRECT_STREAM_USAGE。_LEGACY_ERROR_TEMP_DBR_0260重命名为CF_INCORRECT_BATCH_USAGE。
Bug 修复
嵌套类型现在正确接受 NULL 约束
此版本修复了一个影响某些 Delta 生成的嵌套类型列的错误，例如，STRUCT。 这些列有时会根据嵌套字段的 NULL 或 NOT NULL 约束错误地拒绝表达式。 此问题已修复。
软件库升级
- 升级后的 Python 库：
- ipyflow-core 版本从 0.0.198 升级到 0.0.201
- pyccolo 从 0.0.52 更新到 0.0.65
- 升级后的 R 库：
- 升级后的 Java 库：
- io.delta.delta-sharing-client_2.12 从 1.2.1 到 1.2.2
- org.lz4.lz4-java 从 1.8.0 更新到 1.8.0-databricks-1
- software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 到 2.4.1-linux-x86_64
Apache Spark
Databricks Runtime 16.1 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 16.0中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：
- [SPARK-50482] [SC-182879][CORE] 已弃用无操作的
spark.shuffle.spill配置 - [SPARK-50032] [SC-182706][SQL][16.x] 允许使用完全限定的排序规则名称
- [SPARK-50467] [SC-182823][PYTHON] 为内置函数添加
__all__ - [SPARK-48898] [SC-182828][SQL] 修复 Variant 分解 bug
- [SPARK-50441] [SC-182668][SQL] 修复引用 CTE 时参数化标识符不起作用
- [SPARK-50446] [SC-182639][PYTHON] 使用 Arrow 优化的 Python UDF 中的并发级别
- [SPARK-50430] [SC-182536][CORE] 使用标准 Properties.clone 而不是手动克隆
- [SPARK-50471] [SC-182790][PYTHON] 支持基于箭头的 Python 数据源编写器
- [SPARK-50466] [SC-182791][PYTHON] 优化字符串函数的文档字符串 - 第 1 部分
- [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] 将新计时器 API 及初始状态 API 集成到计时器中
- [SPARK-50437] [SC-182586][SS] 减少在 TransformWithStateExec 中创建反序列化程序开销
- [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] 添加对链式操作的支持...
- [SPARK-49294] [SC-182730][UI] 为随机写入时间复选框添加宽度属性。
- [SPARK-50426] [SC-182540][PYTHON] 使用内置数据源或 Java 数据源时避免静态 Python 数据源查找
- [SPARK-48356] [SC-182603][SQL] FOR 语句的支持
- [SPARK-50333] [SC-182136][SQL] 为
CsvToStructs提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现） - [SPARK-50285] [SC-182575] 提交到 StagedTable 实例的指标
- [SPARK-50081] [SC-182344][SQL] 为
XPath*提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现） - [SPARK-50440] [SC-182592] [SQL] 重构 AttributeSeq.resolveCandidates
- [SPARK-50067] [SC-179648][SQL] 为 SchemaOfCsv 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
- [SPARK-49873] [SC-178577][SQL] 修复错误测试导致的合并后失败
- [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离的状态缓存
- [SPARK-49873] [SC-178577][SQL] 为_LEGACY_ERROR_TEMP_1325分配正确的错误类
- [SPARK-50381] [SC-182197][CORE] 支持
spark.master.rest.maxThreads - [SPARK-46725] [SC-182448][SQL] 添加 DAYNAME 函数
- [SPARK-50270] [SC-181179][SS][PYTHON] 添加了 TransformWithStateInPandas 的自定义状态指标
- [SPARK-50118] 还原“[SC-181259][CONNET] 在任务运行时重置隔离的状态缓存”
- [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] 为表值函数添加数据帧 API
- [SPARK-49470] [SC-175736][UI] 将 dataTables 样式表和 javascript 从 1.13.5 更新到 1.13.11
- [SPARK-50235] 还原“[SC-180786][SQL] 在处理完 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源”
- [SPARK-50324] [SC-182278][PYTHON][CONNECT] 使
createDataFrame触发器至多触发一次配置ConfigRPC - [SPARK-50387] [SC-182441][SS] 计时器过期和相关测试的更新条件
- [SPARK-50287] [SC-182400][SQL] 在 FileTable 中创建 WriteBuilder 时合并表和关系的选项
- [SPARK-50066] [SC-181484][SQL] 为
SchemaOfXml提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现） - [SPARK-50092] [SC-181568][SQL] 修复多维数组的 PostgreSQL 连接器行为
- [SPARK-50318] [SC-181641][SQL] 添加 IntervalUtils.makeYearMonthInterval 以在解释代码和代码生成之间去除重复代码
- [SPARK-50312] [SC-181646][SQL] 当 kerberos 为 true 时，SparkThriftServer createServer 参数传递错误
- [SPARK-50246] [SC-181468][SQL] 为
_LEGACY_ERROR_TEMP_2167分配适当的错误条件：INVALID_JSON_RECORD_TYPE - [SPARK-50214] [SC-180692][SQL] 从 json/xml 中不应更改给定架构中的排序规则
- [SPARK-50250] [SC-181466][SQL] 为
_LEGACY_ERROR_TEMP_2075分配适当的错误条件：UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE - [SPARK-50248] [SC-181467][SQL] 为
_LEGACY_ERROR_TEMP_2058分配适当的错误条件：INVALID_PARTITION_VALUE - [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离的状态缓存
- [SPARK-50235] [SC-180786][SQL] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
- [SPARK-50156] [SC-180781][SQL] 将
_LEGACY_ERROR_TEMP_2113集成到UNRECOGNIZED_STATISTIC - [SPARK-50069] [SC-180163][SQL] 将
_LEGACY_ERROR_TEMP_0028集成到UNSUPPORTED_FROM_TO_EXPRESSION - [SPARK-50154] [SC-180663][SQL] 为
_LEGACY_ERROR_TEMP_0043分配适当的错误条件：INVALID_RESET_COMMAND_FORMAT - [SPARK-49967] [SC-179534][SQL] 为
StructsToJson提供代码生成支持（to_json） - [SPARK-50055] [SC-180978][SQL] 添加 TryMakeInterval 替代项
- [SPARK-50397] [SC-182367][CORE] 从
Master/Worker中删除已弃用的--ip和-i参数 - [SPARK-50238] [SC-181434][PYTHON] 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中添加变体支持
- [SPARK-50079] [SC-179830][SQL] 为
_LEGACY_ERROR_TEMP_2013分配适当的错误条件：NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION - [SPARK-50182] [SC-180346][EXAMPLE] 添加
submit-sql.shREST API 示例 - [SPARK-49966] [SC-179501][SQL] 使用
Invoke来实现JsonToStructs（from_json） - [SPARK-50302] [SC-182518][SS] 确保辅助索引大小与具有 TTL 的 TransformWithState 有状态变量的主索引大小相等
- [SPARK-50301] [SC-182241][SS][16.x] 使 TransformWithState 指标反映其直观含义
- [SPARK-50175] [SC-182140][SQL] 更改排序规则优先计算
- [SPARK-50148] [SC-180292][SQL] 使
StaticInvoke与声明引发异常的方法兼容 - [SPARK-50280] [SC-181214][PYTHON] 重构结果排序和 compute_hist
compute_hist中的空箱填充 - [SPARK-50190] [SC-182458][PYTHON] 从直方图中删除 Numpy 的直接依赖项
- [SPARK-50382] [SC-182368][CONNECT] 添加有关使用/扩展 Spark Connect 进行应用程序开发的常规信息的文档
- [SPARK-50296] [SC-181464][PYTHON][CONNECT] 避免在 Threadpool for Python Connect 客户端中使用类属性
- [SPARK-49566] [SC-182239][SQL] 为 EXTEND 运算符添加 SQL 管道语法
- [SPARK-50036] [SC-179533][CORE][PYTHON] 在 REPL shell 的上下文中包含SPARK_LOG_SCHEMA
- [SPARK-49859] [SC-178259][CONNECT] 将 multiprocessing.ThreadPool 替换为 ThreadPoolExecutor
- [SPARK-50141] [SC-182378][PYTHON] 使
lpad和rpad接受列类型参数 - [SPARK-50379] [SC-182142][SQL] 修复 WindowExecBase 中的 DayTimeIntevalType 处理
- [SPARK-49954] [SC-179110][SQL] 为 SchemaOfJson 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
- [SPARK-50398] [SC-182341][CORE] 在 Spark 脚本中使用 ExitCode 代码
0来处理--help用法 - [SPARK-50377] [SC-182238][SQL] 允许对可折叠的 RuntimeReplaceable 进行评估
- [SPARK-50241] [SC-181444][SQL] 将 NullIntolerant Mixin 替换为 Expression.nullIntolerant 方法
- [SPARK-50084] [SC-179672][SQL] 为
_LEGACY_ERROR_TEMP_3168分配适当的错误条件：MISSING_TIMEOUT_CONFIGURATION - [SPARK-50078] [SC-179649][SQL] 为
_LEGACY_ERROR_TEMP_0038分配适当的错误条件：DUPLICATED_CTE_NAMES - [SPARK-50057] [SC-179573][SQL] 为
_LEGACY_ERROR_TEMP_1049分配适当的错误条件：INVALID_ATTRIBUTE_NAME_SYNTAX - [SPARK-50070] [SC-179579][SQL] 将
_LEGACY_ERROR_TEMP_0039集成到UNSUPPORTED_SQL_STATEMENT - [SPARK-50378] [SC-182235][SS] 添加自定义指标，用于跟踪在 transformWithState 中进程初始状态的花费
- [SPARK-50029] [SC-179531][SQL] 使
StaticInvoke与返回Any的方法兼容 - [SPARK-49990] [SC-179497][SQL] 提高
randStr性能 - [SPARK-50048] [SC-179528][SQL] 为
_LEGACY_ERROR_TEMP_2114分配适当的错误条件：UNRECOGNIZED_STATISTIC - [SPARK-50053] [SC-179532][SQL] 将
_LEGACY_ERROR_TEMP_2104转换为INTERNAL_ERROR - [SPARK-49665] [SC-180054][SQL] 为字符串函数剪裁排序规则支持
- [SPARK-48549] [SC-176472][SQL][PYTHON] 改进 SQL 函数
sentences - [SPARK-50022] [SC-179503][CORE][UI] 修复
MasterPage以在禁用 UI 时隐藏应用 UI 链接 - [SPARK-50087] [SC-182152] 为 MsSqlServer 和未来连接器在 CASE WHEN 语句中对布尔表达式进行稳健处理
- [SPARK-49991] [SC-179481][SQL] 使 HadoopMapReduceCommitProtocol 遵循“mapreduce.output.basename”生成文件名
- [SPARK-50038] [SC-179521][SQL] 为
_LEGACY_ERROR_TEMP_0008分配适当的错误条件：MERGE_WITHOUT_WHEN - [SPARK-50236] [SC-181671][SQL] 为
_LEGACY_ERROR_TEMP_1156分配适当的错误条件：COLUMN_NOT_DEFINED_IN_TABLE - [SPARK-50021] [SC-179500][CORE][UI] 修复
ApplicationPage以在禁用 UI 时隐藏应用 UI 链接 - [SPARK-49911] [SC-179111][SQL] 修复支持二进制相等性的语义
- [SPARK-50025] [SC-179496][SQL] 将
_LEGACY_ERROR_TEMP_1253集成到EXPECT_VIEW_NOT_TABLE - [SPARK-49829] [SC-179480][SS] 修复优化在流与流联接中向状态存储添加输入时的 bug
- [SPARK-50004] [SC-179499][SQL] 将
_LEGACY_ERROR_TEMP_3327集成到FIELD_NOT_FOUND - [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator 应遵循 ConstantFolding 中的协定
- [SPARK-50340] [SC-181859][SQL] 在 INSERT 输入查询中展开 UDT
- [SPARK-50237] [SC-181660][SQL] 为
_LEGACY_ERROR_TEMP_2138-9分配适当的错误条件：CIRCULAR_CLASS_REFERENCE - [SPARK-50258] [SC-181993][SQL] 修复 AQE 优化后输出列顺序更改的问题
- [SPARK-49773] [SC-178369][SQL] 来自
make_timestamp()的未捕获 Java 异常，有时区错误 - [SPARK-49977] [SC-179265][SQL] 使用基于堆栈的迭代计算，以避免为深层表达式树创建许多 Scala List 对象
- [SPARK-50153] [SC-181591][SQL] 向
RuleExecutor添加名称name，以使QueryExecutionMetrics的日志打印更清晰 - [SPARK-50320] [SC-181668][CORE] 将
--remote通过删除experimental警告设为正式选项 - [SPARK-49909] [SC-179492]还原“[SQL] 修复某些表达式的友好名称”
- [SPARK-50330] [SC-180720][SC-181764][SQL] 向排序和窗口节点添加提示
- [SPARK-50364] [SC-182003][SQL] 在 Row.jsonValue 中实现 LocalDateTime 类型的序列化
- [SPARK-50016] [SC-182139][SQL] 为
_LEGACY_ERROR_TEMP_2067分配适当的错误条件：UNSUPPORTED_PARTITION_TRANSFORM - [SPARK-49899] [SC-181175][PYTHON][SS] 支持用于 TransformWithStateInPandas 的 deleteIfExists
- [SPARK-49757] [SC-177824][SQL] 支持 SETCATALOG 语句中的 IDENTIFIER 表达式
- [SPARK-50315] [SC-181886][SQL] 支持用于 V1Fallback 写入的自定义指标
- [SPARK-42838] [SC-181509][SQL] 将名称分配给错误类_LEGACY_ERROR_TEMP_2000
- [SPARK-50353] [SC-181985][SQL] 重构 ResolveSQLOnFile
- [SPARK-48344] [SC-181967][SQL] 准备 SQL 脚本以添加执行框架
- [SPARK-49345] [SC-174786][CONNECT] 确保使用当前运行的 Spark 会话
- [SPARK-49925] [SC-178882][SQL] 为使用排序字符串进行排序添加测试
- [SPARK-50167] [SC-181199][PYTHON][CONNECT] 改进 PySpark 绘图错误消息和导入
- [SPARK-49368] [SC-174999][CONNECT] 避免直接访问 protobuf lite 类
- [SPARK-50056] [SC-181378][SQL] 为 ParseUrl 提供代码生成支持（由 Invoke 以及 RuntimeReplaceable 实现）
- [SPARK-49601] [SC-180770][SS][PYTHON] 支持 TransformWithStateInPandas 的初始状态处理
- [SPARK-49908] [SC-178768][SQL] 为_LEGACY_ERROR_TEMP_0044分配正确的错误条件
- [SPARK-50144] [SC-180307][SS] 解决使用 DSv1 流式处理源在指标计算方面的局限性
- [SPARK-49874] [SC-178303][SQL] 删除剪裁和 ltrim 排序规则说明符。
- [SPARK-49513] [SC-180339][SS] 在 transformWithStateInPandas API 中添加计时器支持
- [SPARK-49119] [SC-175607][SQL] 修复 v1 和 v2 之间的语法
show columns不一致 - [SPARK-49206] [SC-173704][CORE][UI] 将
Environment Variables环境变量表添加到主环境页面EnvironmentPage - [SPARK-49934] [SC-179581][SQL] 添加隐式强制转换以使用字面值访问已排序的映射
- [SPARK-50049] [SC-181659][SQL] 支持写入 v2 表时自定义驱动指标
- [SPARK-50171] [SC-180295][PYTHON] 使 numpy 在 KDE 图中可选
- [SPARK-49962] [SC-179320][SQL] 简化 AbstractStringTypes 类层次结构
- [SPARK-50226] [SC-181483][SQL] 更正 MakeDTInterval 和 MakeYMInterval 以捕获 Java 异常
- [SPARK-48775] [SC-170801][SQL][STS] 将 SQLContext 替换为 STS 中的 SparkSession
- [SPARK-49015] [SC-175688][CORE] Connect Server 应遵循
spark.log.structuredLogging.enabled - [SPARK-50327] [SC-181667][SQL][16.x] 提取函数解析，以便在单遍分析器中重复使用
- [SPARK-49995] [SC-180762][SQL] 向更多 TVF 添加命名参数支持
- [SPARK-49268] [SC-174903][CORE] 记录 SHS 历史记录提供程序中的 IO 异常
- [SPARK-48123] [SC-164989][Core] 提供用于查询结构化日志的常量表架构
- [SPARK-49217] [SC-174904][CORE] 在 UnsafeShuffleWriter 中支持单独的缓冲区大小配置
- [SPARK-50325] [SC-181664][SQL][16.x] 提取别名解析，以便在单遍分析器中重复使用
- [SPARK-50322] [SC-181665][SQL] 修复子查询中的参数化标识符
- [SPARK-48400] [SC-175283][CORE] 将
PrometheusServlet提升为DeveloperApi - [SPARK-50118] 还原“[SC-181259][CONNET] 在任务运行时重置隔离的状态缓存”
- [SPARK-50306] [SC-181564][PYTHON][CONNECT] 在 Spark Connect 中支持 Python 3.13
- [SPARK-50152] [SC-181264][SS] 支持使用状态数据源读取器的 handleInitialState
- [SPARK-50260] [SC-181271][CONNECT] 重构和优化 Spark C...
- [SPARK-47591] [SC-163090][SQL] Hive-thriftserver： 将带变量的 logInfo 迁移到结构化日志记录框架
- [SPARK-49312] [SC-174672][PYTHON] 改进
assertSchemaEqual的错误消息 - [SPARK-49439] [SC-175236][SQL] 修复
FromProtobuf和ToProtobuf表达式的友好名称 - [SPARK-50092] [ES-1258521] 修复多维数组的 PostgreSQL 连接器行为
- [SPARK-49913] [SC-181565][SQL] 添加对嵌套标记范围中唯一标签名称的检查
- [SPARK-49563] [SC-181465][SQL] 为 WINDOW 运算符添加 SQL 管道语法
- [SPARK-49661] [SC-179021][SQL] 实现剪裁排序规则哈希和比较。
- [SPARK-38912] [SC-181543][PYTHON] 删除与 classmethod 和属性相关的注释
- [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB 强化] 改进 RocksDB SST 文件映射管理，并修复了使用现有快照重新加载同一版本的问题
- [SPARK-49002] 还原“[SC-172846][SQL] 一致处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
- [SPARK-49668] [SC-178268][SQL] 实现对剪裁排序规则的排序规则键支持
- [SPARK-50262] [SC-181193][SQL] 更改排序规则期间禁止指定复杂类型
- [SPARK-48898] [SC-181435][SQL] 添加 Variant 分解函数
- [SPARK-48273] [SC-181381] 还原“[SQL] 修复 PlanWithUnresolvedIdentifier 的后期重写”
- [SPARK-50222] [SC-180706][CORE] 支持
spark.submit.appName - [SPARK-50208] [SC-180662][CORE] 支持
spark.master.useDriverIdAsAppName.enabled - [SPARK-50224] [SC-180689][SQL] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 函数的替代方案应为 NullIntolerant
- [SPARK-50247] [SC-180962][CORE] 将
BLOCK_MANAGER_REREGISTRATION_FAILED定义为ExecutorExitCode - [SPARK-50282] [SC-181221][ML] 简化
TargetEncoderModel.transform - [SPARK-50112] [SC-180763][SQL] 允许 TransformWithState 运算符使用 Avro 编码
- [SPARK-50267] [SC-181180][ML] 使用数据帧 API 改进
TargetEncoder.fit - [SPARK-37178] [SC-180939][ML] 向 ml.feature 添加目标编码
- [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离的状态缓存
- [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] 使使用 np.int8 的
lit(ndarray)符合 numpy 数据类型 - [SPARK-50256] [SC-181048][SQL] 添加轻量级验证，以检查每个优化器规则应用后逻辑计划是否变为未解析状态
- [SPARK-50196] [SC-180932][CONNECT] 修复 Python 错误上下文以使用正确的上下文
- [SPARK-50274] [SC-181181][CORE] 防止 DirectByteBufferOutputStream 中的 use-after-close
- [SPARK-49999] [SC-180063][PYTHON][CONNECT] 在箱图、KDE 图和直方图中支持可选的“column”参数
- [SPARK-50273] [SC-181178][SS] 改进 RocksDB 锁获取/释放案例的日志记录
- [SPARK-50033] [SC-180720][SC-180659][SQL] 向逻辑Aggregate()节点添加提示。
- [SPARK-50163] [16.x][SC-180201][SC-180664][SS] 修复 RocksDB 因完成侦听器导致的额外 acquireLock 释放
- [SPARK-50253] [SC-180969][SS] 流与流的联接不应提取检查点 ID（如果不支持）。
- [SPARK-50255] [SC-180964][PYTHON] 避免
compute_hist中不必要的强制转换 - [SPARK-50228] [SC-180780][SQL] 将
RewriteCollationJoin规则移动到FinishAnalysis - [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] 调整“精度”为箱图关键字参数的一部分
- [SPARK-49637] [SC-180160][SQL] 更改了 INVALID_FRACTION_OF_SECOND 的错误消息
- [SPARK-49530] [SC-180658][PYTHON] 从数据帧中获取活动会话
- [SPARK-50195] [SC-180654][CORE] 修复了
StandaloneRestServer，以将spark.app.name正确地传播到SparkSubmit - [SPARK-50229] [SC-180773] 通过减少逻辑规划期间创建的 AttributeReference 对象的生存期，减少驱动程序上宽架构的内存使用量
- [SPARK-50231] [SC-180815][PYTHON] 使函数
instr接受列substring - [SPARK-49854] [SC-179812][16.x][SQL] 在会话克隆期间克隆项目管理器
- [SPARK-50219] [SC-180694][SQL] 重构
ApplyCharTypePadding，以便在单遍解析器中可以使用帮助程序 - [SPARK-50077] [SC-179827][SQL] 引入了逻辑关系的新模式对象，以帮助避免默认的完整参数模式
- [SPARK-50128] [Backport][16x][SC-180677][SS] 在 Scala 中使用隐式编码器添加有状态处理器句柄 API
- [SPARK-50061] [SC-179961][SQL] 为排序列启用分析表
- [SPARK-49993] [SC-180084][SQL] 改进 Sum 和 Average 的错误消息
- [SPARK-49638] [SC-179665][SQL] 删除 INVALID_URL 中的 ANSI 配置建议
- [SPARK-50204] [SC-180660][SQL] 提取
HiveTableRelation读取路径解析 - [SPARK-50193] [SC-180651][SS] 修复了验证时间模式的异常处理
- [SPARK-50179] [SC-180342][CORE] 使 REST API 中的
spark.app.name属性可选 - [SPARK-50068] [SC-180300][SQL] 重构
TypeCoercion和AnsiTypeCoercion以分隔单节点转换 - [SPARK-49411] [SC-179483][SS] 在驱动程序和有状态运算符之间传递状态存储检查点 ID
- [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET 应保留数据排序
- [SPARK-49506] [SC-180165][SQL] 优化用于可折叠数组的 ArrayBinarySearch
- [SPARK-50097] [SC-179908][SQL] 为
_LEGACY_ERROR_TEMP_1248分配适当的错误条件：ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE - [SPARK-50071] [SC-180159][SQL][PYTHON] 添加 try_make_timestamp(_ltz and _ntz) 和相关测试
- [SPARK-50054] [SC-180228][PYTHON][CONNECT] 支持直方图
- [SPARK-50015] [SC-179964][SQL] 为
_LEGACY_ERROR_TEMP_1125分配适当的错误条件：MISSING_DATABASE_FOR_V1_SESSION_CATALOG - [SPARK-50155] [SC-180240][3.5] 将 scala 和 java 文件移动到其默认文件夹
- [SPARK-49980] [SC-180353][CORE][SQL] 修复因已取消任务中断而导致的潜在文件流泄漏
- [SPARK-49010] [SC-172304][SQL][XML] 为 XML 架构推理区分大小写添加单元测试
- [SPARK-49562] [SC-180211][SQL] 为聚合添加 SQL 管道语法
- [SPARK-49663] [SC-180239][SQL] 在排序规则表达式中启用 RTRIM 建议
- [SPARK-48965] [SC-175926][SQL] 在
Dataset#toJSON中使用正确的架构 - [SPARK-48493] [SC-175893][PYTHON] 使用直接箭头批处理支持增强 Python 数据源读取器以提高性能
- [SPARK-49734] [SC-180226][PYTHON] 为函数
shuffle添加seed参数 - [SPARK-50174] [16.x][SC-180253][SQL] 提取 UnresolvedCatalogRelation 解析
- [SPARK-49989] [SC-179512][PYTHON][CONNECT] 支持 KDE 图/密度图
- [SPARK-49805] [SC-180218][SQL][ML] 从
function.scala中删除 private[xxx] 函数 - [SPARK-49808] [SC-179490][SQL] 修复由于 lazy val 导致的子查询执行中的死锁问题
- [SPARK-49929] [SC-180144][PYTHON][CONNECT] 支持箱图
- [SPARK-50008] [SC-179290][PS][CONNECT] 避免在
attach_distributed_sequence_column中执行不必要的操作 - [SPARK-49767] [SC-180161][PS][CONNECT] 重构内部函数调用
- [SPARK-49683] [SC-178341][SQL] 块剪裁排序规则
- [SPARK-49939] [SC-178941][SQL] 为 json_object_keys 提供代码生成支持（由 Invoke 以及 RuntimeReplaceable 实现）
- [SPARK-50031] [SC-179582][SQL] 添加
TryParseUrl表达式 - [SPARK-49766] [SC-178933][SQL] 为
json_array_length提供代码生成支持（由Invoke以及RuntimeReplaceable实现） - [SPARK-50046] [SC-180026][SS] 使用 EventTimeWatermark 节点的稳定顺序计算水印
- [SPARK-49540] [SC-180145][PS] 统一使用
distributed_sequence_id - [SPARK-50060] [SC-179965][SQL] 在 TypeCoercion 和 AnsiTypeCoercion 中禁用了不同排序类型之间的转换
- [SPARK-49004] [SC-173244][CONNECT] 对 Column API 内部函数使用单独的注册表
- [SPARK-49811] [SC-177888][SQL]重命名 StringTypeAnyCollation
- [SPARK-49202] [SC-180059][PS] 为直方图应用
ArrayBinarySearch - [SPARK-49203] [SC-175734][SQL] 为
java.util.Arrays.binarySearch添加表达式 - [SPARK-50034] [SC-179816][CORE] 修复
SparkUncaughtExceptionHandler中将致命错误误报为未捕获异常的问题 - [SPARK-50093] [SC-179836][SQL] 使用 ICU 的排序规则应包含所用 ICU 库的版本
- [SPARK-49985] [SC-179644][SQL] 删除对 Variant 中的间隔类型的支持
- [SPARK-49103] [SC-173066][CORE] 支持
spark.master.rest.filters - [SPARK-50090] [SC-179819] 重构 ResolveBinaryArithmetic 以分离单节点转换
- [SPARK-49902] [SC-179650][SQL] 捕获
RegExpReplace中的基础运行时错误 - [SPARK-49126] [SC-173342][CORE] 将
spark.history.ui.maxApplications配置定义移动到History.scala - [SPARK-50094] [SC-179820][PYTHON][CONNECT] 在没有行号的编辑器上使用内存探查器时提供更好的错误消息
- [SPARK-50062] [SC-179835][SQL] 支持依据
InSet的排序规则 - [SPARK-50035] [Backport][16x][SC-179530][SS] 添加对有状态处理器的显式 handleExpiredTimer 函数部分的支持
- [SPARK-49982] [SC-179814][SQL] 修复 InMemoryRelation 中的负缓存
- [SPARK-49082] [SC-173350][SQL] 扩展
AvroDeserializer中的类型提升 - [SPARK-50088] [SC-179680][SQL] 重构
UnresolvedStarBase.expand - [SPARK-49802] [SC-179482][SS] 对在有状态处理器中使用的映射和列表类型添加读取更改源支持
- [SPARK-49846] [SC-179506][SS] 添加 numUpdatedStateRows 和 numRemovedStateRows 指标以用于 transformWithState 运算符
- [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] 使 lit 接受 str 和 bool 类型的 numpy ndarray
- [SPARK-49821] [SC-179527][SS][PYTHON] 实现 MapState 和 TTL 对 TransformWithStateInPandas 的支持
- [SPARK-49558] [SC-179485][SQL] 为 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 添加 SQL 管道语法
- [SPARK-48144] [SC-165725][LC-4080][SQL] 修复
canPlanAsBroadcastHashJoin以遵循随机联接提示 - [SPARK-50051] [SC-179571][PYTHON][CONNECT] 使
lit适用于空 numpy ndarray - [SPARK-50018] [SC-179488][SQL] 使 AbstractStringType 可序列化
- [SPARK-50016] [SC-179491][SQL] 改进显式排序规则不匹配错误
- [SPARK-50010] [SC-179487][SQL] 展开隐式排序规则不匹配错误
- [SPARK-48749] [SC-170116][SQL] 简化 UnaryPositive 并使用 RuntimeReplaceable 消除其催化剂规则
- [SPARK-49857] [SC-178576][SQL] 将 storageLevel 添加到数据集 localCheckpoint API
- [SPARK-50058] [SC-179538][SQL] 提取计划规范化函数，以便稍后在单遍解析器测试中使用这些函数
- [SPARK-50052] [SC-179535][PYTHON][16.X] 使 NumpyArrayConverter 支持空 str ndarray
- [SPARK-47261] [SC-173665][SQL] 为错误_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173和_LEGACY_ERROR_TEMP_1174分配更好的名称
- [SPARK-49147] [SC-173471][CORE] 使用 DeveloperApi 接口标记
KryoRegistrator - [SPARK-48949] [SC-173070][SQL] SPJ：运行时分区筛选
- [SPARK-50044] [SC-179523][PYTHON] 优化多个数学函数的文档字符串
- [SPARK-48757] [SC-170113][CORE] 使
IndexShuffleBlockResolver具有显式构造函数 - [SPARK-50037] [SQL] 重构 AttributeSeq.resolve(…)
- [SPARK-48782] [SC-177056][SQL] 添加对目录中执行过程的支持
- [SPARK-49057] [SC-173081][SQL] 在提交查询阶段时不要阻止 AQE 循环
- [SPARK-48824] [SC-176772][BEHAVE-167][SQL] 添加标识列 SQL 语法
- [SPARK-48773] [SC-170773] 使用配置生成器框架来记录配置项“spark.default.parallelism”
- [SPARK-48735] [SC-169810][SQL] BIN 函数的性能改进
- [SPARK-48900] [SC-172433] 为所有用于作业/阶段取消的内部调用添加原因
reason字段 - [SPARK-48488] [SC-167605][CORE] 修复
SparkSubmit中的log[info|warning|error]方法 - [SPARK-48708] [SC-169809][CORE] 从
KryoSerializer中删除三个不必要的类型注册 - [SPARK-49958] [SC-179312][PYTHON] 用于字符串验证函数的 Python API
- [SPARK-49979] [SC-179264][SQL] 修复在失败计划上进行两次收集时出现的 AQE 挂起问题
- [SPARK-48729] [SC-169795][SQL] 添加 UserDefinedFunction 接口来表示 SQL 函数
- [SPARK-49997] [SC-179279][SQL] 将
_LEGACY_ERROR_TEMP_2165集成到MALFORMED_RECORD_IN_PARSING - [SPARK-49259] [SC-179271][SS]读取 Kafka 时基于大小的分区创建
- [SPARK-48129] [SC-165006][PYTHON] 在 PySpark 中提供常量表架构，用于查询结构化日志
- [SPARK-49951] [SC-179259][SQL] 为 LEGACY_ERROR_TEMP分配正确的错误条件（1099|3085）
- [SPARK-49971] [SC-179278][SQL] 为_LEGACY_ERROR_TEMP_1097分配正确的错误条件
- [SPARK-49998] [SC-179277][SQL] 将
_LEGACY_ERROR_TEMP_1252集成到EXPECT_TABLE_NOT_VIEW - [SPARK-49876] [SC-179262][CONNECT] 从 Spark Connect 服务中删除全局锁
- [SPARK-49957] [SC-179202][SQL] 用于字符串验证函数的 Scala API
- [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener 不应该受到 spark.interrupt() 的影响
- [SPARK-49643] [SC-179239][SQL] 将_LEGACY_ERROR_TEMP_2042合并到ARITHMETIC_OVERFLOW
- [SPARK-49959] [SC-179109][SQL] 修复 ColumnarArray.copy() 以从正确的偏移量读取空值
- [SPARK-49956] 还原“[SC-179070] 禁用使用 collect_set 表达式的排序规则”
- [SPARK-49987] [SC-179180][SQL] 修复
seedExpression在randstr中不可折叠时出现的错误提示 - [SPARK-49948] [SC-179158][PS][CONNECT] 向 Pandas on Spark 中的箱图添加参数“precision”
- [SPARK-49970] [SC-179167][SQL] 为_LEGACY_ERROR_TEMP_2069分配正确的错误条件
- [SPARK-49916] [SC-179108][SQL] 为列类型和某些行中的数据类型不匹配抛出适当的异常
- [SPARK-49956] [SC-179070] 禁用使用 collect_set 表达式的排序规则
- [SPARK-49974] [16.x][SC-179071][SQL] 将 resolveRelations（...） 移出 Analyzer.scala
- [SPARK-47259] [SC-176437][SQL] 为间隔错误的错误条件分配名称
- [SPARK-47430] [SC-173679][SQL] 按映射类型重新分组以修复绑定引用异常
- [SPARK-49067] [SC-172616][SQL] 将 utf-8 文本移动到 UrlCodec 类的内部方法中
- [SPARK-49955] [SC-178989][SQL] null 值并不意味着分析 JSON 字符串 RDD 时损坏的文件
- [SPARK-49393] [SC-175212][SQL] 在已弃用的目录插件 API 中，默认情况为失败
- [SPARK-49952] [SC-178985][SQL] 为_LEGACY_ERROR_TEMP_1142分配正确的错误条件
- [SPARK-49405] [SC-175224][SQL] 限制 JsonOptions 中的字符集
- [SPARK-49892] [SC-178975][SQL] 为_LEGACY_ERROR_TEMP_1136分配正确的错误类
- [SPARK-49904] [SC-178973][SQL] 为_LEGACY_ERROR_TEMP_2140分配正确的错误条件
- [SPARK-47257] [SC-174244][SQL] 将名称分配给错误类_LEGACY_ERROR_TEMP_105[3-4] 和_LEGACY_ERROR_TEMP_1331
- [SPARK-49915] [SC-178869][SQL] 处理 ReorderAssociativeOperator 中的 0 和 1
- [SPARK-49891] [SC-178970][SQL] 为_LEGACY_ERROR_TEMP_2271分配正确的错误条件
- [SPARK-49918] [SC-178748][CORE] 在适当情况下，使用只读访问以在
SparkContext中配置 - [SPARK-49666] [SC-177891][SQL] 为剪裁排序规则功能添加功能标志
- [SPARK-48885] [SC-171050][SQL] 使 RuntimeReplaceable 的一些子类重写替换为 lazy val
- [SPARK-49932] [SC-178931][CORE] 使用
tryWithResource发布JsonUtils#toJsonString资源以避免内存泄漏 - [SPARK-49949] [SC-178978][PS] 避免在
attach_sequence_column中不必要的分析任务 - [SPARK-49924] [SC-178935][SQL] 在更换
ArrayCompact后保留containsNull - [SPARK-49121] [SC-174787][SQL] 支持 SQL 函数的
from_protobuf和to_protobuf - [SPARK-47496] [SC-160529][SQL] Java SPI 支持动态 JDBC 方言注册
- [SPARK-49359] [SC-174895][SQL] 允许 StagedTableCatalog 实现回退到非原子写入
- [SPARK-49895] [SC-178543][SQL][ES-1270338] 改进在 SELECT 子句中遇到尾随逗号时的错误
- [SPARK-47945] [SC-163457][SQL] MsSQLServer：记录从 Microsoft SQL Server 到 Spark SQL 数据类型的映射并添加测试
- [SPARK-46037] [SC-175495][SQL] 对未使用代码生成的随机哈希联接版本左侧的正确性修复
- [SPARK-47813] [SC-162615][SQL] 将 getArrayDimension 替换为 updateExtraColumnMeta
- [SPARK-49542] [SC-178765][SQL] 分区转换异常评估错误
- [SPARK-47172] [SC-169537][CORE] 添加对 RPC 加密 AES-GCM 的支持
- [SPARK-47666] [SC-161476][SQL] 修复将 mysql 位数组读取为 LongType 时出现的 NPE问题
- [SPARK-48947] [SC-174239][SQL] 使用小写字符集名称减少 Charset.forName 中缺少的缓存
- [SPARK-49909] [SC-178552][SQL] 修复某些表达式的漂亮名称
- [SPARK-47647] [SC-161377][SQL] 使 MySQL 数据源能够像 Postgres 那样读取 bit(n>1) 为 BinaryType
- [SPARK-46622] [SC-153004][CORE] 替代
o.a.s.network.shuffledb.StoreVersion的toString方法 - [SPARK-48961] [SC-171910][PYTHON] 使 PySparkException 的参数命名与 JVM 一致
- [SPARK-49889] [SC-178474][PYTHON] 为函数添加参数
trimtrim/ltrim/rtrim - [SPARK-47537] [SC-160747][SQL] 修复 MySQL 连接器/J 上的错误数据类型映射
- [SPARK-47628] [SC-161257][SQL] 修复 Postgres 位数组问题“无法转换为布尔值”
- [SPARK-49843] [SC-178084][ES-1268164][SQL] 修复了对 char/varchar 列的更改注释
- [SPARK-49549] [SC-178764][SQL] 将名称分配给错误条件_LEGACY_ERROR_TEMP_3055,3146
- [SPARK-49791] [SC-177730][SQL] 使 DelegatingCatalogExtension 更具扩展性
- [SPARK-49559] [SC-178551][SQL] 为设置操作添加 SQL 管道语法
- [SPARK-49906] [SC-178536][SQL] 为 PartitioningUtils 引入和使用 CONFLICTING_DIRECTORY_STRUCTURES 的错误
- [SPARK-49877] [SC-178392][SQL] 更改 classifyException 函数签名：添加 isRuntime 参数
- [SPARK-47501] [SC-160532][SQL] 为 JdbcDialect 添加类似于现有 convertTimestampToTimestamp 的 convertDateToDate
- [SPARK-49044] [SC-175746][SQL] ValidateExternalType 应返回 child in error
- [SPARK-47462] [SC-160460][SQL] 将其他无符号数字类型的映射与 MySQLDialect 中的 TINYINT 对齐
- [SPARK-47435] [SC-160129][SQL] 修复 SPARK-45561 导致的 MySQL UNSIGNED TINYINT 溢出问题
- [SPARK-49398] [SC-176377][SQL] 改进 CACHE TABLE 和 CREATE VIEW 查询中的参数错误
- [SPARK-47263] [SC-177012][SQL] 将名称分配给旧条件 _LEGACY_ERROR_TEMP_13[44-46]
- [SPARK-49605] [SC-176605][SQL] 修复当
SortArray中ascendingOrder为DataTypeMismatch时的提示信息 - [SPARK-49806] [SC-178304][SQL][CONNECT] 在
Scala和Connect客户端中展示show后删除冗余空白空间blank space - [SPARK-47258] [SC-175032][SQL] 将名称分配给错误类_LEGACY_ERROR_TEMP_127[0-5]
- [SPARK-49564] [SC-178461][SQL] 为 JOIN 运算符添加 SQL 管道语法
- [SPARK-49836] [SC-178339][SQL][SS] 修复提供窗口给 window/session_window fn 时可能损坏的查询
- [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] 处理 Postgres 和 MySQL 的 SQL 时间戳映射
- [SPARK-49776] [SC-177818][PYTHON][CONNECT] 支持饼图
- [SPARK-49824] [SC-178251][SS][CONNECT] 改进 SparkConnectStreamingQueryCache 中的日志记录
- [SPARK-49894] [SC-178460][PYTHON][CONNECT] 优化列字段操作的字符串表示形式
- [SPARK-49764] [SC-177491][PYTHON][CONNECT] 支持面积图
- [SPARK-49694] [SC-177376][PYTHON][CONNECT] 支持散点图
- [SPARK-49744] [SC-178363][SS][PYTHON] 在 TransformWithStateInPandas 中实现对 ListState 的 TTL 支持
- [SPARK-49879] [SC-178334][CORE] 将
TransportCipherUtil移动到单独的文件以消除 Java 编译警告 - [SPARK-49866] [SC-178353][SQL] 改进了描述包含分区列的表的错误消息
- [SPARK-49867] [SC-178302][ES-1260570][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
- [SPARK-49607] [SC-177373][PYTHON] 更新基于采样生成图表的采样方法
- [SPARK-49626] [SC-177276][PYTHON][CONNECT] 支持水平条形图和垂直条形图
- [SPARK-49531] [SC-177770][PYTHON][CONNECT] 支持使用 plotly 后端的线条图
- [SPARK-49444] [SC-177692][ES-1203248][SQL] 修改了 UnivocityParser，使其在因 ArrayIndexOutOfBounds 而引发运行时异常时，提供更面向用户的消息。
- [SPARK-49870] [SC-178262][PYTHON] 在 Spark 经典版中添加 Python 3.13 支持
- [SPARK-49560] [SC-178121][SQL] 为 TABLESAMPLE 运算符添加 SQL 管道语法
- [SPARK-49864] [SC-178305][SQL] 改进 BINARY_ARITHMETIC_OVERFLOW 的信息
- [SPARK-48780] [SC-170274][SQL] 将 NamedParametersSupport 中的错误处理泛型化，以便支持函数和过程
- [SPARK-49358] [SC-178158][SQL] 针对包含排序字符串的映射类型的模式表达式
- [SPARK-47341] [SC-178157][SQL] 修复 RuntimeConfig#get 的不准确文档
- [SPARK-48357] [SC-178153][SQL] 对 LOOP 语句的支持
- [SPARK-49845] [SC-178059][CORE] 在 REST API 中使
appArgs和environmentVariables可选 - [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable 应指示它是否用于写入
- [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] 添加了对 Scala 的客户端侦听器支持
- [SPARK-48700] [SC-177978][SQL] 复杂类型的模式表达式（所有排序规则）
- [SPARK-48196] [SC-177899][SQL] 将 QueryExecution lazy val 计划转换为 LazyTry
- [SPARK-49749] [16.x][SC-177877][CORE] 更改日志级别以在 BlockManagerInfo 中进行调试
- [SPARK-49561] [SC-177897][SQL] 为 PIVOT 和 UNPIVOT 运算符添加 SQL 管道语法
- [SPARK-49823] [SC-177885][SS] 在 rocksdb 关闭路径中避免关闭时刷新
- [SPARK-49820] [SC-177855] [PYTHON] 将
raise IOError更改为raise OSError - [SPARK-49653] [SC-177266][SQL] 相关标量子查询的单一联接
- [SPARK-49552] [SC-177477][PYTHON] 为新的“randstr”和“uniform”SQL 函数添加数据帧 API 支持
- [SPARK-48303] [16.x][SC-166251][CORE] 重新组织日志键
- [SPARK-49656] [16x][Backport][SS] 添加对具有值状态集合类型和读取更改源选项的状态变量的支持
- [SPARK-48112] [SC-165129][CONNECT] 向插件公开 SparkConnectPlanner 中的会话
- [SPARK-48126] [16.x][SC-165309][Core] 启用 spark.log.structuredLogging.enabled 功能
- [SPARK-49505] [SC-176873][SQL] 创建新的 SQL 函数“randstr”和“uniform”以在范围内生成随机字符串或数字
- [SPARK-49463] [SC-177474] 支持 TransformWithStateInPandas 的 ListState
- [SPARK-48131] [SC-165007][Core] 统一 MDC 密钥
mdc.taskName和task_name - [SPARK-49557] [SC-177227][SQL] 为 WHERE 运算符添加 SQL 管道语法
- [SPARK-49323] [16.x][SC-174689][CONNECT] 将 MockObserver 从 Spark Connect Server 的测试文件夹移动到服务器的主文件夹
- [SPARK-49745] [SC-177501][SS] 添加更改，以通过状态数据源读取器读取已注册的计时器
- [SPARK-49772] [16.x][SC-177478][SC-177214][SS] 删除 ColumnFamilyOptions 并将配置直接添加到 RocksDB 中的 dbOptions
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序和升级（下载 ODBC，下载 JDBC）。
请参阅 Databricks Runtime 16.1 维护更新。
系统环境
- 操作系统：Ubuntu 24.04.1 LTS
- Java：Zulu17.54+21-CA
- Scala：2.12.18
- Python：3.12.3
- R：4.4.0
- Delta Lake： 3.2.1
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| autocommand | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 | black | 24.4.2 |
| 闪烁器 | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| cachetools | 5.3.3 | certifi | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.1.7 |
| cloudpickle | 2.2.1 | comm | 0.2.1 | contourpy | 1.2.0 |
| 密码学 | 42.0.5 | cycler | 0.11.0 | Cython | 3.0.11 |
| databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| decorator | 5.1.1 | 弃用的 | 1.2.14 | distlib | 0.3.8 |
| docstring-to-markdown | 0.11 | 入口点 | 0.4 | 正在执行 | 0.8.3 |
| facets-overview | 1.1.1 | 文件锁 | 3.15.4 | fonttools | 4.51.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.35.0 | google-cloud-core | 2.4.1 | 谷歌云存储 | 2.18.2 |
| google-crc32c | 1.6.0 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| inflect | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.19.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| 麦凯布 | 0.7.0 | mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | numpy | 1.26.4 | oauthlib | 3.2.2 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
| 包装 | 24.1 | 熊猫 | 1.5.3 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.6 | pexpect | 4.8.0 |
| 枕头 | 10.3.0 | pip | 24.2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | pluggy | 1.0.0 | prompt-toolkit | 3.0.43 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 |
| pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| requests | 2.32.2 | rope | 1.12.0 | rsa | 4.9 |
| s3transfer | 0.10.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | setuptools | 74.0.0 | six | 1.16.0 |
| smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| 堆栈数据 | 0.2.0 | statsmodels | 0.14.2 | 韧性 | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| 龙卷风 | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | types-requests | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| whatthepatch | 1.0.2 | 轮子 | 0.43.0 | wrapt | 1.14.1 |
| yapf | 0.33.0 | zipp | 3.17.0 |
已安装的 R 库
R 库从 Posit 包管理器在 2024 年 8 月 4 日的 CRAN 快照中安装。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| arrow | 16.1.0 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.5.0 | base | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-8 | blob | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | brio | 1.1.5 | 扫帚 | 1.0.6 |
| bslib | 0.8.0 | cachem | 1.1.0 | callr | 3.7.6 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | cli | 3.6.3 | clipr | 0.8.0 |
| clock | 0.7.1 | cluster | 2.1.6 | codetools | 0.2-20 |
| colorspace | 2.1-1 | commonmark | 1.9.1 | 编译器 | 4.4.0 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.3 | credentials | 2.0.1 | curl | 5.2.1 |
| data.table | 1.15.4 | datasets | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | desc | 1.4.3 | devtools | 2.4.5 |
| diagram | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.36 |
| downlit | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | evaluate | 0.24.0 |
| fansi | 1.0.6 | farver | 2.1.2 | fastmap | 1.2.0 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-86 | forge | 0.2.0 | fs | 1.6.4 |
| 未来 | 1.34.0 | future.apply | 1.11.2 | gargle | 1.5.2 |
| generics | 0.1.3 | 格特 | 2.1.0 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.3 | 胶 | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.4.0 | grDevices | 4.4.0 | grid | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
| gtable | 0.3.5 | hardhat | 1.4.0 | haven | 2.5.4 |
| highr | 0.11 | hms | 1.1.3 | htmltools | 0.5.8.1 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | 迭代器 | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-22 | knitr | 1.48 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.22-5 | 熔岩 | 1.8.0 |
| 生命周期 | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.13 | MASS | 7.3-60.0.1 |
| 矩阵 | 1.6-5 | memoise | 2.0.1 | 方法 | 4.4.0 |
| mgcv | 1.9-1 | 默剧 | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| 蒙塞尔 | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.2.0 | parallel | 4.4.0 |
| parallelly | 1.38.0 | 支柱 | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr | 1.8.9 | 赞美 | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | 进展 | 1.2.3 |
| progressr | 0.14.0 | promises | 1.3.0 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.7 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reactable | 0.4.4 |
| reactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
| 食谱 | 1.1.0 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.5.0 | reprex | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | sass | 0.4.9 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6.1 | shiny | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | spatial | 7.3-17 | splines | 4.4.0 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.4.0 |
| stats4 | 4.4.0 | stringi | 1.8.4 | stringr | 1.5.1 |
| 生存 | 3.6-4 | swagger | 5.17.14.1 | sys | 3.4.2 |
| systemfonts | 1.1.0 | tcltk | 4.4.0 | testthat | 3.2.1.1 |
| textshaping | 0.4.0 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.1 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.52 | tools | 4.4.0 |
| tzdb | 0.4.0 | 网址检查器 | 1.0.1 | usethis | 3.0.0 |
| utf8 | 1.2.4 | utils | 4.4.0 | UUID（通用唯一识别码） | 1.2-1 |
| V8 | 4.4.2 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | 瓦尔多 | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.1 | xfun | 0.46 | xml2 | 1.3.6 |
| xopen | 1.0.1 | xtable | 1.8-4 | yaml | 2.3.10 |
| zeallot | 0.1.0 | zip | 2.3.1 |
已安装的 Java 和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | AWS Java SDK 机器学习库 | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | aws-java-sdk-support | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 本地人 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 本土人 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原住民 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原住民 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.2 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | 指标-健康检查 | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | 指标-Servlets | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | netty-buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-codec-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | netty-handler | 4.1.108.Final |
| io.netty | netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏家 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | 字符串模板 | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | 箭头向量 | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.9.2 |
| org.apache.zookeeper | zookeeper-jute | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 附注 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| .rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| stax | stax-api | 1.0.1 |