Databricks Runtime 15.4 LTS
以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.4 LTS 的相关信息。
Databricks 于 2024 年 8 月发布此版本。
注意
LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期。
提示
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。
行为更改
- 使用
VARIANT作为 Python UDF、UDAF 或 UDTF 的输入或输出类型会引发异常 - 更改了视图的默认架构绑定模式
- 禁止在布尔表达式外部使用未记录的
!语法来代替NOT - 禁止视图中的未记录列定义语法
- Spark 和 Photon 中针对 Base64 解码的一致错误处理
- 在无效列上添加
CHECK约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类
使用 VARIANT 作为 Python UDF、UDAF 或 UDTF 的输入或输出类型会引发异常
[中断性变更] 在 Databricks Runtime 15.3 及更高版本中，调用使用 VARIANT 类型作为参数或返回值的任何 Python 用户定义函数 (UDF)、用户定义聚合函数 (UDAF) 或用户定义表函数 (UDTF) 将引发异常。 进行此更改是为了防止由于其中一个函数返回的无效值而可能发生的问题。 若要了解有关 VARIANT 类型的详细信息，请参阅使用 VARIANT 存储半结构化数据。
更改了视图的默认架构绑定模式
视图现在使用常规强制转换规则来进行架构补偿，从而适应底层查询中的架构更改。 这与之前默认的 BINDING 模式不同，如果在引用视图时无法执行安全强制转换，后者会引发错误。
请参阅 CREATE VIEW 和 cast 函数。
禁止在布尔表达式外部使用未记录的 ! 语法来代替 NOT
在此版本中，不再允许在布尔表达式外部使用 ! 来代替 NOT。 例如，CREATE ... IF ! EXISTS、IS !NULL、! NULL 列或字段属性、! IN 和 !BETWEEN 等语句必须替换为 CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列或字段属性、NOT IN 和 NOT BETWEEN。
此更改可确保一致性、遵守 SQL 标准，并使 SQL 更易于移植。
布尔前缀运算符 !（例如，!is_mgr 或 !(true AND false)）不受此更改影响。
禁止视图中的未记录列定义语法
Databricks 支持使用命名列和列注释的 CREATE VIEW。 以前，允许指定 NOT NULL 约束或 DEFAULT 列类型。 在此版本中，不能再使用此语法。
此更改可确保一致性、遵守 SQL 标准，并支持将来的增强功能。
Spark 和 Photon 中针对 Base64 解码的一致错误处理
此版本改变了 Photon 处理 Base64 解码错误的方式，使之与 Spark 对这些错误的处理匹配。 在进行这些更改之前，Photon 和 Spark 代码生成路径有时无法引发解析异常，而 Spark 解释的执行则正确引发了 IllegalArgumentException 或 ConversionInvalidInputError。 此更新确保 Photon 在出现 Base64 解码错误期间始终引发与 Spark 相同的异常，从而提供更可预测和更可靠的错误处理。
在无效列上添加 CHECK 约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类
在 Databricks Runtime 15.3 及更高版本中，包含某个引用无效列名的 CHECK 约束的 ALTER TABLE ADD CONSTRAINT 语句会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类，这是为了提供更有用的错误消息。 以前返回 INTERNAL_ERROR。
新增功能和改进
- UTF-8 验证函数
- to_avro 和 from_avro 函数
- 具有 Scala UDF 的类型化数据集 API
- 使用 ALTER TABLE 启用 UniForm Iceberg
- try_url_decode 函数
- 选择性地允许优化器依赖于未强制实施的外键约束
- 并行化作业运行实现选择性覆盖
- 通过选择性覆盖改进了更改数据源的性能
- 降低了
COPY INTO命令的查询延迟 - 支持删除 CHECK 约束表功能
- 单用户计算支持精细的访问控制、具体化视图和流式处理表（公共预览版）
- 扩展了对 Java 和 Scala 库的支持
- 扩展了对 Scala 数据集操作的支持
- Scala 在 Unity Catalog 共享计算上为正式发布版
- 使用服务凭据对外部云服务进行 Unity 目录管理的访问（公共预览版）
UTF-8 验证函数
此版本引入了以下 UTF-8 字符串验证函数：
- is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
- make_valid_utf8 使用替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串
- 如果输入不是有效的 UTF-8 字符串，则 validate_utf8 会引发错误。
- 如果输入不是有效的 UTF-8 字符串，则 try_validate_utf8 返回
NULL。
to_avro 和 from_avro 函数
to_avro 和 from_avro 函数允许将 SQL 类型转换为 Avro 二进制数据并返回。
具有 Scala UDF 的类型化数据集 API
此版本新增了对类型化数据集 API 的支持，可在支持共享访问模式的 Unity Catalog 计算上使用 Scala 用户定义的函数（不包括用户定义的聚合函数）。 请参阅类型化数据集 API。
使用 ALTER TABLE 启用 UniForm Iceberg
现在可以在现有表上启用 UniForm Iceberg，而无需重写数据文件。 请参阅通过更改现有表来启用。
try_url_decode 函数
此版本引入了 try_url_decode 函数，可以对 URL 编码字符串进行解码。 如果字符串的格式不正确，该函数将返回 NULL，而不是引发错误。
选择性地允许优化器依赖于未强制实施的外键约束
若要提高查询性能，现在可以在对表执行 CREATE 或 ALTER 操作时，在 FOREIGN KEY 约束上指定 RELY 关键字。
并行化作业运行实现选择性覆盖
使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。
通过选择性覆盖改进了更改数据源的性能
使用 replaceWhere 对具有更改数据源的表进行选择性覆盖时，不再为插入的数据写入单独的更改数据文件。 这些操作使用基础 Parquet 数据文件中的隐藏 _change_type 列来记录更改，从而避免写入放大。
降低了 COPY INTO 命令的查询延迟
此版本包含一项更改，可降低 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后，你应会看到具有较大状态的查询（例如，具有大量已引入文件的查询）的启动时间有所改善。
支持删除 CHECK 约束表功能
现在可以使用 ALTER TABLE table_name DROP FEATURE checkConstraints 从 Delta 表中删除 checkConstraints 表功能。 请参阅禁用 CHECK 约束。
单用户计算支持精细访问控制、具体化视图和流式处理表（公共预览版）
当工作区启用无服务器计算时，Databricks Runtime 15.4 LTS 增加了对单用户计算的精细访问控制的支持。 当查询访问以下任何对象时，Databricks Runtime 15.4 LTS 上的单用户计算资源会将查询传递给无服务器计算以运行数据筛选：
- 基于用户不具有
SELECT特权的表定义的视图。 - 动态视图。
- 应用了行筛选器或列掩码的表。
- 具体化视图和流式处理表。
运行 Databricks Runtime 15.3 及更低版本的单用户计算不支持这些查询。
有关详细信息，请参阅单用户计算上的精细访问控制。
扩展了对 Java 和 Scala 库的支持
从 Databricks Runtime 15.4 LTS 开始，当你使用 Unity Catalog 时，与 Databricks Runtime 捆绑的所有 Java 和 Scala 库都会在所有计算访问模式下可用。 若要详细了解启用 Unity Catalog 的计算上的语言支持，请参阅 Unity Catalog 的计算访问模式限制。
扩展了对 Scala 数据集操作的支持
在此版本中，使用共享访问模式的启用了 Unity Catalog 的计算资源支持以下 Scala Dataset 操作：map、mapPartitions、foreachPartition、flatMap、reduce 和 filter。
Scala 在 Unity Catalog 共享计算上为正式发布版
在此版本中，Scala 通常可在支持共享访问模式 Unity Catalog 的计算上使用，其中包括对标量用户定义函数 (UDF) 的支持。 不支持结构化流式处理、Hive UDF 和 Hive 用户定义聚合函数。 有关限制的完整列表，请参阅 Unity Catalog 的计算访问模式限制。
使用服务凭证（公共预览版）对外部云服务进行 Unity Catalog 管理的访问
使用 Azure 托管标识 (MI) 和 Unity Catalog，服务凭证使用云租户的服务实现简单且安全的身份验证。 请参阅使用服务凭证管理对外部云服务的访问权限。
Bug 修复
库升级
- 升级了 Python 库：
- azure-core（从 1.30.1 升级到 1.30.2）
- google-auth（从 2.29.0 升级到 2.31.0）
- google-cloud-storage（从 2.16.0 升级到 2.17.0）
- google-resumable-media（从 2.7.0 升级到 2.7.1）
- googleapis-common-protos（从 1.63.0 升级到 1.63.2）
- mlflow-skinny（从 2.11.3 升级到 2.11.4）
- proto-plus（从 1.23.0 升级到 1.24.0）
- s3transfer（从 0.10.1 升级到 0.10.2）
- 升级了 R 库：
- 升级了 Java 库：
- com.databricks.databricks-sdk-java（从 0.17.1 升级到 0.27.0）
- com.ibm.icu.icu4j（从 72.1 升级到 75.1）
- software.amazon.cryptools.AmazonCorrettoCryptoProvider（从 1.6.1-linux-x86_64 升级到 1.6.2-linux-x86_64）
Apache Spark
Databricks Runtime 15.4 LTS 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.3 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-48503] [DBRRM-1150][SC-172196][SQL] 如果标量子查询中的表达式绑定到外部行，则允许在其基础上进行分组
- [SPARK-48834] [BEHAVE-79][SC-170972][SQL] 在查询编译期间禁用对 Python 标量 UDF、UDTF、UDAF 的变体输入/输出
- [SPARK-48441] [SC-170980][SQL][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTrim 行为
- [SPARK-48440] [SC-170895][SQL][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTranslate 行为
- [SPARK-48872] [SC-170866][PYTHON] 减少 _capture_call_site 的开销
- [SPARK-48862] [SC-170845][PYTHON][CONNECT] 未启用 INFO 级别时避免调用
_proto_to_string - [SPARK-48852] [SC-170837][CONNECT] 修复连接中的字符串剪裁函数
- [SPARK-48791] [SC-170658][CORE] 修复使用 CopyOnWriteArrayList 的累加器注册开销导致的性能回归
- [SPARK-48118] [SQL] 支持
SPARK_SQL_LEGACY_CREATE_HIVE_TABLE环境变量 - [SPARK-48241] [SC-165811][SQL] char/varchar 类型列的 CSV 分析失败
- [SPARK-48168] [SC-166900][SQL] 添加按位移位运算符支持
- [SPARK-48148] [SC-165630][CORE] JSON 对象在读取为 STRING 时不应被修改
- [SPARK-46625] [SC-170561] 以标识符子句为参考的 CTE
- [SPARK-48771] [SC-170546][SQL] 加快大型查询计划的
LogicalPlanIntegrity.validateExprIdUniqueness的速度 - [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] 使
cast的默认列名与 Spark 经典版兼容 - [SPARK-48623] [SC-170544][CORE] 结构化日志记录迁移 [第 2 部分]
- [SPARK-48296] [SC-166138][SQL] 对
to_xml的 Codegen 支持 - [SPARK-48027] [SC-165154][SQL] 用于多级联接的 InjectRuntimeFilter 应检查子联接类型
- [SPARK-48686] [SC-170365][SQL] 提高 ParserUtils.unescapeSQLString 的性能
- [SPARK-48798] [SC-170588][PYTHON] 为基于 SparkSession 的分析引入
spark.profile.render - [SPARK-48048] [SC-169099] 还原“[SC-164846][CONNECT][SS] 添加了对 Scala 的客户端侦听器支持”
- [SPARK-47910] [SC-168929][CORE] 在 DiskBlockObjectWriter closeResources 时关闭流以避免内存泄漏
- [SPARK-48816] [SC-170547][SQL] UnivocityParser 中的间隔转换器的简写
- [SPARK-48589] [SC-170132][SQL][SS] 向状态数据源添加选项 snapshotStartBatchId 和 snapshotPartitionId
- [SPARK-48280] [SC-170293][SQL] 使用表达式遍历改进排序规则测试外围应用
- [SPARK-48837] [SC-170540][ML] 在 CountVectorizer 中，每次转换仅读取一次二进制参数，而不是每行读取一次
- [SPARK-48803] [SC-170541][SQL] 在 Orc(De)serializer 中引发内部错误以与 ParquetWriteSupport 保持一致
- [SPARK-48764] [SC-170129][PYTHON] 从用户堆栈中筛选掉与 IPython 相关的帧
- [SPARK-48818] [SC-170414][PYTHON] 简化
percentile函数 - [SPARK-48479] [SC-169079][SQL] 支持在分析程序中创建标量和表 SQL UDF
- [SPARK-48697] [SC-170122][LC-4703][SQL] 添加排序规则感知字符串筛选器
- [SPARK-48800] [SC-170409][CONNECT][SS] 对 ClientStreamingQuerySuite 执行 deflake 操作
- [SPARK-48738] [SC-169814][SQL] 从内置函数别名
random、position、mod、cardinality、current_schema、user、session_user、char_length、character_length的版本开始进行更正 - [SPARK-48638] [SC-169575][CONNECT] 为数据帧添加 ExecutionInfo 支持
- [SPARK-48064] [SC-164697][SQL] 更新例程相关错误类的错误消息
- [SPARK-48810] [CONNECT] 会话 stop() API 应具有幂等性，在会话已被服务器关闭的情况下不会失败
- [SPARK-48650] [15.x][PYTHON] 从 IPython Notebook 显示正确的调用站点
- [SPARK-48271] [SC-166076][SQL] 将 RowEncoder 中的匹配错误转换为 UNSUPPORTED_DATA_TYPE_FOR_ENCODER
- [SPARK-48709] [SC-169603][SQL] 修复了 DataSourceV2 CTAS 的 varchar 类型解析不匹配问题
- [SPARK-48792] [SC-170335][SQL] 修复了将部分列列表的 INSERT 操作回归到包含 char/varchar 的表的问题
- [SPARK-48767] [SC-170330][SQL] 修复了
variant类型数据无效时出现的一些错误提示 - [SPARK-48719] [SC-170339][SQL] 修复了第一个参数为 null 时出现的
RegrSlope和RegrIntercept计算 bug - [SPARK-48815] [SC-170334][CONNECT] 停止连接会话时更新环境
- [SPARK-48646] [SC-169020][PYTHON] 优化 Python 数据源 API docstring 和类型提示
- [SPARK-48806] [SC-170310][SQL] 在 url_decode 失败时传递实际异常
- [SPARK-47777] [SC-168818] 修复了 Python 流式处理数据源连接测试
- [SPARK-48732] [SC-169793][SQL] 清理与
JdbcDialect.compileAggregate相关的已弃用 API 使用 - [SPARK-48675] [SC-169538][SQL] 修复了带已排序列的缓存表
- [SPARK-48623] [SC-169034][CORE] 结构化日志记录迁移
- [SPARK-48655] [SC-169542][SQL] SPJ：添加针对聚合查询的随机跳过测试
- [SPARK-48586] [SC-169808][SS] 通过在 load() 中对 RocksDBFileManager 中的文件映射进行深层复制，移除 doMaintenance() 中的锁获取
- [SPARK-48799] [Backport][15.x][SC-170283][SS] 重构运算符元数据读/写和调用方的版本控制
- [SPARK-48808] [SC-170309][SQL] 修复通过 Hive 1.2.1 连接 thriftserver 时出现的 NPE，此时的结果架构为空
- [SPARK-48715] [SC-170291][SQL] 将 UTF8String 验证集成到排序规则感知字符串函数实现中
- [SPARK-48747] [SC-170120][SQL] 向 UTF8String 添加码位迭代器
- [SPARK-48748] [SC-170115][SQL] 以 UTF8String 格式缓存 numChars
- [SPARK-48744] [SC-169817][Core] 日志条目应仅构造一次
- [SPARK-46122] [SC-164313][SQL] 默认将
spark.sql.legacy.createHiveTableByDefault设置为false - [SPARK-48765] [SC-170119][DEPLOY] 增强 SPARK_IDENT_STRING 的默认值评估
- [SPARK-48759] [SC-170128][SQL] 添加有关自 Spark 3.4 以来出现的 CREATE TABLE AS SELECT 行为变更的迁移文档
- [SPARK-48598] [SC-169484][PYTHON][CONNECT] 在数据帧操作中传播缓存的架构
- [SPARK-48766] [SC-170126][PYTHON] 记录
extraction在element_at和try_element_at之间的行为差异 - [SPARK-48768] [SC-170124][PYTHON][CONNECT] 不应缓存
explain - [SPARK-48770] [Backport][15.x][SC-170133][SS] 更改为在驱动程序上读取一次运算符元数据，以检查我们是否可以找到用于会话窗口聚合查询的 numColsPrefixKey 的信息
- [SPARK-48656] [SC-169529][CORE] 执行长度检查并在
CartesianRDD.getPartitions中引发 COLLECTION_SIZE_LIMIT_EXCEEDED 错误 - [SPARK-48597] [SC-168817][SQL] 在逻辑计划的文本表示形式中引入 isStreaming 属性的标记
- [SPARK-48472] [SC-169044][SQL] 启用带已排序字符串的反射表达式
- [SPARK-48699] [SC-169597][SQL] 优化排序规则 API
- [SPARK-48682] [SC-169812][SQL][BEHAVE-58] 在 UTF8_BINARY 字符串的 InitCap 表达式中使用 ICU
- [SPARK-48282] [SC-169813][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（StringReplace、FindInSet）
- [SPARK-47353] [SC-169599][SQL] 为 Mode 表达式启用排序规则支持
- [SPARK-48320] [SPARK-48490] 从 OSS Spark 同步最新的日志记录特征和测试用例
- [SPARK-48629] [SC-169479] 将剩余代码迁移到结构化日志记录框架
- [SPARK-48681] [SC-169469][SQL][BEHAVE-58] 在 UTF8_BINARY 字符串的 Lower/Upper 表达式中使用 ICU
- [SPARK-48573] [15.x][SC-169582][SQL] 升级 ICU 版本
- [SPARK-48687] [Backport][15.x][SS] 添加变更以执行状态架构验证并更新驱动程序以进行有状态查询
- [SPARK-47579] [15.x][SC-167310][CORE][PART4] 将带变量的 logInfo 迁移到结构化日志记录框架
- [SPARK-48008] [SC-167363][1/2] 在 Spark Connect 中支持 UDAF
- [SPARK-48578] [SC-169505][SQL] 添加 UTF8 字符串验证相关函数
- [SPARK-48670] [SC-169598][SQL] 当给定无效排序规则名称时，提供建议作为错误消息的一部分
- [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… …RK-48291] Java 端的结构化日志框架
- [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib：将带变量的 logWarn 迁移到结构化日志记录框架
- [SPARK-48706] [SC-169589][PYTHON] 更高阶函数中的 Python UDF 不应引发内部错误
- [SPARK-48498] [BEHAVE-38][SC-168060][SQL] 始终在谓词中进行字符型填充
- [SPARK-48662] [SC-169533][SQL] 使用排序规则修复了 StructsToXml 表达式
- [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates 和 dropDuplicatesWIthinWatermark 应接受可变长度参数
- [SPARK-48678] [SC-169463][CORE] SparkConf.get(ConfigEntry) 的性能优化
- [SPARK-48576] [SQL] 将 UTF8_BINARY_LCASE 重命名为 UTF8_LCASE
- [SPARK-47927] [SC-164123][SQL]：修复 UDF 解码器中的为 Null 性属性
- [SPARK-47579] [SC-165297][CORE][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架（新）
- [SPARK-48695] [SC-169473][PYTHON]
TimestampNTZType.fromInternal不使用已弃用的方法 - [SPARK-48431] [SC-167290][LC-4066][SQL] 不将已排序列上的谓词转发给文件读取器
- [SPARK-47579] 还原“[SC-165297][CORE][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架”
- [SPARK-47585] [SC-164306][SQL] SQL 核心：将带变量的 logInfo 迁移到结构化日志记录框架
- [SPARK-48466] [SC-169042][SQL] 在 AQE 中为 EmptyRelation 创建专用节点
- [SPARK-47579] [SC-165297][CORE][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架
- [SPARK-48410] [SC-168320][SQL] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 InitCap 表达式
- [SPARK-48318] [SC-167709][SQL] 为所有排序规则（复杂类型）启用哈希联接支持
- [SPARK-48435] [SC-168128][SQL] UNICODE 排序规则不应支持二进制相等性
- [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] 支持将列用作 pyspark/scala 中多个函数的参数
- [SPARK-48591] [SC-169081][PYTHON] 添加帮助程序函数以简化
Column.py - [SPARK-48574] [SC-169043][SQL] 修复了对带排序规则的 StructTypes 的支持
- [SPARK-48305] [SC-166390][SQL] 为 CurrentLike 表达式添加排序规则支持
- [SPARK-48342] [SC-168941][SQL] 引入 SQL 脚本分析程序
- [SPARK-48649] [SC-169024][SQL] 添加“ignoreInvalidPartitionPaths”和“spark.sql.files.ignoreInvalidPartitionPaths”配置以允许忽略无效的分区路径
- [SPARK-48000] [SC-167194][SQL] 为所有排序规则 (StringType) 启用哈希联接支持
- [SPARK-48459] [SC-168947][CONNECT][PYTHON] 在 Spark Connect 中实现 DataFrameQueryContext
- [SPARK-48602] [SC-168692][SQL] 使用 spark.sql.binaryOutputStyle 使 csv 生成器支持不同的输出样式
- [SPARK-48283] [SC-168129][SQL] 修改 UTF8_BINARY_LCASE 的字符串比较
- [SPARK-48610] [SC-168830][SQL] 重构：使用辅助 idMap 代替 OP_ID_TAG
- [SPARK-48634] [SC-169021][PYTHON][CONNECT] 避免在 ExecutePlanResponseReattachableIterator 处以静态方式初始化线程池
- [SPARK-47911] [SC-164658][SQL] 引入通用 BinaryFormatter 以使二进制输出保持一致
- [SPARK-48642] [SC-168889][CORE] 溢出时终止任务导致错误的 SparkOutOfMemoryError
- [SPARK-48572] [SC-168844][SQL] 修复了 DateSub、DateAdd、WindowTime、TimeWindow 和 SessionWindow 表达式
- [SPARK-48600] [SC-168841][SQL] 修复了 FrameLessOffsetWindowFunction 表达式隐式转换
- [SPARK-48644] [SC-168933][SQL] 执行长度检查并在 Hex.hex 中引发 COLLECTION_SIZE_LIMIT_EXCEEDED 错误
- [SPARK-48587] [SC-168824][VARIANT] 访问子变体时避免存储放大
- [SPARK-48647] [SC-168936][PYTHON][CONNECT] 优化
df.collect中YearMonthIntervalType的错误消息 - [SPARK-48307] [SC-167802][SQL] InlineCTE 应保留原始 WithCTE 节点中未内联的关系
- [SPARK-48596] [SC-168581][SQL] 改进计算 long 数据类型的十六进制字符串时的性能
- [SPARK-48621] [SC-168726][SQL] 修复了优化器中针对已排序字符串的 Like 简化问题
- [SPARK-47148] [SC-164179][SQL] 避免在取消时具体化 AQE ExchangeQueryStageExec
- [SPARK-48584] [SC-168579][SQL] unescapePathName 的性能改进
- [SPARK-48281] [SC-167260][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（StringInStr、SubstringIndex）
- [SPARK-48577] [SC-168826][SQL] 无效的 UTF-8 字节序列替换
- [SPARK-48595] [SC-168580][CORE] 清理与
commons-compress相关的已弃用 API 使用 - [SPARK-48030] [SC-164303][SQL] SPJ：缓存 InternalRowComparableWrapper 的 rowOrdering 和 structType
- [SPARK-48004] [SC-164005][SQL] 为 v1 写入添加 WriteFilesExecBase 特征
- [SPARK-48551] [SC-168438][SQL] escapePathName 的性能改进
- [SPARK-48565] [SC-168437][UI] 修复了 UI 中的线程转储显示
- [SPARK-48364] [SC-166782][SQL] 添加 AbstractMapType 类型转换并修复 RaiseError 参数映射以使用已排序的字符串
- [SPARK-48421] [SC-168689][SQL] SPJ：添加文档
- [SPARK-48604] [SC-168698][SQL] 替换已弃用的
new ArrowType.Decimal(precision, scale)方法调用 - [SPARK-46947] [SC-157561][CORE] 延迟内存管理器初始化，直到加载驱动程序插件
- [SPARK-48411] [SC-168576][SS][PYTHON] 为 DropDuplicateWithinWatermark 添加 E2E 测试
- [SPARK-48543] [SC-168697][SS] 使用显式错误类跟踪状态行验证失败
- [SPARK-48221] [SC-167143][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（Contains、StartsWith、EndsWith、StringLocate）
- [SPARK-47415] [SC-168441][SQL] 为 Levenshtein 表达式添加排序规则支持
- [SPARK-48593] [SC-168719][PYTHON][CONNECT] 修复了 lambda 函数的字符串表示形式
- [SPARK-48622] [SC-168710][SQL] 解析列名时获取一次 SQLConf
- [SPARK-48594] [SC-168685][PYTHON][CONNECT] 在
ColumnAlias中将parent字段重命名为child - [SPARK-48403] [SC-168319][SQL] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 Lower 和 Upper 表达式
- [SPARK-48162] [SC-166062][SQL] 为 MISC 表达式添加排序规则支持
- [SPARK-48518] [SC-167718][CORE] 使 LZF 压缩能够并行运行
- [SPARK-48474] [SC-167447][CORE] 修复了
SparkSubmitArguments和SparkSubmit中日志的类名 - [SPARK-48012] [SC-168267][SQL] SPJ：支持单侧 Shuffle 的 Transfrom 表达式
- [SPARK-48552] [SC-168212][SQL] 多行 CSV 架构推理也应引发 FAILED_READ_FILE
- [SPARK-48560] [SC-168268][SS][PYTHON] 使 StreamingQueryListener.spark 可设置
- [SPARK-48569] [SC-168321][SS][CONNECT] 处理 query.name 中的边缘情况
- [SPARK-47260] [SC-167323][SQL] 为错误类 _LEGACY_ERROR_TEMP_3250 分配名称
- [SPARK-48564] [SC-168327][PYTHON][CONNECT] 在集操作中传播已缓存的架构
- [SPARK-48155] [SC-165910][SQL] 联接的 AQEPropagateEmptyRelation 应检查剩余子项是否仅为 BroadcastQueryStageExec
- [SPARK-48506] [SC-167720][CORE] 压缩编解码器短名称不区分大小写，事件日志记录除外
- [SPARK-48447] [SC-167607][SS] 在调用构造函数之前检查状态存储提供程序类
- [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff 和 DateTimeUtils.timestampAdd 不应引发 INTERNAL_ERROR 异常
- [SPARK-48513] [Backport][15.x][SC-168085][SS] 添加错误类以实现状态架构兼容性和次要重构
- [SPARK-48413] [SC-167669][SQL] 带排序规则的 ALTER COLUMN
- [SPARK-48561] [SC-168250][PS][CONNECT] 针对不受支持的绘图函数引发
PandasNotImplementedError - [SPARK-48465] [SC-167531][SQL] 避免无操作空关系传播
- [SPARK-48553] [SC-168166][PYTHON][CONNECT] 缓存更多属性
- [SPARK-48540] [SC-168069][CORE] 避免将设置加载到 stdout 的 ivy 输出
- [SPARK-48535] [SC-168057][SS] 更新配置文档，以指示在启用“跳过流间联接的 null”配置时可能出现数据丢失/损坏问题
- [SPARK-48536] [SC-168059][PYTHON][CONNECT] 在 applyInPandas 和 applyInArrow 中缓存用户指定的架构
- [SPARK-47873] [SC-163473][SQL] 使用常规字符串类型将已排序的字符串写入 Hive 元存储
- [SPARK-48461] [SC-167442][SQL] 将 AssertNotNull 表达式中的 NullPointerExceptions 替换为错误类
- [SPARK-47833] [SC-163191][SQL][CORE] 为 checkAndGlobPathIfNecessary AnalysisException 提供调用方堆栈跟踪
- [SPARK-47898] [SC-163146][SQL] 端口 HIVE-12270：向 HS2 委托令牌添加 DBTokenStore 支持
- [SPARK-47578] [SC-167497][R] 将带变量的 RPackageUtils 迁移到结构化日志记录框架
- [SPARK-47875] [SC-162935][CORE] 移除
spark.deploy.recoverySerializer - [SPARK-47552] [SC-160880][CORE] 将
spark.hadoop.fs.s3a.connection.establish.timeout设置为 30 秒（如果此项缺失） - [SPARK-47972] [SC-167692][SQL] 限制排序规则的 CAST 表达式
- [SPARK-48430] [SC-167489][SQL] 修复了当映射包含已排序字符串时出现的映射值提取问题
- [SPARK-47318] [SC-162712][CORE][3.5] 将 HKDF 轮次添加到 AuthEngine 密钥派生，以遵循标准 KEX 做法
- [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] 修复了当错误地允许在非等效列上使用 group-by 时出现的无效标量子查询问题
- [SPARK-48508] [SC-167695][CONNECT][PYTHON] 在
DataFrame.{to, mapInPandas, mapInArrow}中缓存用户指定的架构 - [SPARK-23015] [SC-167188][WINDOWS] 修复了 Windows 中在同一秒内启动多个 Spark 实例会导致失败的 bug
- [SPARK-45891] [SC-167608] 还原“描述变体的分片方案”
- [SPARK-48391] [SC-167554][CORE] 在 TaskMetrics 类的 fromAccumulatorInfos 方法中使用 addAll 而不是 add 函数
- [SPARK-48496] [SC-167600][CORE] 在 JavaUtils.timeStringAs 和 JavaUtils.byteStringAs 中使用静态正则表达式模式实例
- [SPARK-48476] [SC-167488][SQL] 修复了 null delmiter csv 的 NPE 错误消息
- [SPARK-48489] [SC-167598][SQL] 从文本数据源读取非法架构时引发更好的、面向用户的错误
- [SPARK-48471] [SC-167324][CORE] 改进历史记录服务器的文档和使用指南
- [SPARK-45891] [SC-167597] 描述变体的分片方案
- [SPARK-47333] [SC-159043][SQL] 使用 checkInputDataTypes 检查函数
to_xml的参数类型 - [SPARK-47387] [SC-159310][SQL] 移除一些未使用的错误类
- [SPARK-48265] [ES-1131440][SQL] 推断窗口组限制批次应进行经常性折叠
- [SPARK-47716] [SC-167444][SQL] 避免 SQLQueryTestSuite 语义排序测试用例中的视图名称冲突
- [SPARK-48159] [SC-167141][SQL] 扩展对日期/时间表达式上的已排序字符串的支持
- [SPARK-48462] [SC-167271][SQL][Tests] 在测试中使用 withSQLConf：重构 HiveQuerySuite 和 HiveTableScanSuite
- [SPARK-48392] [SC-167195][CORE] 提供
--properties-file时也加载spark-defaults.conf - [SPARK-48468] [SC-167417] 在 catalyst 中添加 LogicalQueryStage 接口
- [SPARK-47578] [SC-164988][CORE] Spark PR #46309 的手动向后移植：将带变量的 logWarning 迁移到结构化日志记录框架
- [SPARK-48415] [SC-167321] 还原“[PYTHON] 重构 TypeName 以支持参数化数据类型”
- [SPARK-46544] [SC-151361][SQL] 支持使用表统计信息的 v2 DESCRIBE TABLE EXTENDED
- [SPARK-48325] [SC-166963][CORE] 始终在 ExecutorRunner.killProcess 中指定消息
- [SPARK-46841] [SC-167139][SQL] 为 ICU 区域设置和排序规则说明符添加排序规则支持
- [SPARK-47221] [SC-157870][SQL] 在从 CsvParser 到 AbstractParser 的范围内使用签名
- [SPARK-47246] [SC-158138][SQL] 将
InternalRow.fromSeq替换为new GenericInternalRow以保存集合转换 - [SPARK-47597] [SC-163932][STREAMING] Spark PR #46192 的手动向后移植：流式处理：将带变量的 logInfo 迁移到结构化日志记录框架
- [SPARK-48415] [SC-167130][PYTHON] 重构
TypeName以支持参数化数据类型 - [SPARK-48434] [SC-167132][PYTHON][CONNECT] 让
printSchema使用已缓存的架构 - [SPARK-48432] [ES-1097114][SQL] 避免在 UnivocityParser 中对整数取消装箱
- [SPARK-47463] [SC-162840][SQL] 使用 V2Predicate 包装返回类型为布尔值的表达式
- [SPARK-47781] [SC-162293][SQL] 处理 JDBC 数据源的负比例小数
- [SPARK-48394] [SC-166966][CORE] 在取消注册 mapoutput 时清理 mapIdToMapIndex
- [SPARK-47072] [SC-156933][SQL] 修复了错误消息中支持的间隔格式
- [SPARK-47001] [SC-162487][SQL] 优化器中的下推验证
- [SPARK-48335] [SC-166387][PYTHON][CONNECT] 使
_parse_datatype_string与 Spark Connect 兼容 - [SPARK-48329] [SC-166518][SQL] 默认启用
spark.sql.sources.v2.bucketing.pushPartValues.enabled - [SPARK-48412] [SC-166898][PYTHON] 重构数据类型 json 分析
- [SPARK-48215] [SC-166781][SQL] 扩展对 date_format 表达式上已排序字符串的支持
- [SPARK-45009] [SC-166873][SQL][FOLLOW UP] 添加错误类并测试联接条件中引用两个联接子项的谓词子查询的去相关
- [SPARK-47960] [SC-165295][SS][15.x] 允许在 transformWithState 运算符之后链接其他有状态运算符。
- [SPARK-48340] [SC-166468][PYTHON] 支持 TimestampNTZ 推断架构缺少 prefer_timestamp_ntz
- [SPARK-48157] [SC-165902][SQL] 为 CSV 表达式添加排序规则支持
- [SPARK-48158] [SC-165652][SQL] 为 XML 表达式添加排序规则支持
- [SPARK-48160] [SC-166064][SQL] 为 XPATH 表达式添加排序规则支持
- [SPARK-48229] [SC-165901][SQL] 为 inputFile 表达式添加排序规则支持
- [SPARK-48367] [SC-166487][CONNECT] 修复了 scalafmt 的 lint-scala，用于检测文件是否正确格式化
- [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] 重构数据帧错误上下文的结构
- [SPARK-48370] [SC-166787][CONNECT] Scala Spark Connect 客户端中的检查点和 localCheckpoint
- [SPARK-48247] [SC-166028][PYTHON] 在推断 MapType 架构时使用字典中的所有值
- [SPARK-48395] [SC-166794][PYTHON] 修复了参数化类型的
StructType.treeString - [SPARK-48393] [SC-166784][PYTHON] 将一组常量移至
pyspark.util - [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] 实现
StructType.treeString - [SPARK-48258] [SC-166467][PYTHON][CONNECT] Spark Connect 中的检查点和 localCheckpoint
请参阅 Databricks Runtime 15.4 LTS 维护更新。
系统环境
- 操作系统：Ubuntu 22.04.4 LTS
- Java：Zulu 8.78.0.19-CA-linux64
- Scala：2.12.18
- Python：3.11.0
- R：4.3.2
- Delta Lake：3.2.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.2 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 单击 | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密码系统 | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbu-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | 执行 | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.31.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.17.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.1 | googleapis-common-protos | 1.63.2 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 打包 | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 请求 | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.2 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | 6 | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.38.4 | zipp | 3.11.0 |
已安装的 R 库
R 库安装自 Posit Package Manager CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | 启动 | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | CLI | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | 凭据 | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| 示意图 | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | 评估 | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| lifecycle | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | 方法 | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | 进度 | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | 工具 | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-support | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.1.1 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |