2025 年 1 月
这些功能和 Azure Databricks 平台改进于 2025 年 1 月发布。
注释
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Azure Databricks 的其他端口
2025 年 1 月 31 日
网络安全组现在需要端口 3306 和 8443-8451 才能从已启用 vnet 注入的工作区出站访问 Azure Databricks 服务。 请参阅工作区的网络安全组规则。
状态存储读取器现已正式发布
2025 年 1 月 31 日
对查询结构化流式处理状态数据和元数据功能的支持现已在 Databricks Runtime 14.3 LTS 及更高版本中正式发布。 请参阅读取结构化流式处理状态信息。
现在可以在目录或架构级别启用预测优化
** 2025 年 1 月 31 日**
现在可以在目录或架构级别启用预测优化,而无需先在帐户级别启用预测优化。 请参阅 Unity Catalog 托管表的预测优化。
现在支持对大型表的完整数据集进行筛选
2025 年 1 月 30 日
筛选大表中截断的数据(输出大于 2MB 或包含超过 10,000 行),现在可以选择将筛选器应用于整个数据集。 请参阅筛选结果。
Meta Llama 3.1 405B 模型系列已停止对基础模型微调的支持
2025 年 1 月 30 日
Meta Llama 3.1 405B 模型系列已停止对基础模型微调的支持。 有关推荐的替换模型,请参阅 停用的模型。
数据清洁房间为正式发布版
2025 年 1 月 29 日
Azure Databricks Clean Rooms 现已正式发布。 请参阅什么是 Azure Databricks 数据清洁房间?。
- 管理 API:引入了 新 API 来自动执行清理室设置、业务流程和监视。 请参阅数据清洁房间。
- 自我协作:现在可以在单个元存储中创建数据清洁房间,以便在完成完全部署之前测试数据清洁房间。 请参阅步骤 2 。创建一个干净的房间。
- 输出表:托管在 Azure 上的中央数据清洁房间现在支持输出表。 以前,仅托管在 AWS 上的中央数据清洁房间支持输出表。 但是,所有三个云(AWS、Azure 和 Google Cloud)上的 Databricks 协作者可以共享笔记本,这些笔记本可在运行共享笔记本时创建输出表并读取生成的输出表。 Google Cloud 协作者必须是数据清洁房间个人预览版的参与者。 请参阅在 Databricks 数据清洁房间中创建和使用输出表。
- HIPAA 符合性: 现在可以使用 HIPAA 合规性安全配置创建一个洁净室。 请参阅步骤 2 。创建一个干净的房间。
- 联合共享(预览版): 利用新的查询联合功能,在云和数据平台上与合作伙伴无缝协作,而无需复制或迁移所有数据。 请参阅什么是 Lakehouse Federation?。
将 AI 代理工具连接到外部服务(公共预览版)
2025 年 1 月 29 日
AI 代理工具现在可以使用 HTTP 请求连接到 Slack、Google Calendar 或任何具有 API 的服务的外部应用程序。 代理可以使用外部连接的工具自动执行任务、发送消息以及从第三方平台检索数据。 请参阅 将 AI 代理工具连接到外部服务。
Delta Live Tables 现在支持将内容发布到多个架构和目录中的表格
2025 年 1 月 27 日 - 2025 年 2 月 5 日
默认情况下,在 Delta Live Tables 中创建的新管道现在支持在多个目录和架构中创建和更新具体化视图和流式处理表。
管道配置的新默认行为要求用户指定目标架构,该架构将成为管道的默认架构。 不再需要 LIVE
虚拟架构和关联的语法。 有关更多详细信息,请参阅以下内容:
Databricks Runtime 16.2 (Beta)
2025 年 1 月 27 日
Databricks Runtime 16.2 和 Databricks Runtime 16.2 ML 现已作为 Beta 版本提供。
请参阅 Databricks Runtime 16.2 (Beta) 和 Databricks Runtime 16.2 for Machine Learning (Beta)。
评论现在支持电子邮件通知和 @ 提及功能
2025 年 1 月 25 日
现在,您可以通过在评论中键入“@”后输入他们的用户名来直接提及用户。 用户将收到有关评论活动的电子邮件通知。 请参阅 代码注释。
调整字号的快捷方式
2025 年 1 月 25 日
现在可以使用快捷方式快速调整笔记本、文件和 SQL 编辑器中的字号。 对 Windows/Linux 使用 Alt +
和 Alt -
,或者使用适用于 macOS 的 Opt +
和 Opt -
。
还有一个用于控制编辑器字号的开发人员设置。 导航到 设置 > 开发者选项 > 编辑器字体大小 并选择字体大小。
使用拖放导入工作区文件
2025 年 1 月 24 日
现在可以拖放文件和文件夹,将其导入工作区。 拖放适用于主文件浏览器页面和工作区文件浏览器端面板,可在笔记本、查询和文件编辑器中使用。 请参阅导入文件。
Meta Llama 3.3 现在支持使用基础模型 API 的 AI 函数
2025 年 1 月 24 日
使用基础模型 API 的 AI 函数现在由适用于聊天任务的 Meta Llama 3.3 70B Instruct 提供支持。
笔记本输出改进
2025 年 1 月 23 日
对笔记本输出体验进行了以下改进:
- Is one of 筛选:在结果表中,现在可以使用 Is one of 来筛选列,然后选择要针对其进行筛选的值。 为此,请单击列旁边的菜单,然后单击“筛选器”。 将打开筛选器模式,以便添加要筛选的条件。 若要了解有关筛选结果的详细信息,请参阅 筛选结果。
- 结果表复制为: 现在可以将结果表复制为 CSV、TSV 或 Markdown。 选择要复制的数据,然后右键单击,选择 复制为,然后选择所需的格式。 结果复制到剪贴板。 请参阅将数据复制到剪贴板。
- 下载命名:下载单元格的结果时,下载名称现在与笔记本名称一致。 请参阅下载结果。
更快的笔记本加载时间
2025 年 1 月 23 日
首次打开笔记本时,99 单元格笔记本的初始加载速度现在最多快 26%,10 单元笔记本最多快 6%。
现在支持将笔记本作为工作区文件
2025 年 1 月 23 日
现在,Databricks Runtime 16.2 及更高版本以及无服务器环境 2 及更高版本支持笔记本作为工作区文件。 现在可以像编写、读取和删除任何其他文件一样以编程方式写入、读取和删除笔记本。 这允许从工作区文件系统的任何位置与笔记本进行编程交互。 有关详细信息,请参阅将笔记本作为工作区文件。
连续作业中的失败任务现在会自动重试
2025 年 1 月 22 日
此版本包含对 Databricks 工作的更新,改进了对连续作业失败的处理。 进行此更改后,任务会以连续作业的方式运行,在运行失败时会自动重试。 任务运行会重试,延迟呈指数级增加,直到达到允许的最大重试次数。 请参阅如何处理连续作业的故障?。
笔记本:Databricks Assistant 聊天历史记录仅对发起对话的用户可见
2025 年 1 月 22 日
在笔记本中,Databricks 助手聊天历史记录仅适用于启动聊天的用户。 有关助手的隐私和安全的详细信息,请参阅 隐私和安全。
统计信息收集现在通过预测优化实现自动化
2025 年 1 月 22 日至 4 月 30 日
预测优化现在会在写入托管表和完成自动维护作业期间自动计算 Unity Catalog 托管表的统计信息。 请参阅 Unity Catalog 托管表的预测优化。
Databricks 市场和 Partner Connect UI 更新
2025 年 1 月 21 日
通过将 Partner Connect 和 Marketplace 合并到一个单独的 Marketplace 链接中,我们简化了侧边栏。 新的“市场”链接位于边栏上,便于访问。
Databricks JDBC 驱动程序 2.7.1
2025 年 1 月 16 日
Databricks JDBC 驱动程序 版本 2.7.1 现在可从 JDBC 驱动程序下载页下载。
此版本包括以下增强功能和新功能:
- 添加了一个新的
OAuthEnabledIPAddressRanges
属性,允许客户端重写默认的 OAuth 回调端口,从而在具有网络端口限制的环境中促进 OAuth 令牌获取。 - 刷新令牌的支持功能现已推出。 这使驱动程序能够使用
Auth_RefreshToken
属性自动刷新身份验证令牌。 - 添加了对将系统受信任的存储与新的
UseSystemTrustStore
属性配合使用的支持。 启用时(UseSystemTrustStore=1
),驱动程序使用系统受信任存储中的证书验证连接。 - 添加了
UseServerSSLConfigsForOAuthEndPoint
属性,该属性启用后,它允许客户端共享 OAuth 终结点的驱动程序 SSL 配置。 - BASIC 身份验证现在默认处于禁用状态。 若要重新启用它,请将
allowBasicAuthentication
属性设置为 1。
此版本解决了以下问题:
- 将 IBM JRE 与箭头结果集序列化功能结合使用时,Unicode 字符现已得到正确处理。
- 现在返回错误代码 401 的完整错误消息和原因。
- 云提取下载处理程序现在会在完成后发布。
- 使用 DataSource 类创建连接时,心跳线程不再发生泄漏。
- 已解决驱动程序日志中潜在的
OAuth2Secret
泄漏问题。 - 驱动程序日志中的查询 ID 不再缺失。
- 使用 OAuth 令牌缓存不再出现标记不匹配问题。
此版本包括升级到多个第三方库以解决漏洞:
- arrow-memory-core 17.0.0(以前为 14.0.2)
- arrow-vector 17.0.0 (以前为 14.0.2)
- arrow-format 17.0.0(以前为 14.0.2)
- arrow-memory-netty 17.0.0 (以前为 14.0.2)
- arrow-memory-unsafe 17.0.0(以前为 14.0.2)
- commons-codec 1.17.0 (以前为 1.15)
- flatbuffers-java 24.3.25 (以前为 23.5.26)
- jackson-annotations-2.17.1 (以前为 2.16.0)
- jackson-core-2.17.1 (以前为 2.16.0)
- jackson-databind-2.17.1 (以前为 2.16.0)
- jackson-datatype-jsr310-2.17.1 (以前为 2.16.0)
- netty-buffer 4.1.115 (以前为 4.1.100)
- netty-common 4.1.115 (以前为 4.1.100)
有关完整配置信息,请参阅随驱动程序下载包一起安装的 Databricks JDBC 驱动程序指南。
Lakehouse Federation 支持 Teradata(公共预览版)
2025 年 1 月 15 日
现在可以对 Teradata 管理的数据运行联合查询。 请参阅在 Teradata上运行联合查询。
databricks-agents SDK 0.14.0 版本:自定义评估指标
2025 年 1 月 14 日
借助 databricks-agents==0.14.0,马赛克 AI 代理评估 现在支持 自定义指标,允许用户定义针对特定 GenAI 业务用例定制的评估指标。
此版本还添加了对以下项的支持:
mlflow.evaluate(model_type='databricks-agent')
harness 中的ChatAgent
和ChatModel
。- 通过
databricks
CLI 进行身份验证后,在 Databricks 笔记本外部使用mlflow.evaluate(model_type='databricks-agent')
。 - 支持代理跟踪中的嵌套
RETRIEVAL
范围。 - 支持将简单字典数组用作
mlflow.evaluate()
的data
参数。 - 运行
mlflow.evaluate()
时,StdOut 更简单。
AI 网关现在支持预配的吞吐量(公共预览版)
2025 年 1 月 10 日
Mosaic AI 网关现在支持模型服务终结点上的基础模型 API 预配吞吐量工作负荷。
现在,可以在使用预配吞吐量的模型服务终结点上启用以下治理和监视功能:
- 权限和速率限制,用于控制谁有访问权限以及有多少访问权限。
- 有效负载日志记录,使用推理表监视和审核发送到模型 API 的数据。
- 使用情况跟踪,使用系统表监视终结点上的操作使用情况和相关成本。
- AI 护栏,防止请求和响应中出现不必要的数据和有风险的数据。
- 流量路由,可最大程度减少部署期间和之后的生产中断情况。
Databricks Runtime 15.2 系列支持结束
2025 年 1 月 7 日
对 Databricks Runtime 15.2 和 Databricks Runtime 15.2 for Machine Learning 的支持已于 1 月 7 日结束。 请参阅 Databricks 支持生命周期。
Databricks Runtime 15.3 系列支持结束
2025 年 1 月 7 日
对 Databricks Runtime 15.3 和 Databricks Runtime 15.3 用于机器学习的支持已于 1 月 7 日结束。 请参阅 Databricks 支持生命周期。
Meta Llama 2、3 和 Code Llama 模型系列停止对基础模型微调的支持
2025 年 1 月 7 日
以下模型系列已停用,不再支持在 基础模型微调中使用。 有关推荐的替换模型,请参阅 停用的模型。
- Meta-Llama-3
- Meta-Llama-2
- Code Llama