2024 年 12 月

这些功能和 Azure Databricks 平台改进已于 2024 年 12 月发布。

注释

发布是分阶段进行的。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks Runtime 16.1 已正式发布

2024 年 12 月 20 日

Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已推出正式版。

请参阅 Databricks Runtime 16.1用于机器学习的 Databricks Runtime 16.1

新笔记本的默认格式现在是 IPYNB (Jupyter) 格式

2024 年 12 月 20 日

在 Azure Databricks 工作区中创建的新笔记本的默认格式现在是 IPYNB (.ipynb)。 笔记本的默认格式以前为 Source (.py, .sql, .scala, .r)。 要更改默认格式,请使用工作区用户设置中“开发人员”窗格中的“笔记本默认文件格式”设置。 请参阅笔记本格式

用于 Databricks 助手的 Databricks 托管模型目前处于公共预览阶段

2024 年 12 月 19 日

现在可以使用 Azure Databricks 托管的模型在 Azure Databricks 中为 Databricks 助手提供支持。 此功能目前为公共预览版。

请参阅为 Databricks 助手使用 Databricks 托管模型

适用于 AI 代理的 Python 代码执行程序(公共预览版)

2024 年 12 月 19 日

现在可以快速让 AI 代理能够运行 Python 代码。 Databricks 现在提供了一个预构建的 Unity Catalog 函数,AI 代理可使用该函数作为工具,在语言生成的基础上拓展其他功能。

请参阅 使用 Unity 目录函数创建自定义 AI 代理工具。

databricks-agents SDK 0.13.0 发布

2024 年 12 月 18 日

0.13.0 版 databricks-agents SDK 已发布到 PyPI,其中包含以下更改:

  • 调用 agents.deploy() 和其他 databricks.agents API 时,应遵循当前有效的 Databricks CLI 配置文件和 MLflow 模型注册表 URI。 具体而言,现在可以在调用 DATABRICKS_CONFIG_PROFILE=my-profile 之前指定 MLFLOW_REGISTRY_URI=databricks-uc://my-profileagents.deploy() 的组合以指定用于部署和访问代理的 Databricks CLI 配置文件。
  • mlflow.evaluate() 中,仅当分别存在检索和指南上下文时,才运行检索和指南指标。
  • mlflow.evaluate() 的客户端添加基于机密的身份验证。

外部组现在已标记且不可变

2024 年 12 月 18 日

外部组是通过 Microsoft Entra ID 在 Azure Databricks 中创建的组。 这些组是使用 SCIM 预配连接器创建的,并与 Microsoft Entra ID 保持同步。 外部组现在已显式标记为 External,默认情况下无法再从 Azure Databricks 帐户控制台或工作区管理员设置页更新。 若要从 Azure Databricks UI 更新外部组成员身份,帐户管理员可以在帐户控制台预览页中禁用“不可变的外部组”

请参阅 Azure Databricks 中的组类型

vector_search 现在支持矢量嵌入输入

2024 年 12 月 17 日

AI 函数 vector_search 现在支持矢量嵌入输入。 现在可以使用 query_textquery_vector 参数在向量索引中搜索特定文本或矢量嵌入。 请参阅 vector_search 函数

指定 ai_query 的响应格式

2024 年 12 月 17 日

ai_query 现在支持结构化输出的 responseFormat 字段。 在 responseFormat 请求中使用 ai_query 来指定希望查询的模型遵循的响应格式。 请参阅 ai_query 函数

在同一元存储中,与协作者一起测试洁净室

2024 年 12 月 17 日

现在,在完成完整部署之前,可以通过从同一元存储中添加协作者来测试洁净室。 请参阅 创建干净的房间

将计算资源分配给组(公共预览版)

2024 年 12 月 17 日

新的“专用”访问模式(以前是“单个用户”)允许将专用的通用计算分配给某个组或单个用户。 请参阅将计算资源分配给组

此公共预览版还允许工作区访问新的简化版计算 UI。 请参阅使用简单表单管理计算

工作区管理员必须启用此预览版。 请参阅管理 Azure Databricks 预览版

将在 Unity Catalog 中创建存储凭据的功能委托给服务主体

2024 年 12 月 17 日

现在可以使用 CREATE STORAGE CREDENTIAL 特权授予服务主体在 Unity Catalog 元存储中创建存储凭据的权限。 请参阅 CREATE STORAGE CREDENTIAL

Jobs API 2.2 版本已发布

2024 年 12 月 16 日

作业 API 版本从 2.1 更新到 2.2。 作业 API 版本 2.2 的更新包括:新增或更新作业的默认排队功能,以及增强了对作业和作业运行响应的分页处理,这些响应包含具有大量值的字段。 若要详细了解此版本中的更新,请参阅将作业 API 从 2.1 更新到 2.2。 若要查看完整的作业 API 2.2 文档,请参阅作业(最新版)。 尽管 Databricks 建议使用 2.2 版作业 API,但仍可以访问 2.1 和 2.0 版。 请参阅 作业 (2.1)作业 API 2.0

Unity Catalog MANAGE 特权(公共预览版)

2024 年 12 月 14 日

现在可以向用户授予对 Unity Catalog 安全对象的 MANAGE 权限。 通过 MANAGE 权限,用户可以对 Unity Catalog 对象执行关键作,包括:

  • 管理特权
  • 删除对象
  • 重命名对象
  • 转移所有权

请参阅 MANAGE

Meta Llama 3.3 现在可用于预先配置的吞吐量工作负荷

2024 年 12 月 13 日

Meta Llama 3.3(由 Meta 构建和训练的模型体系结构)现已推出,可用于基础模型 API 预配的吞吐量

查看作业运行的流式处理工作负载指标(公共预览版)

**2024 年 12 月 12 日**

在 Databricks 作业 UI 中查看作业运行时,现在可以查看 Spark 结构化流式处理支持的源(包括 Apache Kafka、Amazon Kinesis 和自动加载器)的指标,例如积压工作秒数、积压工作字节数、积压工作记录数和积压工作文件数。 请参阅查看流式处理任务的指标

查看 DLT 管道更新的流式处理工作负载指标(公共预览版)

**2024 年 12 月 12 日**

在 DLT UI 中查看管道更新时,现在可以查看管道中每个流式处理流的指标,例如积压工作秒、积压工作字节数、积压记录和积压工作文件。 支持 Spark 结构化流式处理源(包括 Apache Kafka、Amazon Kinesis 和自动加载器)的流式处理指标。 请参阅查看流式处理指标

Lakehouse Federation 支持 Oracle(公共预览版)

2024 年 12 月 12 日

现在可以对 Oracle 托管的数据运行联合查询。 请参阅在 Oracle 上运行联合查询

Databricks Runtime 16.1(beta 版本)

2024 年 12 月 11 日

Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 16.1用于机器学习的 Databricks Runtime 16.1

使用无服务器流出量控制措施管理无服务器出站网络连接

2024 年 12 月 11 日

无服务器出口控制允许限制对指定 Internet 目标的出站访问。 请参阅 什么是无服务器出口控制?

网络访问事件系统表已提供(公共预览版)

2024 年 12 月 11 日

Azure Databricks 系统表现在包括网络访问表。 每当帐户拒绝 Internet 访问时,此表将记录事件。 若要访问表,管理员必须启用 access 系统架构。 请参阅 网络访问事件系统表参考

监视和撤销帐户中的个人访问令牌(个人预览版)

2024 年 12 月 11 日

帐户管理员现在可以查看令牌报告,在帐户控制台中监视和撤销个人访问令牌 (PAT)。 Databricks 建议使用 OAuth 访问令牌而不是 PAT,以提高安全性和便利性。 若要加入此预览版,请联系 Azure Databricks 帐户团队。 请参阅监视和撤销帐户中的个人访问令牌

Unity Catalog 可以联合到 Hive 元存储

2024 年 12 月 11 日

现在可以使用 Unity Catalog 访问和管理 Hive 元存储中注册的数据。 这包括外部托管的 Hive 元存储和旧有的内部 Databricks Hive 元存储。

请参阅 Hive 元存储联盟:启用 Unity Catalog 管理在 Hive 元存储中注册的表

移除元存储级别存储以强制实施目录级别的存储隔离

2024 年 12 月 11 日

如果具有用于托管表和卷的元存储级别存储(也称为元存储根目录),但想要在目录或架构级别强制实施数据存储隔离,现在可以删除该元存储级存储,不会中断现有工作负载。 请参阅删除元存储级存储

Meta Llama 3.3 70B Instruct 现已在模型服务上推出

2024 年 12 月 11 日

马赛克 AI 模型服务现在支持 Meta Llama 3.3 70B 指令,这是由 Meta 构建和训练的最先进的大型语言模型。 Llama 3.3 70B Instruct 作为基础模型 API(按令牌付费)的一部分提供。 此可用性还包括对函数调用的支持。

从 2024 年 12 月 11 日起,Meta-Llama-3.1-70B-Instruct 将取代在按令牌付费端点中的基础模型 API 对 Meta-Llama-3-70B-Instruct 的支持。

bamboolib 现已弃用

2024 年 12 月 10 日

bamboolib 现已弃用。 用户仍然可以使用 bamboolib 在笔记本中执行低代码数据分析,但 Databricks 不再积极开发和支持此工具。 需要代码生成帮助时,请使用 Databricks Assistant

使用综合评估集简化 AI 代理评估

2024 年 12 月 9 日

通过从文档生成具有代表性的评估集来评估 AI 代理。 合成生成 API 与代理评估紧密集成,使你能够快速评估和提高代理响应的质量,而无需完成昂贵的人工标记过程。 请参阅综合生成评估集

通过历史记录共享改进 Databricks 到 Databricks Delta 共享表的读取性能(公共预览版)

2024 年 12 月 5 日

通过启用历史记录共享来改进 Databricks 到 Databricks 表共享的性能。 请参阅使用历史记录共享提升表读取性能

个人访问令牌的最大生存期现为 730 天(两年)

2024 年 12 月 5 日

新建的 Databricks 颁发的个人访问令牌的默认最长有效期现在设置为 730 天(两年)。 以前可以创建默认不会过期的个人访问令牌。 此次更新后,用户无法生成有效期超过 730 天的令牌,而未指定有效期的令牌的持续时间将设置为 730 天。 如果将工作区的最大令牌有效期配置为少于 730 天,则该配置保持不变。 请参阅监视和撤销个人访问令牌Azure Databricks 个人访问令牌身份验证

Mosaic AI 模型训练 – 无服务器预测(公共预览版)

2024 年 12 月 5 日

Mosaic AI 模型训练 - 预测功能在现有的 AutoML 预测体验基础上进行了改进,提供了托管的无服务器计算、Unity Catalog 支持、深度学习算法的访问权限以及升级后的界面。 请参阅使用 AutoML 进行预测(无服务器)

将预算策略添加到模型服务终结点

2024 年 12 月 4 日

现在,模型服务终结点支持预算策略。 请参阅管理模型服务终结点