2024 年 12 月
这些功能和 Azure Databricks 平台改进已于 2024 年 12 月发布。
注释
发布是分阶段进行的。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 16.1 已正式发布
2024 年 12 月 20 日
Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已推出正式版。
请参阅 Databricks Runtime 16.1 和用于机器学习的 Databricks Runtime 16.1。
新笔记本的默认格式现在是 IPYNB (Jupyter) 格式
2024 年 12 月 20 日
在 Azure Databricks 工作区中创建的新笔记本的默认格式现在是 IPYNB (.ipynb
)。 笔记本的默认格式以前为 Source (.py, .sql, .scala, .r)
。 要更改默认格式,请使用工作区用户设置中“开发人员”窗格中的“笔记本默认文件格式”设置。 请参阅笔记本格式。
用于 Databricks 助手的 Databricks 托管模型目前处于公共预览阶段
2024 年 12 月 19 日
现在可以使用 Azure Databricks 托管的模型在 Azure Databricks 中为 Databricks 助手提供支持。 此功能目前为公共预览版。
请参阅为 Databricks 助手使用 Databricks 托管模型。
适用于 AI 代理的 Python 代码执行程序(公共预览版)
2024 年 12 月 19 日
现在可以快速让 AI 代理能够运行 Python 代码。 Databricks 现在提供了一个预构建的 Unity Catalog 函数,AI 代理可使用该函数作为工具,在语言生成的基础上拓展其他功能。
请参阅 使用 Unity 目录函数创建自定义 AI 代理工具。
databricks-agents SDK 0.13.0 发布
2024 年 12 月 18 日
0.13.0 版 databricks-agents
SDK 已发布到 PyPI,其中包含以下更改:
- 调用
agents.deploy()
和其他databricks.agents
API 时,应遵循当前有效的 Databricks CLI 配置文件和 MLflow 模型注册表 URI。 具体而言,现在可以在调用DATABRICKS_CONFIG_PROFILE=my-profile
之前指定MLFLOW_REGISTRY_URI=databricks-uc://my-profile
和agents.deploy()
的组合以指定用于部署和访问代理的 Databricks CLI 配置文件。 - 在
mlflow.evaluate()
中,仅当分别存在检索和指南上下文时,才运行检索和指南指标。 - 为
mlflow.evaluate()
的客户端添加基于机密的身份验证。
外部组现在已标记且不可变
2024 年 12 月 18 日
外部组是通过 Microsoft Entra ID 在 Azure Databricks 中创建的组。 这些组是使用 SCIM 预配连接器创建的,并与 Microsoft Entra ID 保持同步。 外部组现在已显式标记为 External
,默认情况下无法再从 Azure Databricks 帐户控制台或工作区管理员设置页更新。 若要从 Azure Databricks UI 更新外部组成员身份,帐户管理员可以在帐户控制台预览页中禁用“不可变的外部组”。
vector_search
现在支持矢量嵌入输入
2024 年 12 月 17 日
AI 函数 vector_search
现在支持矢量嵌入输入。 现在可以使用 query_text
或 query_vector
参数在向量索引中搜索特定文本或矢量嵌入。 请参阅 vector_search
函数。
指定 ai_query
的响应格式
2024 年 12 月 17 日
ai_query
现在支持结构化输出的 responseFormat
字段。 在 responseFormat
请求中使用 ai_query
来指定希望查询的模型遵循的响应格式。 请参阅 ai_query
函数。
在同一元存储中,与协作者一起测试洁净室
2024 年 12 月 17 日
现在,在完成完整部署之前,可以通过从同一元存储中添加协作者来测试洁净室。 请参阅 创建干净的房间。
将计算资源分配给组(公共预览版)
2024 年 12 月 17 日
新的“专用”访问模式(以前是“单个用户”)允许将专用的通用计算分配给某个组或单个用户。 请参阅将计算资源分配给组。
此公共预览版还允许工作区访问新的简化版计算 UI。 请参阅使用简单表单管理计算。
工作区管理员必须启用此预览版。 请参阅管理 Azure Databricks 预览版。
将在 Unity Catalog 中创建存储凭据的功能委托给服务主体
2024 年 12 月 17 日
现在可以使用 CREATE STORAGE CREDENTIAL
特权授予服务主体在 Unity Catalog 元存储中创建存储凭据的权限。 请参阅 CREATE STORAGE CREDENTIAL。
Jobs API 2.2 版本已发布
2024 年 12 月 16 日
作业 API 版本从 2.1 更新到 2.2。 作业 API 版本 2.2 的更新包括:新增或更新作业的默认排队功能,以及增强了对作业和作业运行响应的分页处理,这些响应包含具有大量值的字段。 若要详细了解此版本中的更新,请参阅将作业 API 从 2.1 更新到 2.2。 若要查看完整的作业 API 2.2 文档,请参阅作业(最新版)。 尽管 Databricks 建议使用 2.2 版作业 API,但仍可以访问 2.1 和 2.0 版。 请参阅 作业 (2.1) 和 作业 API 2.0。
Unity Catalog MANAGE
特权(公共预览版)
2024 年 12 月 14 日
现在可以向用户授予对 Unity Catalog 安全对象的 MANAGE
权限。 通过 MANAGE
权限,用户可以对 Unity Catalog 对象执行关键作,包括:
- 管理特权
- 删除对象
- 重命名对象
- 转移所有权
请参阅 MANAGE。
Meta Llama 3.3 现在可用于预先配置的吞吐量工作负荷
2024 年 12 月 13 日
Meta Llama 3.3(由 Meta 构建和训练的模型体系结构)现已推出,可用于基础模型 API 预配的吞吐量。
查看作业运行的流式处理工作负载指标(公共预览版)
**2024 年 12 月 12 日**
在 Databricks 作业 UI 中查看作业运行时,现在可以查看 Spark 结构化流式处理支持的源(包括 Apache Kafka、Amazon Kinesis 和自动加载器)的指标,例如积压工作秒数、积压工作字节数、积压工作记录数和积压工作文件数。 请参阅查看流式处理任务的指标。
查看 DLT 管道更新的流式处理工作负载指标(公共预览版)
**2024 年 12 月 12 日**
在 DLT UI 中查看管道更新时,现在可以查看管道中每个流式处理流的指标,例如积压工作秒、积压工作字节数、积压记录和积压工作文件。 支持 Spark 结构化流式处理源(包括 Apache Kafka、Amazon Kinesis 和自动加载器)的流式处理指标。 请参阅查看流式处理指标。
Lakehouse Federation 支持 Oracle(公共预览版)
2024 年 12 月 12 日
现在可以对 Oracle 托管的数据运行联合查询。 请参阅在 Oracle 上运行联合查询。
Databricks Runtime 16.1(beta 版本)
2024 年 12 月 11 日
Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已作为 Beta 版本提供。
请参阅 Databricks Runtime 16.1 和用于机器学习的 Databricks Runtime 16.1
使用无服务器流出量控制措施管理无服务器出站网络连接
2024 年 12 月 11 日
无服务器出口控制允许限制对指定 Internet 目标的出站访问。 请参阅 什么是无服务器出口控制?。
网络访问事件系统表已提供(公共预览版)
2024 年 12 月 11 日
Azure Databricks 系统表现在包括网络访问表。 每当帐户拒绝 Internet 访问时,此表将记录事件。 若要访问表,管理员必须启用 access
系统架构。 请参阅 网络访问事件系统表参考。
监视和撤销帐户中的个人访问令牌(个人预览版)
2024 年 12 月 11 日
帐户管理员现在可以查看令牌报告,在帐户控制台中监视和撤销个人访问令牌 (PAT)。 Databricks 建议使用 OAuth 访问令牌而不是 PAT,以提高安全性和便利性。 若要加入此预览版,请联系 Azure Databricks 帐户团队。 请参阅监视和撤销帐户中的个人访问令牌。
Unity Catalog 可以联合到 Hive 元存储
2024 年 12 月 11 日
现在可以使用 Unity Catalog 访问和管理 Hive 元存储中注册的数据。 这包括外部托管的 Hive 元存储和旧有的内部 Databricks Hive 元存储。
请参阅 Hive 元存储联盟:启用 Unity Catalog 管理在 Hive 元存储中注册的表。
移除元存储级别存储以强制实施目录级别的存储隔离
2024 年 12 月 11 日
如果具有用于托管表和卷的元存储级别存储(也称为元存储根目录),但想要在目录或架构级别强制实施数据存储隔离,现在可以删除该元存储级存储,不会中断现有工作负载。 请参阅删除元存储级存储。
Meta Llama 3.3 70B Instruct 现已在模型服务上推出
2024 年 12 月 11 日
马赛克 AI 模型服务现在支持 Meta Llama 3.3 70B 指令,这是由 Meta 构建和训练的最先进的大型语言模型。 Llama 3.3 70B Instruct 作为基础模型 API(按令牌付费)的一部分提供。 此可用性还包括对函数调用的支持。
从 2024 年 12 月 11 日起,Meta-Llama-3.1-70B-Instruct 将取代在按令牌付费端点中的基础模型 API 对 Meta-Llama-3-70B-Instruct 的支持。
bamboolib 现已弃用
2024 年 12 月 10 日
bamboolib 现已弃用。 用户仍然可以使用 bamboolib 在笔记本中执行低代码数据分析,但 Databricks 不再积极开发和支持此工具。 需要代码生成帮助时,请使用 Databricks Assistant。
使用综合评估集简化 AI 代理评估
2024 年 12 月 9 日
通过从文档生成具有代表性的评估集来评估 AI 代理。 合成生成 API 与代理评估紧密集成,使你能够快速评估和提高代理响应的质量,而无需完成昂贵的人工标记过程。 请参阅综合生成评估集。
通过历史记录共享改进 Databricks 到 Databricks Delta 共享表的读取性能(公共预览版)
2024 年 12 月 5 日
通过启用历史记录共享来改进 Databricks 到 Databricks 表共享的性能。 请参阅使用历史记录共享提升表读取性能。
个人访问令牌的最大生存期现为 730 天(两年)
2024 年 12 月 5 日
新建的 Databricks 颁发的个人访问令牌的默认最长有效期现在设置为 730 天(两年)。 以前可以创建默认不会过期的个人访问令牌。 此次更新后,用户无法生成有效期超过 730 天的令牌,而未指定有效期的令牌的持续时间将设置为 730 天。 如果将工作区的最大令牌有效期配置为少于 730 天,则该配置保持不变。 请参阅监视和撤销个人访问令牌和 Azure Databricks 个人访问令牌身份验证。
Mosaic AI 模型训练 – 无服务器预测(公共预览版)
2024 年 12 月 5 日
Mosaic AI 模型训练 - 预测功能在现有的 AutoML 预测体验基础上进行了改进,提供了托管的无服务器计算、Unity Catalog 支持、深度学习算法的访问权限以及升级后的界面。 请参阅使用 AutoML 进行预测(无服务器)。
将预算策略添加到模型服务终结点
2024 年 12 月 4 日