生成 AI 模型维护策略
本文介绍了针对基础模型 API 按令牌付费和基础模型微调产品/服务的 Databricks 模型维护策略。
为了继续支持最先进的模型,Databricks 可能会针对基础模型 API 按令牌付费和基础模型微调产品/服务更新支持的模型或停用旧模型。
模型退休政策
以下停用策略仅适用于基础模型 API 按令牌付费和基础模型微调产品/服务中支持的聊天和补全模型。
当模型停用时,该模型不再可供使用,并从指示的功能产品/服务中删除。 Databricks 将通过以下步骤来通知客户已设置为停用的模型:
- Databricks 工作区“服务”页上的模型卡中会显示一条警告消息,指出模型计划停用。
- “试验”选项卡中“基础模型微调”下拉菜单中会显示一条警告消息,指示该模型计划停用。
- 适用的文档会包含一则通知,指出相应模型计划停用并提供不再支持该模型的起始日期。
用户收到即将停用的模型通知后,Databricks 将在三个月内停用该模型。 在此三个月的期间,客户可以:
- 选择迁移到预先配置的吞吐量终结点,以便在模型达到生命周期结束日期后继续使用。
- 迁移现有工作流以使用建议的替换模型。
停用日期后,将从产品中删除模型,并更新适用的文档以建议使用替换模型。
有关当前退役模型和计划停用日期的列表,请参阅 退役模型。
模型更新
Databricks 可能会向按令牌付费的模型提供增量更新,以提供优化。 更新模型时,终结点 URL 保持不变,但响应对象中的模型 ID 会更改以反映更新的日期。 例如,如果在 2024 年 3 月 4 日将更新寄送到 meta-llama/Meta-Llama-3.3-70B
,响应对象中的模型名称将更新为 meta-llama/Meta-Llama-3.3-70B-030424
。 Databricks 维护可引用的更新的版本历史记录。
停用的模型
以下部分针对基础模型 API 按令牌付费和基础模型微调产品/服务总结了当前和即将发生的模型停用情况。
基础模型微调停用情况
下表显示了已停用的模型系列、其停用日期以及用于基础模型微调工作负荷的建议替换模型系列。 Databricks 建议在指定的停用日期之前迁移应用程序以使用替换模型。
模型系列 | 停用日期 | 推荐的替代型号系列 |
---|---|---|
DBRX | 2025 年 4 月 30 日 | Llama-3.1-70B |
Mixtral | 2025 年 4 月 30 日 | Llama-3.1-70B |
Mistral | 2025 年 4 月 30 日 | Llama-3.1-8B |
Meta-Llama-3.1-405B | 2025 年 1 月 30 日 | Llama-3.1-70B |
Meta-Llama-3 | 2025 年 1 月 7 日 | Meta-Llama-3.1 |
Meta-Llama-2 | 2025 年 1 月 7 日 | Meta-Llama-3.1 |
Code Llama | 2025 年 1 月 7 日 | Meta-Llama-3.1 |
基础模型 API 按令牌付费停用情况
下表显示了模型停用情况,它们的停用日期和以及基础模型 API 按标记付费服务工作负载的建议替换模型。 Databricks 建议在指定的停用日期之前迁移应用程序以使用替换模型。
重要
2024 年 12 月 11 日,Meta-Llama-3.3-70B-Instruct 已在基础模型 API 按令牌付费终结点中取代对 Meta-Llama-3.1-70B-Instruct 的支持。
模型 | 停用日期 | 推荐的替换模型 |
---|---|---|
DBRX Instruct | 2025 年 4 月 30 日 | Meta-Llama-3.3-70B-Instruct |
Mixtral-8x7B Instruct | 2025 年 4 月 30 日 | Meta-Llama-3.3-70B-Instruct |
Meta-Llama-3.1-70B-Instruct | 2024 年 12 月 11 日 | Meta-Llama-3.3-70B-Instruct |
Meta-Llama-3-70B-Instruct | 2024 年 7 月 23 日 | Meta-Llama-3.3-70B-Instruct |
Meta-Llama-2-70B-Chat | 2024 年 10 月 30 日 | Meta-Llama-3.3-70B-Instruct |
MPT 7B Instruct | 2024 年 8 月 30 日 | Meta-Llama-3.3-70B-Instruct |
MPT 30B Instruct | 2024 年 8 月 30 日 | Meta-Llama-3.3-70B-Instruct |
如果需要对特定模型版本提供长期支持,Databricks 建议为服务工作负荷使用基础模型 API 预配的吞吐量。