Политика обслуживания генеративных моделей ИИ
В этой статье описывается политика обслуживания модели для API-интерфейсов Foundation Model с оплатой за каждый токен и предложения по тонкой подстройке Foundation Model .
Чтобы продолжать поддерживать передовые модели, Databricks может обновлять поддерживаемые модели или снимать с поддержки старые модели для API-интерфейсов базовых моделей с оплатой за токен и услуг настройки базовой модели.
Политика вывода модели из эксплуатации
Следующая политика выхода на пенсию применяется только к поддерживаемым моделям чата и завершения в API-интерфейсах модели Foundation за токен и предложения по настройке модели Foundation.
Если модель снята с эксплуатации, она больше недоступна для использования и удаляется из указанных наборов функций. Databricks выполняет следующие действия, чтобы уведомить клиентов о модели, запланированной к снятию с производства:
- Предупреждающее сообщение отображается на карточке модели на странице сервиса вашей рабочей области Databricks, указывающее на то, что модель планируется к выводу из эксплуатации.
- Предупреждающее сообщение отображается в раскрывающемся меню для настройки модели Foundation на вкладке "Эксперименты", указывая, что модель планируется снять с эксплуатации.
- Соответствующая документация содержит уведомление, указывающее, что модель планируется выводиться из эксплуатации, и указывает дату, с которой поддержка будет прекращена.
После того как пользователи получат уведомление о предстоящем выводе модели из эксплуатации, Databricks прекратит использование модели через три месяца. В течение этого трехмесячного периода клиенты могут:
- Выберите переход на подготовленную конечную точку пропускной способности, чтобы продолжить использование модели после окончания срока жизни.
- Перенос существующих рабочих процессов для использования рекомендуемых моделей замены.
На дату выхода на пенсию модель удаляется из продукта, и соответствующая документация обновляется, чтобы рекомендовать использовать модель замены.
См. Устаревшие модели для получения списка модели, которые уже устарели, и запланированных дат снятия с производства.
Обновления модели
Databricks может отправлять добавочные обновления в модели с оплатой за токен для обеспечения оптимизации. При обновлении модели URL-адрес конечной точки остается неизменным, но идентификатор модели в объекте отклика изменяется в соответствии с датой обновления. Например, если обновление пересылается в meta-llama/Meta-Llama-3.3-70B 3 апреля 2024 года, имя модели в объекте ответа обновляется до meta-llama/Meta-Llama-3.3-70B-030424. Databricks поддерживает журнал версий обновлений, на которые можно ссылаться.
устаревшие модели
В следующих разделах приведены сведения о текущих и предстоящих выводах из эксплуатации моделей для API интерфейсов базовых моделей с оплатой за токен и предложений по тонкой настройке базовых моделей.
Завершение доработки моделей Foundation
В следующей таблице показаны модели, снятые с производства, даты их снятия и рекомендуемые семейства моделей для использования в рабочих нагрузках, связанных с точной настройкой моделей Foundation. Databricks рекомендует перенести приложения на использование моделей замены до указанной даты прекращения использования.
| Семейство моделей | Дата выхода на пенсию | Рекомендуемое семейство моделей замены |
|---|---|---|
| DBRX | 30 апреля 2025 г. | Лама-3.1-70B |
| Mixtral | 30 апреля 2025 г. | Лама-3.1-70B |
| Мистраль | 30 апреля 2025 г. | Лама-3.1-8B |
| Meta-Llama-3.1-405B | 30 января 2025 г. | Лама-3.1-70B |
| Мета-Лама-3 | 7 января 2025 г. | Meta-Llama-3.1 |
| Мета-Лама-2 | 7 января 2025 г. | Meta-Llama-3.1 |
| Код Лама | 7 января 2025 г. | Meta-Llama-3.1 |
Модель API Foundation на основе оплаты за токен по выводу из эксплуатации
В следующей таблице показаны выводы моделей из эксплуатации, даты их вывода и рекомендуемые модели для замены, которые используются для API Foundation Model, обслуживающих рабочие нагрузки с оплатой за токен. Databricks рекомендует перенести приложения на использование моделей замены до указанной даты прекращения использования.
Важный
11 декабря 2024 г. Meta-Llama-3.3-70B-Instruct заменил поддержку Meta-Llama-3.1-70B-Instruct в API Foundation Model в конечных точках оплаты за токен.
| Модель | Дата выхода на пенсию | Рекомендуемая модель замены |
|---|---|---|
| Инструкция DBRX | 30 апреля 2025 г. | Meta-Llama-3.3-70B-Instruct |
| Mixtral-8x7B Инструкт | 30 апреля 2025 г. | Meta-Llama-3.3-70B-Instruct |
| Мета-Ллама-3.1-70B-Instruct | 11 декабря 2024 г. | Meta-Llama-3.3-70B-Instruct |
| Мета-Лама-3-70B-Instruct | 23 июля 2024 г. | Meta-Llama-3.3-70B-Instruct |
| Meta-Llama-2-70B-Chat | 30 октября 2024 г. | Meta-Llama-3.3-70B-Instruct |
| Инструкция MPT 7B | 30 августа 2024 г. | Meta-Llama-3.3-70B-Instruct |
| Инструкции MPT 30B | 30 августа 2024 г. | Meta-Llama-3.3-70B-Instruct |
Если вам требуется долгосрочная поддержка для конкретной версии модели, Databricks рекомендует использовать API интерфейсы модели Foundation , предоставленную пропускную способность для ваших рабочих нагрузок обслуживания.