Политика обслуживания генеративных моделей ИИ

В этой статье описывается политика обслуживания модели для API-интерфейсов Foundation Model с оплатой за каждый токен и предложения по тонкой подстройке Foundation Model .

Чтобы продолжать поддерживать передовые модели, Databricks может обновлять поддерживаемые модели или снимать с поддержки старые модели для API-интерфейсов базовых моделей с оплатой за токен и услуг настройки базовой модели.

Политика вывода модели из эксплуатации

Следующая политика выхода на пенсию применяется только к поддерживаемым моделям чата и завершения в API-интерфейсах модели Foundation за токен и предложения по настройке модели Foundation.

Если модель снята с эксплуатации, она больше недоступна для использования и удаляется из указанных наборов функций. Databricks выполняет следующие действия, чтобы уведомить клиентов о модели, запланированной к снятию с производства:

• Предупреждающее сообщение отображается на карточке модели на странице сервиса вашей рабочей области Databricks, указывающее на то, что модель планируется к выводу из эксплуатации.
• Предупреждающее сообщение отображается в раскрывающемся меню для настройки модели Foundation на вкладке "Эксперименты", указывая, что модель планируется снять с эксплуатации.
• Соответствующая документация содержит уведомление, указывающее, что модель планируется выводиться из эксплуатации, и указывает дату, с которой поддержка будет прекращена.

После того как пользователи получат уведомление о предстоящем выводе модели из эксплуатации, Databricks прекратит использование модели через три месяца. В течение этого трехмесячного периода клиенты могут:

• Выберите переход на подготовленную конечную точку пропускной способности, чтобы продолжить использование модели после даты окончания срока действия.
• Перенос существующих рабочих процессов для использования рекомендуемых моделей замены.

На дату выхода на пенсию модель удаляется из продукта, и соответствующая документация обновляется, чтобы рекомендовать использовать модель замены.

См. Устаревшие модели для получения списка модели, которые уже устарели, и запланированных дат снятия с производства.

Обновления модели

Databricks может отправлять добавочные обновления в модели с оплатой за токен для обеспечения оптимизации. При обновлении модели URL-адрес конечной точки остается неизменным, но идентификатор модели в объекте отклика изменяется в соответствии с датой обновления. Например, если обновление пересылается в meta-llama/Meta-Llama-3.1-405B 3 апреля 2024 года, имя модели в объекте ответа обновляется до meta-llama/Meta-Llama-3.1-405B-030424. Databricks поддерживает журнал версий обновлений, на которые можно ссылаться.

устаревшие модели

В следующих разделах приведены сведения о текущих и предстоящих выводах из эксплуатации моделей для API интерфейсов базовых моделей с оплатой за токен и предложений по тонкой настройке базовых моделей.

Завершение доработки моделей Foundation

В следующей таблице показаны модели, снятые с производства, даты их снятия и рекомендуемые семейства моделей для использования в рабочих нагрузках, связанных с точной настройкой моделей Foundation. Databricks рекомендует перенести приложения на использование моделей замены до указанной даты прекращения использования.

Семейство моделей	Дата выхода на пенсию	Рекомендуемое семейство моделей замены
Мета-Лама-3	7 января 2025 г.	Meta-Llama-3.1
Мета-Лама-2	7 января 2025 г.	Meta-Llama-3.1
Код Лама	7 января 2025 г.	Meta-Llama-3.1

Модель API Foundation на основе оплаты за токен по выводу из эксплуатации

В следующей таблице показаны выводы моделей из эксплуатации, даты их вывода и рекомендуемые модели для замены, которые используются для API Foundation Model, обслуживающих рабочие нагрузки с оплатой за токен. Databricks рекомендует перенести приложения на использование моделей замены до указанной даты прекращения использования.

Важный

11 декабря 2024 г. Meta-Llama-3.3-70B-Instruct заменил поддержку Meta-Llama-3.1-70B-Instruct в API Foundation Model в конечных точках оплаты за токен.

Модель	Дата выхода на пенсию	Рекомендуемая модель замены
Мета-Ллама-3.1-70B-Instruct	11 декабря 2024 г.	Meta-Llama-3.3-70B-Instruct
Мета-Лама-3-70B-Instruct	23 июля 2024 г.	Мета-Ллама-3.1-70B-Instruct
Meta-Llama-2-70B-Chat	30 октября 2024 г.	Мета-Ллама-3.1-70B-Instruct
Инструкция MPT 7B	30 августа 2024 г.	Mixtral-8x7B
Инструкции MPT 30B	30 августа 2024 г.	Mixtral-8x7B

Если вам требуется долгосрочная поддержка для конкретной версии модели, Databricks рекомендует использовать API интерфейсы модели Foundation , предоставленную пропускную способность для ваших рабочих нагрузок обслуживания.