Тонкое настройка модели Foundation
Благодаря тонкой настройке фундаментальной модели (в настоящее время часть обучения модели Мозаичный ИИ [Mosaic AI]), вы можете использовать собственные данные, чтобы настроить фундаментальную модель для оптимизации её производительности под конкретное приложение. Выполняя полную настройку или продолжая обучение базовой модели, вы можете обучать собственную модель с помощью значительно меньше данных, времени и вычислительных ресурсов, чем обучение модели с нуля.
При использовании Databricks у вас есть все на одной платформе: собственные данные для обучения, базовая модель для обучения, контрольные точки, сохраненные в MLflow, и модель, зарегистрированная в каталоге Unity и готова к развертыванию.
См . руководство по созданию и развертыванию запуска тонкой настройки модели Foundation, чтобы узнать, как создать запуск с помощью API тонкой настройки модели Foundation, а затем просмотреть результаты и развернуть модель с помощью пользовательского интерфейса Databricks и службы модели ИИ Мозаики.
Что такое настройка модели Foundation?
Базовая настройка модели позволяет использовать API Databricks или пользовательский интерфейс для настройки или дальнейшего обучения базовой модели.
С помощью тонкой настройки модели Foundation можно:
- Обучите модель пользовательскими данными, используя контрольные точки, сохраненные в MLflow. Вы сохраняете полный контроль над обученной моделью.
- Автоматически регистрируйте модель в каталоге Unity, что позволяет легко развертывать с помощью службы моделей.
- Дальнейшее обучение завершенной собственной модели путем загрузки весов ранее обученной модели.
Databricks рекомендует попробовать настроить модель Foundation, если:
- Вы пробовали несколько выстрелов обучения и хотят лучше результатов.
- Вы попробовали инженерию запросов на существующую модель и хотите получить лучшие результаты.
- Вы хотите полное владение пользовательской моделью для конфиденциальности данных.
- Вы учитываете задержку или учитываете затраты и хотите использовать меньшую, дешевле модель с данными конкретной задачи.
Поддерживаемые задачи
Базовая настройка модели поддерживает следующие варианты использования:
- Завершение чата: рекомендуемая задача. Обучение модели в журналах чата между пользователем и помощником по искусственному интеллекту. Этот формат можно использовать как для фактических журналов чата, так и в качестве стандартного формата для ответа на вопросы и текста беседы. Текст автоматически отформатирован в соответствующий формат для конкретной модели. Дополнительные сведения о шаблоне см. в примере шаблонов чатов в документации HuggingFace.
- доработка инструкций: Обучение модели на структурированных данных вида 'запрос-ответ'. Используйте эту функцию, чтобы адаптировать модель к новой задаче, изменить его стиль отклика или добавить следующие инструкции. Эта задача не применяет к данным автоматически форматирование и рекомендуется только в том случае, если требуется настраиваемое форматирование данных.
- Продолжающееся предварительное обучение: обучение модели с дополнительными текстовыми данными. Используйте это, чтобы добавить новые знания в модель или сосредоточиться на модели в определенном домене.
Требования
- Рабочая область Databricks в одном из следующих регионов Azure:
centralus, ,eastuseastus2northcentralusилиwestus. - Api-интерфейсы точной настройки модели Foundation, установленные с помощью
pip install databricks_genai. - Databricks Runtime 12.2 LTS ML или более поздней версии, если данные хранятся в таблице Delta.
Дополнительные сведения о необходимых форматах входных данных см. в статье "Подготовка данных для модели Foundation".
Рекомендуемый размер данных для обучения модели
Databricks рекомендует первоначально обучать с помощью одной до четырех эпох. После оценки точно настроенной модели, если вы хотите, чтобы выходные данные модели были более похожими на обучающие данные, вы можете начать обучение с помощью одной до двух других эпох.
Если производительность модели значительно снижается на задачах, не представленных в данных тонкой настройки, или если модель, как представляется, выводит точные копии данных тонкой настройки, Databricks рекомендует сократить количество эпох обучения.
Для настройки инструкций и завершения чата необходимо предоставить достаточно токенов, чтобы покрыть хотя бы одну полную длину контекста модели. Например, 131072 токена для meta-llama/Llama-3.2-3B-Instruct.
Для продолжения предварительного обучения Databricks рекомендует использовать не менее 1,5 миллиона токенов, чтобы получить модель более высокого качества, которая будет лучше изучать ваши пользовательские данные.
Поддерживаемые модели
В следующей таблице перечислены поддерживаемые модели. Ознакомьтесь с лицензиями модели для получения информации о соответствующей лицензии модели и политике допустимого использования.
Чтобы продолжить поддержку самых устаревших моделей, Databricks может обновить поддерживаемые модели или удалить старые модели. См. раздел по снятию с производства моделей.
| Модель | Максимальная длина контекста | Примечания. |
|---|---|---|
meta-llama/Llama-3.2-1B |
131072 | |
meta-llama/Llama-3.2-1B-Instruct |
131072 | |
meta-llama/Llama-3.2-3B |
131072 | |
meta-llama/Llama-3.2-3B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-70B |
131072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-8B |
131072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131072 |
Для выхода из эксплуатации моделей
В следующей таблице перечислены поддерживаемые модели, запланированные к снятию с производства. Смотрите Устаревшие модели для запланированных дат снятия с продажи и рекомендации по замене моделей.
Внимание
После 30 января 2025 года семейство моделей Meta Llama 3.1 405B выходит на пенсию. См. устаревшие модели для получения рекомендаций по заменяющим моделям.
| Модель | Максимальная длина контекста | Примечания. |
|---|---|---|
mistralai/Mistral-7B-v0.1 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
mistralai/Mistral-7B-Instruct-v0.2 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
mistralai/Mixtral-8x7B-v0.1 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
databricks/dbrx-base |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
databricks/dbrx-instruct |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
лицензии модели
В следующей таблице приведены применимые лицензии модели и допустимые сведения о политике использования для поддерживаемых семейств моделей.
| Семейство моделей | Лицензия и приемлемая политика использования |
|---|---|
| Мета Лама 3.2 | Meta Llama 3.2 лицензирован в соответствии с лицензией сообщества LLAMA 3.2, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за соблюдение условий этой лицензии и политики допустимого использования Llama 3.2. |
| Мета Лама 3.1 | Meta Llama 3.1 лицензирован в соответствии с лицензией сообщества LLAMA 3.1, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели. |
| DBRX | DBRX предоставляется под лицензией Databricks Open Model, Copyright © Databricks, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели, включая политику допустимого использования Databricks. |
Использование тонкой настройки модели Foundation
Базовая настройка модели доступна с помощью databricks_genai пакета SDK. В следующем примере создается и запускается обучающий процесс, использующий данные из томов Unity Catalog. Дополнительные сведения о конфигурации см. в статье "Создание обучающего запуска с помощью API тонкой настройки модели Foundation".
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Дополнительные сведения о настройке инструкции: демонстрационная записная книжка распознавания именованных сущностей см. в примере точной настройки инструкции, которая описывает подготовку данных, настройку конфигурации и развертывания для обучения.
Ограничения
Большие наборы данных (10B+ токены) не поддерживаются из-за доступности вычислений.
Для продолжения подготовки рабочие нагрузки ограничены 60-256 МБ-файлами. Файлы размером более 1 ГБ могут привести к более длительной обработке.
Databricks стремится сделать последние современные модели доступными для настройки с помощью тонкой настройки модели Foundation. По мере того как новые модели становятся доступными, доступ к старым моделям из API или пользовательского интерфейса может быть удален, старые модели могут быть устарели или обновлены. См . политику обслуживания моделей создания моделей ИИ.
Если у вас настроен Azure Private Link в рабочей области, точная настройка базовых моделей поддерживается только для рабочих областей Azure в
eastus2.Если у вас настроен Private Link в хранилище, Databricks рекомендует использовать таблицы Unity Catalog.
Если у вас есть брандмауэры в учетной записи Azure Data Lake Storage, в которой хранятся данные в каталоге Unity, необходимо разрешить трафик из кластеров бессерверных плоскостей данных Databricks для использования тонкой настройки модели Foundation. Обратитесь к группе учетных записей Databricks, чтобы получить дополнительные сведения и возможные пользовательские решения.