Тонкая настройка основной модели
Внимание
Эта функция находится в общедоступной предварительной версии в следующих регионах:
Благодаря тонкой настройке фундаментальной модели (в настоящее время часть обучения модели Мозаичный ИИ [Mosaic AI]), вы можете использовать собственные данные, чтобы настроить фундаментальную модель для оптимизации её производительности под конкретное приложение. Выполняя полную настройку или продолжая обучение базовой модели, вы можете обучать собственную модель с помощью значительно меньше данных, времени и вычислительных ресурсов, чем обучение модели с нуля.
При использовании Databricks у вас есть все на одной платформе: собственные данные для обучения, базовая модель для обучения, контрольные точки, сохраненные в MLflow, и модель, зарегистрированная в каталоге Unity и готова к развертыванию.
См. Руководство: создание и развертывание запуска тонкой настройки модели Foundation, чтобы узнать, как создать запуск с помощью API тонкой настройки модели Foundation, а затем просмотреть результаты и развернуть модель с помощью пользовательского интерфейса Databricks и Mosaic AI Model Serving.
Что такое настройка базовой модели?
Базовая настройка модели позволяет использовать API Databricks или пользовательский интерфейс для настройки или дальнейшего обучения базовой модели.
С помощью тонкой настройки модели Foundation можно:
- Обучите модель пользовательскими данными, используя контрольные точки, сохраненные в MLflow. Вы сохраняете полный контроль над обученной моделью.
- Автоматически регистрируйте модель в каталоге Unity, что позволяет легко развертывать с помощью службы моделей.
- Дальнейшее обучение завершенной собственной модели путем загрузки весов ранее обученной модели.
Databricks рекомендует попробовать тонкую настройку основной модели, если:
- Вы пробовали обучение с малым числом примеров и хотите лучших результатов.
- Вы попробовали провести инженерные работы с запросами на существующей модели и хотите получить лучшие результаты.
- Вы хотите иметь полный контроль над индивидуальной моделью в целях защиты данных.
- Вы чувствительны к задержке или затратам и хотите использовать меньшую, более дешевую модель с данными, характерными для вашей задачи.
Поддерживаемые задачи
Тонкая настройка базовой модели поддерживает следующие варианты использования:
- Завершение чата: рекомендуемая задача. Обучайте модель на логах чата между пользователем и ИИ-помощником. Этот формат можно использовать как для фактических журналов чата, так и в качестве стандартного формата для ответа на вопросы и текста беседы. Текст автоматически отформатирован в соответствующий формат для конкретной модели. См. примеры шаблонов чатов в документации HuggingFace для получения дополнительной информации о создании шаблонов.
- доработка инструкций: Обучение модели на структурированных данных вида 'запрос-ответ'. Используйте это, чтобы адаптировать вашу модель к новой задаче, изменить её стиль отклика или добавить возможность следовать инструкциям. Эта задача не применяет к данным автоматически форматирование и рекомендуется только в том случае, если требуется настраиваемое форматирование данных.
- Продолжающееся предварительное обучение: обучение модели с дополнительными текстовыми данными. Используйте это, чтобы добавить новые знания в модель или сосредоточиться на модели в определенном домене.
Требования
- Рабочая область Databricks в одном из следующих регионов Azure:
centralus, ,eastuseastus2northcentralusилиwestus. - API для тонкой настройки модели Foundation, установленные с помощью
pip install databricks_genai. - Databricks Runtime 12.2 LTS ML или более поздней версии, если данные хранятся в таблице Delta.
См. Подготовка данных для дообучения базовой модели для получения информации о необходимых форматах входных данных.
Рекомендуемый размер данных для обучения модели
Databricks рекомендует первоначально обучать с помощью одной до четырех эпох. После оценки точно настроенной модели, если вы хотите, чтобы выходные данные модели были более похожими на обучающие данные, вы можете начать обучение с помощью одной до двух других эпох.
Если производительность модели значительно снижается на задачах, не представленных в данных тонкой настройки, или если модель, как представляется, выводит точные копии данных тонкой настройки, Databricks рекомендует сократить количество эпох обучения.
Для настройки инструкций и завершения чата необходимо предоставить достаточно токенов, чтобы покрыть хотя бы одну полную длину контекста модели. Например, 131072 токена для meta-llama/Llama-3.2-3B-Instruct.
Для продолжения предварительного обучения Databricks рекомендует использовать не менее 1,5 миллиона токенов, чтобы получить модель более высокого качества, которая будет лучше изучать ваши пользовательские данные.
Поддерживаемые модели
В следующей таблице перечислены поддерживаемые модели. Ознакомьтесь с лицензиями модели для получения информации о соответствующей лицензии модели и политике допустимого использования.
Чтобы продолжить поддержку самых устаревших моделей, Databricks может обновить поддерживаемые модели или удалить старые модели. См. подлежащие снятию с производства модели.
| Модель | Максимальная длина контекста | Примечания. |
|---|---|---|
meta-llama/Llama-3.2-1B |
131072 | |
meta-llama/Llama-3.2-1B-Instruct |
131072 | |
meta-llama/Llama-3.2-3B |
131072 | |
meta-llama/Llama-3.2-3B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-70B |
131072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-8B |
131072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131072 |
Модели, подлежащие снятию с производства
В следующей таблице перечислены поддерживаемые модели, запланированные к снятию с производства. Смотрите Устаревшие модели для запланированных дат снятия с продажи и рекомендации по замене моделей.
Внимание
После 30 января 2025 года семейство моделей Meta Llama 3.1 405B выходит на пенсию. См. устаревшие модели для получения рекомендаций по заменяющим моделям.
| Модель | Максимальная длина контекста | Примечания. |
|---|---|---|
mistralai/Mistral-7B-v0.1 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
mistralai/Mistral-7B-Instruct-v0.2 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
mistralai/Mixtral-8x7B-v0.1 |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
databricks/dbrx-base |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
databricks/dbrx-instruct |
32768 | Эта модель больше не поддерживается после 30 апреля 2025 г. |
модельные лицензии
В следующей таблице приведены применимые лицензии модели и допустимые сведения о политике использования для поддерживаемых семейств моделей.
| Семейство моделей | Лицензия и приемлемая политика использования |
|---|---|
| Мета Лама 3.2 | Meta Llama 3.2 лицензирован в соответствии с лицензией сообщества LLAMA 3.2, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за соблюдение условий этой лицензии и политики допустимого использования Llama 3.2. |
| «Meta Llama 3.1» | Meta Llama 3.1 лицензирован в соответствии с лицензией сообщества LLAMA 3.1, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели. |
| DBRX | DBRX предоставляется под лицензией Databricks Open Model, Copyright © Databricks, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям на использование модели, включая правила допустимого использования Databricks. |
Использование тонкой настройки модели Foundation
Тонкая настройка базовой модели доступна с использованием SDK. В следующем примере создается и запускается обучающий процесс, использующий данные из томов Unity Catalog. Дополнительные сведения о конфигурации см. в статье "Создание обучающего запуска с помощью API тонкой настройки модели Foundation".
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Дополнительные сведения о тонкой настройке инструкций: демонстрационная записная книжка по распознаванию именованных сущностей. Посмотрите пример настройки, который пошагово описывает подготовку данных, конфигурацию и развертывание обучения.
Ограничения
- Большие наборы данных (более 10 миллиардов токенов) не поддерживаются из-за ограниченной вычислительной мощности.
- Для продолжения подготовки рабочие нагрузки ограничены 60-256 МБ-файлами. Файлы размером более 1 ГБ могут привести к более длительной обработке.
- Databricks стремится сделать самые современные модели доступными для кастомизации с помощью тонкой настройки базовой модели. По мере того как новые модели становятся доступными, доступ к старым моделям из API или пользовательского интерфейса может быть удален, старые модели могут быть сняты с поддержки или обновлены. См. политику обслуживания генеративных моделей ИИ.
- Если у вас настроен Azure Private Link в рабочей области, точная настройка базовых моделей поддерживается только для рабочих областей Azure в
eastus2. - Если у вас настроен Private Link в хранилище, Databricks рекомендует использовать таблицы Unity Catalog.
- Если у вас есть брандмауэры в учетной записи Azure Data Lake Storage, в которой хранятся данные в каталоге Unity, необходимо разрешить трафик из кластеров бессерверных плоскостей данных Databricks для использования тонкой настройки модели Foundation. Обратитесь к вашей команде по работе с клиентами Databricks, чтобы получить дополнительную информацию и возможные индивидуальные решения.