Поддерживаемые основные модели на платформе Mosaic AI Model Serving
В этой статье описаны базовые модели, которые можно обслуживать с помощью Mosaic AI Model Serving.
Базовые модели представляют собой большие, предварительно обученные нейронные сети, обученные как на больших, так и на широких диапазонах данных. Эти модели предназначены для изучения общих шаблонов на языке, изображениях или других типах данных и могут быть точно настроены для конкретных задач с дополнительным обучением.
Служба моделей предлагает гибкие варианты размещения и запроса базовых моделей на основе ваших потребностей:
- Оплата за токен: идеально подходит для экспериментирования и быстрого исследования. Этот параметр позволяет запрашивать предварительно настроенные конечные точки в рабочей области Databricks без предварительных обязательств по инфраструктуре.
- подготовленная пропускная способность: рекомендуется для рабочих вариантов использования, требующих гарантий производительности. Этот параметр позволяет развертывать точно настроенные базовые модели с оптимизированными конечными точками обслуживания.
- внешние модели: этот параметр обеспечивает доступ к базовым моделям, размещенным за пределами Databricks, например к моделям, предоставляемым OpenAI или Anthropic. Эти модели можно централизованно управлять в Databricks для упрощения управления.
Базовые модели, размещенные в Databricks
Databricks размещает современные модели открытого фонда, такие как Мета Лама. Эти модели становятся доступными с помощью API Интерфейсов моделей Foundation и доступны с оплатой за каждый токен или предоставленной пропускной способностью.
оплата за токен
API модели Foundation оплата за каждый токен рекомендуется для начала работы и быстрого изучения. Если модель поддерживается с помощью API Foundation Model с оплатой за каждый токен, Databricks предоставляет в рабочей области Azure Databricks предварительно настроенную конечную точку, которую можно тестировать и выполнять запросы. Вы также можете взаимодействовать и общаться с этими моделями на игровой площадке ИИ .
В следующей таблице приведены поддерживаемые модели для оплаты за токен. См. ограничения API-интерфейсов базовых моделей для доступности в конкретном регионе.
Важный
- Начиная с 11 декабря 2024 года, Meta-Llama-3.3-70B-Instruct будет заменять поддержку Meta-Llama-3.1-70B-Instruct в интерфейсах API Foundation Model с оплатой за каждый токен.
- Meta-Llama-3.1-405B-Instruct является крупнейшей открыто доступной моделью большого языка, созданной и обученной мета и распределенной машинным обучением Azure с помощью каталога моделей AzureML.
- Следующие модели уже сняты с производства. См. «Списанные модели» для получения информации о рекомендуемых моделях замены.
- Ллома 2 70B Чат
- Инструкция MPT 7B
- Инструкция MPT 30B
| Модель | Тип задачи | Конечная точка | Примечания |
|---|---|---|---|
| GTE Large (английский) | Внедрение | databricks-gte-large-en |
Не создает нормализованные внедрения. |
| Meta-Llama-3.3-70B-Instruct | Чат | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Чат | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX Instruct | Чат | databricks-dbrx-instruct |
Эта модель больше не поддерживается после 30 апреля 2025 г. |
| Mixtral-8x7B Инструкция | Чат | databricks-mixtral-8x7b-instruct |
Эта модель больше не поддерживается после 30 апреля 2025 г. |
| BGE Large (английский) | Внедрение | databricks-bge-large-en |
* Свяжитесь с командой вашей учетной записи Databricks, если при использовании этой модели возникают сбои конечных точек или ошибки стабилизации.
выделенная пропускная способность
API-интерфейсы модели Foundation с подготовленной пропускной способностью рекомендуется использовать для производственных задач. Вы можете создать конечную точку, которая использует подготовленную пропускную способность для развертывания точно настроенных архитектур базовой модели. При использовании подготовленной пропускной способности конечная точка обслуживания оптимизирована для рабочих нагрузок базовой модели, требующих гарантий производительности.
В следующей таблице приведены поддерживаемые архитектуры моделей для выделенной пропускной способности. Databricks рекомендует использовать предварительно обученные базовые модели в Unity Catalog для рабочих нагрузок с предоставленной пропускной способностью. См. лимиты запасенной пропускной способности для поддерживаемых вариантов моделей Meta Llama и доступности регионов.
Важный
Meta Llama 3.3 лицензируется в соответствии с лицензией LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Все права защищены. Клиенты несут ответственность за соблюдение условий этой лицензии и Ллама 3.3 Политика приемлемого использования.
Meta Llama 3.2 лицензирован в соответствии с лицензией LLAMA 3.2 для сообщества, Copyright © Meta Platforms, Inc. Все права защищены. Клиенты несут ответственность за соблюдение условий этой лицензии и Политики приемлемого использования Ллма 3.2.
Meta Llama 3.1 лицензирован в соответствии с Лицензией LLAMA 3.1 Community License, Meta Platforms, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
| Архитектура модели | Типы задач | Примечания |
|---|---|---|
| DeepSeek R1 | Чат | Эти модели можно скачать, зарегистрировать их в каталоге Unity и развернуть их с помощью подготовленной пропускной способности. |
| Мета Лама 3.3 | Чат или завершение | |
| Мета Лама 3.2 3B | Чат или завершение | |
| Мета Лама 3.2 1B | Чат или завершение задачи | |
| Мета Лама 3.1 | Чат или завершение | |
| Meta Llama 3 | Чат или завершение задачи | |
| Meta Llama 2 | Чат или завершение | |
| DBRX | Чат или завершение | |
| Мистраль | Чат или завершение | |
| Mixtral | Чат или завершение | |
| МПТ | Чат или завершение работы | |
| GTE версия 1.5 (английский язык) | Внедрение | Не создает нормализованные векторные представления. |
| BGE версии 1.5 (английский) | Внедрение |
Доступ к фундаментальным моделям, размещенным за пределами Databricks
Базовые модели, созданные поставщиками LLM, такими как OpenAI и Anthropic, также доступны в Databricks с помощью внешних моделей. Эти модели размещаются за пределами Databricks и можно создать конечную точку для их запроса. Эти конечные точки можно централизованно управлять из Azure Databricks, что упрощает использование и управление различными поставщиками LLM в организации.
В следующей таблице представлен неполный список поддерживаемых моделей и соответствующие типы конечных точек . Сопоставления перечисленных моделей помогут вам настроить конечную точку для всех недавно выпущенных типов моделей, так как они становятся доступными для данного поставщика. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Заметка
При быстром развитии LLM нет никакой гарантии, что этот список находится в актуальном состоянии в любое время. Новые версии модели из того же поставщика обычно поддерживаются, даже если они не находятся в списке.
| Поставщик моделей | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Антропный |
|
|
|
| Ко-хир** |
|
|
|
| Мозаичное обслуживание модели искусственного интеллекта | Конечная точка обслуживания Databricks | Конечная точка обслуживания Databricks | Конечная точка обслуживания Databricks |
| Amazon Bedrock | Anthropic:
Сплотиться
Лаборатории AI21:
|
Anthropic:
Cohere
|
Амазонка:
Целостность
|
| Лаборатории AI21† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
Поставщик моделей ** поддерживает кастомизированные модели завершения и чата. Чтобы запросить настраиваемую модель, заполните поле name конфигурации external model именем настраиваемой модели.
поставщик моделей † поддерживает пользовательские модели завершения.
Создание базовых моделей обслуживания конечных точек
Чтобы запрашивать и использовать базовые модели в приложениях ИИ, необходимо сначала создать конечную точку обслуживания модели. Служба моделей использует унифицированный API и пользовательский интерфейс для создания и обновления конечных точек службы базовых моделей.
- Чтобы создать конечную точку, которая предоставляет точно настроенные варианты базовых моделей, сделанные доступными с использованием пропускной способности, предоставленной через API моделей Foundation, см. Создать конечную точку с подготовленной пропускной способностью через REST API.
- Сведения о создании конечных точек обслуживания, которые получают доступ к базовым моделям с помощью предложения внешних моделей, см. в разделе Создание внешней конечной точки обслуживания модели.
Модель создания запросов, обслуживающая конечные точки
После создания конечной точки обслуживания вы сможете запросить базовую модель. Служба моделей использует унифицированный API, совместимый с OpenAI, и пакет SDK для запроса базовых моделей. Этот унифицированный интерфейс упрощает экспериментирование и настройку базовых моделей для рабочей среды в поддерживаемых облаках и поставщиках.
См. модели основ запроса.