Поддерживаемые основные модели на платформе Mosaic AI Model Serving
В этой статье описаны базовые модели, которые можно обслуживать с помощью Mosaic AI Model Serving.
Базовые модели представляют собой большие, предварительно обученные нейронные сети, обученные как на больших, так и на широких диапазонах данных. Эти модели предназначены для изучения общих шаблонов на языке, изображениях или других типах данных и могут быть точно настроены для конкретных задач с дополнительным обучением.
Служба моделей предлагает гибкие варианты размещения и запроса базовых моделей на основе ваших потребностей:
- Оплата за токен: идеально подходит для экспериментирования и быстрого исследования. Этот параметр позволяет запрашивать предварительно настроенные конечные точки в рабочей области Databricks без предварительных обязательств по инфраструктуре.
- подготовленная пропускная способность: рекомендуется для рабочих вариантов использования, требующих гарантий производительности. Этот параметр позволяет развертывать точно настроенные базовые модели с оптимизированными конечными точками обслуживания.
- внешние модели: этот параметр обеспечивает доступ к базовым моделям, размещенным за пределами Databricks, например к моделям, предоставляемым OpenAI или Anthropic. Эти модели можно централизованно управлять в Databricks для упрощения управления.
Базовые модели, размещенные в Databricks
Databricks размещает современные модели открытого фонда, такие как Мета Лама. Эти модели становятся доступными с помощью API Интерфейсов моделей Foundation и доступны с оплатой за каждый токен или предоставленной пропускной способностью.
оплата за токен
API модели Foundation оплата за каждый токен рекомендуется для начала работы и быстрого изучения. Если поддержка модели осуществляется с помощью API-интерфейсов платформы с оплатой за каждый токен, Databricks предоставляет в рабочей области Azure Databricks предварительно настроенную конечную точку для тестирования и запроса. Вы также можете взаимодействовать и общаться с этими моделями на игровой площадке ИИ .
В следующей таблице приведены поддерживаемые модели для оплаты за токен. См. ограничения API-интерфейсов базовых моделей для доступности в конкретном регионе.
Важный
- Начиная с 11 декабря 2024 года, Meta-Llama-3.3-70B-Instruct заменяет поддержку Meta-Llama-3.1-70B-Instruct в точках API Foundation Model по оплате за токен.
- Meta-Llama-3.1-405B-Instruct является крупнейшей открыто доступной моделью большого языка, созданной и обученной мета и распределенной машинным обучением Azure с помощью каталога моделей AzureML.
- Следующие модели уже сняты с производства. См. «Списанные модели» для получения информации о рекомендуемых моделях замены.
- Ллома 2 70B Чат
- Инструкция MPT 7B
- Инструкция MPT 30B
| Модель | Тип задачи | Конечная точка | Примечания |
|---|---|---|---|
| GTE Large (английский) | Внедрение | databricks-gte-large-en |
Не создает нормализованные внедрения. |
| Meta-Llama-3.3-70B-Instruct | Чат | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Чат | databricks-meta-llama-3-1-405b-instruct |
|
| проинструктируйте DBRX | Чат | databricks-dbrx-instruct |
Эта модель больше не поддерживается после 30 апреля 2025 г. |
| Mixtral-8x7B Инструкция | Чат | databricks-mixtral-8x7b-instruct |
Эта модель больше не поддерживается после 30 апреля 2025 г. |
| BGE Large (английский) | Внедрение | databricks-bge-large-en |
* обратиться к группе учетных записей Databricks, если при использовании этой модели возникают сбои конечных точек или ошибки стабилизации.
подготовленная пропускная способность
API-интерфейсы модели Foundation с подготовленной пропускной способностью рекомендуется использовать для производственных задач. Вы можете создать конечную точку, которая использует подготовленную пропускную способность для развертывания точно настроенных архитектур базовой модели. При использовании подготовленной пропускной способности конечная точка обслуживания оптимизирована для рабочих нагрузок базовой модели, требующих гарантий производительности.
В следующей таблице приведены поддерживаемые архитектуры моделей для выделенной пропускной способности. Databricks рекомендует использовать предварительно обученные базовые модели в каталоге Unity для нагрузок с предоставленной пропускной способностью. Подробности о подготовленных ограничениях пропускной способности см. в для поддерживаемых вариантов моделей Meta Llama и доступности регионов в.
Важный
Meta Llama 3.3 лицензируется в соответствии с лицензией LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Все права защищены. Клиенты несут ответственность за соблюдение условий этой лицензии и Ллама 3.3 Политика приемлемого использования.
Meta Llama 3.2 лицензирован в соответствии с лицензией LLAMA 3.2 для сообщества, Copyright © Meta Platforms, Inc. Все права защищены. Клиенты отвечают за соблюдение условий этой лицензии и Ллома 3.2 допустимых политик использования.
Meta Llama 3.1 лицензирован в соответствии с лицензией LLAMA 3.1 community license, Meta © Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
| Архитектура модели | Типы задач | Примечания |
|---|---|---|
| DeepSeek R1 | Чат | Эти модели можно скачать, зарегистрировать их в каталоге Unity и развернуть их с помощью подготовленной пропускной способности. |
| Мета Лама 3.3 | Чат или завершение | |
| Мета Лама 3.2 3B | Чат или завершение | |
| Мета Лама 3.2 1B | Чат или завершение | |
| Мета Лама 3.1 | Чат или завершение | |
| Meta Llama 3 | Чат или завершение | |
| Meta Llama 2 | Чат или завершение | |
| DBRX | Чат или завершение | |
| Мистраль | Чат или завершение | |
| Mixtral | Чат или завершение | |
| MPT | Чат или завершение | |
| GTE версии 1.5 (английский) | Внедрение | Не создает нормализованные внедрения. |
| BGE версии 1.5 (английский) | Внедрение |
Доступ к фундаментальным моделям, размещенным за пределами Databricks
Базовые модели, созданные поставщиками LLM, такими как OpenAI и Anthropic, также доступны в Databricks с помощью внешних моделей. Эти модели размещаются за пределами Databricks и можно создать конечную точку для их запроса. Эти конечные точки можно централизованно управлять из Azure Databricks, что упрощает использование и управление различными поставщиками LLM в организации.
В следующей таблице представлен неполный список поддерживаемых моделей и соответствующие типы конечных точек . Сопоставления перечисленных моделей помогут вам настроить конечную точку для всех недавно выпущенных типов моделей, так как они становятся доступными для данного поставщика. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Заметка
При быстром развитии LLM нет никакой гарантии, что этот список находится в актуальном состоянии в любое время. Новые версии модели из того же поставщика обычно поддерживаются, даже если они не находятся в списке.
| Поставщик моделей | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - babbage-002 - davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Антропик | - claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Согласовываться** | - команда - световой индикатор команды |
— command-r7b-12-2024 — command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r - команда - command-light-nightly - световой индикатор команды — команда ночью |
— embed-english-v2.0 - встраивание-многоязычное-v2.0 — embed-english-light-v2.0 — embed-english-v3.0 — embed-english-light-v3.0 - embed-многоязычный-v3.0 — встраивание-многоязычный-light-v3.0 |
| Развертывание мозаичной модели искусственного интеллекта | Конечная точка обслуживания Databricks | Конечная точка обслуживания Databricks | Конечная точка обслуживания Databricks |
| Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Согласовываться: — command-text-v14 — command-light-text-v14 Лаборатории AI21: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Согласовываться: — command-r-plus-v1:0 — command-r-v1:0 |
Амазонка: - titan-embed-text-v1 - titan-embed-g1-text-02 Согласовываться: — embed-english-v3 — embed-multilingual-v3 |
| Лаборатории AI21† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | text-bison | - чат-байсон - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash |
— text-embedding-004 — text-embedding-005 - textembedding-gecko |
Поставщик моделей ** поддерживает кастомизированные модели завершения и чата. Чтобы запросить настраиваемую модель, заполните поле name конфигурации external model именем настраиваемой модели.
поставщик моделей † поддерживает пользовательские модели завершения.
Создание базовых моделей обслуживания конечных точек
Чтобы запрашивать и использовать базовые модели в приложениях ИИ, необходимо сначала создать конечную точку обслуживания модели. Служба моделей использует унифицированный API и пользовательский интерфейс для создания и обновления конечных точек службы базовых моделей.
- Чтобы создать конечную точку, которая обслуживает точно настроенные варианты базовых моделей, доступных с использованием пропускной способности, предоставленной через API моделей Foundation, см. . Создайте конечную точку с подготовленной пропускной способностью, используя REST API.
- Сведения о создании конечных точек обслуживания, которые получают доступ к базовым моделям с помощью предложения внешних моделей, см. в разделе Создание внешней конечной точки обслуживания модели.
Модель создания запросов, обслуживающая конечные точки
После создания конечной точки обслуживания вы сможете запросить базовую модель. Служба моделей использует унифицированный API, совместимый с OpenAI, и пакет SDK для запроса базовых моделей. Этот унифицированный интерфейс упрощает экспериментирование и настройку базовых моделей для рабочей среды в поддерживаемых облаках и поставщиках.
См. модели основ запроса.