Podporované základní modely pro obsluhu modelu AI v systému Mosaic
Tento článek popisuje modely základu, které můžete provozovat pomocí Mosaic AI Model Serving.
Základní modely jsou velké předem natrénované neurální sítě, které jsou natrénované na velkých i širokých rozsazích dat. Tyto modely jsou navržené tak, aby se naučily obecné vzory v jazyce, obrázcích nebo jiných datových typech a dají se vyladit pro konkrétní úlohy s dalšími školeními.
Obsluha modelů nabízí flexibilní možnosti hostování a dotazování základních modelů na základě vašich potřeb:
- s platbou za token: Ideální pro experimentování a rychlý průzkum. Tato možnost umožňuje dotazovat se na předem nakonfigurované koncové body v pracovním prostoru Databricks bez počátečních závazků infrastruktury.
- Zřízená propustnost: Doporučuje se pro případy použití v produkčním prostředí vyžadující záruky výkonu. Tato možnost umožňuje nasazení jemně vyladěných základních modelů s optimalizovanými obslužnými koncovými body.
- externí modely: Tato možnost umožňuje přístup k základním modelům hostovaným mimo Databricks, například k modelům, které poskytuje OpenAI nebo Anthropic. Tyto modely je možné centrálně spravovat v Databricks, aby se zjednodušily zásady správného řízení.
Základní modely hostované v Databricks
Databricks hostuje nejmodernější otevřené základní modely, jako je Meta Llama. Tyto modely jsou dostupné pomocí rozhraní API modelu Foundation a jsou přístupné buď s průběžnými platbami, nebo zřízenou propustností.
s platbou za token
Rozhraní API modelu nadace platba za token se doporučuje pro začátek a rychlý průzkum. Pokud je model podporovaný pomocí rozhraní API základního modelu s průběžnými platbami za token, databricks poskytuje předem nakonfigurovaný koncový bod v pracovním prostoru Azure Databricks, který můžete testovat a dotazovat. S těmito modely můžete také interagovat a chatovat pomocí AI Playground.
Následující tabulka shrnuje podporované modely pro platby za token. Informace o dostupnosti konkrétní oblasti najdete v tématu omezení rozhraní API modelu Foundation Model API.
Důležitý
- Od 11. prosince 2024 nahrazuje Meta-Llama-3.3-70B-Instruct podporu pro Meta-Llama-3.1-70B-Instruct v koncových bodech Foundation Model APIs platby za tokeny.
- Meta-Llama-3.1-405B-Instruct je největší opensourcový špičkový velký jazykový model vytvořený a natrénovaný meta a distribuovaný službou Azure Machine Learning pomocí katalogu modelů AzureML.
- Následující modely jsou teď vyřazené. Doporučené náhradní modely najdete v tématu Vyřazené modely.
- Llama 2 70B Chat
- MPT 7B – pokyn
- MPT 30B – návod
| Model | Typ úkolu | Koncový bod | Poznámky |
|---|---|---|---|
| |
Ukotvení | databricks-gte-large-en |
Negeneruje normalizované vkládání. |
| Meta-Llama-3.3-70B-Instruct | Chat | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Chat | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX – pokyn | Chat | databricks-dbrx-instruct |
Tento model už není podporován po 30. dubnu 2025. |
| Mixtral-8x7B Instruct | Chat | databricks-mixtral-8x7b-instruct |
Tento model už není podporován po 30. dubnu 2025. |
| BGE Large (angličtina) | Ukotvení | databricks-bge-large-en |
* spojte se s týmem účtu Databricks, pokud při použití tohoto modelu dojde k chybám koncových bodů nebo chybám stabilizace.
zřízená propustnost
Rozhraní API základního modelu s nastavenou propustností se doporučuje pro produkční případy. Můžete vytvořit koncový bod, který používá zřízenou propustnost k nasazení jemně vyladěných architektur základních modelů. Když použijete zřízenou propustnost, koncový bod obsluhy je optimalizovaný pro úlohy základního modelu, které vyžadují záruky výkonu.
Následující tabulka shrnuje podporované architektury modelů pro zřízenou propustnost. Databricks doporučuje používat předem natrénované základní modely v katalogu Unity pro úlohy s nastavenou průchodností. Informace o podporovaných variantách modelu Meta Llama a dostupnosti oblastí najdete v tématu Omezení zřízené propustnosti.
Důležitý
Meta Llama 3.3 má licenci na LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování podmínek této licence a Zásady přijatelného použití llama 3.3.
Meta Llama 3.2 je licencovaná v rámci LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění souladu s podmínkami této licence a Llama 3.2 Zásad přijatelného užití.
Meta Llama 3.1 má licenci na LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci nesou odpovědnost za zajištění souladu s platnými licencemi modelu.
| Architektura modelu | Typy úkolů | Poznámky |
|---|---|---|
| DeepSeek R1 | Chat | Tyto modely si můžete stáhnout, zaregistrovat je do katalogu Unity a nasadit je pomocí zřízené propustnosti. |
| Meta Llama 3.3 | Chat nebo dokončení | |
| Meta Llama 3.2 3B | Chat nebo dokončení | |
| Meta Llama 3.2 1B | Chat nebo dokončení | |
| Meta Llama 3.1 | Chat nebo dokončení | |
| Meta Llama 3 | Chat nebo dokončení | |
| Meta Llama 2 | Chat nebo dokončení | |
| DBRX | Chat nebo dokončení | |
| Mistral | Chat nebo dokončení | |
| Mixtral | Chat nebo dokončení | |
| MPT | Chat nebo dokončení | |
| GTE v1.5 (angličtina) | Ukotvení | Negeneruje normalizované vkládání. |
| BGE v1.5 (angličtina) | Ukotvení |
základních modelů Accessu hostovaných mimo Databricks
Základní modely vytvořené poskytovateli LLM, jako jsou OpenAI a Anthropic, jsou také přístupné v Databricks pomocí externích modelů. Tyto modely jsou hostované mimo Databricks a můžete vytvořit koncový bod pro jejich dotazování. Tyto koncové body se dají centrálně řídit z Azure Databricks, což zjednodušuje používání a správu různých poskytovatelů LLM ve vaší organizaci.
Následující tabulka uvádí seznam podporovaných modelů a odpovídajících typů koncových bodů . Pomocí uvedených přidružení modelů můžete nakonfigurovat koncový bod pro všechny nově vydané typy modelů, jakmile budou dostupné u daného poskytovatele. Zákazníci nesou odpovědnost za zajištění souladu s platnými licencemi modelu.
Poznámka
Díky rychlému vývoji LLM není zaručeno, že je tento seznam neustále aktuální. Nové verze modelu od stejného poskytovatele se obvykle podporují i v případě, že nejsou v seznamu.
| Zprostředkovatel modelů | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - babbage-002 - Davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Anthropic | - claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Cohere | -příkaz - kontrolní světlo |
- command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r -příkaz - noční příkaz osvětlení - kontrolní světlo - noční příkaz |
- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0 |
| Mosaic model umělé inteligence služba | Koncový bod služby Databricks | Koncový bod služby Databricks | Koncový bod služby Databricks |
| Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 Testovací prostředí AI21: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 |
Amazonka: - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3 |
| AI21 Laboratoře† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | text-bison | - chat-bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash |
- text-embedding-004 - text-embedding-005 - textembedding-gecko |
poskytovatel modelů ** podporuje jemně vyladěné modely dokončování a chatu. Pokud chcete dotazovat jemně vyladěný model, vyplňte pole name konfigurace external model názvem jemně vyladěného modelu.
† Poskytovatel modelu podporuje vlastní modely dokončování.
Vytvoření základního modelu obsluhující koncové body
Pokud chcete dotazovat a používat základní modely v aplikacích AI, musíte nejprve vytvořit koncový bod obsluhy modelu. Obsluha modelů používá jednotné rozhraní API a uživatelské rozhraní k vytváření a aktualizaci základních modelů obsluhujících koncové body.
- Chcete-li vytvořit koncový bod, který obsluhuje jemně doladěné varianty základních modelů zpřístupněných pomocí zřizovaných rozhraní API základních modelů, podívejte se na Vytvoření zřizovaného koncového bodu propustnosti prostřednictvím rozhraní REST API.
- Informace o vytváření obslužných koncových bodů, které přistupují k základním modelům dostupným pomocí nabídky Externí modely, najdete v tématu Vytvoření externího modelu obsluhujícího koncový bod.
Dotazování na koncové body obsluhující základní model
Po vytvoření koncového bodu obsluhy se můžete dotazovat na výchozí model. Obsluha modelů používá pro dotazování základních modelů sjednocené rozhraní API kompatibilní s OpenAI a sadou SDK. Toto jednotné prostředí zjednodušuje experimentování se základními modely pro produkční prostředí napříč podporovanými cloudy a poskytovateli.