Grundmodeller som stöds på Mosaic AI Model Serving
Den här artikeln beskriver de grundläggande modeller som du kan använda med Mosaic AI Model Serving.
Grundmodeller är stora, förtränade neurala nätverk som tränas på både stora och breda dataintervall. Dessa modeller är utformade för att lära sig allmänna mönster i språk, bilder eller andra datatyper och kan finjusteras för specifika uppgifter med ytterligare utbildning.
Modellhantering erbjuder flexibla alternativ för att hantera och ställa frågor till grundmodeller baserat på dina behov.
- Betala per token: Perfekt för experimentering och snabb utforskning. Med det här alternativet kan du köra frågor mot förkonfigurerade slutpunkter på din Databricks-arbetsyta utan åtaganden om infrastruktur i förväg.
- Provisionerat genomflöde: Rekommenderas för användningar i produktion som kräver prestandagarantier. Med det här alternativet kan du distribuera finjusterade grundmodeller med optimerade serverslutpunkter.
- Externa modeller: Det här alternativet ger åtkomst till grundläggande modeller som finns utanför Databricks, till exempel de som tillhandahålls av OpenAI eller Anthropic. Dessa modeller kan hanteras centralt i Databricks för effektiv styrning.
Foundation-modeller som finns på Databricks
Databricks är värd för toppmoderna öppna grundmodeller, till exempel Meta Llama. Dessa modeller görs tillgängliga med API:er för Foundation Model och är tillgängliga med antingen betalning per token eller garanterad dataöverföringshastighet.
Betala per token
API:er för grundmodell betalning per token rekommenderas för att komma igång och snabbt utforska. När en modell stöds med API:er för Foundation Model, betalning per token, tillhandahåller Databricks en förkonfigurerad API-slutpunkt i din Azure Databricks-arbetsyta som du kan testa och göra förfrågningar mot. Du kan också interagera och chatta med dessa modeller med hjälp av AI Playground-.
I följande tabell sammanfattas de modeller som stöds för betala per token. Se begränsningar för Foundation Model API:er och modellspecifik tillgänglighet i regioner under.
Viktig
- Från och med den 11 december 2024 ersätter Meta-Llama-3.3-70B-Instruct stödet för Meta-Llama-3.1-70B-Instruct i Foundation Model API:ers betalning per token-slutpunkter.
- Meta-Llama-3.1-405B-Instruct är den största öppet tillgängliga, toppmoderna stora språkmodellen som skapats och tränats av Meta och distribuerats av Azure Machine Learning med hjälp av AzureML-modellkatalogen.
- Följande modeller har nu dragits tillbaka. Se Äldre modeller för rekommenderade ersättningsmodeller.
- Llama 2 70B Chatt
- MPT 7B-instruktion
- MPT 30B-instruktion
| Modell | Aktivitetstyp | Slutpunkt | Anteckningar |
|---|---|---|---|
| GTE Large (engelska) | Inbäddning | databricks-gte-large-en |
Genererar inte normaliserade inbäddningar. |
| Meta-Llama-3.3-70B-Instruct | Chatt | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Chatt | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX Instruera | Chatt | databricks-dbrx-instruct |
Den här modellen stöds inte längre efter den 30 april 2025. |
| Mixtral-8x7B Instruct | Chatt | databricks-mixtral-8x7b-instruct |
Den här modellen stöds inte längre efter den 30 april 2025. |
| BGE Stor (engelska) | Inbäddning | databricks-bge-large-en |
* Kontakta ditt Databricks-kontoteam om du stöter på slutpunktsfel eller stabiliseringsfel när du använder den här modellen.
Provisionerad kapacitet
API:er för grundmodell etablerat dataflöde rekommenderas för produktionsfall. Du kan skapa en slutpunkt som använder etablerat dataflöde för att distribuera finjusterade grundmodellarkitekturer. När du använder allokerad genomströmning optimeras slutpunkten för tjänstgöring för basmodellarbeten som kräver prestandagarantier.
I följande tabell sammanfattas de modellarkitekturer som stöds för etablerat dataflöde. Databricks rekommenderar att du använder förtränad grundmodeller i Unity Catalog för etablerade dataflödesarbetsbelastningar. Se Begränsningar för etablerat dataflöde för Meta Llama-modellvarianter och tillgängliga regioner som stöds.
Viktig
Meta Llama 3.3 är licensierad enligt LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att se till att de följer villkoren i den här licensen och Llama 3.3 Policy för godtagbar användning.
Meta Llama 3.2 är licensierad enligt LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa att de följer villkoren i den här licensen och Llama 3.2-policyn för godtagbar användning.
Meta Llama 3.1 är licensierad enligt LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
| Modellarkitektur | Aktivitetstyper | Anteckningar |
|---|---|---|
| DeepSeek R1 | Chatt | Du kan ladda ned dessa modeller, registrera dem i Unity Catalog och distribuera dem med hjälp av etablerat dataflöde. |
| Meta Llama 3.3 | Chatt eller slutförande | |
| Meta Llama 3.2 3B | Chatt eller slutförande | |
| Meta Llama 3.2 1B | Chatt eller slutförande | |
| Meta Llama 3.1 | Chatt eller slutförande | |
| Meta Llama 3 | Chatt eller slutförande | |
| Meta Llama 2 | Chatt eller slutförande | |
| DBRX | Chatt eller slutförande | |
| Mistral | Chatt eller slutförande | |
| Mixtral | Chatt eller slutförande | |
| MPT | Chatt eller slutförande | |
| GTE v1.5 (engelska) | Inbäddning | Genererar inte normaliserade inbäddningar. |
| BGE v1.5 (engelska) | Inbäddning |
Access Foundation-modeller som finns utanför Databricks
Grundmodeller som skapats av LLM-leverantörer, till exempel OpenAI och Anthropic, är också tillgängliga på Databricks med hjälp av externa modeller. Dessa modeller finns utanför Databricks och du kan skapa en slutpunkt för att fråga dem. Dessa slutpunkter kan styras centralt från Azure Databricks, vilket effektiviserar användningen och hanteringen av olika LLM-leverantörer i din organisation.
I följande tabell visas en icke-fullständig lista över modeller som stöds och motsvarande slutpunktstyper. Du kan använda de listade modellassociationerna för att hjälpa dig att konfigurera en slutpunkt för alla nyligen släppta modelltyper när de blir tillgängliga med en viss leverantör. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Obs
Med den snabba utvecklingen av LLM:er finns det ingen garanti för att listan är uppdaterad hela tiden. Nya modellversioner från samma provider stöds vanligtvis även om de inte finns med i listan.
| Modellprovider | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - babbage-002 - davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-inbäddning-3-small |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-inbäddning-3-small |
| Människoorienterad | - Claude-1 - claude-1.3-100k - Claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Cohere** | - kommando – kommandoljus |
- command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r - kommando - kommando-lätt-nattlig – kommandoljus - kommando-nattetid |
- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0 |
| Mosaiks AI-modelltjänstgöring | Databricks-serverslutpunkt | Databricks-serverslutpunkt | Databricks-serverslutpunkt |
| Amazon Bedrock | Antropisk: - claude-instant-v1 - claude-v2 Sammanhålla - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Antropisk: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Sammanhålla - command-r-plus-v1:0 - command-r-v1:0 |
Amason: - titan-embed-text-v1 - titan-embed-g1-text-02 Sammanhålla - embed-english-v3 - embed-multilingual-v3 |
| AI21 Labs† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | text-bison | - chat-bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash |
- text-embedding-004 - text-inbäddning-005 - textembedding-gecko |
** Modellleverantören stöder anpassade slutförande- och chattmodeller. Om du vill köra frågor mot en finjusterad modell fyller du i fältet name i external model-konfigurationen med namnet på din finjusterade modell.
† Modellprovidern stöder anpassade kompletteringsmodeller.
Skapa basmodell som betjänar slutpunkter
Om du vill köra frågor mot och använda grundmodeller i dina AI-program måste du först skapa en modell som betjänar slutpunkten. Modellservern använder ett enhetligt API och användargränssnitt för att skapa och uppdatera basmodell som betjänar slutpunkter.
- För att skapa en slutpunkt som tillhandahåller finjusterade varianter av grundläggande modeller som görs tillgängliga genom Foundation Model API:er med tilldelad genomströmning, se Skapa din slutpunkt för tilldelad genomströmning med hjälp av REST API.
- Information om hur du skapar serverslutpunkter som har åtkomst till grundläggande modeller som görs tillgängliga med hjälp av erbjudandet Externa modeller finns i Skapa en extern modell som betjänar slutpunkten.
Frågegrundsmodell som betjänar slutpunkter
När du har skapat din tjänsteslutpunkt kan du fråga din stiftelsemodell. Modellservern använder ett enhetligt OpenAI-kompatibelt API och SDK för att köra frågor mot grundmodeller. Den här enhetliga upplevelsen förenklar hur du experimenterar med och anpassar grundmodeller för produktion i moln och leverantörer som stöds.