Ondersteunde basismodellen op Mozaïek AI Model Serving
In dit artikel worden de basismodellen beschreven die u kunt bedienen met behulp van Mosaic AI Model Serving.
Basismodellen zijn grote, vooraf getrainde neurale netwerken die zijn getraind op zowel grote als brede gegevensbereiken. Deze modellen zijn ontworpen om algemene patronen in taal, afbeeldingen of andere gegevenstypen te leren en kunnen worden afgestemd op specifieke taken met aanvullende training.
Model Serving biedt flexibele opties voor het hosten en opvragen van basismodellen op basis van uw behoeften:
- betalen per token: ideaal voor experimenten en snelle verkenning. Met deze optie kunt u query's uitvoeren op vooraf geconfigureerde eindpunten in uw Databricks-werkruimte zonder voorafgaande infrastructuurtoezeggingen.
- Ingerichte doorvoer: aanbevolen voor productiegebruiksscenario's waarvoor prestatiegaranties zijn vereist. Met deze optie kunt u de implementatie van nauwkeurig afgestemde basismodellen met geoptimaliseerde service-eindpunten mogelijk maken.
- Externe modellen: met deze optie hebt u toegang tot basismodellen die buiten Databricks worden gehost, zoals die worden geleverd door OpenAI of Antropisch. Deze modellen kunnen centraal worden beheerd binnen Databricks voor gestroomlijnde governance.
Foundationmodellen die worden gehost op Databricks
Databricks host geavanceerde open basismodellen, zoals Meta Llama. Deze modellen worden beschikbaar gesteld met behulp van Foundation Model-API's en zijn toegankelijk met betalen per token of ingerichte doorvoer.
betalen per token
Foundation Model-API's betalen per token wordt aanbevolen om aan de slag te gaan en snel te verkennen. Wanneer een model wordt ondersteund met behulp van foundationmodel-API's betalen per token, biedt Databricks een vooraf geconfigureerd eindpunt in uw Azure Databricks-werkruimte die u kunt testen en er query's op kunt uitvoeren. U kunt ook met deze modellen praten en chatten via de AI Playground.
De volgende tabel bevat een overzicht van de ondersteunde modellen voor betalen per token. Zie Foundation Model API's limieten voor de beschikbaarheid van modelspecifieke regio's.
Belangrijk
- Vanaf 11 december 2024 vervangt Meta-Llama-3.3-70B-Instruct de ondersteuning voor Meta-Llama-3.1-70B-Instruct in de Foundation Model API's met betalen per token.
- Meta-Llama-3.1-405B-Instruct is het grootste open beschikbare state-of-the-art grote taalmodel, gebouwd en getraind door Meta en gedistribueerd door Azure Machine Learning met behulp van de AzureML-modelcatalogus.
- De volgende modellen worden nu buiten gebruik gesteld. Zie buiten gebruik gestelde modellen voor aanbevolen vervangingsmodellen.
- Llama 2 70B Chat
- MPT 7B Instruct
- Instructies voor MPT 30B
| Model | Taaktype | Eindpunt | Notities |
|---|---|---|---|
| GTE Large (Engels) | Insluiten | databricks-gte-large-en |
Er worden geen genormaliseerde insluitingen gegenereerd. |
| Meta-Llama-3.3-70B-Instruct | Babbelen | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Babbelen | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX instrueren | Babbelen | databricks-dbrx-instruct |
Dit model wordt na 30 april 2025 niet meer ondersteund. |
| Mixtral-8x7B Instruct | Babbelen | databricks-mixtral-8x7b-instruct |
Dit model wordt na 30 april 2025 niet meer ondersteund. |
| BGE Large (Engels) | Insluiten | databricks-bge-large-en |
* neem contact op met uw Databricks-accountteam als er eindpuntfouten of stabilisatiefouten optreden bij het gebruik van dit model.
Geconfigureerde doorvoer
Foundation Model API doorvoer met een ingestelde capaciteit wordt aanbevolen voor productietoepassingen. U kunt een eindpunt maken dat gebruikmaakt van ingerichte doorvoer om nauwkeurig afgestemde basismodelarchitecturen te implementeren. Wanneer u ingerichte doorvoer gebruikt, is het eindpunt geoptimaliseerd voor basismodelworkloads waarvoor prestatiegaranties zijn vereist.
De volgende tabel bevat een overzicht van de ondersteunde modelarchitecturen voor ingerichte doorvoer. Databricks raadt aan vooraf getrainde basismodellen te gebruiken in Unity Catalog voor ingerichte doorvoerworkloads. Zie Ingerichte doorvoerlimieten voor ondersteunde Meta Llama-modelvarianten en beschikbaarheid van regio's.
Belangrijk
Meta Llama 3.3 is gelicentieerd onder de LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het waarborgen van hun naleving van de voorwaarden van deze licentie en de Llama 3.3 Acceptabel gebruiksbeleid.
Meta Llama 3.2 is gelicentieerd onder de LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het waarborgen van hun naleving van de voorwaarden van deze licentie en het Llama 3.2 Acceptabel gebruiksbeleid.
Meta Llama 3.1 is gelicentieerd onder de LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties.
| Modelarchitectuur | Taaktypen | Notities |
|---|---|---|
| DeepSeek R1 | Babbelen | U kunt deze modellen downloaden, registreren bij Unity Catalog en deze implementeren met behulp van ingerichte doorvoer. |
| Meta Llama 3.3 | Chatten of voltooien | |
| Meta Llama 3.2 3B | Chatten of voltooien | |
| Meta Llama 3.2 1B | Chatten of voltooien | |
| Meta Llama 3.1 | Chatten of voltooien | |
| Meta Llama 3 | Chatten of voltooien | |
| Meta Llama 2 | Chatten of voltooien | |
| DBRX | Chatten of voltooien | |
| Mistral | Chatten of voltooien | |
| Mixtral | Chatten of voltooien | |
| MPT | Chatten of voltooien | |
| GTE v1.5 (Engels) | Insluiten | Er worden geen genormaliseerde insluitingen gegenereerd. |
| BGE v1.5 (Engels) | Insluiten |
Toegang tot basismodellen die buiten Databricks worden gehost
Basismodellen die zijn gemaakt door LLM-providers, zoals OpenAI en Antropic, zijn ook toegankelijk op Databricks met behulp van Externe modellen. Deze modellen worden buiten Databricks gehost en u kunt een eindpunt maken om er query's op uit te voeren. Deze eindpunten kunnen centraal worden beheerd vanuit Azure Databricks, waardoor het gebruik en beheer van verschillende LLM-providers binnen uw organisatie wordt gestroomlijnd.
De volgende tabel bevat een niet-volledige lijst met ondersteunde modellen en bijbehorende eindpunttypen. U kunt de vermelde modelkoppelingen gebruiken om u te helpen bij het configureren van een eindpunt voor nieuw uitgebrachte modeltypen zodra deze beschikbaar zijn bij een bepaalde provider. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties.
Notitie
Met de snelle ontwikkeling van LLM's is er geen garantie dat deze lijst altijd up-to-date is. Nieuwe modelversies van dezelfde provider worden doorgaans ondersteund, zelfs als ze niet in de lijst staan.
| Modelaanbieder | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - babbage-002 - davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini |
- tekst-insluiten-ada-002 - tekst-insluiten-3-groot - tekst-insluiten-3-klein |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- tekst-insluiten-ada-002 - tekst-insluiten-3-groot - tekst-insluiten-3-klein |
| Antropisch | - claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Cohere** | -bevelen - command-light (commando-licht) |
- command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - Command-R-plus - command-r -bevelen - command-light-nightly - command-light (commando-licht) - command-nightly |
- embed-english-v2.0 - embed-meertalige-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-meertalige-v3.0 - embed-multilingual-light-v3.0 |
| Mozaïek AI-Modeldienstverlening | Databricks-service-eindpunt | Databricks-service-eindpunt | Databricks-service-eindpunt |
| Amazon Bedrock | Antropisch: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Antropisch: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 |
Amazone: - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 embedden-meertalig-v3 |
| AI21 Labs† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | tekst-bison | - chat-bison - gemini-pro - gemini-1.0-pro - gemini-1,5-pro - gemini-1,5-flash - gemini-2.0-flash |
- tekst-insluiten-004 - tekst-insluiten-005 - textembedding-gecko |
** Modelprovider ondersteunt nauwkeurig afgestemde voltooiings- en chatmodellen. Als u een query wilt uitvoeren op een nauwkeurig afgestemd model, vult u het name veld van de external model-configuratie in met de naam van uw nauwkeurig afgestemde model.
† Modelprovider ondersteunt aangepaste voltooiingsmodellen.
Basismodel maken voor eindpunten
Als u basismodellen in uw AI-toepassingen wilt opvragen en gebruiken, moet u eerst een model voor eindpunt maken. Model Serving maakt gebruik van een geïntegreerde API en gebruikersinterface voor het maken en bijwerken van basismodel voor eindpunten.
- Zie Uw eindpunt voor ingerichte doorvoer maken met behulp van de REST APIom een eindpunt te maken dat is afgestemd op aangepaste varianten van basismodellen, die beschikbaar worden gemaakt met behulp van de voor doorvoer ingerichte Foundation Model-API's.
- Zie Een eindpunt voor externe modelbediening makenvoor het creëren van eindpunten die toegang bieden tot fundamentele modellen die beschikbaar zijn gesteld via de dienst Externe modellen.
Het basismodel van query's voor eindpunten
Nadat u het servereindpunt hebt gemaakt, kunt u een query uitvoeren op uw basismodel. Model Serving maakt gebruik van een geïntegreerde OpenAI-compatibele API en SDK voor het uitvoeren van query's op basismodellen. Deze uniforme ervaring vereenvoudigt het experimenteren met en aanpassen van basismodellen voor productie in ondersteunde clouds en providers.