Unterstützte Basismodelle für die Mosaic AI-Modellbereitstellung
In diesem Artikel werden die Grundlagenmodelle beschrieben, die Sie mit Mosaic AI Model Servingbereitstellen können.
Foundation-Modelle sind große, vortrainierte neurale Netzwerke, die sowohl auf großen als auch auf breiten Datenbereichen trainiert werden. Diese Modelle sind darauf ausgelegt, allgemeine Muster in Sprache, Bildern oder anderen Datentypen zu erlernen und können mit zusätzlichen Schulungen für bestimmte Aufgaben optimiert werden.
Model Serving bietet flexible Optionen zum Hosten und Abfragen von Foundation-Modellen basierend auf Ihren Anforderungen:
- Pay-per-Token: Ideal für das Experimentieren und schnelle Erforschung. Mit dieser Option können Sie vorkonfigurierte Endpunkte in Ihrem Databricks-Arbeitsbereich abfragen, ohne vorab Infrastrukturverpflichtungen einzugehen.
- Bereitgestellter Durchsatz: Empfohlen für Produktionsanwendungsfälle, die Leistungsgarantien erfordern. Diese Option ermöglicht die Bereitstellung fein abgestimmter Foundation-Modelle mit optimierten Dienstendpunkten.
- Externe Modelle: Diese Option ermöglicht den Zugriff auf Foundation-Modelle, die außerhalb von Databricks gehostet werden, z. B. die von OpenAI oder Anthropic bereitgestellten. Diese Modelle können zentral in Databricks verwaltet werden, um eine optimierte Governance zu erreichen.
Auf Databricks gehostete Foundation-Modelle
Databricks hostet modernste open Foundation-Modelle wie Meta Llama. Diese Modelle werden mit Foundation Model-APIs verfügbar gemacht, und auf sie kann über den Ansatz mit tokenbasierter Bezahlung oder mit bereitgestelltem Durchsatz zugegriffen werden.
Bezahlung pro Token
Foundation-Modell-APIs mit tokenbasierter Bezahlung werden für erste Schritte und eine schnelle Untersuchung empfohlen. Wenn ein Modell mithilfe von Foundation Model-APIs pay-per-token unterstützt wird, stellt Databricks einen vorkonfigurierten Endpunkt in Ihrem Azure Databricks-Arbeitsbereich bereit, den Sie testen und abfragen können. Sie können mit diesen Modellen auch mit dem AI Playgroundinteragieren und chatten.
In der folgenden Tabelle sind die unterstützten Modelle für Pay-per-Token zusammengefasst. Siehe Foundation Model-APIs-Beschränkungen für die regionsspezifische Verfügbarkeit der Modelle.
Wichtig
- Ab dem 11. Dezember 2024 ersetzt Meta-Llama-3.3-70B-Instruct die Unterstützung für Meta-Llama-3.1-70B-Instruct in den pay-per-token Endpunkten der Foundation Model APIs.
- Meta-Llama-3.1-405B-Instruct ist das größte offen verfügbare hochmoderne Sprachmodell, das von Meta erstellt und trainiert wurde und von Azure Machine Learning mithilfe des AzureML-Modellkatalogs verteilt wird.
- Die folgenden Modelle werden jetzt eingestellt. Informationen zu empfohlenen Ersatzmodellen finden Sie unter Eingestellte Modelle.
- Llama 2 70B Chat
- MPT 7B Instruct
- MPT 30B Instruct
| Modell | Aufgabentyp | Endpunkt | Hinweise |
|---|---|---|---|
| GTE Large (Englisch) | Einbettung | databricks-gte-large-en |
Generiert keine normalisierten Einbettungen. |
| Meta-Llama-3.3-70B-Instruct | Chat | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Chat | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX Instruct | Chat | databricks-dbrx-instruct |
Dieses Modell wird nach dem 30. April 2025 nicht mehr unterstützt. |
| Mixtral-8x7B Instruct | Chat | databricks-mixtral-8x7b-instruct |
Dieses Modell wird nach dem 30. April 2025 nicht mehr unterstützt. |
| BGE Large (Englisch) | Einbettung | databricks-bge-large-en |
* Wenden Sie sich an Ihr Databricks-Kontoteam, wenn bei Verwendung dieses Modells Endpunktfehler oder Stabilisierungsfehler auftreten.
Bereitgestellter Durchsatz
Es wird empfohlen, den bereitgestellten Durchsatz von Foundation Model-APIs in Produktionsfällen zu verwenden. Sie können einen Endpunkt erstellen, der den bereitgestellten Durchsatz zum Bereitstellen fein abgestimmter Foundation-Modellarchitekturen verwendet. Wenn Sie den bereitgestellten Durchsatz verwenden, ist der Dienstbereitstellungspunkt für Grundmodell-Workloads optimiert, die Leistungsgarantien erfordern.
In der folgenden Tabelle sind die unterstützten Modellarchitekturen für den bereitgestellten Durchsatz zusammengefasst. Databricks empfiehlt die Verwendung von vortrainierten Basismodellen in Unity Catalog für Workloads mit bereitgestelltem Durchsatz. Siehe Bereitgestellte Durchsatzgrenzwerte für unterstützte Meta Llama-Modellvarianten und Regionsverfügbarkeit.
Wichtig
Meta Llama 3.3 ist unter der LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. lizenziert. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, ihre Einhaltung der Bedingungen dieser Lizenz und der Llama 3.3 Acceptable Use Policysicherzustellen.
Meta Llama 3.2 ist unter LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. lizenziert. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, ihre Einhaltung der Bedingungen dieser Lizenz und der Acceptable Use Policy von Llama 3.2 sicherzustellen.
Meta Llama 3.1 ist unter LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. lizenziert. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.
| Modellarchitektur | Aufgabentypen | Hinweise |
|---|---|---|
| DeepSeek R1 | Chat | Sie können diese Modelle herunterladen, im Unity-Katalog registrieren und mithilfe des bereitgestellten Durchsatzes bereitstellen. |
| Meta Llama 3.3 | Chat oder Vervollständigung | |
| Meta Llama 3.2 3B | Chat oder Vervollständigung | |
| Meta Llama 3.2 1B | Chat oder Vervollständigung | |
| Meta Llama 3.1 | Chat oder Vervollständigung | |
| Meta Llama 3 | Chat oder Vervollständigung | |
| Meta Llama 2 | Chat oder Vervollständigung | |
| DBRX | Chat oder Vervollständigung | |
| Mistral | Chat oder Vervollständigung | |
| Mixtral | Chat oder Vervollständigung | |
| MPT | Chat oder Vervollständigung | |
| GTE v1.5 (Englisch) | Einbettung | Generiert keine normalisierten Einbettungen. |
| BGE v1.5 (Englisch) | Einbettung |
Access Foundation-Modelle, die außerhalb von Databricks gehostet werden
Basismodelle, die von LLM-Anbietern wie OpenAI und Anthropic erstellt wurden, sind unter Verwendung von externen Modellen auch in Databricks zugänglich. Diese Modelle werden außerhalb von Databricks gehostet, und Sie können einen Endpunkt erstellen, um sie abzufragen. Diese Endpunkte können zentral von Azure Databricks gesteuert werden, wodurch die Verwendung und Verwaltung verschiedener LLM-Anbieter innerhalb Ihrer Organisation optimiert wird.
Die folgende Tabelle enthält eine nicht vollständige Liste der unterstützten Modelle und die entsprechenden Endpunkttypen. Sie können die aufgelisteten Modellzuordnungen verwenden, um Sie beim Konfigurieren eines Endpunkts für alle neu veröffentlichten Modelltypen zu unterstützen, sobald sie für einen bestimmten Anbieter verfügbar sind. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.
Hinweis
Mit der schnellen Entwicklung von LLMs gibt es keine Garantie dafür, dass diese Liste jederzeit auf dem neuesten Stand ist. Neue Modellversionen desselben Anbieters werden in der Regel unterstützt, auch wenn sie nicht in der Liste enthalten sind.
| Modellanbieter | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - Babbage-002 - davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Anthropic | - claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Cohere** | -Befehl - command-light |
- command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r -Befehl - command-light-nightly - command-light - command-nightly |
- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0 |
| Mosaic AI-Modellbereitstellung | Databricks-Bereitstellungsendpunkt | Databricks-Bereitstellungsendpunkt | Databricks-Bereitstellungsendpunkt |
| Amazon Bedrock | Anthropisch: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Anthropisch: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 |
Amazonas: - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3 |
| AI21 Labs† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | text-bison | - Chat-Bison - Gemini-Pro - Gemini-1.0-pro - Gemini-1.5-pro - gemini-1.5-flash - Gemini-2.0-Flash |
- Texteinbettung-004 - Texteinbettung-005 - textembedding-gecko |
** Der Modellanbieter unterstützt optimierte Vervollständigungs- und Chatmodelle. Um ein fein abgestimmtes Modell abzufragen, füllen Sie das name Feld der konfiguration external model mit dem Namen Ihres fein abgestimmten Modells auf.
† Modellanbieter unterstützt benutzerdefinierte Vervollständigungsmodelle.
Erstellen eines Foundationmodells, das Endpunkte bedient
Um Foundation-Modelle in Ihren KI-Anwendungen abzufragen und zu verwenden, müssen Sie zuerst einen Modell-Serving-Endpunkt erstellen. Model Serving verwendet eine einheitliche API und Benutzeroberfläche zum Erstellen und Aktualisieren des Foundation-Modells, das Endpunkte bedient.
- Informationen zum Erstellen eines Endpunkts, der optimierte Varianten von Basismodellen bereitstellt, die mithilfe von Foundation Model-APIs mit bereitgestelltem Durchsatz verfügbar gemacht werden, finden Sie unter Erstellen eines Endpunkts mit bereitgestelltem Durchsatz mithilfe der REST-API.
- Informationen zum Erstellen von Dienstendpunkten, die auf Basismodelle zugreifen, die mit dem Angebot für externe Modelle bereitgestellt wurden, finden Sie unter Erstellen eines Bereitstellungsendpunkts für ein externes Modell.
Abfragen der Endpunkte für die Basismodellbereitstellung
Nachdem Sie Ihren Bereitstellungsendpunkt erstellt haben, können Sie Ihr Grundmodell abfragen. Model Serving verwendet eine einheitliche openAI-kompatible API und ein SDK zum Abfragen von Foundationmodellen. Diese einheitliche Benutzeroberfläche vereinfacht das Experimentieren und Anpassen von Foundation-Modellen für die Produktion in unterstützten Clouds und Anbietern.
Siehe Abfragen von Basismodellen.