モザイク AI モデル サービスでサポートされている基礎モデル
この記事では、Mosaic AI Model Servingを使用して提供できる基本モデルについて説明します。
基盤モデルは、大規模なデータと広範なデータの両方でトレーニングされる、事前トレーニング済みの大規模なニューラル ネットワークです。 これらのモデルは、言語、画像、またはその他のデータ型の一般的なパターンを学習するように設計されており、追加のトレーニングを使用して特定のタスクに合わせて微調整できます。
Model Serving には、ニーズに基づいて基盤モデルをホストおよびクエリするための柔軟なオプションが用意されています。
- トークンごとの支払い: 実験や迅速な探索に最適です。 このオプションを使用すると、事前インフラストラクチャ コミットメントなしで Databricks ワークスペース内の事前構成済みエンドポイントに対してクエリを実行できます。
- プロビジョンドスループット: パフォーマンス保証が必要な運用環境での使用が推奨されます。 このオプションを使用すると、最適化されたサービス エンドポイントを使用して微調整された基盤モデルをデプロイできます。
- 外部モデル: このオプションを使用すると、OpenAI や Anthropic によって提供されるものなど、Databricks の外部でホストされている基盤モデルにアクセスできます。 これらのモデルは、合理化されたガバナンスのために Databricks 内で一元的に管理できます。
Databricks でホストされている基礎モデル
Databricks は、Meta Llama のような最先端のオープン基盤モデルをホストします。 これらのモデルは、Foundation Model API を使用して使用でき、トークンごとの支払いまたはプロビジョニングされたスループットを使用してアクセスできます。
トークン単位の支払い
基本モデル API トークンごとの支払い は、作業の開始と迅速な探索に推奨されます。 Foundation Model API の従量課金制を使用してモデルがサポートされている場合、Databricks は Azure Databricks ワークスペースに事前構成済みのエンドポイントを提供し、テストとクエリを実行できます。 AI Playgroundを使用して、これらのモデルと対話したりチャットしたりすることもできます。
次の表は、トークンごとの支払いでサポートされているモデルをまとめたものです。 モデル固有のリージョンの可用性については、Foundation Model API の制限 を参照してください。
重要
- 2024 年 12 月 11 日より、Meta-Llama-3.3-70B-Instruct は、Foundation Model API のトークンごとの支払いエンドポイントでの Meta-Llama-3.1-70B-Instruct のサポートを置き換えます。
- Meta-Llama-3.1-405B-Instruct は、Meta によって構築およびトレーニングされ、AzureML モデル カタログを使用して Azure Machine Learning によって配布される、オープンに利用可能な最新の大規模言語モデルです。
- 次のモデルは廃止されました。 推奨される代替モデルについては、「廃止されたモデル」を参照してください。
- Llama 2 70B Chat
- MPT 7B Instruct
- MPT 30B Instruct
| モデル | タスクの種類 | エンドポイント | 注記 |
|---|---|---|---|
| GTE Large (英語) | 埋め込み | databricks-gte-large-en |
正規化された埋め込みを生成しません。 |
| Meta-Llama-3.3-70B-Instruct | チャット | databricks-meta-llama-3-3-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | チャット | databricks-meta-llama-3-1-405b-instruct |
|
| DBRX Instruct | チャット | databricks-dbrx-instruct |
このモデルは、2025 年 4 月 30 日以降はサポートされなくなりました。 |
| Mixtral-8x7B Instruct | チャット | databricks-mixtral-8x7b-instruct |
このモデルは、2025 年 4 月 30 日以降はサポートされなくなりました。 |
| BGE Large (英語) | 埋め込み | databricks-bge-large-en |
* このモデルの使用時にエンドポイントの障害や安定化エラーが発生した場合は、Databricks アカウント チームに連絡してください。
プロビジョニング済みスループット
運用ケースでは、Foundation Model API におけるプロビジョニングされたスループット をお勧めします。 プロビジョニングされたスループットを使用して微調整された基盤モデル アーキテクチャをデプロイするエンドポイントを作成できます。 プロビジョニングされたスループットを使用する場合、サービス エンドポイントは、パフォーマンスの保証を必要とする基盤モデルのワークロード用に最適化されます。
次の表は、プロビジョニングされたスループットでサポートされているモデル アーキテクチャをまとめたものです。 Databricks では、Unity カタログ でプロビジョニングされたスループット ワークロードに対して、 事前トレーニング済みの基盤モデルを使用することをお勧めします。 サポートされている Meta Llama モデルのバリエーションとリージョンの可用性については、プロビジョニング済みスループット制限 を参照してください。
重要
Meta Llama 3.3 は LLAMA 3.3 Community License に基づいてライセンスされています (Copyright © Meta Platforms, Inc. All Rights Reserved.) お客様は、本ライセンスの条項および Llama 3.3 受け入れ可能な使用ポリシーに準拠していることを確認する責任を負います。
Meta Llama 3.2 は LLAMA 3.2 Community License に基づいてライセンスされています (Copyright © Meta Platforms, Inc. All Rights Reserved.) お客様は、本ライセンスの条件および Llama 3.2 利用規約を遵守する責任を負います。
Meta Llama 3.1 は LLAMA 3.1 Community License の下でライセンスされています (Copyright © Meta Platforms, Inc. All Rights Reserved.) お客様は、該当するモデル ライセンスへのコンプライアンスを遵守する責任を負います。
| モデル アーキテクチャ | タスクの種類 | 注記 |
|---|---|---|
| DeepSeek R1 | チャット | これらのモデルをダウンロードし、Unity カタログに登録し、プロビジョニングされたスループットを使用してデプロイできます。 |
| Meta Llama 3.3 | Chat または Completion | |
| Meta Llama 3.2 3B | Chat または Completion | |
| Meta Llama 3.2 1B | Chat または Completion | |
| Meta Llama 3.1 | Chat または Completion | |
| メタ ラマ 3 | Chat または Completion | |
| メタ ラマ 2 | Chat または Completion | |
| DBRX | Chat または Completion | |
| ミストラル | Chat または Completion | |
| Mixtral | Chat または Completion | |
| MPT | Chat または Completion | |
| GTE v1.5 (英語) | 埋め込み | 正規化された埋め込みを生成しません。 |
| BGE v1.5 (英語) | 埋め込み |
Databricks の外部でホストされている Access 基盤モデル
OpenAI や Anthropic などの LLM プロバイダーによって作成された基礎モデルは、外部モデルを使用して Databricks でもアクセスできます。 これらのモデルは Databricks の外部でホストされており、クエリを実行するエンドポイントを作成できます。 これらのエンドポイントは、Azure Databricks から一元的に管理できます。これにより、組織内のさまざまな LLM プロバイダーの使用と管理が合理化されます。
次の表に、サポートされているモデルと、対応する エンドポイントの種類の一覧を示します。 一覧表示されているモデルの関連付けを利用することで、特定のプロバイダーで新しく利用可能になるモデルタイプのエンドポイントを構成するのに役立ちます。 お客様は、該当するモデル ライセンスへのコンプライアンスを遵守する責任を負います。
注
LLM の急速な開発により、このリストが常に最新であるという保証はありません。 一覧にない場合でも、通常、同じプロバイダーの新しいモデル バージョンがサポートされます。
| モデル プロバイダー | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** | - gpt-3.5-turbo-instruct - babbage-002 - davinci-002 |
- o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024年05月13日 - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Azure OpenAI** | - text-davinci-003 - gpt-35-turbo-instruct |
- o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini |
- text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small |
| Anthropic | - claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2 |
- claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 |
|
| Cohere** | -命令 - command-light |
- command-r7b-12-2024 - コマンド-R-プラス-08-2024 - command-r-08-2024 - command-r-plus - command-r -命令 - command-light-nightly - command-light - command-nightly |
- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0（埋め込みマルチリンガルライトバージョン3.0） |
| Mosaic AI Model Serving | Databricks サービス エンドポイント | Databricks serving endpoint | Databricks サービス エンドポイント |
| Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 ラボ: - j2-grande-instruct - j2ジャンボインストラクト - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 |
Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 |
アマゾン： - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3 |
| AI21 Labs† | - j2-mid - j2-light - j2-ultra |
||
| Google Cloud Vertex AI | text-bison | - チャットバイソン - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash |
- テキスト埋め込み-004 - text-embedding-005 - textembedding-gecko |
** モデル プロバイダーでは、微調整された完了モデルとチャット モデルがサポートされます。 微調整されたモデルのクエリを実行するには、external model 構成の name フィールドに、微調整されたモデルの名前を設定します。
† モデル プロバイダーでは、カスタム完了モデルがサポートされています。
エンドポイントを提供する基盤モデルを作成する
AI アプリケーションで基礎モデルのクエリを実行して使用するには、まず、エンドポイントを提供するモデルを作成する必要があります。 Model Serving では、統合 API と UI を使用して、エンドポイントを提供する基盤モデルを作成および更新します。
- Foundation Model API のプロビジョニング済みスループットを使用して使用可能になった基盤モデルの微調整されたバリエーションを提供するエンドポイントを作成するには、「REST APIを使用してプロビジョニング済みスループット エンドポイントを作成する」を参照してください。
- 外部モデル オファリングを使用して利用できる基盤モデルにアクセスするサービス エンドポイントの作成については、「エンドポイントを提供する外部モデルを作成する」を参照してください。
エンドポイントを提供するクエリ基盤モデル
サービス エンドポイントを作成したら、基盤モデルに対してクエリを実行できます。 Model Serving では、統合された OpenAI と互換性のある API と SDK を使用して、基盤モデルのクエリを実行します。 この統合されたエクスペリエンスにより、サポートされているクラウドとプロバイダー全体で運用用の基盤モデルを試してカスタマイズする方法が簡略化されます。
クエリ基盤モデルを参照してください。