次の方法で共有

Databricks Foundation Model API

  • [アーティクル]

この記事では、Azure Databricks の Foundation Model API の概要について説明します。 これには、使用要件、サポートされているモデル、制限事項が含まれます。

Databricks Foundation Model API とは

Mosaic AI Model Serving では、サービス エンドポイントから最新のオープン モデルにアクセスしてクエリを実行できる Foundation Model API がサポートされるようになりました。 これらのモデルは Databricks によってホストされており、独自のモデルデプロイを維持することなく、それらを使用するアプリケーションをすばやく簡単に構築できます。 Foundation Model API は、Databricks 指定サービス です。つまり、Databricks Geos を使用して、顧客のコンテンツを処理するときにデータ所在地を管理します。

Foundation Model API は、次の価格モードで提供されます。

  • トークン単位の支払い: これは Databricks で基礎モデルへのアクセスを開始する最も簡単な方法であり、Foundation Model API を使用して体験を開始するために推奨されます。 このモードは、高スループットのアプリケーションやパフォーマンスの高い運用ワークロード向けに設計されていません。
  • プロビジョニング済みスループット: このモードは、すべての運用ワークロード 、特に高スループット、パフォーマンスの保証、微調整されたモデル、または追加のセキュリティ要件を必要とするワークロードに推奨されます。 プロビジョニングされたスループット エンドポイントは、HIPAA などのコンプライアンス認定で利用できます。

これらのモードとサポートされているモデルの使用方法についてのガイダンスは、Foundation Model API の使用に関する を参照してください。

Foundation Model API を使用すると、次のことができます。

  • リソースを増やす前に、一般化された LLM にクエリを実行してプロジェクトの有効性を確認します。
  • カスタム モデルのトレーニングとデプロイに投資する前に、一般化された LLM にクエリを実行して、LLM ベースのアプリケーションの概念実証をすばやく作成します。
  • 基本モデルとベクター データベースを使用して、取得拡張生成 (RAG) を使用してチャットボットを構築します。
  • 独自のモデルをオープンな代替手段に置き換えて、コストとパフォーマンスを最適化します。
  • LLM を効率的に比較してユース ケースに最適な候補を確認するか、運用モデルをより適切なパフォーマンスでスワップします。
  • 運用トラフィックの急増をサポートできる、SLA を基盤とするスケーラブルな LLM サービス ソリューションに基づいて、開発または運用用の LLM アプリケーションを構築します。

必要条件

Foundation Model API を使用する

Foundation Model API を使用するには、複数のオプションがあります。

API は OpenAI と互換性があるため、OpenAI クライアントを使用してクエリを実行できます。 UI、Foundation Models API Python SDK、MLflow Deployments SDK、または REST API を使用して、サポートされているモデルのクエリを実行することもできます。 Databricks では、拡張操作には OpenAI クライアント SDK または API を使用し、機能を試す場合は UI を使用することをお勧めします。

スコア付けの例については、クエリ基盤モデルの を参照してください。

トークンごとの支払い基盤モデル API

トークンごとの支払いモデルを提供する事前構成済みエンドポイントには、Azure Databricks ワークスペースでアクセスできます。 これらのトークンごとの支払いモデルは、作業を開始するために推奨されます。 ワークスペース内のそれらにアクセスするには、左側のサイドバーの [サービス] タブに移動します。 Foundation Model API は、[エンドポイント] リスト ビューの上部にあります。

サービス エンドポイントの一覧

プロビジョニング スループット Foundation Model API

プロビジョニングされたスループットにより、パフォーマンスの保証を必要とする基盤モデルワークロードの推論が最適化されたエンドポイントが提供されます。 Databricks では、運用環境のワークロードに対してプロビジョニングされたスループットが推奨されます。

プロビジョニングされたスループットのサポートには、次のものが含まれます。

  • すべてのサイズの基本モデル. ベース モデルには Databricks Marketplace を使用してアクセスすることも、Hugging Face または別の外部ソースからダウンロードして Unity カタログに登録することもできます。 後者のアプローチは、サポートされているモデルの微調整されたバリアントで動作します。
  • 独自のデータで微調整されたモデルなど、ベース モデルの微調整されたバリアントです。
  • 完全にカスタマイズ可能な重みとトークナイザー。たとえば、ゼロからトレーニングされたものや事前トレーニングしたもの、基本モデル アーキテクチャを使用した他のバリエーション (たとえば、CodeLlama) などです。

制限

Foundation Model API の制限を参照してください。

その他のリソース