Databricks での生成 AI アプリの構築の概要

Mosaic AI は、GenAI アプリケーションを構築、デプロイ、管理するための包括的なプラットフォームを提供します。この記事では、Databricks での GenAI アプリケーションの開発に関連する重要なコンポーネントとプロセスについて説明します。

GenAI モデルのデプロイとクエリ

単純なユースケースでは、高品質のオープンソースモデルや、OpenAI や Anthropic などの LLM providers のサードパーティモデルなど、Gen AI モデルを直接提供してクエリを実行できます。

Mosaic AI モデルサービングでは、次の機能を使用した生成 AI モデルの提供とクエリ実行がサポートされています。

基盤モデル API。この機能により、最新のオープンモデルとファインチューニングされたモデルバリアントを、モデルサービングエンドポイントで使用できるようになります。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデルアーキテクチャです。 DBRX Instruct、Meta-Llama-3.1-70B-Instruct、GTE-Large、Mistral-7B などの基本モデルは、 pay-per-token 価格ですぐに使用でき、微調整されたモデルバリアントなどのパフォーマンス保証を必要とするワークロードは、 プロビジョニングされたスループットでデプロイできます。
外部モデル。これらは、Databricks の外部でホストされる生成 AI モデルです。外部モデルを提供するエンドポイントは一元的に管理でき、顧客はレート制限とアクセス制御を確立できます。たとえば、OpenAI の GPT-4、Anthropic の Claude などの基盤モデルがあります。

「エンドポイントを提供する基盤モデルを作成する」を参照してください。

Mosaic AI Agent Framework は、開発者が取得拡張生成 (RAG) アプリケーションなどの運用品質のエージェントを構築、デプロイ、評価するのに役立つ Databricks 上のツールの set で構成されています。

LangChain や LlamaIndex などのサードパーティのフレームワークと互換性があるため、好みのフレームワークで開発でき、Databricks のマネージド Unity Catalog、エージェント評価フレームワーク、その他のプラットフォームの利点を活用できます。

次の機能を使用して、エージェント開発をすばやく繰り返します。

任意のライブラリと MLflow を使用してエージェントを作成し、ログを記録します。エージェントをパラメーター化して、エージェント開発を迅速に実験し、反復します。
エージェントトレースを使用すると、エージェントコード全体のトレースをログに記録、分析、比較して、エージェントが要求にどのように応答するかをデバッグし、理解できます。
DSPy を使用してエージェントの品質を向上。 DSPy は、迅速なエンジニアリングと微調整を自動化して、GenAI エージェントの品質を向上させることができます。
トークンストリーミングと要求/応答ログのネイティブサポートに加えて、エージェントのユーザーフィードバックを get するための組み込みのレビューアプリを使用して、エージェントを運用環境にデプロイします。