在 Databricks 構建 gen AI 應用程式的介紹

Mosaic AI 提供構建、部署與管理 GenAI 應用程式的全面平台。 本文將引導您完成在 Databricks 開發 GenAI 應用程式所涉及的基本元件與流程。

部署和查詢生成式 AI 模型

針對簡單的使用案例，您可以直接提供和查詢生成式 AI 模型，包括高品質的開放原始碼模型，以及 OpenAI 和 Anthropic 等 LLM 提供者的第三方模型。

Mosaic AI Model Serving 支援使用以下功能提供並查詢生成式 AI 模型：

• 基礎模型 API。 此功能可為您的模型服務端點提供最先進的開放模型與微調模型變體。 這些模型是精心設計的基礎模型架構，支援最佳化推理。 基本模型，例如 DBRX 指示、Meta-Llama-3.1-70B-指示、GTE-Large 和 Mistral-7B，可立即搭配按令牌付費定價使用，以及需要效能保證的工作負載，例如微調的模型變體，可以使用布建的輸送量來部署。
• 外部模型。 這些是託管在 Databricks 外部的生成式 AI 模型。 服務於外部模型的端點可以集中管理，客戶可以為其建立速率限制與存取控制。 範例包括 OpenAI 的 GPT-4、Anthropic 的 Claude 等基礎模型。

請參閱建立為端點提供服務的生成式 AI 模型。

Mosaic AI Agent Framework

Mosaic AI 代理程式架構由 Databricks 上的一套工具組成，旨在協助開發人員建立、部署和評估生產品質的代理程式，例如 檢索增強生成 (RAG) 應用程式。

它與 LangChain 和 LlamaIndex 等第三方架構相容，可讓您使用慣用的架構進行開發，同時利用 Databricks 的受控 Unity 目錄、代理程式評估架構和其他平台優點。

使用下列功能快速迭代代理程式開發：

• 使用任何程式庫和 MLflow 建立和記錄代理程式。 將代理程式參數化，以快速實驗及迭代代理程式開發。
• 代理程式追蹤可讓您記錄、分析及比較代理程式程式碼中的追蹤，以偵錯並瞭解代理程式如何回應要求。
• 使用 DSPy 改善代理程序品質。 DSPy 可以自動化提示工程和微調，以改善 GenAI 代理程序的品質。
• 使用權杖串流和要求/回應記錄的原生支援，以及內建的檢閱應用程式，將代理程式部署至生產環境，以取得代理程式的使用者意見反應。