Databricks 基礎模型 API
本文提供 Azure Databricks 上基礎模型 API 的概觀。 其中包含使用需求、支援的模型和限制。
什麼是 Databricks Foundation 模型 API？
馬賽克 AI 模型服務 現在支援基礎模型 API，可讓您從服務端點存取和查詢最先進的開放模型。 這些模型是由 Databricks 所裝載，您可以快速且輕鬆地建置使用這些模型的應用程式，而不需要維護自己的模型部署。 基礎模型 API 是 Databricks 指定的服務，這表示它會使用 Databricks Geos 在處理客戶內容時管理數據駐留。
基礎模型 API 會以下列模式提供：
- 按令牌付費：這是在 Databricks 上開始存取基礎模型的最簡單方式，建議您使用基礎模型 API 開始旅程。 此模式不是針對高輸送量應用程式或高效能的生產工作負載所設計。
- 預配的吞吐量：建議將此模式用於所有生產環境的工作負載，特別是那些需要高吞吐量、性能保證、精細調整模型或有額外安全需求的工作負載。 配置的吞吐量端點具有 HIPAA 等合規性認證。
- 批次推斷：建議針對批次推斷工作負載使用此模式。 您可以選擇使用任何產生的 AI 或 ML 模型，使用 AI Functions 來執行批次推斷。
如需如何使用這些模式和支援模型的指導，請參閱 Use Foundation Model API。
使用基礎模型 API，您可以執行下列動作：
- 查詢一般化 LLM，以在投資更多資源之前，先確認專案的有效性。
- 查詢一個一般化的 LLM，以快速建立基於 LLM 的應用程式的概念驗證，再進一步投資於訓練和部署自定義模型。
- 使用基礎模型以及向量資料庫，使用擷取增強式產生 （RAG） 來建置聊天機器人。
- 將專屬模型取代為開放式替代方案，以優化成本和效能。
- 有效率地比較 LLM 以查看使用案例的最佳候選專案，或將生產模型交換為效能較佳的模型。
- 在可擴展、SLA 支援的 LLM 服務解決方案之上，建置用於開發或生產的 LLM 應用程式，以支援生產環境的流量尖峰。
需求規格
使用基礎模型 API
您有多個使用基礎模型 API 的選項。
API 與 OpenAI 相容，因此您可以使用 OpenAI 用戶端進行查詢。 您也可以使用UI、基礎模型 API Python SDK、MLflow 部署 SDK 或 REST API 來查詢支援的模型。 Databricks 建議使用 OpenAI 用戶端 SDK 或 API 進行延伸互動，以及嘗試此功能的 UI。
如需評分範例，請參閱 查詢基礎模型。
按令牌付費基礎模型 API
您的 Azure Databricks 工作區中可存取預先配置的端點，這些端點提供按使用次數付費的模型。 建議使用這些按令牌付費模型以作為起步。 若要在工作區中存取它們，請瀏覽至左側邊欄中的 服務 標籤。 基礎模型 API 位於 [端點] 清單檢視的頂端。
- 支援每令牌付費模型。
- 如需如何查詢基礎模型 API 的指引，請參閱 查詢基礎模型模型。
- 如需必要的參數和語法，請參閱 基礎模型 REST API 參考。
提供吞吐量基礎模型 API
預配置的吞吐量為需要效能保證的基礎模型工作負載提供優化的推論。 Databricks 建議為生產負載提供預配置的吞吐量。
- 預配置的吞吐量支持的模型架構。
- 如需有關如何在預配置輸送量模式下部署基礎模型 API 的逐步指南，請參閱 預配置輸送量的基礎模型 API。
配置的輸送量支援包括：
- 各種尺寸的基礎模型。 您可以使用 Databricks Marketplace 來存取基底模型，或者您也可以從擁抱臉部或其他外部來源下載模型，並在 Unity 目錄中註冊它們。 後者的方法適用於所支援模型的任何微調變體。
- 經過微調的基礎模型變體，例如在專有數據上微調的模型。
- 完全自定義的權重和分詞器，例如從零開始訓練、接續預訓練，或 使用基礎模型架構 的其他變體（例如 CodeLlama）。
批次推斷
如需如何使用 AI Functions 建立批次推斷管線，請參閱 使用 AI Functions 執行批次 LLM 推斷。
局限性
請參閱 基礎模型 API 限制。