將模型部署到端點

  • 5 分鐘

開發生成式 AI 應用程式時，必須將語言模型整合至應用程式。 您必須部署模型才能夠使用語言模型。 先了解部署模型的原因之後，現在來探索如何在 Azure AI Foundry 部署語言模型。

了解部署模型的原因

傳統機器學習模型這類語言模型，設計可根據某些輸入產生輸出。 不妨利用可將輸入傳送至模型的解決方案，先由該模型處理，然後在某處將輸出視覺化，即可善用模型的優勢。

利用生成式 AI 應用程式，聊天應用程式便可預期使用者輸入，內容通常採用問題的形式。 不妨讓模型處理該輸入並產生回應，然後您可透過聊天應用程式將該回應傳回給使用者。 您必須將模型部署到端點，才能整合可處理輸入資料並產生輸出資料的語言模型。

端點是可存取已部署模型或服務的特定 URL。 端點可當作閘道，讓使用者將要求傳送至模型並接收結果。 每個模型部署通常都有自己的唯一端點，可讓不同應用程式透過 API (應用程式開發介面) 與模型通訊。

使用 Azure AI Foundry 從模型目錄部署語言模型時，您會獲得端點，其中包含目標 URI (統一資源識別項) 和唯一金鑰。 例如，已部署之 GPT-3.5 模型的目標 URI 可以是：

https://ai-aihubdevdemo.openai.azure.com/openai/deployments/gpt-35-turbo/chat/completions?api-version=2023-03-15-preview

URI 包含 AI 中心名稱、已部署的模型名稱，而且會指定要讓模型執行的動作。 在此範例，聊天完成使用 GPT-3.5 模型。

為保護已部署的模型，每個部署都隨附金鑰。 如果您也提供驗證金鑰，才有權從目標 URI 來回傳送和接收要求。

若要使用已部署的模型，通常是進行 API 呼叫。 您可以使用 Python 或 C# 之類的程式碼，或是 Azure AI Foundry 或 Postman 之類的工具進行 API 呼叫。 API 呼叫需要使用 API 將要求傳送至模型的端點。 要求通常包含您希望模型處理的輸入資料。 然後模型會處理資料，並連同結果傳回回應。 如此一來，您可與已部署的模型互動，並在應用程式利用其功能。

既然您已了解為何要部署模型，現在使用 Azure AI Foundry 來探索部署選項。

使用 Azure AI Foundry 部署語言模型

使用 Azure AI Foundry 部署語言模型時，有數種類型可用，取決於您想部署的模型：

活動 Azure OpenAI 模型 部署為無伺服器 API 的模型 (隨用隨付) 以使用者管理之計算部署的模型
部署模型 否，不會向您就將 Azure OpenAI 模型部署至您的專案計費收取費用。 是，根據端點的基礎結構計算最低的費用。 是，根據裝載模型之基礎結構以分計費。
呼叫端點 是，根據權杖使用量計費。 是，根據權杖使用量計費。 無。