将模型部署到终结点

  • 5 分钟

开发生成式 AI 应用时，需要将语言模型集成到应用程序中。 若要能够使用语言模型，需要部署此模型。 让我们首先了解部署语言模型的原因，然后了解如何在 Azure AI Foundry 中部署语言模型。

了解部署模型的原因

语言模型（如传统机器学习模型）旨在基于某些输入生成输出。 为利用此模型，需要一个解决方案，该解决方案可以将输入发送到模型，模型对其进行处理，然后在某处将输出可视化。

使用生成式 AI 应用，你将拥有一个需要用户输入的聊天应用程序，输入通常采用问题的形式。 你希望模型处理该输入，并生成一个回应，你可以通过聊天应用程序将回应发回给用户。 若要集成可以处理输入数据和生成输出数据的语言模型，需要将模型部署到终结点。

终结点是一个特定的 URL，可通过其访问已部署的模型或服务。 它充当用户向模型发送请求并接收结果的网关。 每个模型部署通常都有自己的唯一终结点，允许不同的应用程序通过 API（应用程序编程接口）与模型进行通信。

使用 Azure AI Foundry 部署模型目录中的语言模型时，将获得一个终结点，其中包含一个目标 URI（统一资源标识符）和唯一密钥。 例如，已部署的 GPT-3.5 模型的目标 URI 是：

https://ai-aihubdevdemo.openai.azure.com/openai/deployments/gpt-35-turbo/chat/completions?api-version=2023-03-15-preview

此 URI 包括 AI 中心名称、已部署的模型名称，并指定需要模型执行的操作。 在此示例中，GPT-3.5 模型用于聊天补全。

为了保护已部署的模型，每个部署都附带一个密钥。 如果你还提供用于进行身份验证的密钥，则仅有权向目标 URI 发送请求和从目标 URI 接收请求。

若要使用已部署的模型，通常执行 API 调用。 可以使用 Python 或 C# 等代码或者 Azure AI Foundry 或 Postman 等工具执行 API 调用。 API 调用涉及使用 API 将请求发送到模型的终结点。 请求通常包括你希望模型处理的输入数据。 然后，模型处理数据，并在结果中发回回应。 这样，可以与部署的模型进行交互，并在应用程序中利用其功能。

现在，你已了解了为什么要部署模型，接下来让我们了解使用 Azure AI Foundry 进行部署的选项。

使用 Azure AI Foundry 部署语言模型

使用 Azure AI Foundry 部署语言模型时，可以选择几种类型，具体取决于要部署的模型：

活动 Azure OpenAI 模型 部署为无服务器 API 的模型（即用即付） 使用用户管理计算部署的模型
部署模型 否，将 Azure OpenAI 模型部署到项目不会产生费用。 是的，你需要根据终结点的基础结构支付最低费用。 是的，你需要按分钟为托管此模型的基础结构付费。
调用终结点 是的，根据令牌使用情况向你计费。 是的，根据令牌使用情况向你计费。 无。