你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

向 Azure AI 模型推理服务添加模型并对其进行配置

可以决定并配置哪些模型可用于在资源的模型推理终结点中进行推理。 配置给定模型后，可以通过在请求中指明其模型名称或部署名称来从中生成预测。 无需在代码中进行进一步更改即可使用它。

本文将介绍如何向 Azure AI 服务中的 Azure AI 模型推理服务添加新模型。

先决条件

若要完成本文，需要做好以下准备：

• Azure 订阅。 如果你正在使用 GitHub 模型，则可以升级体验并在此过程中创建 Azure 订阅。 详情请参阅从 AI 服务中的 GitHub 模型升级到 Azure AI 模型。
• Azure AI 服务资源。 有关详细信息，请参阅创建 Azure AI 服务资源。

添加模型

与已配置所有模型的 GitHub 模型相反，Azure AI 服务资源允许你控制哪些模型在终结点中可用以及在哪种配置下可用。

可以使用 Azure AI Studio for GitHub添加终结点所需的所有模型。 在以下示例中，我们在服务中添加 Mistral-Large 模型：

1. 转到 Azure AI Studio for GitHub 中的 模型目录部分。

2. 滚动到感兴趣的模型，然后选择它。

3. 可以在模型卡中查看模型的详细信息。

4. 选择“部署”。

5. 对于需要额外合同条款的模型提供商，系统会要求你接受这些条款。 例如，Mistral 模型会要求你接受其他条款。 选择“订阅并部署”，即表示接受这些案例的条款。

   

6. 此时可以配置部署设置。 默认情况下，部署会接收正在部署的模型的名称。 部署名称用于请求路由到此特定模型部署的 model 参数中。 此设置还允许你在附加特定配置时为模型配置特定名称。 例如，o1-preview-safe 表示具有严格内容安全内容筛选器的模型。

提示

每种模型可能支持不同的部署类型，提供不同的数据驻留或吞吐量保证。 有关更多详细信息，请参阅部署类型。

7. 如果需要更改内容筛选器或速率限制（如果可用）等设置，请使用“自定义”选项。

8. 选择“部署”。

9. 部署完成后，新模型将在页面中列出并可供使用。

使用模型

可以使用资源的 Azure AI 模型推理终结点来使用 Azure AI 服务中部署的模型。

使用方式：

1. 从部署页面或概述页面获取 Azure AI 模型的推理终结点 URL 和密钥。 如果使用 Microsoft Entra ID 身份验证，则不需要密钥。

   

2. 构建客户端时，使用模型推理终结点 URL 和之前的密钥。 以下示例使用 Azure AI 推理包：

   Python

   使用包管理器（例如 pip）安装包 azure-ai-inference：

   pip install azure-ai-inference>=1.0.0b5
   

   警告

   Azure AI 服务资源需要 Python 版本 azure-ai-inference>=1.0.0b5。

   然后，可以使用包来使用模型。 以下示例演示如何创建客户端来使用聊天补全：

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   浏览我们的示例，并阅读 API 参考文档以开始使用。

   JavaScript

   使用 npm 安装包 @azure-rest/ai-inference：

   npm install @azure-rest/ai-inference
   

   然后，可以使用包来使用模型。 以下示例演示如何创建客户端来使用聊天补全：

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   浏览我们的示例，并阅读 API 参考文档以开始使用。

   C#

   请使用以下命令安装 Azure AI 推理库：

   dotnet add package Azure.AI.Inference --prerelease
   

   导入下列命名空间：

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   然后，可以使用包来使用模型。 以下示例演示如何创建客户端来使用聊天补全：

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   浏览我们的示例，并阅读 API 参考文档以开始使用。

   Java

   将包添加到项目：

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   然后，可以使用包来使用模型。 以下示例演示如何创建客户端来使用聊天补全：

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   浏览我们的示例，并阅读 API 参考文档以开始使用。

   REST

   使用参考部分来探索 API 设计以及可用的参数。 例如，聊天补全的参考部分详细介绍了如何使用路由 /chat/completions 根据聊天格式的指令生成预测。 请注意，URL 的根目录包含路径 /models：

   Request

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. 构造请求时，指示参数 model 并插入创建的模型部署名称。

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   请求

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

提示

使用终结点时，可以将 model 参数更改为资源中的任何可用模型部署。

此外，可以使用资源中的 Azure OpenAI 服务终结点 来使用 Azure OpenAI 模型。 此终结点对于每个模型部署都是专用的，并且有自己的 URL。

模型部署自定义

创建模型部署时，可以配置其他设置，包括内容筛选和速率限制。 若要配置更多设置，请在部署向导中选择“自定义”选项。

注意

配置可能因部署的模型而异。

后续步骤

• 使用 Azure AI 服务中的 Azure AI 模型推理服务开发应用程序