Конечная точка вывода модели в Службах искусственного интеллекта Azure

Вывод модели искусственного интеллекта Azure в службах ИИ Azure позволяет клиентам использовать самые мощные модели от флагманных поставщиков моделей с помощью одной конечной точки и учетных данных. Это означает, что можно переключаться между моделями и использовать их из приложения, не изменяя одну строку кода.

В этой статье объясняется, как модели организованы внутри службы и как использовать конечную точку вывода для их вызова.

Развертывания

Вывод модели искусственного интеллекта Azure делает модели доступными с помощью концепции развертывания . Развертывания — это способ предоставления модели имени в определенных конфигурациях. Затем можно вызвать такую конфигурацию модели, указав ее имя в запросах.

Сбор развертываний:

• Имя модели
• Версия модели
• Тип подготовки и емкости¹
• Конфигурация^{фильтрации содержимого 1}
• Ограничение скорости конфигурации¹

¹ Конфигурации могут отличаться в зависимости от выбранной модели.

Ресурс служб искусственного интеллекта Azure может иметь столько развертываний моделей, сколько необходимо, и они не несут затрат, если вывод не выполняется для этих моделей. Развертывания — это ресурсы Azure, поэтому они применяются к политикам Azure.

Дополнительные сведения о создании развертываний см. в статье "Добавление и настройка развертываний моделей".

Конечная точка вывода искусственного интеллекта Azure

Конечная точка вывода искусственного интеллекта Azure позволяет клиентам использовать одну конечную точку с той же проверкой подлинности и схемой для создания вывода для развернутых моделей в ресурсе. Эта конечная точка следует API вывода модели ИИ Azure, которая поддерживает все модели в модели искусственного интеллекта Azure. Она поддерживает следующие модалидности:

• Внедрение текста
• Внедрение изображений
• Завершение чата

URL-адрес конечной точки и учетные данные можно просмотреть в разделе "Обзор ":

Маршрутизация

Конечная точка вывода направляет запросы к заданному развертыванию, сопоставляя параметр name внутри запроса с именем развертывания. Это означает, что развертывания работают в качестве псевдонима данной модели в определенных конфигурациях. Эта гибкость позволяет развертывать определенную модель несколько раз в службе, но в разных конфигурациях при необходимости.

Например, если создать развертывание с именем Mistral-large, такое развертывание можно вызвать следующим образом:

Python

Установите пакет azure-ai-inference с помощью диспетчера пакетов, например pip:

pip install azure-ai-inference

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

JavaScript

Установите пакет @azure-rest/ai-inference с помощью npm:

npm install @azure-rest/ai-inference

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

C#

Установите библиотеку вывода искусственного интеллекта Azure с помощью следующей команды:

dotnet add package Azure.AI.Inference --prerelease

Импортируйте такие пространства имен:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

Java

Добавьте пакет в проект:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

REST

Используйте раздел справки для изучения структуры API и доступных параметров. Например, в разделе справки по завершению чата подробно описано, как использовать маршрут /chat/completions для создания прогнозов на основе инструкций, отформатированных в чате. Обратите внимание, что путь /models включен в корневой каталог URL-адреса:

Запросить

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Запросить

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Совет

Маршрутизация развертывания не учитывает регистр.

Пакеты SDK

Конечная точка вывода модели искусственного интеллекта Azure поддерживается несколькими пакетами SDK, включая пакет SDK для вывода искусственного интеллекта Azure, пакет SDK для Azure AI Foundry и пакет SDK Для Azure OpenAI, доступный на нескольких языках. Несколько интеграции также поддерживаются в популярных платформах, таких как LangChain, LangGraph, Llama-Index, Семантический ядро и AG2. Дополнительные сведения см. на поддерживаемых языках программирования и пакетах SDK.

Конечная точка вывода Azure OpenAI

Модели Azure OpenAI, развернутые в службах ИИ, также поддерживают API Azure OpenAI. Этот API предоставляет полные возможности моделей OpenAI и поддерживает дополнительные функции, такие как помощники, потоки, файлы и пакетное вывод.

Конечные точки вывода Azure OpenAI работают на уровне развертывания и имеют собственный URL-адрес, связанный с каждым из них. Однако для их использования можно использовать тот же механизм проверки подлинности. Дополнительные сведения см. на странице справки по API OpenAI Для Azure

У каждого развертывания есть URL-адрес, который является объединением базового URL-адреса Azure OpenAI и маршрута /deployments/<model-deployment-name>.

Внимание

Для конечной точки Azure OpenAI нет механизма маршрутизации, так как каждый URL-адрес является эксклюзивным для каждого развертывания модели.

Пакеты SDK

Конечная точка Azure OpenAI поддерживается пакетами SDK OpenAI (AzureOpenAI класс) и пакетами SDK Для OpenAI Azure, доступными на нескольких языках. Дополнительные сведения см . на поддерживаемых языках .

Следующие шаги

• Модели
• Типы развертывания