Обновление от моделей GitHub до вывода модели ИИ Azure

Если вы хотите разработать созданное приложение ИИ, вы можете использовать модели GitHub для поиска и экспериментов с моделями ИИ бесплатно. Платформа и бесплатное использование API ограничены запросами в минуту, запросы в день, маркеры на запрос и одновременные запросы. Если вы получаете ограничение скорости, необходимо дождаться ограничения скорости, который вы сброшены, прежде чем вы сможете запросить больше запросов.

Когда вы будете готовы перенести приложение в рабочую среду, вы можете обновить интерфейс, развернув ресурс Служб искусственного интеллекта Azure в подписке Azure и приступить к использованию службы вывода моделей ИИ Azure. В коде ничего другого не нужно изменять.

В следующей статье объясняется, как приступить к работе с моделями GitHub и развернуть ресурс Служб искусственного интеллекта Azure с помощью модели ИИ Azure.

Необходимые компоненты

Для работы с этим учебником необходимы указанные ниже компоненты.

• Учетная запись GitHub с доступом к моделям GitHub.
• Подписка Azure. Если у вас нет учетной записи, вам будет предложено создать или обновить учетную запись Azure до оплаты, когда вы будете готовы развернуть модель в рабочей среде.

Обновление до вывода модели ИИ Azure

Ограничения скорости для игровой площадки и бесплатного использования API предназначены для экспериментирования с моделями и разработки приложения ИИ. Когда вы будете готовы перенести приложение в рабочую среду, используйте ключ и конечную точку из платной учетной записи Azure. В коде ничего другого не нужно изменять.

Чтобы получить ключ и конечную точку, выполните следующие действия.

1. Перейдите к моделям GitHub и выберите нужную модель.

2. На детской площадке для модели выберите " Получить ключ API".

3. Выберите " Получить рабочий ключ".

   

4. Если у вас нет учетной записи Azure, нажмите кнопку "Создать учетную запись" и выполните действия, чтобы создать ее.

5. Если у вас есть учетная запись Azure, нажмите кнопку "Войти".

6. Если существующая учетная запись является бесплатной, сначала необходимо обновить до оплаты по мере использования плана. После обновления вернитесь на игровую площадку и снова выберите " Получить ключ API", а затем войдите с помощью обновленной учетной записи.

7. После входа в учетную запись Azure вы перейдете в Azure AI Studio > GitHub. Для загрузки начальных сведений о модели в AI Studio может потребоваться один или два минуты.

8. Страница загружается с подробными сведениями о модели. Нажмите кнопку "Развернуть", чтобы развернуть модель в учетной записи.

9. После развертывания ключ API и конечная точка модели отображаются в обзоре. Используйте эти значения в коде для использования модели в рабочей среде.

На этом этапе выбранная модель готова к использованию.

Обновите код, чтобы использовать новую конечную точку

После настройки ресурса Служб искусственного интеллекта Azure вы можете начать использовать его из кода. Чтобы использовать ресурс Служб искусственного интеллекта Azure, вам потребуется URL-адрес конечной точки и ключ, доступные в разделе "Обзор ".

Вы можете использовать любой из поддерживаемых пакетов SDK для получения прогнозов из конечной точки. Следующие пакеты SDK официально поддерживаются:

• OpenAI SDK
• Azure OpenAI SDK
• Пакет SDK для вывода искусственного интеллекта Azure

Дополнительные сведения и примеры см. в разделе поддерживаемых языков и пакетов SDK. В следующем примере показано, как использовать пакет SDK для вывода модели ИИ Azure с недавно развернутой моделью:

Python

Установите пакет azure-ai-inference с помощью диспетчера пакетов, например pip:

pip install azure-ai-inference>=1.0.0b5

Предупреждение

Для ресурса служб искусственного интеллекта Azure требуется версия azure-ai-inference>=1.0.0b5 Для Python.

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

JavaScript

Установите пакет @azure-rest/ai-inference с помощью npm:

npm install @azure-rest/ai-inference

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

C#

Установите библиотеку вывода искусственного интеллекта Azure с помощью следующей команды:

dotnet add package Azure.AI.Inference --prerelease

Импортируйте такие пространства имен:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

Java

Добавьте пакет в проект:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Затем можно использовать пакет для использования модели. В следующем примере показано, как создать клиент для использования завершения чата:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Ознакомьтесь с нашими примерами и ознакомьтесь со справочной документацией по API, чтобы приступить к работе.

REST

Используйте раздел справки для изучения структуры API и доступных параметров. Например, в разделе справки по завершению чата подробно описано, как использовать маршрут /chat/completions для создания прогнозов на основе инструкций, отформатированных в чате. Обратите внимание, что путь /models включен в корневой каталог URL-адреса:

Запросить

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Создайте первое завершение чата:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Запросить

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Используйте параметр model="<deployment-name> для маршрутизации запроса в это развертывание. Развертывания работают как псевдоним заданной модели в определенных конфигурациях. Сведения о развертывании маршрутов служб ИИ Azure см . на странице концепции маршрутизации .

Внимание

В отличие от моделей GitHub, на которых уже настроены все модели, ресурс Служб искусственного интеллекта Azure позволяет управлять моделями, доступными в конечной точке, и под какой конфигурацией. Добавьте столько моделей, сколько планируется использовать, прежде чем указывать их в параметре model . Узнайте, как добавить в ресурс дополнительные модели .

Ознакомьтесь с дополнительными функциями

Вывод модели искусственного интеллекта Azure поддерживает дополнительные функции, недоступные в моделях GitHub, в том числе:

• Изучите каталог моделей, чтобы просмотреть дополнительные модели, недоступные в моделях GitHub.
• Настройте фильтрацию содержимого.
• Настройка ограничения скорости (для определенных моделей).
• Ознакомьтесь с дополнительными номерами SKU развертывания (для определенных моделей).
• Настройка частной сети.

Возникли проблемы?

Дополнительные сведения см. в разделе "Вопросы и ответы".

Следующие шаги

• Изучите каталог моделей в Студии искусственного интеллекта Azure.
• Добавьте дополнительные модели в конечную точку.