Use o ponto de extremidade de inferência do modelo de IA do Azure para consumir modelos

A inferência do modelo de IA do Azure nos serviços de IA do Azure permite que os clientes consumam os modelos mais avançados dos principais provedores de modelos usando um único ponto de extremidade e credenciais. Isso significa que é possível alternar entre modelos e consumi-los do aplicativo sem alterar uma única linha de código.

Este artigo explica como usar o ponto de extremidade de inferência para invocá-los.

Pontos de extremidade

Os serviços de IA do Azure expõem vários pontos de extremidade, dependendo do tipo de trabalho que você está procurando:

• Ponto de extremidade de inferência do modelo de IA do Azure
• Ponto de extremidade do OpenAI do Azure

O ponto de extremidade de inferência do modelo de IA do Azure (geralmente com o formato https://<resource-name>.services.ai.azure.com/models) permite que os clientes usem um único ponto de extremidade com a mesma autenticação e esquema para gerar inferência para os modelos implantados no recurso. Todos os modelos dão suporte a essa capacidade. Este ponto de extremidade segue a API de inferência do modelo de IA do Azure.

Os modelos OpenAI do Azure implantados em Serviços de IA também dão suporte à API da OpenAI do Azure (geralmente com o formato https://<resource-name>.openai.azure.com). Este ponto de extremidade expõe todas as funcionalidades dos modelos OpenAI e dá suporte a mais recursos, como assistentes, threads, arquivos e inferência em lote.

Para saber mais sobre como aplicar o ponto de extremidade da OpenAI do Azure, consulte a documentação do serviço OpenAI do Azure.

Usar a capacidade de roteamento no ponto de extremidade de inferência do modelo de IA do Azure

O ponto de extremidade de inferência roteia solicitações para uma determinada implantação, correspondendo ao parâmetro name dentro da solicitação com o nome da implantação. Isso significa que as implantações funcionam como um alias de um determinado modelo em determinadas configurações. Essa flexibilidade permite implantar um determinado modelo várias vezes no serviço, mas em configurações diferentes, se necessário.

Por exemplo, se você criar uma implantação nomeada Mistral-large, essa implantação poderá ser invocada como:

Python

Instale o pacote azure-ai-inference usando seu gerenciador de pacotes, como o pip:

pip install azure-ai-inference>=1.0.0b5

Aviso

O recurso dos Serviços de IA do Azure requer a versão azure-ai-inference>=1.0.0b5 para Python.

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Explore nossos exemplos e leia a documentação de referência da API para começar.

JavaScript

Instalar o pacote @azure-rest/ai-inference usando o npm:

npm install @azure-rest/ai-inference

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Explore nossos exemplos e leia a Documentação de referência da API para começar.

C#

Instale a biblioteca de inferência do IA do Azure com o seguinte comando:

dotnet add package Azure.AI.Inference --prerelease

Importe os seguintes namespaces:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Explore nossos exemplos e leia a Documentação de referência da API para começar.

Java

Adicione o pacote ao seu projeto:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Explore nossos exemplos e leia a Documentação de referência da API para começar.

REST

Use a seção de referência para explorar o design da API e quais parâmetros estão disponíveis. Por exemplo, a seção de referência para Conclusões de Chat detalha como usar a rota /chat/completions para gerar previsões com base em instruções formatadas para chat. Observe que o caminho /models é incluído na raiz da URL:

Solicitar

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Para um modelo de chat, você pode criar uma solicitação da seguinte forma:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Solicitar

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Se você especificar um nome de modelo que não corresponda a nenhuma implantação de modelo, será exibido um erro informando que o modelo não existe. Você pode controlar quais modelos estão disponíveis para os usuários criando implantações de modelo conforme explicado em adicionar e configurar implantações de modelo.

Limitações

• O Lote da OpenAI do Azure não pode ser usado com o ponto de extremidade de inferência do modelo de IA do Azure. Você precisa usar a URL de implantação dedicada conforme explicado em Suporte à API de Lote na documentação da OpenAI do Azure.
• A API em tempo real não tem suporte no ponto de extremidade de inferência. Use a URL de implantação dedicada.

Próximas etapas

• Usar modelos de inserção
• Usar modelos de conclusão de chat