Atualizar de modelos do GitHub para a inferência de modelo de IA do Azure

Se você deseja desenvolver um aplicativo de IA generativa, pode usar Modelos do GitHub para encontrar e experimentar modelos de IA gratuitamente. O playground e o uso gratuito da API são limitados por solicitações por minuto, solicitações por dia, tokens por solicitação e solicitações simultâneas. Se você tiver uma limitação de fluxo, precisará aguardar a redefinição do limite de fluxo atingido antes de fazer mais solicitações.

Quando estiver pronto para levar seu aplicativo para produção, você poderá atualizar sua experiência implantando um recurso dos Serviços de IA do Azure em uma assinatura do Azure e começar a usar o serviço de inferência de modelo de IA do Azure. Você não precisa adicionar ou alterar nada mais em seu código.

O artigo a seguir explica como começar a usar os modelos do GitHub e implantar um recurso dos Serviços de IA do Azure com a inferência de modelo de IA do Azure.

Pré-requisitos

Para concluir este tutorial, você precisará de:

• Uma conta do GitHub com acesso a Modelos do GitHub.
• Uma assinatura do Azure. Caso não tenha uma, será solicitado que você crie ou atualize sua conta do Azure para uma conta paga conforme o uso quando estiver pronto para implantar seu modelo na produção.

Atualizar para inferência do modelo de IA do Azure

Os limites de fluxo para o playground e o uso gratuito da API destinam-se a ajudá-lo a experimentar modelos e desenvolver seu aplicativo de IA. Quando estiver pronto para colocar seu aplicativo em produção,use uma chave e ponto de extremidade de uma conta paga do Azure. Você não precisa adicionar ou alterar nada mais em seu código.

Para obter a chave e o ponto de extremidade:

1. Acesse os modelos do GitHub e selecione o modelo no qual você está interessado.

2. No playground do modelo, selecione Obter chave de API.

3. Selecione Obter chave de produção.

   

4. Se você não tiver uma conta do Azure, selecione Criar minha conta e siga as etapas para criar uma.

5. Se você tiver uma conta do Azure, selecione Entrar novamente.

6. Se sua conta existente for uma conta gratuita, primeiro você precisará atualizar para um plano Pagamento conforme o uso. Depois de atualizar, volte para o playground e selecione Obter chave de API novamente e entre com sua conta atualizada.

7. Depois de entrar em sua conta do Azure, você será levado para o GitHub do > Estúdio de IA do Azure. Pode levar um ou dois minutos para carregar os detalhes iniciais do modelo no Estúdio de IA.

8. A página é carregada com os detalhes do modelo. Selecione o botão Implantar para implantar o modelo em sua conta.

9. Depois de implantado, a Chave de API e o ponto de extremidade do modelo são mostrados na Visão Geral. Use esses valores em seu código para usar o modelo em seu ambiente de produção.

Neste ponto, o modelo selecionado está pronto para consumir.

Atualizar o código para usar o novo ponto de extremidade

Depois que o recurso dos Serviços de IA do Azure estiver configurado, você poderá começar a consumi-lo do código. Para consumir o recurso dos Serviços de IA do Azure, você precisa do URL e da chave do ponto de extremidade, que estão disponíveis na seção Visão geral:

Você pode usar qualquer um dos SDKs com suporte para obter previsões do ponto de extremidade. Os seguintes SDKs têm suporte oficial:

• SDK de OpenAI
• SDK do OpenAI do Azure
• SDK de Inferência de IA do Azure

Consulte a seção de idiomas e SDKs com suporte para obter mais detalhes e exemplos. O exemplo a seguir mostra como usar o SDK de inferência do modelo de IA do Azure com o modelo recém-implantado:

Python

Instale o pacote azure-ai-inference usando seu gerenciador de pacotes, como o pip:

pip install azure-ai-inference

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Explore nossos exemplos e leia a documentação de referência da API para começar.

JavaScript

Instalar o pacote @azure-rest/ai-inference usando o npm:

npm install @azure-rest/ai-inference

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Explore nossos exemplos e leia a Documentação de referência da API para começar.

C#

Instale a biblioteca de inferência do IA do Azure com o seguinte comando:

dotnet add package Azure.AI.Inference --prerelease

Importe os seguintes namespaces:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Explore nossos exemplos e leia a Documentação de referência da API para começar.

Java

Adicione o pacote ao seu projeto:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Em seguida, você poderá usar o pacote para consumir o modelo. O exemplo a seguir mostra como criar um cliente para consumir conclusões de chat:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Explore nossos exemplos e leia a Documentação de referência da API para começar.

REST

Use a seção de referência para explorar o design da API e quais parâmetros estão disponíveis. Por exemplo, a seção de referência para Conclusões de Chat detalha como usar a rota /chat/completions para gerar previsões com base em instruções formatadas para chat. Observe que o caminho /models é incluído na raiz da URL:

Solicitar

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Gere sua primeira conclusão de chat:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Solicitar

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Use o parâmetro model="<deployment-name> para rotear sua solicitação para essa implantação. As implantações funcionam como um alias de um determinado modelo em determinadas configurações. Consulte a página de conceito de Roteamento para saber como os Serviços de IA do Azure roteiam implantações.

Importante

Ao contrário dos Modelos do GitHub, onde todos os modelos já estão configurados, o recurso dos Serviços de IA do Azure permite que você controle quais modelos estão disponíveis em seu ponto de extremidade e sob qual configuração. Adicione quantos modelos você planeja usar antes de indique-os no parâmetro model. Saiba como adicionar mais modelos ao recurso.

Explorar recursos adicionais

A inferência do modelo de IA do Azure dá suporte a recursos adicionais não disponíveis nos modelos do GitHub, incluindo:

• Explorar o catálogo de modelos para visualizar modelos adicionais não disponíveis nos modelos do GitHub.
• Configure a autenticação sem chave.
• Configurar os filtros de conteúdo.
• Configure a limitação de taxa (para modelos específicos).
• Explorar SKUs de implantação adicionais (para modelos específicos).
• Configure a rede privada.

Tem problemas?

Consulte a seção de perguntas frequentes para obter mais ajuda.

Próximas etapas

• Explorar o catálogo de modelos no Estúdio de IA do Azure.
• Adicionar mais modelos ao ponto de extremidade.