Eseguire l'aggiornamento dai modelli GitHub all'inferenza del modello di intelligenza artificiale di Azure

Se si vuole sviluppare un'applicazione di intelligenza artificiale generativa, è possibile usare i modelli GitHub per trovare e sperimentare gratuitamente i modelli di intelligenza artificiale. L'utilizzo dell'API gratuita e del playground è limitato dalle richieste al minuto, dalle richieste al giorno, dai token per richiesta e dalle richieste simultanee. Se si ottiene un limite di frequenza, è necessario attendere il limite di frequenza raggiunto per reimpostare prima di poter effettuare più richieste.

Quando si è pronti per portare l'applicazione in produzione, è possibile aggiornare l'esperienza distribuendo una risorsa di Servizi di intelligenza artificiale di Azure in una sottoscrizione di Azure e iniziare a usare il servizio di inferenza del modello di intelligenza artificiale di Azure. Non è necessario modificare altri elementi nel codice.

L'articolo seguente illustra come iniziare a usare i modelli GitHub e distribuire una risorsa di Servizi di intelligenza artificiale di Azure con l'inferenza del modello di intelligenza artificiale di Azure.

Prerequisiti

Per completare questa esercitazione è necessario:

• Un account GitHub con accesso a GitHub Models.
• Una sottoscrizione di Azure. Se non ne è disponibile uno, viene richiesto di creare o aggiornare l'account Azure con pagamento in base al consumo quando si è pronti per distribuire il modello nell'ambiente di produzione.

Eseguire l'aggiornamento all'inferenza del modello di intelligenza artificiale di Azure

I limiti di frequenza per il playground e l'utilizzo gratuito dell'API sono progettati per consentire di sperimentare i modelli e sviluppare l'applicazione di intelligenza artificiale. Quando si è pronti per portare l'applicazione nell'ambiente di produzione, usare una chiave e un endpoint da un account Azure a pagamento. Non è necessario modificare altri elementi nel codice.

Per ottenere la chiave e l'endpoint:

1. È possibile accedere a Modelli GitHub e selezionare il modello a cui si è interessati.

2. Nel playground per il modello selezionare Recupera chiave API.

3. Selezionare Recupera chiave di produzione.

   

4. Se non si ha un account Azure, selezionare Crea account personale e seguire i passaggi per crearne uno.

5. Se si ha un account Azure, selezionare Accedi di nuovo.

6. Se il tuo account esistente è un account gratuito, devi prima eseguire l'aggiornamento a un piano con pagamento in base al consumo. Dopo l'aggiornamento, tornare al playground e selezionare di nuovo Recupera chiave API, quindi accedere con l'account aggiornato.

7. Dopo aver eseguito l'accesso all'account Azure, si accede a GitHub di Azure AI Studio>. Il caricamento dei dettagli del modello iniziale in AI Studio potrebbe richiedere uno o due minuti.

8. La pagina viene caricata con i dettagli del modello. Selezionare il pulsante Distribuisci per distribuire il modello nell'account.

9. Dopo la distribuzione, la chiave API e l'endpoint del modello vengono visualizzati nella panoramica. Usare questi valori nel codice per usare il modello nell'ambiente di produzione.

A questo punto, il modello selezionato è pronto per l'utilizzo.

Aggiornare il codice per usare il nuovo endpoint

Dopo aver configurato la risorsa di Servizi di intelligenza artificiale di Azure, è possibile iniziare a usarla dal codice. Per usare la risorsa di Servizi di intelligenza artificiale di Azure, sono necessari l'URL e la chiave dell'endpoint, disponibili nella sezione Panoramica :

È possibile usare uno degli SDK supportati per ottenere stime dall'endpoint. Gli SDK seguenti sono ufficialmente supportati:

• OpenAI SDK
• SDK di Azure OpenAI
• Azure AI Inference SDK

Per altri dettagli ed esempi, vedere la sezione SDK e lingue supportate. L'esempio seguente illustra come usare l'SDK di inferenza del modello di intelligenza artificiale di Azure con il modello appena distribuito:

Python

Installare il pacchetto azure-ai-inference usando la propria gestione pacchetti, come pip:

pip install azure-ai-inference>=1.0.0b5

Avviso

La risorsa di Servizi di intelligenza artificiale di Azure richiede la versione azure-ai-inference>=1.0.0b5 per Python.

Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

JavaScript

Installare il pacchetto @azure-rest/ai-inference usando npm:

npm install @azure-rest/ai-inference

Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

C#

Installare la libreria di inferenza di Azure per intelligenza artificiale con il comando seguente:

dotnet add package Azure.AI.Inference --prerelease

Importare gli spazi dei nomi seguenti:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

Java

Aggiungere il pacchetto al progetto:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

REST

Usare la sezione di riferimento per esplorare la progettazione API e quali parametri sono disponibili. Ad esempio, la sezione di riferimento per i completamenti di Chat illustra in dettaglio come usare la route /chat/completions per generare stime in base alle istruzioni in formato chat. Si noti che il percorso /models è incluso nella radice dell'URL:

Richiedi

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Generare il primo completamento della chat:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Richiedi

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Usare il parametro model="<deployment-name> per instradare la richiesta a questa distribuzione. Le distribuzioni funzionano come alias di un determinato modello in determinate configurazioni. Per informazioni su come instradare le distribuzioni dei servizi di intelligenza artificiale di Azure, vedere la pagina Concetto di routing .

Importante

In alternativa ai modelli GitHub in cui tutti i modelli sono già configurati, la risorsa di Servizi di intelligenza artificiale di Azure consente di controllare quali modelli sono disponibili nell'endpoint e in quale configurazione. Aggiungere tutti i modelli che si prevede di usare prima di indicarli nel model parametro . Informazioni su come aggiungere altri modelli alla risorsa.

Esplorare funzionalità aggiuntive

L'inferenza del modello di intelligenza artificiale di Azure supporta funzionalità aggiuntive non disponibili nei modelli GitHub, tra cui:

• Esplorare il catalogo dei modelli per visualizzare modelli aggiuntivi non disponibili in GitHub Models.
• Configurare il filtro del contenuto.
• Configurare la limitazione della frequenza (per modelli specifici).
• Esplorare gli SKU di distribuzione aggiuntivi (per modelli specifici).
• Configurare la rete privata.

Hai problemi?

Per altre informazioni, vedere la sezione Domande frequenti.

Passaggi successivi

• Esplorare il catalogo dei modelli in Azure AI Studio.
• Aggiungere altri modelli all'endpoint.