Aggiungere e configurare modelli al servizio di inferenza del modello di intelligenza artificiale di Azure

È possibile decidere e configurare i modelli disponibili per l'inferenza nell'endpoint di inferenza del modello della risorsa. Quando un determinato modello è configurato, è quindi possibile generare stime da esso indicando il nome del modello o il nome della distribuzione nelle richieste. Non sono necessarie altre modifiche nel codice per usarle.

Questo articolo illustra come aggiungere un nuovo modello al servizio di inferenza del modello di intelligenza artificiale di Azure nei servizi di intelligenza artificiale di Azure.

Prerequisiti

Per completare questo articolo, devi avere quanto segue:

• Una sottoscrizione di Azure. Se si usano i modelli GitHub, è possibile aggiornare l'esperienza e creare una sottoscrizione di Azure nel processo. Per altre informazioni, vedere Eseguire l'aggiornamento da modelli GitHub a modelli di intelligenza artificiale di Azure in Servizi di intelligenza artificiale.
• Una risorsa dei servizi di intelligenza artificiale di Azure. Per altre informazioni, vedere Creare una risorsa di Servizi di intelligenza artificiale di Azure.

Aggiungi un modello

In alternativa ai modelli GitHub in cui tutti i modelli sono già configurati, la risorsa di Servizi di intelligenza artificiale di Azure consente di controllare quali modelli sono disponibili nell'endpoint e in quale configurazione.

È possibile aggiungere tutti i modelli necessari nell'endpoint usando Azure AI Foundry per GitHub. Nell'esempio seguente viene aggiunto un Mistral-Large modello nel servizio:

1. Passare alla sezione Catalogo modelli in Azure AI Foundry per GitHub.

2. Scorrere fino al modello a cui si è interessati e selezionarlo.

3. È possibile esaminare i dettagli del modello nella scheda del modello.

4. Seleziona Distribuisci.

5. Per i provider di modelli che richiedono condizioni aggiuntive per il contratto, viene chiesto di accettare tali condizioni. Ad esempio, i modelli Mistral chiedono di accettare altri termini. Accettare i termini in questi casi selezionando Sottoscrivi e distribuisci.

   

6. È possibile configurare le impostazioni di distribuzione in questo momento. Per impostazione predefinita, la distribuzione riceve il nome del modello che si sta distribuendo. Il nome della distribuzione viene usato nel parametro per la model richiesta di instradamento a questa distribuzione specifica del modello. Questa impostazione consente anche di configurare nomi specifici per i modelli quando si allegano configurazioni specifiche. Ad esempio, o1-preview-safe per un modello con un filtro contenuto di sicurezza del contenuto rigoroso.

Suggerimento

Ogni modello può supportare diversi tipi di distribuzioni, fornendo garanzie di residenza dei dati o velocità effettiva diverse. Per altri dettagli, vedere Tipi di distribuzione.

7. Usare l'opzione Personalizza se è necessario modificare le impostazioni, ad esempio il filtro del contenuto o la limitazione della frequenza (se disponibile).

8. Seleziona Distribuisci.

9. Al termine della distribuzione, il nuovo modello verrà elencato nella pagina ed è pronto per l'uso.

Usare il modello

I modelli distribuiti nei servizi di intelligenza artificiale di Azure possono essere usati usando l'endpoint di inferenza del modello di intelligenza artificiale di Azure per la risorsa.

Per usarla:

1. Ottenere l'URL e le chiavi dell'endpoint di inferenza del modello di intelligenza artificiale di Azure dalla pagina di distribuzione o dalla pagina Panoramica . Se si usa l'autenticazione microsoft Entra ID, non è necessaria una chiave.

   

2. Usare l'URL dell'endpoint di inferenza del modello e le chiavi precedenti durante la costruzione del client. L'esempio seguente usa il pacchetto di inferenza di Intelligenza artificiale di Azure:

   Python

   Installare il pacchetto azure-ai-inference usando la propria gestione pacchetti, come pip:

   pip install azure-ai-inference>=1.0.0b5
   

   Avviso

   La risorsa di Servizi di intelligenza artificiale di Azure richiede la versione azure-ai-inference>=1.0.0b5 per Python.

   Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

   JavaScript

   Installare il pacchetto @azure-rest/ai-inference usando npm:

   npm install @azure-rest/ai-inference
   

   Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

   C#

   Installare la libreria di inferenza di Azure per intelligenza artificiale con il comando seguente:

   dotnet add package Azure.AI.Inference --prerelease
   

   Importare gli spazi dei nomi seguenti:

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

   Java

   Aggiungere il pacchetto al progetto:

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   Quindi, è possibile usare il pacchetto per utilizzare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   Esplorare gli esempi e leggere la documentazione di riferimento sulle API per iniziare.

   REST

   Usare la sezione di riferimento per esplorare la progettazione API e quali parametri sono disponibili. Ad esempio, la sezione di riferimento per i completamenti di Chat illustra in dettaglio come usare la route /chat/completions per generare stime in base alle istruzioni in formato chat. Si noti che il percorso /models è incluso nella radice dell'URL:

   Richiedi

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. Quando si costruisce la richiesta, indicare il parametro model e inserire il nome di distribuzione del modello creato.

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   Richiedi

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

Suggerimento

Quando si usa l'endpoint, è possibile modificare il model parametro in qualsiasi distribuzione del modello disponibile nella risorsa.

Inoltre, i modelli OpenAI di Azure possono essere usati usando l'endpoint del servizio OpenAI di Azure nella risorsa. Questo endpoint è esclusivo per ogni distribuzione del modello e ha un PROPRIO URL.

Personalizzazione della distribuzione del modello

Quando si creano distribuzioni di modelli, è possibile configurare altre impostazioni, tra cui il filtro del contenuto e i limiti di frequenza. Per configurare altre impostazioni, selezionare l'opzione Personalizza nella distribuzione guidata.

Nota

Le configurazioni possono variare a seconda del modello che si sta distribuendo.

Passaggi successivi

• Sviluppare applicazioni usando il servizio di inferenza del modello di intelligenza artificiale di Azure nei servizi di intelligenza artificiale di Azure