Ajouter et configurer des modèles au service d’inférence de modèles Azure AI

Vous pouvez décider et configurer les modèles disponibles pour l’inférence dans le point de terminaison d’inférence du modèle de la ressource. Lorsqu’un modèle donné est configuré, vous pouvez ensuite générer des prédictions à partir de celui-ci en indiquant son nom de modèle ou son nom de déploiement dans vos demandes. Aucune autre modification n’est requise dans votre code pour l’utiliser.

Dans cet article, vous apprenez à ajouter un nouveau modèle au service d’inférence de modèle Azure AI dans Azure AI services.

Prérequis

Pour effectuer ce qui est décrit dans cet article, vous avez besoin des éléments suivants :

• Un abonnement Azure. Si vous utilisez des modèles GitHub, vous pouvez mettre à niveau votre expérience et créer un abonnement Azure dans le processus. En savoir plus sur la mise à niveau des modèles GitHub vers des modèles Azure AI dans AI Services.
• Une ressource Azure AI services. Pour plus d’informations, consultez Créer une ressource Azure AI Services.

Ajouter un modèle

Contrairement aux modèles GitHub où tous les modèles sont déjà configurés, la ressource Azure AI Services vous permet de contrôler les modèles disponibles dans votre point de terminaison et sous quelle configuration.

Vous pouvez ajouter tous les modèles dont vous avez besoin dans le point de terminaison à l’aide d’Azure AI Foundry pour GitHub. Dans l’exemple suivant, nous ajoutons un modèle Mistral-Large dans le service :

1. Accédez à la section Catalogue de modèles dans Azure AI Foundry pour GitHub.

2. Faites défiler jusqu’au modèle qui vous intéresse et sélectionnez-le.

3. Vous pouvez consulter les détails du modèle sur la carte de modèle.

4. Sélectionnez Déployer.

5. Pour les fournisseurs de modèles qui nécessitent des conditions contractuelles supplémentaires, vous êtes invité à accepter ces conditions. Par exemple, les modèles Mistral vous demandent d’accepter d’autres conditions. Acceptez les conditions de ces cas en sélectionnant S’abonner et déployer.

   

6. Vous pouvez configurer les paramètres de déploiement à ce moment. Par défaut, le déploiement reçoit le nom du modèle que vous déployez. Le nom du déploiement est utilisé dans le paramètre model pour que la requête soit acheminée vers ce modèle de déploiement particulier. Ce paramètre vous permet également de configurer des noms spécifiques pour vos modèles lorsque vous attachez des configurations spécifiques. Par exemple, o1-preview-safe pour un modèle avec un filtre de contenu de sécurité du contenu strict.

Conseil

Chaque modèle peut prendre en charge différents types de déploiements, fournissant des garanties différentes de débit ou de résidence des données. Pour plus d’informations, consultez les types de déploiement.

7. Utilisez l’option Personnaliser si vous devez modifier des paramètres tels que le filtre de contenu ou la limitation de débit (si disponible).

8. Sélectionnez Déployer.

9. Une fois le déploiement terminé, le nouveau modèle est répertorié sur la page et il est prêt à être utilisé.

Utiliser le modèle

Les modèles déployés dans Azure AI services peuvent être consommés à l’aide du point de terminaison d’inférence du modèle Azure AI pour la ressource.

Pour l’utiliser :

1. Obtenez l’URL et les clés du point de terminaison d’inférence du modèle Azure AI à partir de la page de déploiement ou de la page Vue d’ensemble. Si vous utilisez l’authentification Microsoft Entra ID, vous n’avez pas besoin de clé.

   

2. Utilisez l’URL et les clés du point de terminaison d’inférence de modèle précédentes lors de la construction de votre client. L’exemple suivant utilise le package Azure AI Inférence :

   Python

   Installez le package azure-ai-inference à l’aide de votre gestionnaire de package, par exemple pip :

   pip install azure-ai-inference>=1.0.0b5
   

   Avertissement

   La ressource Azure AI Services nécessite la version azure-ai-inference>=1.0.0b5 de Python.

   Vous pouvez ensuite utiliser le package pour consommer le modèle. L’exemple suivant montre comment créer un client pour consommer les complétions de conversation :

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   Découvrez nos exemples, et lisez la documentation de référence API pour vous lancer.

   JavaScript

   Installez le package @azure-rest/ai-inference à l’aide de npm :

   npm install @azure-rest/ai-inference
   

   Vous pouvez ensuite utiliser le package pour consommer le modèle. L’exemple suivant montre comment créer un client pour consommer les complétions de conversation :

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   Découvrez nos exemples, et lisez la documentation de référence API pour vous lancer.

   C#

   Installez la bibliothèque d’inférence Azure AI avec la commande suivante :

   dotnet add package Azure.AI.Inference --prerelease
   

   Importez les espaces de noms suivants :

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   Vous pouvez ensuite utiliser le package pour consommer le modèle. L’exemple suivant montre comment créer un client pour consommer les complétions de conversation :

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   Découvrez nos exemples, et lisez la documentation de référence API pour vous lancer.

   Java

   Ajoutez le package à votre projet :

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   Vous pouvez ensuite utiliser le package pour consommer le modèle. L’exemple suivant montre comment créer un client pour consommer les complétions de conversation :

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   Découvrez nos exemples, et lisez la documentation de référence API pour vous lancer.

   REST

   Utilisez la section de référence pour découvrir la conception de l’API et connaître les paramètres disponibles. Par exemple, la section de référence des saisies semi-automatiques de conversation explique en détail comment utiliser la route /chat/completions pour générer des prédictions basées sur des instructions dans un format de conversation. Notez que le chemin d’accès /models est inclus dans la racine de l’URL :

   Requête

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. Lors de la construction de votre requête, indiquez le paramètre model et insérez le nom du modèle de déploiement que vous avez créé.

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   Requête

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

Conseil

Lorsque vous utilisez le point de terminaison, vous pouvez remplacer le paramètre model par n’importe quel modèle de déploiement disponible dans votre ressource.

En outre, les modèles Azure OpenAI peuvent être consommés à l’aide du point de terminaison de service Azure OpenAI dans la ressource. Ce point de terminaison est exclusif pour chaque modèle de déploiement et a sa propre URL.

Personnalisation du modèle de déploiement

Lors de la création de modèles de déploiement, vous pouvez configurer d’autres paramètres, notamment le filtrage de contenu et les limites de débit. Pour configurer d’autres paramètres, sélectionnez l’option Personnaliser dans l’Assistant Déploiement.

Remarque

Les configurations peuvent varier en fonction du modèle que vous déployez.

Étapes suivantes

• Développer des applications à l’aide du service d’inférence de modèle Azure AI dans Azure AI services