Lägga till och konfigurera modeller i azure AI-modellinferenstjänsten

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i resursens modellslutpunkt. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI-modellinferenstjänsten i Azure AI-tjänster.

Förutsättningar

För att slutföra den här artikeln behöver du:

• En Azure-prenumeration Om du använder GitHub-modeller kan du uppgradera din upplevelse och skapa en Azure-prenumeration i processen. Läs mer i Uppgradera från GitHub-modeller till Azure AI-modeller i AI-tjänster.
• En Azure AI-tjänstresurs. Mer information finns i Skapa en Azure AI Services-resurs.

Lägg till modell

Till skillnad från GitHub-modeller där alla modeller redan är konfigurerade kan du med Azure AI Services-resursen styra vilka modeller som är tillgängliga i slutpunkten och under vilken konfiguration.

Du kan lägga till alla modeller som du behöver i slutpunkten med hjälp av Azure AI Foundry för GitHub. I följande exempel lägger vi till en Mistral-Large modell i tjänsten:

1. Gå till avsnittet Modellkatalog i Azure AI Foundry för GitHub.

2. Rulla till den modell som du är intresserad av och välj den.

3. Du kan granska informationen om modellen på modellkortet.

4. Välj distribuera.

5. För modellleverantörer som kräver extra avtalsvillkor uppmanas du att godkänna dessa villkor. Till exempel ber Mistral-modeller dig att acceptera andra villkor. Acceptera villkoren för dessa fall genom att välja Prenumerera och distribuera.

   

6. Du kan konfigurera distributionsinställningarna just nu. Som standard tar distributionen emot namnet på den modell som du distribuerar. Distributionsnamnet används i parametern model för begäran om att dirigera till just den här modelldistributionen. Med den här inställningen kan du även konfigurera specifika namn för dina modeller när du kopplar specifika konfigurationer. Till exempel o1-preview-safe för en modell med ett strikt innehållssäkerhetsfilter.

Dricks

Varje modell kan ha stöd för olika distributionstyper, vilket ger olika garantier för datahemvist eller dataflöde. Mer information finns i distributionstyper .

7. Använd alternativet Anpassa om du behöver ändra inställningar som innehållsfilter eller hastighetsbegränsning (om det är tillgängligt).

8. Välj distribuera.

9. När distributionen är klar visas den nya modellen på sidan och den är redo att användas.

Använda modellen

Distribuerade modeller i Azure AI-tjänster kan användas med hjälp av Azure AI-modellens slutpunkt för slutsatsdragning för resursen.

Så här använder du den:

1. Hämta Azure AI-modellens slutpunkts-URL och nycklar för slutsatsdragning från distributionssidan eller sidan Översikt. Om du använder Microsoft Entra-ID-autentisering behöver du ingen nyckel.

   

2. Använd modellens slutpunkts-URL för slutsatsdragning och nycklarna från tidigare när du skapar klienten. I följande exempel används Azure AI-slutsatsdragningspaketet:

   Python

   Installera paketet azure-ai-inference med hjälp av pakethanteraren, till exempel pip:

   pip install azure-ai-inference>=1.0.0b5
   

   Varning

   Azure AI Services-resursen kräver versionen azure-ai-inference>=1.0.0b5 för Python.

   Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

   JavaScript

   Installera paketet @azure-rest/ai-inference med npm:

   npm install @azure-rest/ai-inference
   

   Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

   C#

   Installera Azure AI-slutsatsdragningsbiblioteket med följande kommando:

   dotnet add package Azure.AI.Inference --prerelease
   

   Importera följande namnområden:

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

   Java

   Lägg till paketet i projektet:

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

   REST

   Använd referensavsnittet för att utforska API-designen och vilka parametrar som är tillgängliga. Referensavsnittet för chattavslut beskriver till exempel hur du använder vägen /chat/completions för att generera förutsägelser baserat på chattformaterade instruktioner. Observera att sökvägen /models ingår i URL:ens rot:

   Begär

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du skapade.

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   Begär

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

Dricks

När du använder slutpunkten kan du ändra parametern model till valfri tillgänglig modelldistribution i resursen.

Dessutom kan Azure OpenAI-modeller användas med hjälp av Azure OpenAI-tjänstslutpunkten i resursen. Den här slutpunkten är exklusiv för varje modelldistribution och har en egen URL.

Anpassning av modelldistribution

När du skapar modelldistributioner kan du konfigurera andra inställningar, inklusive innehållsfiltrering och hastighetsbegränsningar. Om du vill konfigurera fler inställningar väljer du alternativet Anpassa i distributionsguiden.

Kommentar

Konfigurationerna kan variera beroende på vilken modell du distribuerar.

Nästa steg

• Utveckla program med hjälp av Azure AI-modellinferenstjänsten i Azure AI-tjänster