Dodawanie i konfigurowanie modeli w usłudze wnioskowania modelu AI platformy Azure

Możesz zdecydować i skonfigurować, które modele są dostępne do wnioskowania w punkcie końcowym wnioskowania modelu zasobu. Po skonfigurowaniu danego modelu można wygenerować z niego przewidywania, wskazując jego nazwę modelu lub nazwę wdrożenia na żądaniach. Do użycia w kodzie nie są wymagane żadne dalsze zmiany.

Z tego artykułu dowiesz się, jak dodać nowy model do usługi wnioskowania modelu AI platformy Azure w usługach Azure AI.

Wymagania wstępne

Aby ukończyć pracę z tym artykułem, potrzebne są następujące zasoby:

• Subskrypcja Azure. Jeśli używasz modeli GitHub, możesz uaktualnić środowisko i utworzyć subskrypcję platformy Azure w tym procesie. Dowiedz się więcej na temat uaktualniania modeli GitHub do modeli sztucznej inteligencji platformy Azure w usługach sztucznej inteligencji.
• Zasób usług AI platformy Azure. Aby uzyskać więcej informacji, zobacz Create an Azure AI Services resource (Tworzenie zasobu usług Azure AI Services).

Dodaj model

Podobnie jak w przypadku modeli usługi GitHub, w których wszystkie modele są już skonfigurowane, zasób usługi Azure AI Services umożliwia kontrolowanie, które modele są dostępne w punkcie końcowym i w ramach której konfiguracji.

Wszystkie potrzebne modele w punkcie końcowym można dodać przy użyciu usługi Azure AI Foundry dla usługi GitHub. W poniższym przykładzie dodamy Mistral-Large model w usłudze:

1. Przejdź do sekcji Katalog modeli w usłudze Azure AI Foundry dla usługi GitHub.

2. Przewiń do interesującego Cię modelu i wybierz go.

3. Szczegóły modelu można przejrzeć na karcie modelu.

4. Wybierz Wdróż.

5. W przypadku dostawców modeli, którzy wymagają dodatkowych warunków umowy, zostanie wyświetlony monit o zaakceptowanie tych warunków. Na przykład modele Mistral proszą o zaakceptowanie innych warunków. Zaakceptuj warunki w tych przypadkach, wybierając pozycję Subskrybuj i wdróż.

   

6. W tej chwili można skonfigurować ustawienia wdrożenia. Domyślnie wdrożenie otrzymuje nazwę wdrażanego modelu. Nazwa wdrożenia jest używana w parametrze model żądania do kierowania do tego konkretnego wdrożenia modelu. To ustawienie umożliwia również skonfigurowanie określonych nazw modeli podczas dołączania określonych konfiguracji. Na przykład o1-preview-safe w przypadku modelu z rygorystycznym filtrem zawartości bezpieczeństwa zawartości.

Napiwek

Każdy model może obsługiwać różne typy wdrożeń, zapewniając różne gwarancje rezydencji danych lub przepływności. Aby uzyskać więcej informacji, zobacz Typy wdrożeń.

7. Użyj opcji Dostosuj, jeśli chcesz zmienić ustawienia, takie jak filtr zawartości lub ograniczanie szybkości (jeśli są dostępne).

8. Wybierz Wdróż.

9. Po zakończeniu wdrażania nowy model zostanie wyświetlony na stronie i będzie gotowy do użycia.

Korzystanie z modelu

Wdrożone modele w usługach Azure AI można używać przy użyciu punktu końcowego wnioskowania modelu AI platformy Azure dla zasobu.

Aby go użyć:

1. Pobierz adres URL i klucze punktu końcowego wnioskowania modelu AI platformy Azure ze strony wdrożenia lub strony Przegląd. Jeśli używasz uwierzytelniania identyfikatora Entra firmy Microsoft, nie potrzebujesz klucza.

   

2. Użyj adresu URL punktu końcowego wnioskowania modelu i kluczy przed utworzeniem klienta. W poniższym przykładzie użyto pakietu wnioskowania usługi Azure AI:

   Python

   Zainstaluj pakiet azure-ai-inference przy użyciu menedżera pakietów, takiego jak:

   pip install azure-ai-inference>=1.0.0b5
   

   Ostrzeżenie

   Zasób usług Azure AI Services wymaga wersji azure-ai-inference>=1.0.0b5 języka Python.

   Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

   JavaScript

   Zainstaluj pakiet @azure-rest/ai-inference przy użyciu narzędzia npm:

   npm install @azure-rest/ai-inference
   

   Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

   C#

   Zainstaluj bibliotekę wnioskowania usługi Azure AI za pomocą następującego polecenia:

   dotnet add package Azure.AI.Inference --prerelease
   

   Zaimportuj następujące przestrzenie nazw:

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

   Java

   Dodaj pakiet do projektu:

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

   REST

   Skorzystaj z sekcji referencyjnej, aby zapoznać się z projektem interfejsu API i dostępnymi parametrami. Na przykład sekcja referencyjna dotycząca uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania trasy /chat/completions do generowania przewidywań na podstawie instrukcji sformatowanych na czacie. Zwróć uwagę, że ścieżka /models jest dołączona do katalogu głównego adresu URL:

   Zażądaj

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. Podczas konstruowania żądania wskaż parametr model i wstaw utworzoną nazwę wdrożenia modelu.

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   Zażądaj

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

Napiwek

W przypadku korzystania z punktu końcowego możesz zmienić parametr na model dowolne dostępne wdrożenie modelu w zasobie.

Ponadto modele usługi Azure OpenAI można używać przy użyciu punktu końcowego usługi Azure OpenAI w zasobie. Ten punkt końcowy jest wyłączny dla każdego wdrożenia modelu i ma własny adres URL.

Dostosowywanie wdrożenia modelu

Podczas tworzenia wdrożeń modelu można skonfigurować inne ustawienia, w tym filtrowanie zawartości i limity szybkości. Aby skonfigurować więcej ustawień, wybierz opcję Dostosuj w kreatorze wdrażania.

Uwaga

Konfiguracje mogą się różnić w zależności od wdrażanych modeli.

Następne kroki

• Tworzenie aplikacji przy użyciu usługi wnioskowania modelu AI platformy Azure w usługach azure AI