Hinzufügen und Konfigurieren von Modellen zum Azure KI-Modellinferenzdienst

Sie können entscheiden und konfigurieren, welche Modelle für das Rückschließen im Rückschlussendpunkt des Ressourcenmodells verfügbar sind. Wenn ein bestimmtes Modell konfiguriert ist, können Sie dann Vorhersagen daraus generieren, indem Sie den Modellnamen oder den Bereitstellungsnamen für Ihre Anforderungen angeben. Für die Verwendung sind in Ihrem Code keine weiteren Änderungen erforderlich.

In diesem Artikel erfahren Sie, wie Sie dem Azure KI-Modellinferenzdienst in Azure KI Services ein neues Modell hinzufügen.

Voraussetzungen

Damit Sie die Anweisungen in diesem Artikel ausführen können, benötigen Sie Folgendes:

• Ein Azure-Abonnement. Wenn Sie GitHub-Modelle verwenden, können Sie Ihre Erfahrung upgraden und während dem Prozess ein Azure-Abonnement erstellen. Erfahren Sie mehr unter Upgrade von GitHub-Modellen auf Azure KI-Modelle in KI Services.
• Eine Azure KI Services-Ressource. Weitere Informationen finden Sie unter Erstellen einer Azure KI Services-Ressource.

Modell hinzufügen

Im Gegensatz zu GitHub-Modellen, bei denen alle Modelle bereits konfiguriert sind, können Sie mit der Azure KI Services-Ressource steuern, welche Modelle in Ihrem Endpunkt und unter welcher Konfiguration verfügbar sind.

Sie können alle Modelle hinzufügen, die Sie im Endpunkt benötigen, indem Sie Azure KI Foundry für GitHub verwenden. Im folgenden Beispiel fügen wir dem Dienst ein Mistral-Large-Modell hinzu:

1. Wechseln Sie zum Abschnitt Modellkatalog in Azure KI Foundry für GitHub.

2. Scrollen Sie zu dem Modell, an dem Sie interessiert sind, und wählen Sie es aus.

3. Sie können die Details des Modells auf der Modellkarte überprüfen.

4. Klicken Sie auf Bereitstellen.

5. Bei Modellanbietern, die zusätzliche Vertragsbedingungen erfordern, werden Sie aufgefordert, diese Geschäftsbedingungen zu akzeptieren. Mistral-Modelle fordern Sie beispielsweise auf, andere Geschäftsbedingungen zu akzeptieren. Akzeptieren Sie die Geschäftsbedingungen in diesen Fälle, indem Sie Abonnieren und Bereitstellen auswählen.

   

6. Sie können die Bereitstellungseinstellungen zu diesem Zeitpunkt konfigurieren. Standardmäßig erhält die Bereitstellung den Namen des Modells, das Sie bereitstellen. Der Bereitstellungsname wird im Parameter model verwendet, um die Anforderung an diese bestimmte Modellbereitstellung weiterzuleiten. Mit dieser Einstellung können Sie auch bestimmte Namen für Ihre Modelle konfigurieren, wenn Sie bestimmte Konfigurationen anfügen. Beispielsweise o1-preview-safe für ein Modell mit einem strengen Inhaltssicherheitsfilter.

Tipp

Jedes Modell kann unterschiedliche Bereitstellungstypen unterstützen und unterschiedliche Garantien für Datenresidenz oder Durchsatz bieten. Weitere Details finden Sie unter Bereitstellungstypen.

7. Verwenden Sie die Option Anpassen, wenn Sie Einstellungen wie Inhaltsfilter oder Ratenbegrenzung (sofern verfügbar) ändern müssen.

8. Klicken Sie auf Bereitstellen.

9. Nach Abschluss der Bereitstellung wird das neue Modell auf der Seite aufgeführt und ist bereit für die Verwendung.

Verwenden des Modells

Bereitgestellte Modelle in Azure KI Services können mithilfe des Rückschlussendpunkts des Azure KI-Modells für die Ressource genutzt werden.

Gehen Sie zur Verwendung wie folgt vor:

1. Rufen Sie die Rückschlussendpunkt-URL und die Schlüssel des Azure KI-Modells von der Bereitstellungsseite oder der Seite Übersicht ab. Wenn Sie die Microsoft Entra ID-Authentifizierung verwenden, benötigen Sie keinen Schlüssel.

   

2. Verwenden Sie die Modellinferenz-Endpunkt-URL und die Schlüssel von vorher, wenn Sie Ihren Client erstellen. Im folgenden Beispiel wird das Azure KI-Rückschluss-Paket verwendet:

   Python

   Installieren Sie das Paket azure-ai-inference mit Ihrem Paket-Manager, z. B. pip:

   pip install azure-ai-inference>=1.0.0b5
   

   Warnung

   Azure KI Services-Ressource erfordert die Version azure-ai-inference>=1.0.0b5 für Python.

   Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

   import os
   from azure.ai.inference import ChatCompletionsClient
   from azure.core.credentials import AzureKeyCredential
   
   client = ChatCompletionsClient(
       endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
       credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
   )
   

   Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

   JavaScript

   Installieren Sie das Paket @azure-rest/ai-inference mithilfe von npm:

   npm install @azure-rest/ai-inference
   

   Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

   import ModelClient from "@azure-rest/ai-inference";
   import { isUnexpected } from "@azure-rest/ai-inference";
   import { AzureKeyCredential } from "@azure/core-auth";
   
   const client = new ModelClient(
       process.env.AZUREAI_ENDPOINT_URL, 
       new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
   );
   

   Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

   C#

   Installieren Sie die Azure KI-Rückschlussbibliothek mit dem folgenden Befehl:

   dotnet add package Azure.AI.Inference --prerelease
   

   Importieren Sie die folgenden Namespaces:

   using Azure;
   using Azure.Identity;
   using Azure.AI.Inference;
   

   Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

   ChatCompletionsClient client = new ChatCompletionsClient(
       new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
       new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
   );
   

   Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

   Java

   Fügen Sie Ihrem Projekt das Paket hinzu:

   <dependency>
       <groupId>com.azure</groupId>
       <artifactId>azure-ai-inference</artifactId>
       <version>1.0.0-beta.1</version>
   </dependency>
   

   Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

   ChatCompletionsClient client = new ChatCompletionsClientBuilder()
       .credential(new AzureKeyCredential("{key}"))
       .endpoint("{endpoint}")
       .buildClient();
   

   Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

   REST

   Im Referenzabschnitt finden Sie Informationen zum API-Entwurf und zu den verfügbaren Parametern. Beispiel: Im Referenzabschnitt für Chatvervollständigungen wird erläutert, wie Sie die Route /chat/completions zum Generieren von Vorhersagen basierend auf Anweisungen im Chatformat verwenden. Beachten Sie, dass der Pfad /models in den Stamm der URL eingeschlossen ist:

   Anforderung

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

3. Geben Sie beim Erstellen Ihrer Anforderung den Parameter model an, und fügen Sie den von Ihnen erstellten Modellbereitstellungsnamen ein.

   Python

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
   options.setModel("Mistral-large");
   
   ChatCompletions response = client.complete(options);
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   REST

   Anforderung

   POST models/chat/completions?api-version=2024-04-01-preview
   Authorization: Bearer <bearer-token>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

Tipp

Wenn Sie den Endpunkt verwenden, können Sie den Parameter model in jede verfügbare Modellbereitstellung in Ihrer Ressource ändern.

Darüber hinaus können Azure OpenAI-Modelle mithilfe des Azure OpenAI Service-Endpunkts in der Ressource genutzt werden. Dieser Endpunkt ist exklusiv für jede Modellbereitstellung und verfügt über eine eigene URL.

Anpassung von Modellbereitstellungen

Beim Erstellen von Modellbereitstellungen können Sie andere Einstellungen konfigurieren, einschließlich Inhaltsfilterung und Ratengrenzwerte. Um weitere Einstellungen zu konfigurieren, wählen Sie die Option Anpassen im Bereitstellungsassistenten aus.

Hinweis

Konfigurationen können je nach dem Modell variieren, das Sie bereitstellen.

Nächste Schritte

• Entwickeln von Anwendungen mithilfe des Azure KI-Modellinferenzdiensts in Azure KI Services