Upgrade von GitHub-Modellen auf die Azure KI-Modellinferenz

Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub-Modelle verwenden, um KI-Modelle zu suchen und kostenlos mit ihnen zu experimentieren. Der Playground und die kostenlose API-Nutzung sind für Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen ratenbegrenzt. Wenn Sie eine Ratenbegrenzung erreichen, müssen Sie warten, bis die erreichte Ratenbegrenzung zurückgesetzt wird, bevor Sie weitere Anforderungen machen können.

Sobald Ihre Anwendung produktionsbereit ist, können Sie Ihre Erfahrung upgraden, indem Sie eine Azure KI Services-Ressource in einem Azure-Abonnement bereitstellen und mit der Verwendung des Azure KI-Modellinferenzdiensts beginnen. Sie brauchen in Ihrem Code nichts weiter zu ändern.

Im folgenden Artikel werden die ersten Schritte mit GitHub-Modellen und die Bereitstellung einer Azure KI Services-Ressource mit dem Azure KI-Modellinferenzdienst erläutert.

Voraussetzungen

Um die Schritte dieses Tutorials abzuschließen, benötigen Sie Folgendes:

• Ein GitHub-Konto mit Zugriff auf GitHub-Modelle.
• Ein Azure-Abonnement. Falls Sie kein Abonnement haben, werden Sie aufgefordert, ein Azure-Konto zu erstellen oder Ihr Konto auf ein Vorausbezahlungskonto zu aktualisieren, sobald Sie bereit sind, Ihr Modell für die Produktion bereitzustellen.

Upgrade auf Azure KI-Modellinferenz

Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung sollen Ihnen helfen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, verwenden Sie einen Schlüssel und Endpunkt aus einem kostenpflichtigen Azure-Konto. Sie brauchen in Ihrem Code nichts weiter zu ändern.

So rufen Sie den Schlüssel und den Endpunkt ab:

1. Navigieren Sie zu GitHub-Modelle, und wählen Sie das Modell aus, an dem Sie interessiert sind.

2. Wählen Sie im Playground für Ihr Modell API-Schlüssel abrufen aus.

3. Wählen Sie Produktionsschlüssel abrufen aus.

   

4. Wenn Sie kein Azure-Konto haben, wählen Sie „Mein Konto erstellen“ aus, und führen Sie die Schritte zum Erstellen eines Kontos aus.

5. Wenn Sie über ein Azure-Konto verfügen, wählen Sie Wieder anmelden aus.

6. Wenn Ihr vorhandenes Konto ein kostenloses Konto ist, müssen Sie zuerst ein Upgrade auf einen Vorausbezahlungsplan durchführen. Nachdem Sie ein Upgrade durchgeführt haben, kehren Sie zum Playground zurück, und wählen Sie erneut API-Schlüssel abrufen aus, und melden Sie sich mit Ihrem aktualisierten Konto an.

7. Sobald Sie sich bei Ihrem Azure-Konto angemeldet haben, werden Sie zu Azure KI Studio > GitHub weitergeleitet. Es kann ein oder zwei Minuten dauern, bis Ihre anfänglichen Modelldetails in KI Studio geladen werden.

8. Die Seite wird mit den Details Ihres Modells geladen. Wählen Sie die Schaltfläche Bereitstellen aus, um das Modell für Ihr Konto bereitzustellen.

9. Nach der Bereitstellung werden der API-Schlüssel und der Endpunkt Ihres Modells in der Übersicht angezeigt. Verwenden Sie diese Werte in Ihrem Code, um das Modell in Ihrer Produktionsumgebung zu verwenden.

An diesem Punkt ist das von Ihnen ausgewählte Modell bereit genutzt zu werden.

Upgraden Ihres Codes für die Verwendung des neuen Endpunkts

Sobald Ihre Azure KI Services-Ressource konfiguriert wurde, können Sie diese aus Ihrem Code heraus nutzen. Um die Azure KI Services-Ressource zu nutzen, benötigen Sie die Endpunkt-URL und den Schlüssel, die im Abschnitt Übersicht angezeigt werden:

Sie können alle unterstützten SDKs verwenden, um Vorhersagen aus dem Endpunkt abzurufen. Die folgenden SDKs werden offiziell unterstützt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure KI-Rückschluss-SDK

Weitere Details und Beispiele finden Sie im Abschnitt Unterstützte Sprachen und SDKs. Das folgende Beispiel zeigt, wie Sie das Azure KI-Modellinferenz-SDK mit dem neu bereitgestellten Modell verwenden:

Python

Installieren Sie das Paket azure-ai-inference mit Ihrem Paket-Manager, z. B. pip:

pip install azure-ai-inference>=1.0.0b5

Warnung

Azure KI Services-Ressource erfordert die Version azure-ai-inference>=1.0.0b5 für Python.

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

JavaScript

Installieren Sie das Paket @azure-rest/ai-inference mithilfe von npm:

npm install @azure-rest/ai-inference

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

C#

Installieren Sie die Azure KI-Rückschlussbibliothek mit dem folgenden Befehl:

dotnet add package Azure.AI.Inference --prerelease

Importieren Sie die folgenden Namespaces:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

Java

Fügen Sie Ihrem Projekt das Paket hinzu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

REST

Im Referenzabschnitt finden Sie Informationen zum API-Entwurf und zu den verfügbaren Parametern. Beispiel: Im Referenzabschnitt für Chatvervollständigungen wird erläutert, wie Sie die Route /chat/completions zum Generieren von Vorhersagen basierend auf Anweisungen im Chatformat verwenden. Beachten Sie, dass der Pfad /models in den Stamm der URL eingeschlossen ist:

Anforderung

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Generieren Sie Ihren ersten Chatabschluss:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Anforderung

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Verwenden Sie den Parameter model="<deployment-name>, um Ihre Anforderung an diese Bereitstellung weiterzuleiten. Bereitstellungen funktionieren als Alias eines gegebenen Modells unter bestimmten Konfigurationen. Auf der Konzeptseite Routing erfahren Sie, wie Azure KI Services Bereitstellungen weiterleitet.

Wichtig

Im Gegensatz zu GitHub-Modellen, bei denen alle Modelle bereits konfiguriert sind, können Sie mit der Azure KI Services-Ressource steuern, welche Modelle in Ihrem Endpunkt und unter welcher Konfiguration verfügbar sind. Fügen Sie so viele Modelle hinzu, wie Sie verwenden möchten, bevor Sie sie im model-Parameter angeben. Erfahren Sie, wie Sie Ihrer Ressource weitere Modelle hinzufügen.

Erkunden zusätzlicher Features

Der Azure KI-Modellinferenzdienst unterstützt weitere Features, die in GitHub-Modellen nicht verfügbar sind, einschließlich:

• Erkunden Sie den Modellkatalog, um zusätzliche Modelle anzuzeigen, die in GitHub-Modellen nicht verfügbar sind.
• Konfigurieren Sie die Inhaltsfilterung.
• Konfigurieren Sie die Ratenbegrenzung (für bestimmte Modelle).
• Erkunden Sie weitere Bereitstellungs-SKUs (für bestimmte Modelle).
• Konfigurieren Sie ein privates Netzwerk.

Haben Sie Probleme?

Weitere Hilfe finden Sie im Abschnitt „Häufig gestellte Fragen“.

Nächste Schritte

• Erkunden Sie den Modellkatalog in Azure KI Studio.
• Fügen Sie Ihrem Endpunkt weitere Modelle hinzu.