Upgrade von GitHub-Modellen auf den Azure KI-Modellinferenzdienst

Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub-Modelle verwenden, um KI-Modelle zu suchen und kostenlos mit ihnen zu experimentieren. Der Playground und die kostenlose API-Nutzung sind für Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen ratenbegrenzt. Wenn Sie eine Ratenbegrenzung erreichen, müssen Sie warten, bis die erreichte Ratenbegrenzung zurückgesetzt wird, bevor Sie weitere Anforderungen machen können.

Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie Ihre Erfahrung aktualisieren, indem Sie eine Azure KI Services-Ressource in einem Azure-Abonnement bereitstellen und mit der Verwendung des Azure KI-Modellinferenzdiensts beginnen. Sie brauchen in Ihrem Code nichts weiter zu ändern.

Im folgenden Artikel wird erläutert, wie Sie mit GitHub-Modellen in Azure KI-Modellen für Azure KI Services beginnen.

Voraussetzungen

Um die Schritte dieses Tutorials abzuschließen, benötigen Sie Folgendes:

• Ein GitHub-Konto mit Zugriff auf GitHub-Modelle.

• Ein Azure-Abonnement. Wenn Sie kein Konto haben, werden Sie aufgefordert, ein Azure-Konto zu erstellen oder Ihr Konto auf ein Vorausbezahlungskonto zu aktualisieren, wenn Sie bereit sind, Ihr Modell in der Produktion bereitzustellen.

Upgrade auf Azure KI Services

Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung sollen Ihnen helfen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, verwenden Sie einen Schlüssel und Endpunkt aus einem kostenpflichtigen Azure-Konto. Sie brauchen in Ihrem Code nichts weiter zu ändern.

So rufen Sie den Schlüssel und den Endpunkt ab:

1. Wählen Sie im Playground für Ihr Modell API-Schlüssel abrufen aus.

2. Wählen Sie Produktionsschlüssel abrufen aus.

3. Wenn Sie kein Azure-Konto haben, wählen Sie „Mein Konto erstellen“ aus, und führen Sie die Schritte zum Erstellen eines Kontos aus.

4. Wenn Sie über ein Azure-Konto verfügen, wählen Sie Wieder anmelden aus.

5. Wenn Ihr vorhandenes Konto ein kostenloses Konto ist, müssen Sie zuerst ein Upgrade auf einen Vorausbezahlungsplan durchführen. Nachdem Sie ein Upgrade durchgeführt haben, kehren Sie zum Playground zurück, und wählen Sie erneut API-Schlüssel abrufen aus, und melden Sie sich mit Ihrem aktualisierten Konto an.

6. Sobald Sie sich bei Ihrem Azure-Konto angemeldet haben, werden Sie zum Azure KI Foundry geführt.

7. Wählen Sie oben auf der Seite Zu Ihrer GitHub KI-Ressource wechseln aus, um zu Azure KI Foundry / Github](https://ai.azure.com/github) zu wechseln. Es kann ein oder zwei Minuten dauern, bis Ihre anfänglichen Modelldetails im KI Foundry-Portal geladen werden.

8. Die Seite wird mit den Details Ihres Modells geladen. Wählen Sie die Schaltfläche Bereitstellung erstellen aus, um das Modell für Ihr Konto bereitzustellen.

9. Nach der Bereitstellung werden der API-Schlüssel und der Endpunkt Ihres Modells in der Übersicht angezeigt. Verwenden Sie diese Werte in Ihrem Code, um das Modell in Ihrer Produktionsumgebung zu verwenden.

   

An diesem Punkt ist das von Ihnen ausgewählte Modell bereit genutzt zu werden.

Tipp

Verwenden Sie den Parameter model="<deployment-name>, um Ihre Anforderung an diese Bereitstellung weiterzuleiten. Bereitstellungen funktionieren als Alias eines gegebenen Modells unter bestimmten Konfigurationen. Auf der Konzeptseite Routing erfahren Sie, wie Azure KI Services Bereitstellungen weiterleitet.

Upgraden Ihres Codes für die Verwendung des neuen Endpunkts

Sobald Ihre Azure KI Services-Ressource konfiguriert wurde, können Sie diese aus Ihrem Code heraus nutzen. Sie benötigen dafür die Endpunkt-URL und den Schlüssel, die im Abschnitt Übersicht zu finden sind:

Sie können alle unterstützten SDKs verwenden, um Vorhersagen aus dem Endpunkt abzurufen. Die folgenden SDKs werden offiziell unterstützt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure KI-Rückschluss-SDK

Weitere Details und Beispiele finden Sie im Abschnitt Unterstützte Sprachen und SDKs. Das folgende Beispiel zeigt, wie Sie das Azure KI-Modellinferenz-SDK mit dem neu bereitgestellten Modell verwenden:

Python

Installieren Sie das Paket azure-ai-inference mit Ihrem Paket-Manager, z. B. pip:

pip install azure-ai-inference>=1.0.0b5

Warnung

Azure KI Services-Ressource erfordert die Version azure-ai-inference>=1.0.0b5 für Python.

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

JavaScript

Installieren Sie das Paket @azure-rest/ai-inference mithilfe von npm:

npm install @azure-rest/ai-inference

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

C#

Installieren Sie die Azure KI-Rückschlussbibliothek mit dem folgenden Befehl:

dotnet add package Azure.AI.Inference --prerelease

Importieren Sie die folgenden Namespaces:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

Java

Fügen Sie Ihrem Projekt das Paket hinzu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

REST

Im Referenzabschnitt finden Sie Informationen zum API-Entwurf und zu den verfügbaren Parametern. Beispiel: Im Referenzabschnitt für Chatvervollständigungen wird erläutert, wie Sie die Route /chat/completions zum Generieren von Vorhersagen basierend auf Anweisungen im Chatformat verwenden. Beachten Sie, dass der Pfad /models in den Stamm der URL eingeschlossen ist:

Anforderung

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Generieren Sie Ihren ersten Chatabschluss:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
options.setModel("Mistral-large");

ChatCompletions response = client.complete(options);

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Anforderung

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Untersuchen weiterer Features

Azure KI-Modellinferenz unterstützt weitere Features, die in GitHub-Modellen nicht verfügbar sind, einschließlich:

• Erkunden Sie den Modellkatalog, um andere Modelle anzuzeigen, die in GitHub-Modellen nicht verfügbar sind.
• Konfigurieren Sie die Inhaltsfilterung.
• Konfigurieren Sie die Ratenbegrenzung (für bestimmte Modelle).
• Erkunden Sie weitere Bereitstellungs-SKUs (für bestimmte Modelle).
• Konfigurieren Sie ein privates Netzwerk.

Haben Sie Probleme?

Weitere Hilfe finden Sie im Abschnitt „Häufig gestellte Fragen“.

Nächste Schritte

• Fügen Sie Ihrem Endpunkt weitere Modelle hinzu.
• Erkunden Sie den Modellkatalog im Azure KI Foundry-Portal.