Använda slutpunkten för Azure AI-modellinferens för att använda modeller

Azure AI-modellinferens i Azure AI-tjänster gör det möjligt för kunder att använda de mest kraftfulla modellerna från flaggskeppsmodellleverantörer med en enda slutpunkt och autentiseringsuppgifter. Det innebär att du kan växla mellan modeller och använda dem från ditt program utan att ändra en enda kodrad.

Den här artikeln beskriver hur du använder slutpunkten för slutsatsdragning för att anropa dem.

Slutpunkter

Azure AI-tjänster exponerar flera slutpunkter beroende på vilken typ av arbete du letar efter:

• Slutpunkt för Azure AI-modellinferens
• Azure OpenAI-slutpunkt

Med Slutpunkten för Azure AI-slutsatsdragning (vanligtvis med formuläret https://<resource-name>.services.ai.azure.com/models) kan kunder använda en enda slutpunkt med samma autentisering och schema för att generera slutsatsdragning för de distribuerade modellerna i resursen. Alla modeller stöder den här funktionen. Den här slutpunkten följer AZURE AI-modellinferens-API:et.

Azure OpenAI-modeller som distribueras till AI-tjänster stöder även Azure OpenAI API (vanligtvis med formuläret https://<resource-name>.openai.azure.com). Den här slutpunkten visar alla funktioner i OpenAI-modeller och stöder fler funktioner som assistenter, trådar, filer och batchinferens.

Mer information om hur du tillämpar Azure OpenAI-slutpunkten finns i Dokumentation om Azure OpenAI-tjänsten.

Använda routningsfunktionen i slutpunkten för Azure AI-modellinferens

Slutpunkten för slutsatsdragning dirigerar begäranden till en viss distribution genom att matcha parametern name i begäran till namnet på distributionen. Det innebär att distributioner fungerar som ett alias för en viss modell under vissa konfigurationer. Med den här flexibiliteten kan du distribuera en viss modell flera gånger i tjänsten men under olika konfigurationer om det behövs.

Om du till exempel skapar en distribution med namnet Mistral-largekan en sådan distribution anropas som:

Python

Installera paketet azure-ai-inference med hjälp av pakethanteraren, till exempel pip:

pip install azure-ai-inference>=1.0.0b5

Varning

Azure AI Services-resursen kräver versionen azure-ai-inference>=1.0.0b5 för Python.

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

JavaScript

Installera paketet @azure-rest/ai-inference med npm:

npm install @azure-rest/ai-inference

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

C#

Installera Azure AI-slutsatsdragningsbiblioteket med följande kommando:

dotnet add package Azure.AI.Inference --prerelease

Importera följande namnområden:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

Java

Lägg till paketet i projektet:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

REST

Använd referensavsnittet för att utforska API-designen och vilka parametrar som är tillgängliga. Referensavsnittet för chattavslut beskriver till exempel hur du använder vägen /chat/completions för att generera förutsägelser baserat på chattformaterade instruktioner. Observera att sökvägen /models ingår i URL:ens rot:

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

För en chattmodell kan du skapa en begäran på följande sätt:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Om du anger ett modellnamn som inte matchar en viss modelldistribution får du ett felmeddelande om att modellen inte finns. Du kan styra vilka modeller som är tillgängliga för användare genom att skapa modelldistributioner enligt beskrivningen i lägga till och konfigurera modelldistributioner.

Begränsningar

• Azure OpenAI Batch kan inte användas med slutpunkten för Azure AI-modellens slutsatsdragning. Du måste använda url:en för dedikerad distribution enligt beskrivningen i Batch API-supporten i Azure OpenAI-dokumentationen.
• Realtids-API stöds inte i slutpunkten för slutsatsdragning. Använd den dedikerade distributions-URL:en.

Nästa steg

• Använda inbäddningsmodeller
• Använda modeller för chattens slutförande