Uppgradera från GitHub-modeller till Azure AI-modellinferens

Om du vill utveckla ett generativt AI-program kan du använda GitHub-modeller för att hitta och experimentera med AI-modeller utan kostnad. Lekplatsen och den kostnadsfria API-användningen begränsas av begäranden per minut, begäranden per dag, token per begäran och samtidiga begäranden. Om du får en begränsad hastighet måste du vänta tills den hastighetsgräns som du når för att återställa innan du kan göra fler begäranden.

När du är redo att ta ditt program till produktion kan du uppgradera din upplevelse genom att distribuera en Azure AI Services-resurs i en Azure-prenumeration och börja använda Azure AI-modellinferenstjänsten. Du behöver inte ändra något annat i koden.

I följande artikel beskrivs hur du kommer igång från GitHub-modeller och distribuerar en Azure AI Services-resurs med Azure AI-modellinferens.

Förutsättningar

För att slutföra självstudierna behöver du:

• Ett GitHub-konto med åtkomst till GitHub-modeller.
• En Azure-prenumeration Om du inte har ett konto uppmanas du att skapa eller uppdatera ditt Azure-konto till ett betala per användning-konto när du är redo att distribuera din modell till produktion.

Uppgradera till Azure AI-modellinferens

Hastighetsgränserna för lekplatsen och den kostnadsfria API-användningen är avsedda att hjälpa dig att experimentera med modeller och utveckla ditt AI-program. När du är redo att ta programmet till produktion använder du en nyckel och slutpunkt från ett betalt Azure-konto. Du behöver inte ändra något annat i koden.

Så här hämtar du nyckeln och slutpunkten:

1. Kom till GitHub-modeller och välj den modell som du är intresserad av.

2. På lekplatsen för din modell väljer du Hämta API-nyckel.

3. Välj Hämta produktionsnyckel.

   

4. Om du inte har något Azure-konto väljer du Skapa mitt konto och följer stegen för att skapa ett.

5. Om du har ett Azure-konto väljer du Logga in igen.

6. Om ditt befintliga konto är ett kostnadsfritt konto måste du först uppgradera till en betala per användning-plan. När du har uppgraderat går du tillbaka till lekplatsen och väljer Hämta API-nyckel igen och loggar sedan in med ditt uppgraderade konto.

7. När du har loggat in på ditt Azure-konto tas du till Azure AI Studio > GitHub. Det kan ta en eller två minuter att läsa in din ursprungliga modellinformation i AI Studio.

8. Sidan läses in med din modells information. Välj knappen Distribuera för att distribuera modellen till ditt konto.

9. När den har distribuerats visas din modells API-nyckel och slutpunkt i översikten. Använd dessa värden i koden för att använda modellen i produktionsmiljön.

I det här läget är den modell som du har valt redo att använda.

Uppgradera koden för att använda den nya slutpunkten

När din Azure AI Services-resurs har konfigurerats kan du börja använda den från din kod. Om du vill använda Azure AI Services-resursen behöver du slutpunkts-URL:en och nyckeln, som är tillgängliga i avsnittet Översikt :

Du kan använda någon av de SDK:er som stöds för att få ut förutsägelser från slutpunkten. Följande SDK:er stöds officiellt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI-slutsatsdragnings-SDK

Mer information och exempel finns i avsnittet språk som stöds och SDK:er . I följande exempel visas hur du använder Azure AI-modellens slutsatsdragnings-SDK med den nyligen distribuerade modellen:

Python

Installera paketet azure-ai-inference med hjälp av pakethanteraren, till exempel pip:

pip install azure-ai-inference

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

JavaScript

Installera paketet @azure-rest/ai-inference med npm:

npm install @azure-rest/ai-inference

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

C#

Installera Azure AI-slutsatsdragningsbiblioteket med följande kommando:

dotnet add package Azure.AI.Inference --prerelease

Importera följande namnområden:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

Java

Lägg till paketet i projektet:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

REST

Använd referensavsnittet för att utforska API-designen och vilka parametrar som är tillgängliga. Referensavsnittet för chattavslut beskriver till exempel hur du använder vägen /chat/completions för att generera förutsägelser baserat på chattformaterade instruktioner. Observera att sökvägen /models ingår i URL:ens rot:

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Generera din första chatt:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Använd parametern model="<deployment-name> för att dirigera din begäran till den här distributionen. Distributioner fungerar som ett alias för en viss modell under vissa konfigurationer. Se sidan Routningskoncept för att lära dig hur Azure AI Services dirigerar distributioner.

Viktigt!

Till skillnad från GitHub-modeller där alla modeller redan är konfigurerade kan du med Azure AI Services-resursen styra vilka modeller som är tillgängliga i slutpunkten och under vilken konfiguration. Lägg till så många modeller som du planerar att använda innan du anger dem i parametern model . Lär dig hur du lägger till fler modeller i resursen.

Utforska ytterligare funktioner

Azure AI-modellinferens stöder ytterligare funktioner som inte är tillgängliga i GitHub-modeller, inklusive:

• Utforska modellkatalogen för att se ytterligare modeller som inte är tillgängliga i GitHub-modeller.
• Konfigurera nyckellös autentisering.
• Konfigurera innehållsfiltrering.
• Konfigurera hastighetsbegränsning (för specifika modeller).
• Utforska ytterligare distributions-SKU:er (för specifika modeller).
• Konfigurera privata nätverk.

Har du problem?

Mer hjälp finns i avsnittet Vanliga frågor och svar.

Nästa steg

• Utforska modellkatalogen i Azure AI Studio.
• Lägg till fler modeller i slutpunkten.