Konfigurera AI-projektet för att använda Azure AI-modellinferens

Om du redan har ett AI-projekt i Azure AI Foundry distribuerar modellkatalogen modeller från tredjepartsmodellleverantörer som fristående slutpunkter i projektet som standard. Varje modelldistribution har en egen uppsättning URI och autentiseringsuppgifter för åtkomst till den. Å andra sidan distribueras Azure OpenAI-modeller till Azure AI Services-resursen eller till Azure OpenAI Service-resursen.

Du kan ändra det här beteendet och distribuera båda typerna av modeller till Azure AI Services-resurser med hjälp av Azure AI-modellinferens. När de har konfigurerats sker distributioner av modeller som en tjänstmodeller som stöder betala per användning-fakturering till den anslutna Azure AI Services-resursen i stället till själva projektet, vilket ger dig en enda uppsättning slutpunkter och autentiseringsuppgifter för att få åtkomst till alla modeller som distribueras i Azure AI Foundry. Du kan hantera modeller för Azure OpenAI- och tredjepartsmodeller på samma sätt.

Dessutom ger distribution av modeller till Azure AI-modellinferens de extra fördelarna med:

• Routningsfunktion.
• Anpassade innehållsfilter.
• Distributionstyp för global kapacitet.
• Nyckellös autentisering med rollbaserad åtkomstkontroll.

I den här artikeln får du lära dig hur du konfigurerar projektet för att använda modeller som distribuerats i Azure AI-modellinferens i Azure AI-tjänster.

Förutsättningar

För att slutföra självstudierna behöver du:

• En Azure-prenumeration Om du använder GitHub-modeller kan du uppgradera din upplevelse och skapa en Azure-prenumeration i processen. Läs Uppgradera från GitHub-modeller till Azure AI-modellinferens om så är fallet.

• En Azure AI-tjänstresurs. Mer information finns i Skapa en Azure AI Services-resurs.

• Ett Azure AI-projekt och Azure AI Hub.

  Dricks

  När ai-hubben etableras skapas en Azure AI-tjänstresurs med den och de två resurserna är anslutna. Om du vill se vilken Azure AI-tjänstresurs som är ansluten till projektet går du till Azure AI Foundry Portal>Management Center>Anslutna resurser och hittar anslutningar av typen AI Services.

Konfigurera projektet att använda Azure AI-modellinferens

Följ dessa steg för att konfigurera projektet att använda azure AI-modellinferensfunktionen i Azure AI Services:

1. Gå till Azure AI Foundry-portalen.

2. I det övre navigeringsfältet, i det högra hörnet, väljer du ikonen Förhandsgranskningsfunktioner . Ett sammanhangsberoende blad visas till höger på skärmen.

3. Aktivera funktionen Distribuera modeller till Azure AI-modellinferenstjänsten .

   

4. Stäng panelen.

5. På landningssidan för projektet identifierar du den Azure AI Services-resurs som är ansluten till projektet. Använd listrutan för att ändra den resurs som du är ansluten till om du behöver det.

6. Om ingen resurs visas i listrutan har din AI Hub inte någon Azure AI Services-resurs ansluten till den. Skapa en ny anslutning genom att:

   1. I det nedre vänstra hörnet på skärmen väljer du Hanteringscenter.

   2. I avsnittet Anslutningar väljer du Ny anslutning.

   3. Välj Azure AI-tjänster.

   4. Leta efter en befintlig Azure AI Services-resurs i din prenumeration i webbläsaren.

   5. Välj Lägg till anslutning.

   6. Den nya anslutningen läggs till i hubben.

   7. Gå tillbaka till projektets landningssida för att fortsätta och välj nu den nya anslutningen som skapats. Uppdatera sidan om den inte visas omedelbart.

7. Under Inkluderade funktioner ser du till att du väljer Azure AI-slutsatsdragning. Slutpunkts-URI för Azure AI-modellslutpunkt visas tillsammans med autentiseringsuppgifterna för att få åtkomst till den.

   

   Dricks

   Varje Azure AI-tjänstresurs har en enda slutpunkt för Azure AI-modellinferens som kan användas för att komma åt alla modelldistributioner på den. Samma slutpunkt hanterar flera modeller beroende på vilka som är konfigurerade. Lär dig mer om hur slutpunkten fungerar.

8. Anteckna slutpunkts-URL:en och autentiseringsuppgifterna.

Skapa modelldistributionen i Azure AI-modellinferens

Följ dessa steg för varje modell som du vill distribuera under Azure AI-modellinferens:

1. Gå till avsnittet Modellkatalog i Azure AI Foundry-portalen.

2. Rulla till den modell som du är intresserad av och välj den.

   

3. Du kan granska informationen om modellen på modellkortet.

4. Välj distribuera.

5. För modellleverantörer som kräver fler avtalsvillkor uppmanas du att acceptera dessa villkor. Acceptera villkoren för dessa fall genom att välja Prenumerera och distribuera.

   

6. Du kan konfigurera distributionsinställningarna just nu. Som standard tar distributionen emot namnet på den modell som du distribuerar. Distributionsnamnet används i parametern model för begäran om att dirigera till just den här modelldistributionen. Det gör att du kan konfigurera specifika namn för dina modeller när du kopplar specifika konfigurationer. Till exempel o1-preview-safe för en modell med ett strikt innehållssäkerhetsfilter.

7. Vi väljer automatiskt en Azure AI Services-anslutning beroende på ditt projekt eftersom du har aktiverat funktionen Distribuera modeller till Azure AI-modellinferenstjänsten. Använd alternativet Anpassa för att ändra anslutningen baserat på dina behov. Om du distribuerar under standarddistributionstypen måste modellerna vara tillgängliga i regionen för Azure AI Services-resursen.

   

8. Välj distribuera.

9. När distributionen är klar visas slutpunkts-URL:en och autentiseringsuppgifterna för att få åtkomst till modellen. Observera att den angivna URL:en och autentiseringsuppgifterna nu är desamma som på landningssidan för projektet för slutpunkten för Azure AI-modellens slutsatsdragning.

10. Du kan visa alla tillgängliga modeller under resursen genom att gå till avsnittet Modeller + slutpunkter och hitta gruppen för anslutningen till din AI Services-resurs:

    

Uppgradera koden med den nya slutpunkten

När din Azure AI Services-resurs har konfigurerats kan du börja använda den från din kod. Du behöver slutpunkts-URL:en och nyckeln för den, som finns i avsnittet Översikt :

Du kan använda någon av de SDK:er som stöds för att få ut förutsägelser från slutpunkten. Följande SDK:er stöds officiellt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI-slutsatsdragnings-SDK
• Azure AI Foundry SDK

Mer information och exempel finns i avsnittet språk som stöds och SDK:er . I följande exempel visas hur du använder Azure AI-modellens slutsatsdragnings-SDK med den nyligen distribuerade modellen:

Python

Installera paketet azure-ai-inference med hjälp av pakethanteraren, till exempel pip:

pip install azure-ai-inference>=1.0.0b5

Varning

Azure AI Services-resursen kräver versionen azure-ai-inference>=1.0.0b5 för Python.

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

JavaScript

Installera paketet @azure-rest/ai-inference med npm:

npm install @azure-rest/ai-inference

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

C#

Installera Azure AI-slutsatsdragningsbiblioteket med följande kommando:

dotnet add package Azure.AI.Inference --prerelease

Importera följande namnområden:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

Java

Lägg till paketet i projektet:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Sedan kan du använda paketet för att använda modellen. I följande exempel visas hur du skapar en klient för att använda chattavslutningar:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Utforska våra exempel och läs API-referensdokumentationen för att komma igång.

REST

Använd referensavsnittet för att utforska API-designen och vilka parametrar som är tillgängliga. Referensavsnittet för chattavslut beskriver till exempel hur du använder vägen /chat/completions för att generera förutsägelser baserat på chattformaterade instruktioner. Observera att sökvägen /models ingår i URL:ens rot:

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Generera din första chatt:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Begär

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Använd parametern model="<deployment-name> för att dirigera din begäran till den här distributionen. Distributioner fungerar som ett alias för en viss modell under vissa konfigurationer. Se sidan Routningskoncept för att lära dig hur Azure AI Services dirigerar distributioner.

Flytta från serverlösa API-slutpunkter till Azure AI-modellinferens

Även om du konfigurerade projektet för att använda Azure AI-modellinferensen fortsätter befintliga modelldistributioner att finnas i projektet som serverlösa API-slutpunkter. Dessa distributioner flyttas inte åt dig. Därför kan du progressivt uppgradera befintlig kod som refererar till tidigare modelldistributioner. För att börja flytta modelldistributionerna rekommenderar vi följande arbetsflöde:

1. Återskapa modelldistributionen i Azure AI-modellinferens. Den här modelldistributionen är tillgänglig under slutpunkten för Azure AI-modellens slutsatsdragning.

2. Uppgradera koden så att den nya slutpunkten används.

3. Rensa projektet genom att ta bort den serverlösa API-slutpunkten.

Uppgradera koden med den nya slutpunkten

När modellerna har distribuerats under Azure AI Services kan du uppgradera koden för att använda slutpunkten för Azure AI-modellens slutsatsdragning. Den största skillnaden mellan hur serverlösa API-slutpunkter och Azure AI-modellinferens fungerar finns i slutpunkts-URL:en och modellparametern. Även om serverlösa API-slutpunkter har en uppsättning URI och nycklar per modelldistribution, har Azure AI-modellinferens bara en för alla.

I följande tabell sammanfattas de ändringar som du måste införa:

Property	Serverlösa API-slutpunkter	Slutsatsdragning för Azure AI-modell
Slutpunkt	https://<endpoint-name>.<region>.inference.ai.azure.com	https://<ai-resource>.services.ai.azure.com/models
Merit	En per modell/slutpunkt.	En per Azure AI Services-resurs. Du kan också använda Microsoft Entra-ID.
Modellparameter	Inga.	Obligatoriskt. Använd namnet på modelldistributionen.

Rensa befintliga serverlösa API-slutpunkter från projektet

När du har omstrukturerat koden kanske du vill ta bort befintliga serverlösa API-slutpunkter i projektet (om det finns några).

Följ dessa steg för varje modell som distribueras som serverlösa API-slutpunkter:

1. Gå till Azure AI Foundry-portalen.

2. Välj Modeller + slutpunkter.

3. Identifiera slutpunkterna av typen Serverlös och välj den som du vill ta bort.

4. Välj alternativet Ta bort.

   Varning

   Det går inte att återställa den här åtgärden. Kontrollera att slutpunkten för närvarande inte används av någon annan användare eller kod.

5. Bekräfta åtgärden genom att välja Ta bort.

6. Om du har skapat en serverlös API-anslutning till den här slutpunkten från andra projekt tas sådana anslutningar inte bort och fortsätter att peka på den obefintliga slutpunkten. Ta bort någon av dessa anslutningar för att undvika fel.

Begränsningar

Tänk på följande begränsningar när du konfigurerar projektet för att använda Azure AI-modellinferens:

• Endast modeller som stöder betala per användning-fakturering (modeller som en tjänst) är tillgängliga för distribution till Azure AI-modellinferens. Modeller som kräver beräkningskvot från din prenumeration (Hanterad beräkning), inklusive anpassade modeller, kan bara distribueras i ett visst projekt som Managed Online-slutpunkter och fortsätter att vara tillgängliga med hjälp av sin egen uppsättning slutpunkts-URI och autentiseringsuppgifter.
• Modeller som är tillgängliga som både betala per användning-fakturering och hanterade beräkningserbjudanden distribueras som standard till Azure AI-modellinferens i Azure AI-tjänstresurser. Azure AI Foundry-portalen erbjuder inte något sätt att distribuera dem till hanterade onlineslutpunkter. Du måste inaktivera funktionen som nämns i Konfigurera projektet för att använda Azure AI-modellinferens eller använda Azure CLI/Azure ML SDK/ARM-mallarna för att utföra distributionen.

Nästa steg

• Lägg till fler modeller i slutpunkten.