Konfigurace projektu AI pro použití odvozování modelu Azure AI

Pokud už máte projekt AI v Azure AI Foundry, katalog modelů ve výchozím nastavení nasadí modely od poskytovatelů modelů třetích stran jako samostatné koncové body ve vašem projektu. Každé nasazení modelu má vlastní sadu identifikátorů URI a přihlašovacích údajů pro přístup k němu. Na druhou stranu se modely Azure OpenAI nasazují do prostředku Azure AI Services nebo do prostředku služby Azure OpenAI.

Toto chování můžete změnit a nasadit oba typy modelů do prostředků Azure AI Services pomocí odvození modelu Azure AI. Po nakonfigurování se nasazení modelů jako modelů služeb podporujících fakturaci s průběžnými platbami stane s připojeným prostředkem služeb Azure AI Services místo samotného projektu, takže máte jednu sadu koncových bodů a přihlašovacích údajů pro přístup ke všem modelům nasazeným v Azure AI Foundry. Modely poskytovatelů modelů Azure OpenAI a třetích stran můžete spravovat stejným způsobem.

Kromě toho nasazení modelů do odvozování modelu Azure AI přináší další výhody:

• Možnosti směrování.
• Filtry vlastního obsahu
• Globální typ nasazení kapacity
• Ověřování bez klíčů pomocí řízení přístupu na základě role

V tomto článku se dozvíte, jak nakonfigurovat projekt tak, aby používal modely nasazené v odvozování modelů Azure AI ve službách Azure AI.

Požadavky

Pro absolvování tohoto kurzu potřebujete:

• Předplatné Azure. Pokud používáte modely GitHubu, můžete prostředí upgradovat a v procesu vytvořit předplatné Azure. Pokud se jedná o váš případ, přečtěte si článek Upgrade z modelů GitHubu na model Azure AI.

• Prostředek služeb Azure AI Další informace najdete v tématu Vytvoření prostředku Azure AI Services.

• Projekt Azure AI a Azure AI Hub.

  Tip

  Když je vaše centrum AI zřízené, vytvoří se s ním prostředek služeb Azure AI a oba připojené prostředky. Pokud chcete zjistit, který prostředek služeb Azure AI je připojený k vašemu projektu, přejděte do centra pro správu portálu >Azure AI Foundry>Připojené prostředky a vyhledejte připojení typu Služby AI.

Konfigurace projektu pro použití odvození modelu Azure AI

Pokud chcete projekt nakonfigurovat tak, aby používal schopnost odvozování modelu Azure AI ve službách Azure AI Services, postupujte takto:

1. Přejděte na portál Azure AI Foundry.

2. V horním navigačním panelu v pravém rohu vyberte ikonu funkcí náhledu. Na pravé straně obrazovky se zobrazí kontextové okno.

3. Zapněte funkci Nasazení modelů do služby odvozování modelů Azure AI.

   

4. Zavřete panel.

5. Na cílové stránce projektu identifikujte prostředek azure AI Services připojený k vašemu projektu. V rozevíracím seznamu můžete změnit prostředek, který jste připojení, pokud potřebujete.

6. Pokud v rozevíracím seznamu není uvedený žádný prostředek, vaše centrum AI nemá připojené prostředky Azure AI Services. Vytvořte nové připojení pomocí:

   1. V levém dolním rohu obrazovky vyberte Centrum pro správu.

   2. V části Připojení vyberte Nové připojení.

   3. Vyberte služby Azure AI.

   4. V prohlížeči vyhledejte existující prostředek azure AI Services ve vašem předplatném.

   5. Vyberte Přidat připojení.

   6. Nové připojení se přidá do centra.

   7. Vraťte se na cílovou stránku projektu a pokračujte výběrem nového vytvořeného připojení. Aktualizujte stránku, pokud se nezobrazí okamžitě.

7. V části Zahrnuté možnosti se ujistěte, že vyberete odvození Azure AI. Identifikátor URI koncového bodu odvozování modelu Azure AI se zobrazí spolu s přihlašovacími údaji, které k němu mají přístup.

   

   Tip

   Každý prostředek služeb Azure AI má jeden koncový bod odvozování modelu Azure AI, který se dá použít pro přístup k libovolnému nasazení modelu. Stejný koncový bod obsluhuje více modelů v závislosti na tom, které modely jsou nakonfigurované. Přečtěte si, jak koncový bod funguje.

8. Poznamenejte si adresu URL a přihlašovací údaje koncového bodu.

Vytvoření nasazení modelu v odvozování modelu Azure AI

Pro každý model, který chcete nasadit v rámci odvození modelu Azure AI, postupujte takto:

1. Přejděte do části Katalog modelů na portálu Azure AI Foundry.

2. Posuňte se k modelu, který vás zajímá, a vyberte ho.

   

3. Podrobnosti o modelu můžete zkontrolovat na kartě modelu.

4. Vyberte Nasadit.

5. U poskytovatelů modelů, kteří vyžadují více podmínek smlouvy, budete požádáni o přijetí těchto podmínek. Přijměte podmínky v těchto případech výběrem možnosti Přihlásit se k odběru a nasazení.

   

6. V tuto chvíli můžete nakonfigurovat nastavení nasazení. Ve výchozím nastavení nasazení obdrží název modelu, který nasazujete. Název nasazení se používá v parametru model pro požadavek na směrování do tohoto konkrétního nasazení modelu. Umožňuje nakonfigurovat konkrétní názvy pro vaše modely při připojování konkrétních konfigurací. Například o1-preview-safe pro model s přísným filtrem obsahu pro bezpečnost obsahu.

7. V závislosti na vašem projektu automaticky vybereme připojení služeb Azure AI, protože jste zapnuli funkci Nasazení modelů do služby odvozování modelů Azure AI. Pomocí možnosti Přizpůsobit můžete změnit připojení podle vašich potřeb. Pokud nasazujete pod typem standardního nasazení, musí být modely dostupné v oblasti prostředku Azure AI Services.

   

8. Vyberte Nasadit.

9. Po dokončení nasazení se zobrazí adresa URL koncového bodu a přihlašovací údaje pro získání přístupu k modelu. Všimněte si, že zadaná adresa URL a přihlašovací údaje jsou teď stejné jako na cílové stránce projektu pro koncový bod odvozování modelu Azure AI.

10. Všechny modely dostupné v rámci prostředku můžete zobrazit tak, že přejdete do části Modely a koncové body a vyhledáte skupinu pro připojení k prostředku AI Services:

    

Upgrade kódu pomocí nového koncového bodu

Jakmile je prostředek Azure AI Services nakonfigurovaný, můžete ho začít využívat z kódu. Potřebujete pro něj adresu URL a klíč koncového bodu, který najdete v části Přehled :

K získání předpovědí z koncového bodu můžete použít některou z podporovaných sad SDK. Oficiálně se podporují následující sady SDK:

• OpenAI SDK
• Azure OpenAI SDK
• Balíček odvození Azure AI
• Balíček Azure AI Projects

Další podrobnosti a příklady najdete v části Podporované jazyky a sady SDK . Následující příklad ukazuje, jak používat balíček odvozování Azure AI s nově nasazeným modelem:

Python

Nainstalujte balíček azure-ai-inference pomocí správce balíčků, například pip:

pip install azure-ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

JavaScript

Nainstalujte balíček @azure-rest/ai-inference pomocí npm:

npm install @azure-rest/ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

C#

Pomocí následujícího příkazu nainstalujte knihovnu pro odvození Azure AI:

dotnet add package Azure.AI.Inference --prerelease

Naimportujte následující obory názvů:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Java

Přidejte balíček do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

REST

V referenční části se seznámíte s návrhem rozhraní API a s dostupnými parametry. Například referenční část pro dokončování chatu podrobně popisuje, jak použít trasu /chat/completions ke generování předpovědí na základě pokynů naformátovaných chatem. Všimněte si, že cesta /models je zahrnutá do kořenového adresáře adresy URL:

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Vygenerujte první dokončení chatu:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Pomocí parametru model="<deployment-name> můžete směrovat požadavek na toto nasazení. Nasazení fungují jako alias daného modelu v určitých konfiguracích. Informace o nasazení směrování služby Azure AI Services najdete na stránce konceptů směrování .

Přechod z koncových bodů bezserverového rozhraní API na odvozování modelu Azure AI

I když jste projekt nakonfigurovali tak, aby používal odvozování modelu Azure AI, stávající nasazení modelů v projektu nadále existují jako koncové body bezserverového rozhraní API. Tato nasazení se pro vás nepřesunou. Proto můžete postupně upgradovat jakýkoli existující kód, který odkazuje na předchozí nasazení modelu. Pokud chcete začít přesouvat nasazení modelu, doporučujeme následující pracovní postup:

1. Znovu vytvořte nasazení modelu v odvozování modelu Azure AI. Toto nasazení modelu je přístupné v rámci koncového bodu odvozování modelu Azure AI.

2. Upgradujte kód tak, aby používal nový koncový bod.

3. Vyčistíte projekt odebráním koncového bodu bezserverového rozhraní API.

Upgrade kódu pomocí nového koncového bodu

Jakmile jsou modely nasazené v rámci služeb Azure AI, můžete upgradovat kód tak, aby používal koncový bod odvozování modelu Azure AI. Hlavní rozdíl mezi tím, jak fungují koncové body bezserverového rozhraní API a odvozování modelu Azure AI, jsou umístěné v adrese URL koncového bodu a parametru modelu. I když koncové body bezserverového rozhraní API mají sadu identifikátorů URI a klíče pro každé nasazení modelu, odvozování modelů Azure AI má pro všechny jenom jeden.

Následující tabulka shrnuje změny, které musíte zavést:

Vlastnost	Koncové body bezserverového rozhraní API	Odvození modelu Azure AI
Koncový bod	https://<endpoint-name>.<region>.inference.ai.azure.com	https://<ai-resource>.services.ai.azure.com/models
Přihlašovací údaje	Jeden na model nebo koncový bod.	Jeden na prostředek azure AI Services. Můžete také použít ID Microsoft Entra.
Parametr modelu	Nezaokrouhlovat.	Povinný: Použijte název nasazení modelu.

Vyčištění existujících koncových bodů bezserverového rozhraní API z projektu

Po refaktoringu kódu můžete chtít odstranit existující koncové body bezserverového rozhraní API v projektu (pokud existuje).

Pro každý model nasazený jako koncové body bezserverového rozhraní API postupujte takto:

1. Přejděte na portál Azure AI Foundry.

2. Vyberte Modely a koncové body.

3. Identifikujte koncové body typu Bezserverové a vyberte koncový bod, který chcete odstranit.

4. Vyberte možnost Odstranit.

   Upozorňující

   Tuto operaci nejde vrátit zpět. Ujistěte se, že koncový bod aktuálně nepoužívá žádný jiný uživatel nebo část kódu.

5. Potvrďte operaci výběrem možnosti Odstranit.

6. Pokud jste vytvořili připojení bezserverového rozhraní API k tomuto koncovému bodu z jiných projektů, tato připojení se neodeberou a budou dál odkazovat na existující koncový bod. Odstraňte všechna tato připojení, abyste se vyhnuli chybám.

Omezení

Při konfiguraci projektu pro použití odvození modelu Azure AI zvažte následující omezení:

• Pro nasazení do modelu Azure AI jsou k dispozici pouze modely podporující fakturaci s průběžným platbou (modely jako služba). Modely, které vyžadují kvótu výpočetních prostředků z vašeho předplatného (Spravované výpočetní prostředky), včetně vlastních modelů, je možné nasadit pouze v rámci daného projektu jako spravované online koncové body a dál být přístupné pomocí vlastní sady identifikátorů URI a přihlašovacích údajů koncového bodu.
• Modely dostupné jako fakturace s průběžnými platbami i spravované nabídky výpočetních prostředků se ve výchozím nastavení nasazují do odvozování modelů Azure AI v prostředcích služeb Azure AI. Portál Azure AI Foundry nenabízí způsob, jak je nasadit do spravovaných online koncových bodů. Je nutné vypnout funkci uvedenou v části Konfigurace projektu tak, aby používala odvozování modelu Azure AI, nebo k nasazení použijte šablony Azure CLI, Azure ML SDK nebo ARM.

Další kroky

• Přidejte do koncového bodu další modely .