Koncový bod odvozování modelů ve službách Azure AI

Odvozování modelů Azure AI ve službách Azure AI umožňuje zákazníkům využívat nejvýkonnější modely od hlavních poskytovatelů modelů pomocí jednoho koncového bodu a přihlašovacích údajů. To znamená, že můžete přepínat mezi modely a využívat je z aplikace beze změny jednoho řádku kódu.

Tento článek vysvětluje, jak jsou modely uspořádány uvnitř služby a jak je pomocí koncového bodu odvozování vyvolat.

Nasazení

Odvozování modelů Azure AI zpřístupňuje modely s využitím konceptu nasazení . Nasazení představují způsob, jak model pojmenovat v určitých konfiguracích. Tuto konfiguraci modelu pak můžete vyvolat tak, že u vašich požadavků označíte její název.

Zachytávání nasazení:

• Název modelu
• Verze modelu
• Typ zřizování nebo kapacity¹
• Konfigurace^{filtrování obsahu 1}
• Konfigurace^{omezování rychlosti 1}

¹ Konfigurace se mohou lišit v závislosti na vybraném modelu.

Prostředek služeb Azure AI může mít tolik nasazení modelů, kolik je potřeba, a neúčtují se za ně náklady, pokud se pro tyto modely neprovádí odvození. Nasazení jsou prostředky Azure, a proto podléhají zásadám Azure.

Další informace o vytváření nasazení najdete v tématu Přidání a konfigurace nasazení modelu.

Koncový bod odvození Azure AI

Koncový bod odvozování Azure AI umožňuje zákazníkům použít jeden koncový bod se stejným ověřováním a schématem k vygenerování odvozování pro nasazené modely v prostředku. Tento koncový bod se řídí rozhraním API pro odvozování modelů Azure AI, které podporují odvozování všech modelů v modelu Azure AI. Podporuje následující modalidity:

• Vkládání textu
• Vkládání obrázků
• Dokončení chatu

Adresu URL koncového bodu a přihlašovací údaje můžete zobrazit v části Přehled :

Směrování

Koncový bod odvozování směruje požadavky na dané nasazení tím, že odpovídá parametru name uvnitř požadavku s názvem nasazení. To znamená, že nasazení fungují jako alias daného modelu v určitých konfiguracích. Tato flexibilita umožňuje nasadit daný model ve službě několikrát, ale v případě potřeby v různých konfiguracích.

Pokud například vytvoříte nasazení s názvem Mistral-large, může být takové nasazení vyvoláno takto:

Python

Nainstalujte balíček azure-ai-inference pomocí správce balíčků, například pip:

pip install azure-ai-inference>=1.0.0b5

Upozorňující

Prostředek Azure AI Services vyžaduje verzi azure-ai-inference>=1.0.0b5 pythonu.

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

JavaScript

Nainstalujte balíček @azure-rest/ai-inference pomocí npm:

npm install @azure-rest/ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

C#

Pomocí následujícího příkazu nainstalujte knihovnu pro odvození Azure AI:

dotnet add package Azure.AI.Inference --prerelease

Naimportujte následující obory názvů:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Java

Přidejte balíček do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

REST

V referenční části se seznámíte s návrhem rozhraní API a s dostupnými parametry. Například referenční část pro dokončování chatu podrobně popisuje, jak použít trasu /chat/completions ke generování předpovědí na základě pokynů naformátovaných chatem. Všimněte si, že cesta /models je zahrnutá do kořenového adresáře adresy URL:

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Tip

Směrování nasazení nerozlišuje malá a velká písmena.

Sady SDK

Koncový bod odvozování modelů Azure AI je podporovaný několika sadami SDK, včetně sady Azure AI Inference SDK, sady Azure AI Foundry SDK a sady Azure OpenAI SDK, které jsou dostupné v několika jazycích. V oblíbených architekturách, jako jsou LangChain, LangGraph, Llama-Index, Sémantické jádro a AG2, se také podporuje více integrací. Podrobnosti najdete v podporovaných programovacích jazycích a sadách SDK .

Koncový bod odvození Azure OpenAI

Modely Azure OpenAI nasazené do služeb AI podporují také rozhraní API Azure OpenAI. Toto rozhraní API zpřístupňuje všechny funkce modelů OpenAI a podporuje další funkce, jako jsou asistenti, vlákna, soubory a dávkové odvozování.

Koncové body odvozování Azure OpenAI fungují na úrovni nasazení a mají vlastní adresu URL, která je přidružená k jednotlivým z nich. Stejný mechanismus ověřování je však možné použít k jejich využití. Další informace najdete na referenční stránce pro rozhraní API Azure OpenAI.

Každé nasazení má adresu URL, která je zřetězením základní adresy URL Azure OpenAI a trasy /deployments/<model-deployment-name>.

Důležité

Pro koncový bod Azure OpenAI neexistuje žádný mechanismus směrování, protože každá adresa URL je výhradní pro každé nasazení modelu.

Sady SDK

Koncový bod Azure OpenAI podporuje sada OpenAI SDK (AzureOpenAI třída) a sady SDK Azure OpenAI, které jsou k dispozici v několika jazycích. Podrobnosti najdete v podporovaných jazycích .

Další kroky

• Modely
• Typy nasazení