Upgrade z modelů GitHubu na odvození modelu Azure AI

Pokud chcete vyvíjet aplikaci generující AI, můžete pomocí modelů GitHubu zdarma najít a experimentovat s modely AI. Využití dětského hřiště a bezplatného rozhraní API jsou omezené požadavky za minutu, požadavky za den, tokeny na žádost a souběžné žádosti. Pokud získáte omezenou rychlost, musíte počkat na limit rychlosti, který jste dosáhli resetování, a teprve potom můžete provádět další žádosti.

Jakmile budete připraveni přenést aplikaci do produkčního prostředí, můžete prostředí upgradovat nasazením prostředku Azure AI Services v předplatném Azure a začít používat službu odvozování modelů Azure AI. V kódu nemusíte měnit nic jiného.

Následující článek vysvětluje, jak začít s modely GitHubu a nasadit prostředek azure AI Services s odvození modelu Azure AI.

Požadavky

Pro absolvování tohoto kurzu potřebujete:

• Účet GitHubu s přístupem k modelům GitHub.
• Předplatné Azure. Pokud ho nemáte, zobrazí se výzva k vytvoření nebo aktualizaci účtu Azure na účet s průběžnými platbou, až budete připraveni nasadit model do produkčního prostředí.

Upgrade na odvození modelu Azure AI

Omezení rychlosti pro dětské hřiště a bezplatné využití rozhraní API jsou určená k tomu, abyste mohli experimentovat s modely a vyvíjet aplikaci AI. Jakmile budete připraveni přenést aplikaci do produkčního prostředí, použijte klíč a koncový bod z placeného účtu Azure. V kódu nemusíte měnit nic jiného.

Získání klíče a koncového bodu:

1. Přejděte k modelům GitHubu a vyberte model, který vás zajímá.

2. V dětském prostředí pro váš model vyberte Získat klíč rozhraní API.

3. Vyberte Získat produkční klíč.

   

4. Pokud účet Azure nemáte, vyberte Vytvořit můj účet a postupujte podle pokynů k jeho vytvoření.

5. Pokud máte účet Azure, vyberte Přihlásit se zpět.

6. Pokud je váš stávající účet bezplatný účet, musíte nejprve upgradovat na plán Průběžné platby. Po upgradu se vraťte do dětského hřiště a znovu vyberte Získat klíč rozhraní API a přihlaste se pomocí upgradovaného účtu.

7. Jakmile se přihlásíte ke svému účtu Azure, přejdete do Azure AI Studia > na GitHubu. Načtení počátečních podrobností modelu v AI Studiu může trvat jednu nebo dvě minuty.

8. Stránka se načte s podrobnostmi modelu. Výběrem tlačítka Nasadit nasaďte model do svého účtu.

9. Po nasazení se v přehledu zobrazí klíč a koncový bod rozhraní API vašeho modelu. Tyto hodnoty v kódu použijte k použití modelu v produkčním prostředí.

V tomto okamžiku je vybraný model připravený k použití.

Upgrade kódu tak, aby používal nový koncový bod

Jakmile je prostředek Azure AI Services nakonfigurovaný, můžete ho začít využívat z kódu. Pokud chcete využívat prostředek azure AI Services, potřebujete adresu URL a klíč koncového bodu, které jsou k dispozici v části Přehled :

K získání předpovědí z koncového bodu můžete použít některou z podporovaných sad SDK. Oficiálně se podporují následující sady SDK:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI Inference SDK

Další podrobnosti a příklady najdete v části Podporované jazyky a sady SDK . Následující příklad ukazuje, jak používat sadu SDK pro odvozování modelu Azure AI s nově nasazeným modelem:

Python

Nainstalujte balíček azure-ai-inference pomocí správce balíčků, například pip:

pip install azure-ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

JavaScript

Nainstalujte balíček @azure-rest/ai-inference pomocí npm:

npm install @azure-rest/ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

C#

Pomocí následujícího příkazu nainstalujte knihovnu pro odvození Azure AI:

dotnet add package Azure.AI.Inference --prerelease

Naimportujte následující obory názvů:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Java

Přidejte balíček do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

REST

V referenční části se seznámíte s návrhem rozhraní API a s dostupnými parametry. Například referenční část pro dokončování chatu podrobně popisuje, jak použít trasu /chat/completions ke generování předpovědí na základě pokynů naformátovaných chatem. Všimněte si, že cesta /models je zahrnutá do kořenového adresáře adresy URL:

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Vygenerujte první dokončení chatu:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Požádat

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Pomocí parametru model="<deployment-name> můžete směrovat požadavek na toto nasazení. Nasazení fungují jako alias daného modelu v určitých konfiguracích. Informace o nasazení směrování služby Azure AI Services najdete na stránce konceptů směrování .

Důležité

Stejně jako u modelů GitHubu, kde jsou už všechny modely nakonfigurované, vám prostředek Azure AI Services umožňuje řídit, které modely jsou dostupné ve vašem koncovém bodu a ve které konfiguraci. Před uvedením do parametru model přidejte libovolný počet modelů, které plánujete použít. Zjistěte, jak do prostředku přidat další modely .

Prozkoumání dalších funkcí

Odvozování modelů Azure AI podporuje další funkce, které nejsou dostupné v modelech GitHubu, včetně následujících:

• Prozkoumejte katalog modelů a podívejte se na další modely, které nejsou dostupné v modelech GitHubu.
• Nakonfigurujte ověřování bez klíčů.
• Nakonfigurujte filtrování obsahu.
• Konfigurace omezování rychlosti (pro konkrétní modely)
• Prozkoumejte další skladové položky nasazení (pro konkrétní modely).
• Konfigurace privátních sítí

Máte potíže?

Další nápovědu najdete v části Nejčastější dotazy.

Další kroky

• Prozkoumejte katalog modelů v nástroji Azure AI Studio.
• Přidejte do koncového bodu další modely .