Upgrade uitvoeren van GitHub-modellen naar Azure AI-modeldeductie

Als u een generatieve AI-toepassing wilt ontwikkelen, kunt u GitHub-modellen gebruiken om gratis AI-modellen te zoeken en te experimenteren. De speeltuin en het gratis API-gebruik worden beperkt door aanvragen per minuut, aanvragen per dag, tokens per aanvraag en gelijktijdige aanvragen. Als u een frequentielimiet krijgt, moet u wachten op de frequentielimiet die u hebt bereikt om opnieuw in te stellen voordat u meer aanvragen kunt indienen.

Zodra u klaar bent om uw toepassing naar productie te brengen, kunt u uw ervaring upgraden door een Azure AI Services-resource te implementeren in een Azure-abonnement en te beginnen met het gebruik van deductieservice voor Azure AI-modellen. U hoeft niets anders in uw code te wijzigen.

In het volgende artikel wordt uitgelegd hoe u aan de slag gaat met GitHub-modellen en hoe u een Azure AI Services-resource implementeert met Azure AI-modeldeductie.

Vereisten

U hebt het volgende nodig om deze zelfstudie te voltooien:

• Een GitHub-account met toegang tot GitHub-modellen.
• Een Azure-abonnement. Als u nog geen account hebt, wordt u gevraagd uw Azure-account te maken of bij te werken naar een betalen per gebruik-account wanneer u klaar bent om uw model in productie te implementeren.

Upgrade uitvoeren naar azure AI-modeldeductie

De frequentielimieten voor de speeltuin en het gratis API-gebruik zijn bedoeld om u te helpen experimenteren met modellen en uw AI-toepassing te ontwikkelen. Zodra u klaar bent om uw toepassing naar productie te brengen, gebruikt u een sleutel en eindpunt van een betaald Azure-account. U hoeft niets anders in uw code te wijzigen.

De sleutel en het eindpunt verkrijgen:

1. Ga naar GitHub-modellen en selecteer het model waarin u geïnteresseerd bent.

2. Selecteer API-sleutel ophalen in de speeltuin voor uw model.

3. Selecteer Productiesleutel ophalen.

   

4. Als u geen Azure-account hebt, selecteert u Mijn account maken en volgt u de stappen om er een te maken.

5. Als u een Azure-account hebt, selecteert u Aanmelden.

6. Als uw bestaande account een gratis account is, moet u eerst upgraden naar een betalen per gebruik-abonnement. Nadat u een upgrade hebt uitgevoerd, gaat u terug naar de speeltuin en selecteert u API-sleutel ophalen en meldt u zich vervolgens aan met uw bijgewerkte account.

7. Nadat u zich hebt aangemeld bij uw Azure-account, gaat u naar Azure AI Studio > GitHub. Het kan een of twee minuten duren voordat de initiële modelgegevens in AI Studio zijn geladen.

8. De pagina wordt geladen met de details van uw model. Selecteer de knop Implementeren om het model in uw account te implementeren.

9. Zodra deze is geïmplementeerd, worden de API-sleutel en het eindpunt van uw model weergegeven in het overzicht. Gebruik deze waarden in uw code om het model in uw productieomgeving te gebruiken.

Op dit moment is het model dat u hebt geselecteerd klaar om te gebruiken.

Uw code upgraden om het nieuwe eindpunt te gebruiken

Zodra uw Azure AI Services-resource is geconfigureerd, kunt u deze gaan gebruiken vanuit uw code. Als u de Azure AI Services-resource wilt gebruiken, hebt u de eindpunt-URL en -sleutel nodig. Deze zijn beschikbaar in de sectie Overzicht :

U kunt een van de ondersteunde SDK's gebruiken om voorspellingen op te halen uit het eindpunt. De volgende SDK's worden officieel ondersteund:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI-deductie-SDK

Zie de sectie ondersteunde talen en SDK's voor meer informatie en voorbeelden. In het volgende voorbeeld ziet u hoe u de deductie-SDK van het Azure AI-model gebruikt met het zojuist geïmplementeerde model:

Python

Installeer het pakket azure-ai-inference met behulp van uw pakketbeheer, zoals pip:

pip install azure-ai-inference>=1.0.0b5

Waarschuwing

Voor de Azure AI Services-resource is de versie azure-ai-inference>=1.0.0b5 voor Python vereist.

Vervolgens kunt u het pakket gebruiken om het model te gebruiken. In het volgende voorbeeld ziet u hoe u een client maakt om chatvoltooiingen te gebruiken:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Bekijk onze voorbeelden en lees de API-referentiedocumentatie om aan de slag te gaan.

JavaScript

Installeer het pakket @azure-rest/ai-inference met npm:

npm install @azure-rest/ai-inference

Vervolgens kunt u het pakket gebruiken om het model te gebruiken. In het volgende voorbeeld ziet u hoe u een client maakt om chatvoltooiingen te gebruiken:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Bekijk onze voorbeelden en lees de API-referentiedocumentatie om aan de slag te gaan.

C#

Installeer de Azure AI-deductiebibliotheek met de volgende opdracht:

dotnet add package Azure.AI.Inference --prerelease

Importeer de volgende naamruimten:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Vervolgens kunt u het pakket gebruiken om het model te gebruiken. In het volgende voorbeeld ziet u hoe u een client maakt om chatvoltooiingen te gebruiken:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Bekijk onze voorbeelden en lees de API-referentiedocumentatie om aan de slag te gaan.

Java

Voeg het pakket toe aan uw project:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Vervolgens kunt u het pakket gebruiken om het model te gebruiken. In het volgende voorbeeld ziet u hoe u een client maakt om chatvoltooiingen te gebruiken:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Bekijk onze voorbeelden en lees de API-referentiedocumentatie om aan de slag te gaan.

REST

Gebruik de naslagsectie om het API-ontwerp te verkennen en welke parameters beschikbaar zijn. In de naslagsectie voor chatvoltooiingen wordt bijvoorbeeld beschreven hoe u de route /chat/completions gebruikt om voorspellingen te genereren op basis van instructies in chatindeling. U ziet dat het pad /models is opgenomen in de hoofdmap van de URL:

Aanvragen

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Uw eerste chatvoltooiing genereren:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Aanvragen

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Gebruik de parameter model="<deployment-name> om uw aanvraag naar deze implementatie te routeren. Implementaties werken als alias van een bepaald model onder bepaalde configuraties. Zie de conceptpagina Routering voor meer informatie over de route-implementaties van Azure AI Services.

Belangrijk

Net als bij GitHub-modellen waar alle modellen al zijn geconfigureerd, kunt u met de Azure AI Services-resource bepalen welke modellen beschikbaar zijn in uw eindpunt en onder welke configuratie. Voeg zoveel modellen toe als u wilt gebruiken voordat u deze in de model parameter aangeeft. Meer informatie over het toevoegen van meer modellen aan uw resource.

Aanvullende functies verkennen

Azure AI-modeldeductie ondersteunt aanvullende functies die niet beschikbaar zijn in GitHub-modellen, waaronder:

• Bekijk de modelcatalogus om aanvullende modellen te bekijken die niet beschikbaar zijn in GitHub-modellen.
• Inhoudsfiltering configureren.
• Frequentiebeperking configureren (voor specifieke modellen).
• Verken aanvullende implementatie-SKU's (voor specifieke modellen).
• Configureer privénetwerken.

Hebt u problemen?

Zie de sectie Veelgestelde vragen voor meer hulp.

Volgende stappen

• Verken de modelcatalogus in Azure AI Studio.
• Voeg meer modellen toe aan uw eindpunt.