Uaktualnianie z modeli GitHub do usługi wnioskowania modelu AI platformy Azure

Jeśli chcesz opracować generowanie aplikacji sztucznej inteligencji, możesz bezpłatnie znaleźć i eksperymentować z modelami sztucznej inteligencji za pomocą modeli GitHub . Użycie platformy zabaw i bezpłatnego interfejsu API jest ograniczone przez żądania na minutę, żądania dziennie, tokeny na żądanie i żądania współbieżne. Jeśli szybkość jest ograniczona, musisz poczekać na osiągnięcie limitu szybkości, aby zresetować, zanim będzie można wysyłać więcej żądań.

Gdy wszystko będzie gotowe do przełączenia aplikacji do środowiska produkcyjnego, możesz uaktualnić środowisko, wdrażając zasób usług Azure AI Services w subskrypcji platformy Azure i rozpoczynając korzystanie z usługi wnioskowania modelu AI platformy Azure. Nie musisz zmieniać niczego innego w kodzie.

W poniższym artykule wyjaśniono, jak rozpocząć pracę z modeli GitHub w modelach sztucznej inteligencji platformy Azure dla usług Azure AI.

Wymagania wstępne

Do ukończenia tego samouczka niezbędne są następujące elementy:

• Konto usługi GitHub z dostępem do modeli GitHub.

• Subskrypcja Azure. Jeśli go nie masz, zostanie wyświetlony monit o utworzenie lub zaktualizowanie konta platformy Azure do konta z płatnością zgodnie z rzeczywistym użyciem, gdy wszystko będzie gotowe do wdrożenia modelu w środowisku produkcyjnym.

Uaktualnianie do usług Azure AI

Limity szybkości dla środowiska zabaw i bezpłatnego użycia interfejsu API mają ułatwić eksperymentowanie z modelami i opracowywanie aplikacji sztucznej inteligencji. Gdy wszystko będzie gotowe do przeniesienia aplikacji do środowiska produkcyjnego, użyj klucza i punktu końcowego z płatnego konta platformy Azure. Nie musisz zmieniać niczego innego w kodzie.

Aby uzyskać klucz i punkt końcowy:

1. Na placu zabaw dla modelu wybierz pozycję Pobierz klucz interfejsu API.

2. Wybierz pozycję Pobierz klucz produkcyjny.

3. Jeśli nie masz konta platformy Azure, wybierz pozycję Utwórz moje konto i wykonaj kroki, aby je utworzyć.

4. Jeśli masz konto platformy Azure, wybierz pozycję Zaloguj się ponownie.

5. Jeśli istniejące konto jest bezpłatnym kontem, najpierw musisz przeprowadzić uaktualnienie do planu płatności zgodnie z rzeczywistym użyciem. Po uaktualnieniu wróć do środowiska zabaw i ponownie wybierz pozycję Pobierz klucz interfejsu API, a następnie zaloguj się przy użyciu uaktualnionego konta.

6. Po zalogowaniu się do konta platformy Azure zostanie wyświetlona usługa Azure AI Foundry.

7. W górnej części strony wybierz pozycję Przejdź do zasobu usługi GitHub AI, aby przejść do usługi Azure AI Foundry / Github](https://ai.azure.com/github). Załadowanie początkowych szczegółów modelu w portalu usługi AI Foundry może potrwać co najmniej dwie minuty.

8. Strona jest ładowana ze szczegółami modelu. Wybierz przycisk Utwórz wdrożenie, aby wdrożyć model na koncie.

9. Po wdrożeniu klucz interfejsu API i punkt końcowy modelu są wyświetlane w sekcji Przegląd. Użyj tych wartości w kodzie, aby użyć modelu w środowisku produkcyjnym.

   

Na tym etapie wybrany model jest gotowy do użycia.

Napiwek

Użyj parametru model="<deployment-name> , aby skierować żądanie do tego wdrożenia. Wdrożenia działają jako alias danego modelu w ramach niektórych konfiguracji. Zobacz Stronę koncepcji routingu , aby dowiedzieć się, jak usługi Azure AI Services kierują wdrożenia.

Uaktualnianie kodu w celu korzystania z nowego punktu końcowego

Po skonfigurowaniu zasobu usług Azure AI Services możesz rozpocząć korzystanie z niego z poziomu kodu. Potrzebny jest adres URL punktu końcowego i klucz, który można znaleźć w sekcji Przegląd :

Aby uzyskać przewidywania z punktu końcowego, możesz użyć dowolnego z obsługiwanych zestawów SDK. Następujące zestawy SDK są oficjalnie obsługiwane:

• OpenAI SDK
• Azure OpenAI SDK
• Zestaw SDK wnioskowania usługi Azure AI

Aby uzyskać więcej szczegółów i przykładów, zobacz sekcję Obsługiwane języki i zestawy SDK . W poniższym przykładzie pokazano, jak używać zestawu SDK wnioskowania modelu AI platformy Azure z nowo wdrożonym modelem:

Python

Zainstaluj pakiet azure-ai-inference przy użyciu menedżera pakietów, takiego jak:

pip install azure-ai-inference>=1.0.0b5

Ostrzeżenie

Zasób usług Azure AI Services wymaga wersji azure-ai-inference>=1.0.0b5 języka Python.

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

JavaScript

Zainstaluj pakiet @azure-rest/ai-inference przy użyciu narzędzia npm:

npm install @azure-rest/ai-inference

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

C#

Zainstaluj bibliotekę wnioskowania usługi Azure AI za pomocą następującego polecenia:

dotnet add package Azure.AI.Inference --prerelease

Zaimportuj następujące przestrzenie nazw:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

Java

Dodaj pakiet do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

REST

Skorzystaj z sekcji referencyjnej, aby zapoznać się z projektem interfejsu API i dostępnymi parametrami. Na przykład sekcja referencyjna dotycząca uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania trasy /chat/completions do generowania przewidywań na podstawie instrukcji sformatowanych na czacie. Zwróć uwagę, że ścieżka /models jest dołączona do katalogu głównego adresu URL:

Zażądaj

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Wygeneruj pierwsze ukończenie czatu:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
options.setModel("Mistral-large");

ChatCompletions response = client.complete(options);

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Zażądaj

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Eksplorowanie dodatkowych funkcji

Wnioskowanie modelu AI platformy Azure obsługuje więcej funkcji, które nie są dostępne w modelach Usługi GitHub, w tym:

• Zapoznaj się z wykazem modeli, aby zobaczyć inne modele niedostępne w modelach usługi GitHub.
• Konfigurowanie filtrowania zawartości.
• Skonfiguruj ograniczanie szybkości (dla określonych modeli).
• Zapoznaj się z więcej jednostek SKU wdrożenia (w przypadku określonych modeli).
• Konfigurowanie sieci prywatnej.

Masz problemy?

Zobacz sekcję Często zadawane pytania, aby poznać więcej pomocy.

Następne kroki

• Dodaj więcej modeli do punktu końcowego.
• Zapoznaj się z wykazem modeli w portalu usługi Azure AI Foundry.