Uaktualnianie z modeli Usługi GitHub do wnioskowania modelu AI platformy Azure

Jeśli chcesz opracować generowanie aplikacji sztucznej inteligencji, możesz bezpłatnie znaleźć i eksperymentować z modelami sztucznej inteligencji za pomocą modeli GitHub . Użycie platformy zabaw i bezpłatnego interfejsu API jest ograniczone przez żądania na minutę, żądania dziennie, tokeny na żądanie i żądania współbieżne. Jeśli szybkość jest ograniczona, musisz poczekać na osiągnięcie limitu szybkości, aby zresetować, zanim będzie można wysyłać więcej żądań.

Gdy wszystko będzie gotowe do przełączenia aplikacji do środowiska produkcyjnego, możesz uaktualnić środowisko, wdrażając zasób usług Azure AI Services w subskrypcji platformy Azure i rozpoczynając korzystanie z usługi wnioskowania modelu AI platformy Azure. Nie musisz zmieniać niczego innego w kodzie.

W poniższym artykule wyjaśniono, jak rozpocząć pracę z modeli GitHub i wdrożyć zasób usług Azure AI Services przy użyciu wnioskowania modelu AI platformy Azure.

Wymagania wstępne

Do ukończenia tego samouczka niezbędne są następujące elementy:

• Konto usługi GitHub z dostępem do modeli GitHub.
• Subskrypcja Azure. Jeśli go nie masz, zostanie wyświetlony monit o utworzenie lub zaktualizowanie konta platformy Azure do konta z płatnością zgodnie z rzeczywistym użyciem, gdy wszystko będzie gotowe do wdrożenia modelu w środowisku produkcyjnym.

Uaktualnianie do wnioskowania modelu AI platformy Azure

Limity szybkości dla środowiska zabaw i bezpłatnego użycia interfejsu API mają ułatwić eksperymentowanie z modelami i opracowywanie aplikacji sztucznej inteligencji. Gdy wszystko będzie gotowe do przeniesienia aplikacji do środowiska produkcyjnego, użyj klucza i punktu końcowego z płatnego konta platformy Azure. Nie musisz zmieniać niczego innego w kodzie.

Aby uzyskać klucz i punkt końcowy:

1. Przejdź do pozycji Modele usługi GitHub i wybierz interesujący Cię model.

2. Na placu zabaw dla modelu wybierz pozycję Pobierz klucz interfejsu API.

3. Wybierz pozycję Pobierz klucz produkcyjny.

   

4. Jeśli nie masz konta platformy Azure, wybierz pozycję Utwórz moje konto i wykonaj kroki, aby je utworzyć.

5. Jeśli masz konto platformy Azure, wybierz pozycję Zaloguj się ponownie.

6. Jeśli istniejące konto jest bezpłatnym kontem, najpierw musisz przeprowadzić uaktualnienie do planu płatności zgodnie z rzeczywistym użyciem. Po uaktualnieniu wróć do środowiska zabaw i ponownie wybierz pozycję Pobierz klucz interfejsu API, a następnie zaloguj się przy użyciu uaktualnionego konta.

7. Po zalogowaniu się do konta platformy Azure przejdź do usługi Azure AI Studio > GitHub. Załadowanie początkowych szczegółów modelu w programie AI Studio może potrwać co najmniej dwie minuty.

8. Strona jest ładowana ze szczegółami modelu. Wybierz przycisk Wdróż, aby wdrożyć model na koncie.

9. Po wdrożeniu klucz interfejsu API i punkt końcowy modelu są wyświetlane w sekcji Przegląd. Użyj tych wartości w kodzie, aby użyć modelu w środowisku produkcyjnym.

Na tym etapie wybrany model jest gotowy do użycia.

Uaktualnianie kodu w celu korzystania z nowego punktu końcowego

Po skonfigurowaniu zasobu usług Azure AI Services możesz rozpocząć korzystanie z niego z poziomu kodu. Aby korzystać z zasobu usług Azure AI Services, potrzebny jest adres URL i klucz punktu końcowego, który jest dostępny w sekcji Przegląd :

Aby uzyskać przewidywania z punktu końcowego, możesz użyć dowolnego z obsługiwanych zestawów SDK. Następujące zestawy SDK są oficjalnie obsługiwane:

• OpenAI SDK
• Azure OpenAI SDK
• Zestaw SDK wnioskowania usługi Azure AI

Aby uzyskać więcej szczegółów i przykładów, zobacz sekcję Obsługiwane języki i zestawy SDK . W poniższym przykładzie pokazano, jak używać zestawu SDK wnioskowania modelu AI platformy Azure z nowo wdrożonym modelem:

Python

Zainstaluj pakiet azure-ai-inference przy użyciu menedżera pakietów, takiego jak:

pip install azure-ai-inference>=1.0.0b5

Ostrzeżenie

Zasób usług Azure AI Services wymaga wersji azure-ai-inference>=1.0.0b5 języka Python.

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

JavaScript

Zainstaluj pakiet @azure-rest/ai-inference przy użyciu narzędzia npm:

npm install @azure-rest/ai-inference

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

C#

Zainstaluj bibliotekę wnioskowania usługi Azure AI za pomocą następującego polecenia:

dotnet add package Azure.AI.Inference --prerelease

Zaimportuj następujące przestrzenie nazw:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

Java

Dodaj pakiet do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.

REST

Skorzystaj z sekcji referencyjnej, aby zapoznać się z projektem interfejsu API i dostępnymi parametrami. Na przykład sekcja referencyjna dotycząca uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania trasy /chat/completions do generowania przewidywań na podstawie instrukcji sformatowanych na czacie. Zwróć uwagę, że ścieżka /models jest dołączona do katalogu głównego adresu URL:

Zażądaj

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Wygeneruj pierwsze ukończenie czatu:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Zażądaj

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Użyj parametru model="<deployment-name> , aby skierować żądanie do tego wdrożenia. Wdrożenia działają jako alias danego modelu w ramach niektórych konfiguracji. Zobacz Stronę koncepcji routingu , aby dowiedzieć się, jak usługi Azure AI Services kierują wdrożenia.

Ważne

Podobnie jak w przypadku modeli usługi GitHub, w których wszystkie modele są już skonfigurowane, zasób usługi Azure AI Services umożliwia kontrolowanie, które modele są dostępne w punkcie końcowym i w ramach której konfiguracji. Dodaj dowolną liczbę modeli, które mają być używane przed wskazaniem ich w parametrze model . Dowiedz się, jak dodać więcej modeli do zasobu.

Eksplorowanie dodatkowych funkcji

Wnioskowanie modelu AI platformy Azure obsługuje dodatkowe funkcje niedostępne w modelach GitHub, w tym:

• Zapoznaj się z wykazem modeli, aby wyświetlić dodatkowe modele niedostępne w modelach usługi GitHub.
• Konfigurowanie filtrowania zawartości.
• Skonfiguruj ograniczanie szybkości (dla określonych modeli).
• Zapoznaj się z dodatkowymi jednostkami SKU wdrożenia (w przypadku określonych modeli).
• Konfigurowanie sieci prywatnej.

Masz problemy?

Zobacz sekcję Często zadawane pytania, aby poznać więcej pomocy.

Następne kroki

• Zapoznaj się z katalogiem modeli w usłudze Azure AI Studio.
• Dodaj więcej modeli do punktu końcowego.