Wdrażanie modelu w punkcie końcowym

  • 5 min

Podczas tworzenia aplikacji generującej sztuczną inteligencję należy zintegrować modele językowe z aplikacją. Aby móc korzystać z modelu językowego, należy wdrożyć model. Przyjrzyjmy się, jak wdrożyć modele językowe w narzędziu Azure AI Foundry, po pierwszym zrozumieniu, dlaczego należy wdrożyć model.

Dowiedz się, dlaczego wdrożyć model

Modele językowe, takie jak tradycyjne modele uczenia maszynowego, są przeznaczone do generowania danych wyjściowych na podstawie niektórych danych wejściowych. Aby skorzystać z modelu, potrzebujesz rozwiązania, które może wysyłać dane wejściowe do modelu, który przetwarza model, a następnie wizualizować dane wyjściowe gdzieś.

W przypadku aplikacji generujących sztuczną inteligencję masz aplikację do czatu, która oczekuje danych wejściowych od użytkownika, często w postaci pytania. Chcesz, aby model przetworzył te dane wejściowe i wygenerował odpowiedź, którą możesz wysłać z powrotem za pośrednictwem aplikacji czatu do użytkownika. Aby zintegrować model językowy, który może przetwarzać dane wejściowe i generować dane wyjściowe, musisz wdrożyć model w punkcie końcowym.

Punkt końcowy to określony adres URL, pod którym można uzyskać dostęp do wdrożonego modelu lub usługi. Działa jako brama, aby użytkownicy wysyłali swoje żądania do modelu i otrzymywali wyniki. Każde wdrożenie modelu zwykle ma własny unikatowy punkt końcowy, który umożliwia różnym aplikacjom komunikowanie się z modelem za pośrednictwem interfejsu API (Interfejs programowania aplikacji).

Podczas wdrażania modelu językowego z wykazu modeli za pomocą rozwiązania Azure AI Foundry uzyskuje się punkt końcowy, który składa się z docelowego identyfikatora URI (uniform Resource Identifier) i unikatowego klucza. Na przykład docelowy identyfikator URI wdrożonego modelu GPT-3.5 może być:

https://ai-aihubdevdemo.openai.azure.com/openai/deployments/gpt-35-turbo/chat/completions?api-version=2023-03-15-preview

Identyfikator URI zawiera nazwę centrum sztucznej inteligencji, nazwę wdrożonego modelu i określa, co ma zrobić model. W tym przykładzie do ukończenia czatu jest używany model GPT-3.5.

Aby chronić wdrożone modele, każde wdrożenie zawiera klucz. Masz uprawnienia tylko do wysyłania i odbierania żądań do i z docelowego identyfikatora URI, jeśli również podasz klucz do uwierzytelnienia.

Aby użyć wdrożonego modelu, zazwyczaj wykonujesz wywołanie interfejsu API. Wywołanie interfejsu API można wykonać przy użyciu kodu, takiego jak Python lub C#, albo narzędzia takiego jak Azure AI Foundry lub Postman. Wywołanie interfejsu API obejmuje wysłanie żądania do punktu końcowego modelu przy użyciu interfejsu API. Żądanie zwykle zawiera dane wejściowe, które mają być przetwarzane przez model. Następnie model przetwarza dane i wysyła odpowiedź z wynikami. Dzięki temu możesz wchodzić w interakcje z wdrożonym modelem i korzystać z jego możliwości w aplikacjach.

Teraz, gdy już wiesz, dlaczego chcesz wdrożyć model, zapoznajmy się z opcjami wdrażania za pomocą rozwiązania Azure AI Foundry.

Wdrażanie modelu językowego za pomocą rozwiązania Azure AI Foundry

Podczas wdrażania modelu językowego za pomocą usługi Azure AI Foundry dostępnych jest kilka typów, które zależą od modelu, który chcesz wdrożyć:

Działanie Modele usługi Azure OpenAI Modele wdrożone jako bezserwerowe interfejsy API (płatność zgodnie z rzeczywistym użyciem) Modele wdrożone przy użyciu obliczeń zarządzanych przez użytkownika
Wdrażanie modelu Nie, nie są naliczane opłaty za wdrożenie modelu Usługi Azure OpenAI w projekcie. Tak, opłaty są naliczane minimalnie na infrastrukturę punktu końcowego. Tak, opłaty są naliczane za infrastrukturę hostowaną przez model na minutę.
Wywoływanie punktu końcowego Tak, opłaty są naliczane na podstawie użycia tokenu. Tak, opłaty są naliczane na podstawie użycia tokenu. Brak.