Uaktualnianie z modeli Usługi GitHub do wnioskowania modelu AI platformy Azure
Jeśli chcesz opracować generowanie aplikacji sztucznej inteligencji, możesz bezpłatnie znaleźć i eksperymentować z modelami sztucznej inteligencji za pomocą modeli GitHub . Użycie platformy zabaw i bezpłatnego interfejsu API jest ograniczone przez żądania na minutę, żądania dziennie, tokeny na żądanie i żądania współbieżne. Jeśli szybkość jest ograniczona, musisz poczekać na osiągnięcie limitu szybkości, aby zresetować, zanim będzie można wysyłać więcej żądań.
Gdy wszystko będzie gotowe do przełączenia aplikacji do środowiska produkcyjnego, możesz uaktualnić środowisko, wdrażając zasób usług Azure AI Services w subskrypcji platformy Azure i rozpoczynając korzystanie z usługi wnioskowania modelu AI platformy Azure. Nie musisz zmieniać niczego innego w kodzie.
W poniższym artykule wyjaśniono, jak rozpocząć pracę z modeli GitHub i wdrożyć zasób usług Azure AI Services przy użyciu wnioskowania modelu AI platformy Azure.
Wymagania wstępne
Do ukończenia tego samouczka niezbędne są następujące elementy:
- Konto usługi GitHub z dostępem do modeli GitHub.
- Subskrypcja Azure. Jeśli go nie masz, zostanie wyświetlony monit o utworzenie lub zaktualizowanie konta platformy Azure do konta z płatnością zgodnie z rzeczywistym użyciem, gdy wszystko będzie gotowe do wdrożenia modelu w środowisku produkcyjnym.
Uaktualnianie do wnioskowania modelu AI platformy Azure
Limity szybkości dla środowiska zabaw i bezpłatnego użycia interfejsu API mają ułatwić eksperymentowanie z modelami i opracowywanie aplikacji sztucznej inteligencji. Gdy wszystko będzie gotowe do przeniesienia aplikacji do środowiska produkcyjnego, użyj klucza i punktu końcowego z płatnego konta platformy Azure. Nie musisz zmieniać niczego innego w kodzie.
Aby uzyskać klucz i punkt końcowy:
Przejdź do pozycji Modele usługi GitHub i wybierz interesujący Cię model.
Na placu zabaw dla modelu wybierz pozycję Pobierz klucz interfejsu API.
Wybierz pozycję Pobierz klucz produkcyjny.
Jeśli nie masz konta platformy Azure, wybierz pozycję Utwórz moje konto i wykonaj kroki, aby je utworzyć.
Jeśli masz konto platformy Azure, wybierz pozycję Zaloguj się ponownie.
Jeśli istniejące konto jest bezpłatnym kontem, najpierw musisz przeprowadzić uaktualnienie do planu płatności zgodnie z rzeczywistym użyciem. Po uaktualnieniu wróć do środowiska zabaw i ponownie wybierz pozycję Pobierz klucz interfejsu API, a następnie zaloguj się przy użyciu uaktualnionego konta.
Po zalogowaniu się do konta platformy Azure przejdź do usługi Azure AI Studio > GitHub. Załadowanie początkowych szczegółów modelu w programie AI Studio może potrwać co najmniej dwie minuty.
Strona jest ładowana ze szczegółami modelu. Wybierz przycisk Wdróż, aby wdrożyć model na koncie.
Po wdrożeniu klucz interfejsu API i punkt końcowy modelu są wyświetlane w sekcji Przegląd. Użyj tych wartości w kodzie, aby użyć modelu w środowisku produkcyjnym.
Na tym etapie wybrany model jest gotowy do użycia.
Uaktualnianie kodu w celu korzystania z nowego punktu końcowego
Po skonfigurowaniu zasobu usług Azure AI Services możesz rozpocząć korzystanie z niego z poziomu kodu. Aby korzystać z zasobu usług Azure AI Services, potrzebny jest adres URL i klucz punktu końcowego, który jest dostępny w sekcji Przegląd :
Aby uzyskać przewidywania z punktu końcowego, możesz użyć dowolnego z obsługiwanych zestawów SDK. Następujące zestawy SDK są oficjalnie obsługiwane:
- OpenAI SDK
- Azure OpenAI SDK
- Zestaw SDK wnioskowania usługi Azure AI
Aby uzyskać więcej szczegółów i przykładów, zobacz sekcję Obsługiwane języki i zestawy SDK . W poniższym przykładzie pokazano, jak używać zestawu SDK wnioskowania modelu AI platformy Azure z nowo wdrożonym modelem:
Zainstaluj pakiet azure-ai-inference
przy użyciu menedżera pakietów, takiego jak:
pip install azure-ai-inference>=1.0.0b5
Ostrzeżenie
Zasób usług Azure AI Services wymaga wersji azure-ai-inference>=1.0.0b5
języka Python.
Następnie możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta w celu korzystania z uzupełniania czatu:
import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential
model = ChatCompletionsClient(
endpoint="https://<resource>.services.ai.azure.com/models",
credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)
Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API, aby rozpocząć pracę.
Wygeneruj pierwsze ukończenie czatu:
from azure.ai.inference.models import SystemMessage, UserMessage
response = client.complete(
messages=[
SystemMessage(content="You are a helpful assistant."),
UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
],
model="mistral-large"
)
print(response.choices[0].message.content)
Użyj parametru model="<deployment-name>
, aby skierować żądanie do tego wdrożenia.
Wdrożenia działają jako alias danego modelu w ramach niektórych konfiguracji. Zobacz Stronę koncepcji routingu , aby dowiedzieć się, jak usługi Azure AI Services kierują wdrożenia.
Ważne
Podobnie jak w przypadku modeli usługi GitHub, w których wszystkie modele są już skonfigurowane, zasób usługi Azure AI Services umożliwia kontrolowanie, które modele są dostępne w punkcie końcowym i w ramach której konfiguracji. Dodaj dowolną liczbę modeli, które mają być używane przed wskazaniem ich w parametrze model
. Dowiedz się, jak dodać więcej modeli do zasobu.
Eksplorowanie dodatkowych funkcji
Wnioskowanie modelu AI platformy Azure obsługuje dodatkowe funkcje niedostępne w modelach GitHub, w tym:
- Zapoznaj się z wykazem modeli, aby wyświetlić dodatkowe modele niedostępne w modelach usługi GitHub.
- Konfigurowanie filtrowania zawartości.
- Skonfiguruj ograniczanie szybkości (dla określonych modeli).
- Zapoznaj się z dodatkowymi jednostkami SKU wdrożenia (w przypadku określonych modeli).
- Konfigurowanie sieci prywatnej.
Masz problemy?
Zobacz sekcję Często zadawane pytania, aby poznać więcej pomocy.
Następne kroki
- Zapoznaj się z katalogiem modeli w usłudze Azure AI Studio.
- Dodaj więcej modeli do punktu końcowego.