Wnioskowanie modelu sztucznej inteligencji platformy Azure — często zadawane pytania

Usługa Azure OpenAI Service zapewnia klientom dostęp do zaawansowanych modeli językowych z poziomu interfejsu OpenAI. Wnioskowanie modelu sztucznej inteligencji platformy Azure rozszerza takie możliwości, aby klienci uzyskiwali dostęp do wszystkich flagowych modeli w usłudze Azure AI w ramach tej samej usługi, punktu końcowego i poświadczeń. Obejmuje ona laboratoria Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 itp. Klienci mogą bezproblemowo przełączać się między modelami bez zmieniania kodu.

Zarówno usługa Azure OpenAI Service, jak i wnioskowanie modelu AI platformy Azure są częścią rodziny usług AI platformy Azure i są oparte na tych samych zabezpieczeniach i obietnicach dla przedsiębiorstw platformy Azure.

Podczas gdy wnioskowanie modelu sztucznej inteligencji platformy Azure koncentruje się na wnioskowaniu, usługa Azure OpenAI Service może być używana z bardziej zaawansowanymi interfejsami API, takimi jak wsadowe, dostrajanie, asystenty i pliki.

Modele sztucznej inteligencji platformy Azure i usługa Azure OpenAI Service zapewniają klientom dostęp do zaawansowanych modeli językowych z platformy OpenAI przy użyciu zabezpieczeń i obietnicy dla przedsiębiorstw platformy Azure. Usługa Azure OpenAI koduje interfejsy API z funkcją OpenAI, zapewniając zgodność i bezproblemowe przejście z jednego do drugiego.

Klienci uzyskują możliwości zabezpieczeń platformy Microsoft Azure podczas uruchamiania tych samych modeli co openAI. Oferuje ona sieć prywatną, dostępność regionalną i odpowiedzialne filtrowanie zawartości sztucznej inteligencji.

Dowiedz się więcej o usłudze Azure OpenAI.

Usługi azure AI to pakiet usług sztucznej inteligencji, które zapewniają wstępnie utworzone interfejsy API dla typowych scenariuszy sztucznej inteligencji. Usługi Azure AI Services są częścią platformy Azure AI Foundry. Usługi Azure AI można używać w portalu Azure AI Foundry w celu ulepszenia modeli dzięki wstępnie utworzonym funkcjom sztucznej inteligencji.

Wnioskowanie modelu sztucznej inteligencji platformy Azure w usługach sztucznej inteligencji obsługuje wszystkie modele w katalogu azure AI z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Aby uzyskać więcej informacji, zobacz artykuł Modele.

Katalog modeli usługi Azure AI zawiera szerszą listę modeli, jednak te modele wymagają limitu przydziału zasobów obliczeniowych z subskrypcji. Muszą również mieć projekt lub centrum sztucznej inteligencji, w którym ma być hostowane wdrożenie. Aby uzyskać więcej informacji, zobacz opcje wdrażania w narzędziu Azure AI Foundry.

Zestaw AZURE Inference SDK można używać z dowolnym modelem obsługiwanym przez wnioskowanie modelu AI platformy Azure w usługach Azure AI, klasą AzureOpenAI w zestawie OpenAI SDK lub zestawem AZURE OpenAI SDK.

Zestawy SDK, Mistral SDK i zestawy SDK specyficzne dla dostawcy modelu nie są obsługiwane w przypadku połączenia z usługami Azure AI.

Aby uzyskać więcej informacji, zobacz obsługiwane zestawy SDK i języki programowania.

Usługi Azure AI obsługują najnowszą wersję biblioteki języka Python OpenAI (wersja>=1.0).

Upewnij się, że utworzono wdrożenie dla danego modelu i że nazwa wdrożenia jest zgodna dokładnie z wartością przekazywaną model parametru. Chociaż routing nie uwzględnia wielkości liter, upewnij się, że nie ma specjalnej interpunkcji ani spacji, ponieważ są to typowe błędy.

Zasób usług Azure AI Services wymaga wersji azure-ai-inference>=1.0.0b5 języka Python. Upewnij się, że używasz tej wersji.

Upewnij się, że używasz poprawnego punktu końcowego dla usługi Azure OpenAI i odpowiedniego zestawu poświadczeń. Upewnij się również, że używasz klasy AzureOpenAI z zestawu OpenAI SDK, ponieważ używany mechanizm uwierzytelniania i adresy URL są inne.

Nasze bieżące interfejsy API umożliwiają maksymalnie 10 nagłówków niestandardowych, które są przekazywane przez potok i zwracane. Zauważyliśmy, że niektórzy klienci przekraczają teraz tę liczbę nagłówków, co powoduje błędy HTTP 431. Nie ma rozwiązania dla tego błędu, inne niż zmniejszenie woluminu nagłówka. W przyszłych wersjach interfejsu API nie przekazujemy już nagłówków niestandardowych. Zalecamy, aby nie zależeć od nagłówków niestandardowych w przyszłych architekturach systemu.

Opłaty są naliczane za dane wejściowe i wyjściowe w interfejsach API, zazwyczaj w tokenach. Nie ma żadnych kosztów związanych z samym zasobem ani z wdrożeniami.

Cena tokenu różni się w zależności od modelu, a opłaty są naliczane za 1000 tokenów. Szczegóły cennika można wyświetlić przed wdrożeniem danego modelu. Aby uzyskać więcej informacji na temat rozliczeń, zobacz Zarządzanie kosztami.

Rozliczenia i koszty są wyświetlane w usłudze Azure Cost Management + Billing. Szczegóły użycia są widoczne w witrynie Azure Portal.

Rozliczenia nie są wyświetlane w portalu usługi Azure AI Foundry.

Limit wydatków można skonfigurować w witrynie Azure Portal w obszarze Azure Cost Management + Billing. Ten limit uniemożliwia wydawanie więcej niż ustawiony limit. Po osiągnięciu limitu wydatków subskrypcja zostanie wyłączona i nie będzie można używać punktu końcowego do następnego cyklu rozliczeniowego.

Wnioskowanie modelu AI platformy Azure nie używa danych klientów do ponownego trenowania modeli, a dane klientów nigdy nie są udostępniane dostawcom modeli.

Zobowiązanie do praw autorskich klienta jest postanowieniami zawartymi w postanowieniach dotyczących produktów firmy Microsoft z 1 grudnia 2023 r., które opisują obowiązek ochrony klientów przed niektórymi roszczeniami własności intelektualnej innych niż Microsoft odnoszącymi się do zawartości wyjściowej. Jeśli przedmiotem oświadczenia jest zawartość wyjściowa wygenerowana z usługi Azure OpenAI (lub dowolny inny produkt objęty, który umożliwia klientom konfigurowanie systemów bezpieczeństwa), klienci muszą zaimplementować wszystkie środki zaradcze wymagane przez dokumentację usługi Azure OpenAI Service w ofercie, która dostarczyła zawartość wyjściową. Wymagane środki zaradcze są udokumentowane tutaj i aktualizowane w sposób ciągły. W przypadku nowych usług, funkcji, modeli lub przypadków użycia nowe wymagania CCC zostaną opublikowane i zaczną obowiązywać po uruchomieniu takiej usługi, funkcji, modelu lub przypadku użycia. W przeciwnym razie klienci będą mieli sześć miesięcy od momentu publikacji, aby wdrożyć nowe środki zaradcze w celu utrzymania zasięgu w ramach CCC. Jeśli klient składa wniosek, klient będzie musiał wykazać zgodność z odpowiednimi wymaganiami. Te środki zaradcze są wymagane w przypadku produktów objętych, które umożliwiają klientom konfigurowanie systemów bezpieczeństwa, w tym usługi Azure OpenAI Service; nie mają wpływu na pokrycie klientów korzystających z innych produktów objętych.