Typy wdrożeń usługi Azure OpenAI
Usługa Azure OpenAI zapewnia klientom wybór struktury hostingu, która pasuje do wzorców biznesowych i użycia. Usługa oferuje dwa główne typy wdrożeń: standardowe i aprowizowane. W przypadku danego typu wdrożenia klienci mogą dostosować swoje obciążenia do wymagań dotyczących przetwarzania danych, wybierając lokalizację geograficzną platformy Azure ( lub ), określoną strefę danych firmyStandard Microsoft (DataZone-Standard lub DataZone Provisioned-ManagedProvisioned-Managed), lub opcje przetwarzania globalnego (Global-Standard lub Global Provisioned-Managed).
Wszystkie wdrożenia mogą wykonywać dokładnie te same operacje wnioskowania, jednak rozliczenia, skala i wydajność są znacznie inne. W ramach projektu rozwiązania należy podjąć dwie kluczowe decyzje:
- Lokalizacja przetwarzania danych
- Głośność wywołań
Lokalizacje przetwarzania danych wdrażania usługi Azure OpenAI
W przypadku wdrożeń standardowych dostępne są trzy opcje typu wdrożenia — lokalizacja geograficzna, strefa danych i lokalizacja geograficzna platformy Azure. W przypadku wdrożeń aprowizowanych dostępne są dwie opcje typu wdrożenia — lokalizacja geograficzna globalna i geograficzna platformy Azure. Globalny standard jest zalecanym punktem wyjścia.
Wdrożenia globalne wykorzystują globalną infrastrukturę platformy Azure do dynamicznego kierowania ruchu klientów do centrum danych z najlepszą dostępnością żądań wnioskowania klienta. Oznacza to, że uzyskasz najwyższe początkowe limity przepływności i najlepszą dostępność modelu z globalną, jednocześnie zapewniając umowę SLA czasu pracy i małe opóźnienia. W przypadku obciążeń o dużej ilości powyżej określonych warstw użycia w warstwie Standardowa i globalnej może wystąpić zwiększona zmienność opóźnień. W przypadku klientów, którzy wymagają mniejszej wariancji opóźnienia w przypadku dużego użycia obciążeń, zalecamy korzystanie z naszych aprowizowanych typów wdrożeń.
Nasze wdrożenia globalne będą pierwszą lokalizacją dla wszystkich nowych modeli i funkcji. W zależności od liczby wywołań klienci z dużą ilością i wymaganiami dotyczącymi wariancji o małych opóźnieniach powinni rozważyć nasze aprowizowane typy wdrożeń.
Wdrożenia stref danych wykorzystują globalną infrastrukturę platformy Azure do dynamicznego kierowania ruchu klientów do centrum danych z najlepszą dostępnością żądań wnioskowania klienta w strefie danych zdefiniowanej przez firmę Microsoft. Rozmieszczone między naszą lokalizacją geograficzną platformy Azure i globalnymi ofertami wdrażania strefy danych zapewniają limity przydziału z podwyższonym poziomem przydziału przy jednoczesnym zachowaniu przetwarzania danych w określonej strefie danych firmy Microsoft. Dane przechowywane w spoczynku będą nadal przechowywane w lokalizacji geograficznej zasobu usługi Azure OpenAI (np. dla zasobu usługi Azure OpenAI utworzonego w regionie Szwedzkiej Środkowej platformy Azure, lokalizacja geograficzna platformy Azure to Szwecja).
Jeśli zasób usługi Azure OpenAI używany we wdrożeniu strefy danych znajduje się w Stany Zjednoczone, dane zostaną przetworzone w ramach Stany Zjednoczone. Jeśli zasób usługi Azure OpenAI używany we wdrożeniu strefy danych znajduje się w kraju członkowskim Unii Europejskiej, dane będą przetwarzane w lokalizacjach geograficznych Krajów Członkowskich Unii Europejskiej. W przypadku wszystkich typów wdrożeń usługi Azure OpenAI wszystkie dane przechowywane w spoczynku będą nadal przechowywane w lokalizacji geograficznej zasobu Azure OpenAI. Zobowiązania dotyczące przetwarzania danych i zgodności platformy Azure pozostają stosowane.
W przypadku dowolnego typu wdrożenia oznaczonego jako "Globalny" monity i odpowiedzi mogą być przetwarzane w dowolnej lokalizacji geograficznej, w której wdrożono odpowiedni model usługi Azure OpenAI (dowiedz się więcej o dostępności regionów modeli). W przypadku dowolnego typu wdrożenia oznaczonego jako "DataZone" monity i odpowiedzi mogą być przetwarzane w dowolnej lokalizacji geograficznej w określonej strefie danych, zgodnie z definicją przez firmę Microsoft. Jeśli utworzysz wdrożenie dataZone w zasobie usługi Azure OpenAI znajdującym się w Stany Zjednoczone, monity i odpowiedzi mogą być przetwarzane w dowolnym miejscu w Stany Zjednoczone. Jeśli utworzysz wdrożenie datazone w zasobie usługi Azure OpenAI znajdującym się w kraju członkowskim Unii Europejskiej, monity i odpowiedzi mogą być przetwarzane w tym lub w innym kraju członkowskim Unii Europejskiej. W przypadku typów wdrożeń Global i DataZone wszystkie dane przechowywane w spoczynku, takie jak przekazane dane, są przechowywane w lokalizacji geograficznej wyznaczonej przez klienta. Dotyczy to tylko lokalizacji przetwarzania, gdy klient używa globalnego typu wdrożenia lub typu wdrożenia DataZone w usłudze Azure OpenAI Service; Zobowiązania dotyczące przetwarzania danych i zgodności platformy Azure pozostają stosowane.
Globalny standard
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI. Dowiedz się więcej na temat rezydencji danych.
Wdrożenia globalne są dostępne w tych samych zasobach usługi Azure OpenAI co typy wdrożeń innych niż globalne, ale umożliwiają korzystanie z globalnej infrastruktury platformy Azure w celu dynamicznego kierowania ruchu do centrum danych z najlepszą dostępnością dla każdego żądania. Globalny standard zapewnia najwyższy limit przydziału domyślnego i eliminuje konieczność równoważenia obciążenia w wielu zasobach.
Klienci o dużej spójnego woluminie mogą mieć większe opóźnienie zmienności. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę przydziałów. W przypadku aplikacji, które wymagają mniejszej wariancji opóźnienia przy dużym użyciu obciążenia, zalecamy zakup aprowizowanej przepływności.
Globalna aprowizacja
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI. Dowiedz się więcej na temat rezydencji danych.
Wdrożenia globalne są dostępne w tych samych zasobach usługi Azure OpenAI co typy wdrożeń innych niż globalne, ale umożliwiają korzystanie z globalnej infrastruktury platformy Azure w celu dynamicznego kierowania ruchu do centrum danych z najlepszą dostępnością dla każdego żądania. Globalne aprowizowanie wdrożeń zapewnia pojemność przetwarzania modelu zarezerwowanego na potrzeby wysokiej i przewidywalnej przepływności przy użyciu globalnej infrastruktury platformy Azure.
Partia globalna
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI. Dowiedz się więcej na temat rezydencji danych.
Globalna partia jest przeznaczona do wydajnego obsługi zadań przetwarzania dużych i dużych ilości. Przetwarzaj asynchroniczne grupy żądań z oddzielnym limitem przydziału, z 24-godzinnym planem docelowym, przy mniejszym koszcie 50% niż w przypadku globalnego standardu. W przypadku przetwarzania wsadowego zamiast wysyłać jedno żądanie jednocześnie wysyłasz dużą liczbę żądań w jednym pliku. Globalne żądania wsadowe mają oddzielny limit przydziału tokenu w kolejce, co pozwala uniknąć zakłóceń obciążeń online.
Najważniejsze przypadki użycia:
Przetwarzanie danych na dużą skalę: szybko analizuj obszerne zestawy danych równolegle.
Generowanie zawartości: utwórz duże ilości tekstu, takie jak opisy produktów lub artykuły.
Przegląd dokumentów i podsumowanie: automatyzowanie przeglądu i podsumowania długich dokumentów.
Automatyzacja obsługi klienta: obsługa wielu zapytań jednocześnie w celu uzyskania szybszych odpowiedzi.
Wyodrębnianie i analiza danych: wyodrębnianie i analizowanie informacji z ogromnych ilości danych bez struktury.
Zadania przetwarzania języka naturalnego (NLP): wykonaj zadania, takie jak analiza tonacji lub tłumaczenie dużych zestawów danych.
Marketing i personalizacja: generowanie spersonalizowanej zawartości i rekomendacji na dużą skalę.
Standard strefy danych
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI w określonej strefie danych firmy Microsoft. Dowiedz się więcej na temat rezydencji danych.
Standardowe wdrożenia strefy danych są dostępne w tym samym zasobie usługi Azure OpenAI co wszystkie inne typy wdrożeń usługi Azure OpenAI, ale umożliwiają dynamiczne kierowanie ruchu do centrum danych w strefie danych zdefiniowanej przez firmę Microsoft z najlepszą dostępnością dla każdego żądania. Standard strefy danych zapewnia wyższe domyślne limity przydziału niż typy wdrożeń opartych na lokalizacji geograficznej platformy Azure.
Klienci o dużej spójnego woluminie mogą mieć większe opóźnienie zmienności. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę Limity przydziału i limity. W przypadku obciążeń, które wymagają wariancji o małych opóźnieniach na dużym woluminie, zalecamy korzystanie z ofert wdrożeń aprowizowania.
Aprowizowana strefa danych
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI w określonej strefie danych firmy Microsoft.Dowiedz się więcej na temat rezydencji danych.
Wdrożenia aprowizowania strefy danych są dostępne w tym samym zasobie usługi Azure OpenAI co wszystkie inne typy wdrożeń usługi Azure OpenAI, ale umożliwiają korzystanie z globalnej infrastruktury platformy Azure w celu dynamicznego kierowania ruchu do centrum danych w określonej strefie danych firmy Microsoft z najlepszą dostępnością dla każdego żądania. Wdrożenia aprowidowane w strefie danych zapewniają pojemność przetwarzania modelu zarezerwowanego na potrzeby wysokiej i przewidywalnej przepływności przy użyciu infrastruktury platformy Azure w określonej strefie danych firmy Microsoft.
Partia strefy danych
Ważne
Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure OpenAI w określonej strefie danych firmy Microsoft. Dowiedz się więcej na temat rezydencji danych.
Wdrożenia wsadowe strefy danych zapewniają wszystkie te same funkcje co globalne wdrożenia wsadowe , umożliwiając jednocześnie dynamiczne kierowanie ruchu do tylko centrów danych w strefie danych zdefiniowanych przez firmę Microsoft z najlepszą dostępnością dla każdego żądania.
Standardowa
Wdrożenia standardowe zapewniają model rozliczeń z płatnością za wywołanie w wybranym modelu. Zapewnia najszybszy sposób rozpoczęcia pracy, ponieważ płacisz tylko za to, co zużywasz. Modele dostępne w każdym regionie, a także przepływność mogą być ograniczone.
Wdrożenia w warstwie Standardowa są zoptymalizowane pod kątem obciążeń o małych i średnich woluminach o wysokiej wydajności. Klienci o dużej spójnego woluminie mogą mieć większe opóźnienie zmienności.
Zaaprowizowane
Aprowizowanie wdrożeń umożliwia określenie wymaganej przepływności we wdrożeniu. Następnie usługa przydziela niezbędną pojemność przetwarzania modelu i zapewnia, że jest gotowa. Przepływność jest definiowana pod względem aprowizowanej jednostki przepływności (PTU), która jest znormalizowanym sposobem reprezentowania przepływności dla danego wdrożenia. Każda para wersji modelu wymaga różnych ilości jednostek PTU do wdrożenia i zapewnienia różnych przepływności na jednostkę PTU. Dowiedz się więcej z artykułu Pojęcia dotyczące aprowizowanej przepływności.
Jak wyłączyć dostęp do wdrożeń globalnych w ramach subskrypcji
Usługa Azure Policy pomaga wymuszać standardy organizacyjne i oceniać zgodność na dużą skalę. Za pośrednictwem pulpitu nawigacyjnego zgodności udostępnia zagregowany widok umożliwiający ocenę ogólnego stanu środowiska, z możliwością przechodzenia do szczegółów poszczególnych zasobów i zasad. Pomaga również zapewnić zgodność zasobów dzięki korygowaniu zbiorczemu istniejących zasobów i automatycznemu korygowaniu nowych zasobów. Dowiedz się więcej o usłudze Azure Policy i określonych wbudowanych kontrolkach dla usług sztucznej inteligencji.
Poniższe zasady umożliwiają wyłączenie dostępu do dowolnego typu wdrożenia usługi Azure OpenAI. Aby wyłączyć dostęp do określonego typu wdrożenia, zastąp GlobalStandard ciąg nazwą jednostki SKU typu wdrożenia, do którego chcesz wyłączyć dostęp.
{
"mode": "All",
"policyRule": {
"if": {
"allOf": [
{
"field": "type",
"equals": "Microsoft.CognitiveServices/accounts/deployments"
},
{
"field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
"equals": "GlobalStandard"
}
]
}
}
}
Wdrażanie modeli
Aby dowiedzieć się więcej o tworzeniu zasobów i wdrażaniu modeli, zapoznaj się z przewodnikiem tworzenia zasobów.