Omówienie: wdrażanie modeli sztucznej inteligencji w usłudze Azure AI Studio
Wykaz modeli w usłudze Azure AI Studio to centrum do odnajdywania i używania szerokiej gamy modeli do tworzenia aplikacji generacyjnych sztucznej inteligencji. Aby można było odbierać żądania wnioskowania, należy wdrożyć modele. Proces interakcji z wdrożonym modelem jest nazywany wnioskowaniem. Usługa Azure AI Studio oferuje kompleksowy zestaw opcji wdrażania dla tych modeli w zależności od potrzeb i wymagań dotyczących modelu.
Wdrażanie modeli
Opcje wdrażania różnią się w zależności od typu modelu:
- Modele usługi Azure OpenAI: najnowsze modele OpenAI, które mają funkcje przedsiębiorstwa z platformy Azure.
- Modele jako modele usługi: te modele nie wymagają limitu przydziału zasobów obliczeniowych z subskrypcji. Ta opcja umożliwia wdrożenie modelu jako usługi (MaaS). Używasz wdrożenia bezserwerowego interfejsu API i są naliczane opłaty za token w sposób płatności zgodnie z rzeczywistym użyciem.
- Otwarte i niestandardowe modele: Katalog modeli oferuje dostęp do wielu różnych modeli w różnych modalnościach, które mają otwarty dostęp. Otwarte modele można hostować we własnej subskrypcji przy użyciu zarządzanej infrastruktury, maszyn wirtualnych i liczby wystąpień na potrzeby zarządzania pojemnością. Istnieje szeroka gama modeli: Azure OpenAI, Hugging Face i NVIDIA.
Usługa Azure AI Studio oferuje cztery różne opcje wdrażania:
| Nazwisko | Azure OpenAI Service | Usługa wnioskowania modelu AI platformy Azure | Bezserwerowy interfejs API | Zarządzane obliczenia |
|---|---|---|---|---|
| Które modele można wdrożyć? | Modele usługi Azure OpenAI | Modele i modele platformy Azure OpenAI jako usługa | Modele jako usługa | Otwieranie i modele niestandardowe |
| Zasób wdrożenia | Zasób usługi Azure OpenAI | Zasób usług AI platformy Azure | Zasób projektu sztucznej inteligencji | Zasób projektu sztucznej inteligencji |
| Najlepiej nadaje się, gdy | Planujesz używać tylko modeli OpenAI | Planujesz skorzystać z flagowych modeli w katalogu sztucznej inteligencji platformy Azure, w tym openAI. | Planujesz użyć pojedynczego modelu od określonego dostawcy (z wyłączeniem interfejsu OpenAI). | Jeśli planujesz używać otwartych modeli i masz wystarczający limit przydziału zasobów obliczeniowych dostępnych w ramach subskrypcji. |
| Podstawy rozliczeń | Użycie tokenu i ptU | Użycie tokenu | Użycie tokenu1 | Godziny rdzeniobliczeniowych 2 |
| Instrukcje dotyczące wdrażania | Wdrażanie w usłudze Azure OpenAI | Wdrażanie w wnioskowaniu modelu AI platformy Azure | Wdrażanie w bezserwerowych interfejsach API | Wdrażanie w zarządzanych obliczeniach |
1 Minimalna infrastruktura punktu końcowego jest rozliczana na minutę. Nie są naliczane opłaty za infrastrukturę, która hostuje model w modelu płatności zgodnie z rzeczywistym użyciem. Po usunięciu punktu końcowego nie będą naliczane żadne dodatkowe opłaty.
2 Rozliczenia są naliczane na minutę, w zależności od warstwy produktu i liczby wystąpień używanych we wdrożeniu od momentu utworzenia. Po usunięciu punktu końcowego nie będą naliczane żadne dodatkowe opłaty.
Napiwek
Aby dowiedzieć się więcej na temat śledzenia kosztów, zobacz Monitorowanie kosztów modeli oferowanych w witrynie Azure Marketplace.
Jak należy myśleć o opcjach wdrażania?
Usługa Azure AI Studio zachęca klientów do eksplorowania opcji wdrażania i wybierania najlepszego zestawu potrzeb biznesowych i technicznych. Ogólnie rzecz biorąc, można użyć następującego procesu myślenia:
Zacznij od opcji wdrażania, które mają większe zakresy. Umożliwia to szybsze iterowanie i tworzenie prototypów w aplikacji bez konieczności ponownego kompilowania architektury za każdym razem, gdy zdecydujesz się coś zmienić. Usługa wnioskowania modelu AI platformy Azure to cel wdrożenia, który obsługuje wszystkie flagowe modele w katalogu sztucznej inteligencji platformy Azure, w tym najnowsze innowacje z poziomu usługi Azure OpenAI.
Jeśli chcesz użyć określonego modelu:
Jeśli interesuje Cię model Azure OpenAI, użyj usługi Azure OpenAI Service, która oferuje szeroką gamę możliwości i jest przeznaczona dla nich.
Jeśli interesuje Cię konkretny model z modelu jako usługa i nie oczekujesz użycia żadnego innego typu modelu, użyj bezserwerowych punktów końcowych interfejsu API. Umożliwiają one wdrożenie pojedynczego modelu w unikatowym zestawie adresów URL i kluczy punktu końcowego.
Jeśli model nie jest dostępny w modelach jako usługa i masz dostępny limit przydziału zasobów obliczeniowych w ramach subskrypcji, użyj funkcji Managed Compute , które obsługują wdrażanie otwartych i niestandardowych modeli. Umożliwia również wysoki poziom dostosowywania serwera wnioskowania wdrożenia, protokołów i szczegółowej konfiguracji.
Napiwek
Każda opcja wdrożenia może oferować różne możliwości w zakresie sieci, zabezpieczeń i dodatkowych funkcji, takich jak bezpieczeństwo zawartości. Zapoznaj się z dokumentacją dla każdego z nich, aby zrozumieć ich ograniczenia.