Přehled: Nasazení modelů AI na portálu Azure AI Foundry
Katalog modelů na portálu Azure AI Foundry je centrum pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Modely je potřeba nasadit, aby byly dostupné pro příjem žádostí o odvozování. Proces interakce s nasazeným modelem se nazývá odvozování. Azure AI Foundry nabízí komplexní sadu možností nasazení pro tyto modely v závislosti na vašich potřebách a požadavcích modelu.
Nasazení modelů
Možnosti nasazení se liší v závislosti na typu modelu:
- Modely Azure OpenAI: Nejnovější modely OpenAI, které mají podnikové funkce z Azure.
- Modely jako služby: Tyto modely nevyžadují kvótu výpočetních prostředků z vašeho předplatného. Tato možnost umožňuje nasadit model jako službu (MaaS). Používáte nasazení bezserverového rozhraní API a účtuje se podle tokenu způsobem průběžných plateb.
- Otevřené a vlastní modely: Katalog modelů nabízí přístup k široké škále modelů napříč způsoby, které jsou otevřené. Ve vlastním předplatném můžete hostovat otevřené modely se spravovanou infrastrukturou, virtuálními počítači a počtem instancí pro správu kapacity. Existuje široká škála modelů od Azure OpenAI, Hugging Face a NVIDIA.
Azure AI Foundry nabízí čtyři různé možnosti nasazení:
| Název | Azure OpenAI Service | Služba odvozování modelů Azure AI | Bezserverové rozhraní API | Spravované výpočetní prostředky |
|---|---|---|---|---|
| Které modely je možné nasadit? | Modely Azure OpenAI | Modely a modely Azure OpenAI jako služba | Modely jako služba | Otevření a vlastní modely |
| Prostředek nasazení | Prostředek Azure OpenAI | Prostředek služeb Azure AI | Zdroj projektu AI | Zdroj projektu AI |
| Nejvhodnější v případech, kdy | Plánujete používat pouze modely OpenAI. | Plánujete využít hlavní modely v katalogu Azure AI, včetně OpenAI. | Plánujete použít jeden model od konkrétního poskytovatele (s výjimkou OpenAI). | Pokud plánujete používat otevřené modely a máte v předplatném k dispozici dostatečnou kvótu výpočetních prostředků. |
| Fakturační báze | Využití tokenů a PTU | Využití tokenů | Využitítokenů 1 | Výpočetní jádro hodiny2 |
| Pokyny k nasazení | Nasazení do služby Azure OpenAI | Nasazení do odvozování modelu Azure AI | Nasazení do bezserverového rozhraní API | Nasazení do spravovaného výpočetního prostředí |
1 Minimální infrastruktura koncových bodů se účtuje za minutu. Za infrastrukturu, která je hostitelem modelu v průběžných platbách, se vám neúčtuje. Po odstranění koncového bodu se nebudou účtovat žádné další poplatky.
2 Fakturace se provádí za minutu v závislosti na úrovni produktu a počtu instancí používaných v nasazení od okamžiku vytvoření. Po odstranění koncového bodu se nebudou účtovat žádné další poplatky.
Tip
Další informace o sledování nákladů najdete v tématu Monitorování nákladů na modely nabízené prostřednictvím Azure Marketplace.
Jak mám uvažovat o možnostech nasazení?
Azure AI Foundry doporučuje zákazníkům prozkoumat možnosti nasazení a vybrat si ten, který nejlépe vyhovuje jejich obchodním a technickým potřebám. Obecně můžete použít následující proces myšlení:
Začněte možnostmi nasazení, které mají větší rozsahy. Díky tomu můžete iterovat a vytvářet prototypy ve vaší aplikaci rychleji, aniž byste museli znovu sestavit architekturu pokaždé, když se rozhodnete něco změnit. Služba odvozování modelů Azure AI je cíl nasazení, který podporuje všechny vlajkové modely v katalogu Azure AI, včetně nejnovějších inovací z Azure OpenAI.
Když chcete použít konkrétní model:
Pokud vás zajímají modely Azure OpenAI, použijte službu Azure OpenAI, která pro ně nabízí širokou škálu funkcí a je určená pro ně.
Pokud vás zajímá konkrétní model z modelů jako služba a neočekáváte použití jiného typu modelu, použijte koncové body bezserverového rozhraní API. Umožňují nasazení jednoho modelu v rámci jedinečné sady adres URL a klíčů koncového bodu.
Pokud váš model není k dispozici v modelech jako služba a máte ve svém předplatném dostupnou kvótu výpočetních prostředků, použijte spravované výpočetní prostředky , které podporují nasazení otevřených a vlastních modelů. Umožňuje také vysokou úroveň přizpůsobení serveru pro odvozování nasazení, protokolů a podrobné konfigurace.
Tip
Každá možnost nasazení může nabízet různé možnosti z hlediska sítí, zabezpečení a dalších funkcí, jako je bezpečnost obsahu. Projděte si dokumentaci pro každou z nich a seznamte se s jejich omezeními.