Přehled: Nasazení modelů AI na portálu Azure AI Foundry
Katalog modelů na portálu Azure AI Foundry je centrum pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Modely je potřeba nasadit, aby byly dostupné pro příjem žádostí o odvozování. Proces interakce s nasazeným modelem se nazývá odvozování. Azure AI Foundry nabízí komplexní sadu možností nasazení pro tyto modely v závislosti na vašich potřebách a požadavcích modelu.
Nasazení modelů
Možnosti nasazení se liší v závislosti na typu modelu:
- Modely Azure OpenAI: Nejnovější modely OpenAI, které mají podnikové funkce z Azure.
- Modely jako služby: Tyto modely nevyžadují kvótu výpočetních prostředků z vašeho předplatného. Tato možnost umožňuje nasadit model jako službu (MaaS). Používáte nasazení bezserverového rozhraní API a účtuje se podle tokenu způsobem průběžných plateb.
- Otevřené a vlastní modely: Katalog modelů nabízí přístup k široké škále modelů napříč způsoby, které jsou otevřené. Ve vlastním předplatném můžete hostovat otevřené modely se spravovanou infrastrukturou, virtuálními počítači a počtem instancí pro správu kapacity. Existuje široká škála modelů od Azure OpenAI, Hugging Face a NVIDIA.
Azure AI Foundry nabízí čtyři různé možnosti nasazení:
| Název | Azure OpenAI Service | Odvození modelu Azure AI | Bezserverové rozhraní API | Spravované výpočetní prostředky |
|---|---|---|---|---|
| Které modely je možné nasadit? | Modely Azure OpenAI | Modely a modely Azure OpenAI jako služba | Modely jako služba | Otevření a vlastní modely |
| Prostředek nasazení | Prostředek Azure OpenAI | Prostředek služeb Azure AI | Zdroj projektu AI | Zdroj projektu AI |
| Nejvhodnější v případech, kdy | Plánujete používat pouze modely OpenAI. | Plánujete využít hlavní modely v katalogu Azure AI, včetně OpenAI. | Plánujete použít jeden model od konkrétního poskytovatele (s výjimkou OpenAI). | Pokud plánujete používat otevřené modely a máte v předplatném k dispozici dostatečnou kvótu výpočetních prostředků. |
| Fakturační báze | Využití tokenů a PTU | Využití tokenů | Využitítokenů 1 | Výpočetní jádro hodiny2 |
| Pokyny k nasazení | Nasazení do služby Azure OpenAI | Nasazení do odvozování modelu Azure AI | Nasazení do bezserverového rozhraní API | Nasazení do spravovaného výpočetního prostředí |
1 Minimální infrastruktura koncových bodů se účtuje za minutu. Za infrastrukturu, která je hostitelem modelu v průběžných platbách, se vám neúčtuje. Po odstranění koncového bodu se nebudou účtovat žádné další poplatky.
2 Fakturace se provádí za minutu v závislosti na úrovni produktu a počtu instancí používaných v nasazení od okamžiku vytvoření. Po odstranění koncového bodu se nebudou účtovat žádné další poplatky.
Tip
Další informace o sledování nákladů najdete v tématu Monitorování nákladů na modely nabízené prostřednictvím Azure Marketplace.
Jak mám uvažovat o možnostech nasazení?
Azure AI Foundry doporučuje zákazníkům prozkoumat možnosti nasazení a vybrat si ten, který nejlépe vyhovuje jejich obchodním a technickým potřebám. Obecně můžete použít následující proces myšlení:
Začněte možnostmi nasazení, které mají větší rozsahy. Díky tomu můžete iterovat a vytvářet prototypy ve vaší aplikaci rychleji, aniž byste museli znovu sestavit architekturu pokaždé, když se rozhodnete něco změnit. Odvozování modelů Azure AI je cíl nasazení, který podporuje všechny vlajkové modely v katalogu Azure AI, včetně nejnovějších inovací z Azure OpenAI. Začněte tím, že podle konfigurace projektu AI použijete odvozování modelu Azure AI.
Když chcete použít konkrétní model:
Pokud vás zajímají modely Azure OpenAI, použijte službu Azure OpenAI, která pro ně nabízí širokou škálu funkcí a je určená pro ně.
Pokud vás zajímá konkrétní model z modelů jako služba a neočekáváte použití jiného typu modelu, použijte koncové body bezserverového rozhraní API. Umožňují nasazení jednoho modelu v rámci jedinečné sady adres URL a klíčů koncového bodu.
Pokud váš model není k dispozici v modelech jako služba a máte ve svém předplatném dostupnou kvótu výpočetních prostředků, použijte spravované výpočetní prostředky , které podporují nasazení otevřených a vlastních modelů. Umožňuje také vysokou úroveň přizpůsobení serveru pro odvozování nasazení, protokolů a podrobné konfigurace.
Tip
Každá možnost nasazení může nabízet různé možnosti z hlediska sítí, zabezpečení a dalších funkcí, jako je bezpečnost obsahu. Projděte si dokumentaci pro každou z nich a seznamte se s jejich omezeními.