Shrnutí
V tomto modulu jsme se zabývali tím, jak můžete používat Azure OpenAI společně se službou Azure API Management. Kombinací těchto služeb můžete spravovat a zabezpečit přístup k modelům AI.
Nejprve jsme probrali problém vyrovnávání zatížení a způsob, jakým vám může azure API Management pomoct se správou provozu a zajistit rovnoměrné rozdělení zatížení mezi back-endy. Podívali jsme se také na jističe a na to, jak můžou pomoct řídit provoz mimo back-endy, které nejsou v pořádku.
Dále jsme probrali omezování rychlosti na základě tokenů a způsob jeho použití k řízení přístupu k vašim rozhraním API. Důležitým učením bylo vyhnout se nadměrné spotřebě a tzv. "hlučným sousedům" nastavením limitů spotřeby tokenů.
Nakonec jsme probrali, jak můžete monitorovat a analyzovat vzory využití tokenů pomocí zásad metrik tokenů generování Azure OpenAI. Poskytováním komplexních metrik můžete optimalizovat přidělování prostředků, zlepšit rozhodování a zlepšit monitorování výkonu.
Další kroky
Tady je náš doporučený další postup:
- Ukázka APIM + Azure OpenAI
- Spravovaná identita v APIM
- Zásady omezení tokenů zásad -tokenů
- Back-end APIM
- Dokumentace ke službě Azure API Management
- Dokumentace k Azure OpenAI
- Ceny služby Azure API Management