Typy nasazení v odvozování modelu Azure AI
Odvozování modelů Azure AI ve službách Azure AI poskytuje zákazníkům volby ve struktuře hostování, která odpovídá jejich obchodním vzorům a vzorům využití. Služba nabízí dva hlavní typy nasazení: standardní a zřízené. Standard se nabízí s možností globálního nasazení a směrováním provozu globálně za účelem zajištění vyšší propustnosti. Zřizování se také nabízí s možností globálního nasazení, která zákazníkům umožňuje nakupovat a nasazovat zřízené jednotky propustnosti napříč globální infrastrukturou Azure.
Všechna nasazení můžou provádět přesně stejné operace odvozování, ale fakturace, škálování a výkon se podstatně liší. V rámci návrhu řešení musíte provést dvě klíčová rozhodnutí:
- Požadavky na rezidenci dat: globální a regionální prostředky
- Objem volání: standardní vs. zřízený
Typy nasazení se liší podle modelu a poskytovatele modelu. V části Modely si můžete prohlédnout, jaký typ nasazení (SKU) každý model podporuje.
Globální a regionální typy nasazení
Pro standardní a zřízená nasazení máte možnost dvou typů konfigurací v rámci vašeho prostředku – globální nebo regionální. Globální standard je doporučeným výchozím bodem.
Globální nasazení využívají globální infrastrukturu Azure, dynamicky směrují provoz zákazníků do datového centra s nejlepší dostupností pro požadavky zákazníka na odvozování. To znamená, že získáte nejvyšší limity počáteční propustnosti a nejlepší dostupnost modelu v globálním prostředí a současně poskytujeme naši smlouvu SLA pro dostupnost a nízkou latenci. U úloh s velkým objemem nad určenými úrovněmi využití na úrovni Standard a Global Standard můžete zaznamenat zvýšenou latenci. Zákazníkům, kteří vyžadují nižší odchylku latence při velkém využití úloh, doporučujeme zakoupit zřízenou propustnost.
Naše globální nasazení jsou prvním místem pro všechny nové modely a funkce. Zákazníci s velkými požadavky na propustnost by měli zvážit naši nabídku zřízeného nasazení.
Standard
Standardní nasazení poskytují model fakturace plateb za volání u zvoleného modelu. Poskytuje nejrychlejší způsob, jak začít, protože platíte jenom za to, co využíváte. Modely dostupné v jednotlivých oblastech a propustnosti můžou být omezené.
Standardní nasazení jsou optimalizovaná pro úlohy s nízkým až středním objemem s vysokou nárazovou zátěží. Zákazníci s vysokým objemem můžou zaznamenat větší variabilitu latence.
Tento typ nasazení podporují jenom modely Azure OpenAI.
Globální standard
Globální nasazení jsou k dispozici ve stejných prostředcích služeb Azure AI jako jiné než globální typy nasazení, ale umožňují využít globální infrastrukturu Azure k dynamickému směrování provozu do datacentra s nejlepší dostupností pro jednotlivé požadavky. Globální standard poskytuje nejvyšší výchozí kvótu a eliminuje nutnost vyrovnávat zatížení napříč několika prostředky.
Zákazníci s vysokým objemem můžou zaznamenat větší variabilitu latence. Prahová hodnota je nastavená pro každý model. Pro aplikace, které vyžadují nižší odchylku latence při velkém využití úloh, doporučujeme zakoupit zřízenou propustnost, pokud je k dispozici.
Globální zřízeno
Globální nasazení jsou k dispozici ve stejných prostředcích služeb Azure AI jako jiné než globální typy nasazení, ale umožňují využít globální infrastrukturu Azure k dynamickému směrování provozu do datacentra s nejlepší dostupností pro jednotlivé požadavky. Globální zřízená nasazení poskytují rezervovanou kapacitu pro zpracování modelů pro vysokou a předvídatelnou propustnost pomocí globální infrastruktury Azure.
Tento typ nasazení podporují jenom modely Azure OpenAI.