Distributionstyper i Azure AI-modellinferens
Azure AI-modellinferens i Azure AI-tjänster ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Tjänsten erbjuder två huvudsakliga typer av distribution: standard och etablerad. Standard erbjuds med ett globalt distributionsalternativ som dirigerar trafik globalt för att ge högre dataflöde. Etablerad erbjuds också med ett globalt distributionsalternativ som gör det möjligt för kunder att köpa och distribuera etablerade dataflödesenheter i azures globala infrastruktur.
Alla distributioner kan utföra exakt samma slutsatsdragningsåtgärder, men fakturering, skala och prestanda skiljer sig avsevärt. Som en del av din lösningsdesign måste du fatta två viktiga beslut:
- Behov av datahemvist: globala eller regionala resurser
- Samtalsvolym: standard jämfört med etablerad
Stöd för distributionstyper varierar beroende på modell- och modellprovider. Du kan se vilken distributionstyp (SKU) som varje modell stöder i avsnittet Modeller.
Globala och regionala distributionstyper
För standarddistributioner och etablerade distributioner kan du välja mellan två typer av konfigurationer i resursen – global eller regional. Global standard är den rekommenderade startpunkten.
Globala distributioner utnyttjar Azures globala infrastruktur och dirigerar dynamiskt kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden. Det innebär att du får högsta inledande dataflödesgränser och bästa modelltillgänglighet med Global samtidigt som du tillhandahåller vårt serviceavtal för drifttid och låg svarstid. För arbetsbelastningar med höga volymer över de angivna användningsnivåerna på standard- och global standard kan du uppleva ökad svarstidsvariation. För kunder som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde.
Våra globala distributioner är den första platsen för alla nya modeller och funktioner. Kunder med stora dataflödeskrav bör överväga vårt etablerade distributionserbjudande.
Standard
Standarddistributioner tillhandahåller en faktureringsmodell för betalning per anrop för den valda modellen. Ger det snabbaste sättet att komma igång eftersom du bara betalar för det du förbrukar. Modeller som är tillgängliga i varje region och dataflöde kan vara begränsade.
Standarddistributioner är optimerade för arbetsbelastningar med låg till medelhög volym med hög burstiness. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.
Endast Azure OpenAI-modeller stöder den här distributionstypen.
Global standard
Globala distributioner är tillgängliga i samma Azure AI-tjänstresurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Global standard ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.
Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde om det är tillgängligt.
Global etablerad
Globala distributioner är tillgängliga i samma Azure AI-tjänstresurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Globala etablerade distributioner ger reserverad modellbearbetningskapacitet för högt och förutsägbart dataflöde med azures globala infrastruktur.
Endast Azure OpenAI-modeller stöder den här distributionstypen.