Azure OpenAI-distributionstyper
Azure OpenAI ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Tjänsten erbjuder två huvudsakliga typer av distributioner: standard och etablerad. För en viss distributionstyp kan kunderna anpassa sina arbetsbelastningar efter sina databehandlingskrav genom att välja ett azuregeografi (Standard eller Provisioned-Managed), microsofts angivna datazon (DataZone-Standard eller DataZone Provisioned-Managed), eller globala (Global-Standard eller Global Provisioned-Managed) bearbetningsalternativ.
Alla distributioner kan utföra exakt samma slutsatsdragningsåtgärder, men fakturering, skala och prestanda skiljer sig avsevärt. Som en del av din lösningsdesign måste du fatta två viktiga beslut:
- Plats för databearbetning
- Samtalsvolym
Databearbetningsplatser för Azure OpenAI-distribution
För standarddistributioner finns det tre alternativ för distributionstyp att välja mellan – global, datazon och Azure-geografi. För etablerade distributioner finns det två alternativ för distributionstyp att välja mellan – global och Azure-geografi. Global standard är den rekommenderade startpunkten.
Globala distributioner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden. Det innebär att du får högsta inledande dataflödesgränser och bästa modelltillgänglighet med Global samtidigt som du tillhandahåller vårt serviceavtal för drifttid och låg svarstid. För arbetsbelastningar med höga volymer över de angivna användningsnivåerna på standard- och global standard kan du uppleva ökad svarstidsvariation. För kunder som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du använder våra etablerade distributionstyper.
Våra globala distributioner blir den första platsen för alla nya modeller och funktioner. Beroende på samtalsvolym bör kunder med stora volymer och krav på varians med låg svarstid överväga våra etablerade distributionstyper.
Distributioner av datazoner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden i den datazon som definierats av Microsoft. Datazondistributioner är placerade mellan våra erbjudanden för azure-geografi och global distribution och ger förhöjda kvotgränser samtidigt som databehandlingen hålls inom Den Microsoft-angivna datazonen. Vilande data fortsätter att finnas kvar i Azure OpenAI-resursens geografiska område (till exempel för en Azure OpenAI-resurs som skapats i Sverige, centrala Azure-regionen är Azure-geografin Sverige).
Om Azure OpenAI-resursen som används i distributionen av datazonen finns i USA bearbetas data inom USA. Om Azure OpenAI-resursen som används i din distribution av datazonen finns i en Eu-medlemsnation bearbetas data inom eu-ländernas geografiska områden. För alla distributionstyper för Azure OpenAI-tjänsten fortsätter alla data som lagras i vila att finnas kvar i Azure OpenAI-resursens geografiska område. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.
För alla distributionstyper som är märkta "Global" kan frågor och svar bearbetas i alla geografiska områden där relevant Azure OpenAI-modell distribueras (läs mer om regionstillgänglighet för modeller). För alla distributionstyper som är märkta med "DataZone" kan frågor och svar bearbetas i alla geografiska områden inom den angivna datazonen, enligt microsofts definition. Om du skapar en DataZone-distribution i en Azure OpenAI-resurs i USA kan frågor och svar bearbetas var som helst inom USA. Om du skapar en DataZone-distribution i en Azure OpenAI-resurs som finns i en Eu-medlemsnation kan uppmaningar och svar bearbetas i den eller någon annan medlem i Europeiska unionen. För både globala distributionstyper och DataZone-distributionstyper lagras alla vilande data, till exempel uppladdade data, i det kundspecifika geografiska området. Endast bearbetningsplatsen påverkas när en kund använder en global distributionstyp eller datazondistributionstyp i Azure OpenAI Service. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.
Global standard
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografin, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats. Läs mer om datahemvist.
Globala distributioner är tillgängliga i samma Azure OpenAI-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Global standard ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.
Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde.
Global etablerad
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografin, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats. Läs mer om datahemvist.
Globala distributioner är tillgängliga i samma Azure OpenAI-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Globala etablerade distributioner ger reserverad modellbearbetningskapacitet för högt och förutsägbart dataflöde med azures globala infrastruktur.
Global batch
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografin, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats. Läs mer om datahemvist.
Den globala batchen är utformad för att effektivt hantera storskaliga och stora bearbetningsuppgifter. Bearbeta asynkrona grupper av begäranden med separat kvot, med 24-timmars målomställning, till 50 % lägre kostnad än global standard. Med batchbearbetning skickar du ett stort antal begäranden i en enda fil i stället för att skicka en begäran i taget. Globala batchbegäranden har en separat kvot för kodad token som undviker avbrott i dina onlinearbetsbelastningar.
De främsta användningsfallen är:
Storskalig databearbetning: Analysera snabbt omfattande datamängder parallellt.
Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.
Dokumentgranskning och sammanfattning: Automatisera granskning och sammanfattning av långa dokument.
Kundsupportautomatisering: Hantera flera frågor samtidigt för snabbare svar.
Dataextrahering och analys: Extrahera och analysera information från stora mängder ostrukturerade data.
NLP-uppgifter (Natural Language Processing): Utför uppgifter som attitydanalys eller översättning på stora datamängder.
Marknadsföring och anpassning: Generera anpassat innehåll och rekommendationer i stor skala.
Standard för datazon
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats inom Den Microsoft-angivna datazonen. Läs mer om datahemvist.
Standarddistributioner av datazoner är tillgängliga i samma Azure OpenAI-resurs som alla andra Azure OpenAI-distributionstyper, men gör att du kan använda global Azure-infrastruktur för att dynamiskt dirigera trafik till datacentret i Den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran. Datazonstandarden ger högre standardkvoter än våra azure-geografibaserade distributionstyper.
Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter och gränser . För arbetsbelastningar som kräver varians med låg svarstid på stora volymer rekommenderar vi att du använder de etablerade distributionserbjudandena.
Datazon etablerad
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats inom Den Microsoft-angivna datazonen.Läs mer om datahemvist.
Allokerade distributioner i datazonen är tillgängliga i samma Azure OpenAI-resurs som alla andra Azure OpenAI-distributionstyper, men gör att du kan utnyttja den globala Azure-infrastrukturen för att dynamiskt dirigera trafik till datacentret i Den Microsoft-angivna datazonen med bästa tillgänglighet för varje begäran. Etablerade distributioner i datazoner ger reserverad modellbearbetningskapacitet för högt och förutsägbart dataflöde med hjälp av Azure-infrastrukturen i Den Microsoft-angivna datazonen.
Datazonsbatch
Viktigt!
Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure OpenAI-plats inom Den Microsoft-angivna datazonen. Läs mer om datahemvist.
Batchdistributioner i datazoner har samma funktioner som globala batchdistributioner, samtidigt som du kan utnyttja den globala Azure-infrastrukturen för att dynamiskt dirigera trafik till endast datacenter i Den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran.
Standard
Standarddistributioner tillhandahåller en faktureringsmodell för betalning per anrop för den valda modellen. Ger det snabbaste sättet att komma igång eftersom du bara betalar för det du förbrukar. Modeller som är tillgängliga i varje region samt dataflöde kan vara begränsade.
Standarddistributioner är optimerade för arbetsbelastningar med låg till medelhög volym med hög burstiness. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.
Etablerad
Med etablerade distributioner kan du ange hur mycket dataflöde du behöver i en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter (PTU) som är ett normaliserat sätt att representera dataflödet för distributionen. Varje modellversionspar kräver olika mängder PTU för att distribuera och tillhandahålla olika mängder dataflöde per PTU. Läs mer i vår artikel om etablerade dataflödesbegrepp.
Så här inaktiverar du åtkomst till globala distributioner i din prenumeration
Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via dess instrumentpanel för efterlevnad finns en sammanställd vy för att utvärdera miljöns övergripande tillstånd, och du kan öka detaljnivån till per resurs och per princip. Du får också hjälp att säkerställa att resurserna efterlever kraven via massåtgärder för befintliga resurser och automatisk reparation för nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för AI-tjänster.
Du kan använda följande princip för att inaktivera åtkomst till valfri Azure OpenAI-distributionstyp. Om du vill inaktivera åtkomst till en viss distributionstyp ersätter GlobalStandard du med sku-namnet för den distributionstyp som du vill inaktivera åtkomst till.
{
"mode": "All",
"policyRule": {
"if": {
"allOf": [
{
"field": "type",
"equals": "Microsoft.CognitiveServices/accounts/deployments"
},
{
"field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
"equals": "GlobalStandard"
}
]
}
}
}
Distribuera modeller
Mer information om hur du skapar resurser och distribuerar modeller finns i guiden för att skapa resurser.