Azure OpenAI-implementatietypen
Azure OpenAI biedt klanten keuzes in de hostingstructuur die past bij hun bedrijfs- en gebruikspatronen. De service biedt twee hoofdtypen implementaties: standaard en ingericht. Voor een bepaald implementatietype kunnen klanten hun workloads afstemmen op hun gegevensverwerkingsvereisten door een Azure-geografie (Standard of Provisioned-Managed), door Microsoft opgegeven gegevenszone (DataZone-Standard of DataZone Provisioned-Managed) of globale (Global-Standard of Global Provisioned-Managed) verwerkingsopties te kiezen.
Alle implementaties kunnen exact dezelfde deductiebewerkingen uitvoeren, maar de facturering, schaal en prestaties verschillen aanzienlijk. Als onderdeel van uw oplossingsontwerp moet u twee belangrijke beslissingen nemen:
- Locatie voor gegevensverwerking
- Oproepvolume
Gegevensverwerkingslocaties voor Azure OpenAI-implementatie
Voor standaardimplementaties zijn er drie implementatietypen waaruit u kunt kiezen: globaal, gegevenszone en Azure-geografie. Voor ingerichte implementaties zijn er twee implementatietypen waaruit u kunt kiezen: globaal en Azure-geografie. Globale standaard is het aanbevolen uitgangspunt.
Globale implementaties maken gebruik van de globale infrastructuur van Azure om klantverkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor de deductieaanvragen van de klant. Dit betekent dat u de hoogste initiële doorvoerlimieten en de beste model beschikbaarheid krijgt met Global, terwijl u nog steeds onze SLA voor uptime en lage latentie levert. Voor workloads met een hoog volume boven de opgegeven gebruikslagen op standard en globale standaard kan er een grotere latentievariatie optreden. Voor klanten die de variantie van de lagere latentie bij een groot workloadgebruik vereisen, raden we u aan om gebruik te maken van onze ingerichte implementatietypen.
Onze wereldwijde implementaties zijn de eerste locatie voor alle nieuwe modellen en functies. Afhankelijk van het oproepvolume moeten klanten met een groot volume en een lage latentie rekening houden met onze ingerichte implementatietypen.
Implementaties van gegevenszones maken gebruik van de globale infrastructuur van Azure om klantverkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor de deductieaanvragen van de klant binnen de gegevenszone die door Microsoft is gedefinieerd. In de positie tussen onze geografische azure- en wereldwijde implementatieaanbiedingen bieden implementaties van gegevenszones verhoogde quotumlimieten terwijl gegevensverwerking binnen de door Microsoft opgegeven gegevenszone behouden blijft. Gegevens die in rust zijn opgeslagen, blijven in de geografie van de Azure OpenAI-resource staan (bijvoorbeeld voor een Azure OpenAI-resource die is gemaakt in de azure-regio Zweden - centraal, is de Azure-geografie Zweden).
Als de Azure OpenAI-resource die wordt gebruikt in de implementatie van uw gegevenszone zich in de Verenigde Staten bevindt, worden de gegevens binnen de Verenigde Staten verwerkt. Als de Azure OpenAI-resource die wordt gebruikt in de implementatie van uw gegevenszone zich in een lidnatie van de Europese Unie bevindt, worden de gegevens verwerkt in de geografische regio's van de Europese Unie. Voor alle azure OpenAI-serviceimplementatietypen blijven alle gegevens die in rust zijn opgeslagen, in de geografie van de Azure OpenAI-resource staan. Azure-gegevensverwerking en nalevingsverplichtingen blijven van toepassing.
Voor elk implementatietype met het label 'Globaal' kunnen prompts en antwoorden worden verwerkt in elke geografie waar het relevante Azure OpenAI-model wordt geïmplementeerd (meer informatie over de beschikbaarheid van regio's van modellen). Voor elk implementatietype dat is gelabeld als 'DataZone', kunnen prompts en antwoorden worden verwerkt in elke geografie binnen de opgegeven gegevenszone, zoals gedefinieerd door Microsoft. Als u een DataZone-implementatie maakt in een Azure OpenAI-resource in de Verenigde Staten, kunnen prompts en antwoorden overal in de Verenigde Staten worden verwerkt. Als u een DataZone-implementatie maakt in een Azure OpenAI-resource die zich in een lidnatie van de Europese Unie bevindt, kunnen prompts en antwoorden worden verwerkt in die of een andere lidland van de Europese Unie. Voor zowel globale als datazone-implementatietypen worden alle gegevens die in rust zijn opgeslagen, zoals geüploade gegevens, opgeslagen in de door de klant aangewezen geografie. Alleen de locatie van de verwerking wordt beïnvloed wanneer een klant gebruikmaakt van een globaal implementatietype of datazone-implementatietype in Azure OpenAI Service; Azure-gegevensverwerking en nalevingsverplichtingen blijven van toepassing.
Algemene standaard
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie op elke Azure OpenAI-locatie. Meer informatie over gegevenslocatie.
Globale implementaties zijn beschikbaar in dezelfde Azure OpenAI-resources als niet-globale implementatietypen, maar u kunt de globale infrastructuur van Azure gebruiken om verkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor elke aanvraag. Globale standaard biedt het hoogste standaardquotum en elimineert de noodzaak om taken over meerdere resources te verdelen.
Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren. De drempelwaarde wordt per model ingesteld. Zie de pagina quota voor meer informatie. Voor toepassingen waarvoor de variantie van de lagere latentie bij een groot workloadgebruik is vereist, raden we u aan ingerichte doorvoer aan te schaffen.
Globaal ingericht
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie op elke Azure OpenAI-locatie. Meer informatie over gegevenslocatie.
Globale implementaties zijn beschikbaar in dezelfde Azure OpenAI-resources als niet-globale implementatietypen, maar u kunt de globale infrastructuur van Azure gebruiken om verkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor elke aanvraag. Globale ingerichte implementaties bieden gereserveerde modelverwerkingscapaciteit voor hoge en voorspelbare doorvoer met behulp van de globale Azure-infrastructuur.
Globale batch
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie op elke Azure OpenAI-locatie. Meer informatie over gegevenslocatie.
Globale batch is ontworpen voor het efficiënt verwerken van grootschalige en grote hoeveelheden verwerkingstaken. Asynchrone groepen aanvragen verwerken met een afzonderlijk quotum, met 24-uurs doeltijd, tegen 50% lagere kosten dan de algemene standaard. Met batchverwerking, in plaats van één aanvraag tegelijk te verzenden, verzendt u een groot aantal aanvragen in één bestand. Globale batchaanvragen hebben een afzonderlijk ge enqueued tokenquotum om onderbrekingen van uw onlineworkloads te voorkomen.
Enkele belangrijke gebruiksvoorbeelden:
Grootschalige gegevensverwerking: analyseer snel uitgebreide gegevenssets parallel.
Inhoudsgeneratie: Maak grote hoeveelheden tekst, zoals productbeschrijvingen of artikelen.
Documentbeoordeling en samenvatting: Automatiseer de beoordeling en samenvatting van lange documenten.
Automatisering van klantondersteuning: meerdere query's tegelijk verwerken voor snellere antwoorden.
Gegevensextractie en analyse: gegevens extraheren en analyseren uit grote hoeveelheden ongestructureerde gegevens.
NLP-taken (Natural Language Processing): voer taken uit zoals sentimentanalyse of vertaling op grote gegevenssets.
Marketing en personalisatie: genereer gepersonaliseerde inhoud en aanbevelingen op schaal.
Standaard gegevenszone
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie in een Azure OpenAI-locatie binnen de door Microsoft opgegeven gegevenszone. Meer informatie over gegevenslocatie.
Standaardimplementaties voor gegevenszones zijn beschikbaar in dezelfde Azure OpenAI-resource als alle andere Azure OpenAI-implementatietypen, maar u kunt gebruikmaken van de globale Infrastructuur van Azure om verkeer dynamisch te routeren naar het datacenter binnen de door Microsoft gedefinieerde gegevenszone met de beste beschikbaarheid voor elke aanvraag. De standaard voor de gegevenszone biedt hogere standaardquota dan onze implementatietypen op basis van geografie in Azure.
Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren. De drempelwaarde wordt per model ingesteld. Zie de pagina Quota en limieten voor meer informatie. Voor workloads waarvoor afwijking van lage latentie op grote volumes is vereist, raden we u aan gebruik te maken van de ingerichte implementatieaanbiedingen.
Gegevenszone ingericht
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie in een Azure OpenAI-locatie binnen de door Microsoft opgegeven gegevenszone.Meer informatie over gegevenslocatie.
Ingerichte implementaties in de gegevenszone zijn beschikbaar in dezelfde Azure OpenAI-resource als alle andere Azure OpenAI-implementatietypen, maar u kunt gebruikmaken van de globale Azure-infrastructuur om verkeer dynamisch te routeren naar het datacenter binnen de door Microsoft opgegeven gegevenszone met de beste beschikbaarheid voor elke aanvraag. In de gegevenszone ingerichte implementaties bieden gereserveerde modelverwerkingscapaciteit voor een hoge en voorspelbare doorvoer met behulp van de Azure-infrastructuur binnen de door Microsoft opgegeven gegevenszone.
Gegevenszonebatch
Belangrijk
Gegevens die in rust zijn opgeslagen, blijven in de aangewezen Azure-geografie, terwijl gegevens kunnen worden verwerkt voor deductie in een Azure OpenAI-locatie binnen de door Microsoft opgegeven gegevenszone. Meer informatie over gegevenslocatie.
Batchimplementaties in de gegevenszone bieden dezelfde functionaliteit als globale batchimplementaties , terwijl u de globale Azure-infrastructuur kunt gebruiken om verkeer dynamisch te routeren naar alleen datacenters binnen de door Microsoft gedefinieerde gegevenszone met de beste beschikbaarheid voor elke aanvraag.
Standaard
Standaardimplementaties bieden een factureringsmodel voor betalen per aanroep op het gekozen model. Biedt de snelste manier om aan de slag te gaan, omdat u alleen betaalt voor wat u verbruikt. Modellen die beschikbaar zijn in elke regio en de doorvoer kunnen worden beperkt.
Standaardimplementaties zijn geoptimaliseerd voor workloads met een laag tot gemiddeld volume met een hoge burstiviteit. Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren.
Ingericht
Met ingerichte implementaties kunt u de hoeveelheid doorvoer opgeven die u nodig hebt in een implementatie. De service wijst vervolgens de benodigde modelverwerkingscapaciteit toe en zorgt ervoor dat deze gereed is voor u. Doorvoer wordt gedefinieerd in termen van ingerichte doorvoereenheden (PTU). Dit is een genormaliseerde manier om de doorvoer voor uw implementatie weer te geven. Elk modelversiepaar vereist verschillende hoeveelheden PTU om per PTU te implementeren en verschillende hoeveelheden doorvoer per PTU te bieden. Meer informatie vindt u in het artikel Ingerichte doorvoerconcepten.
Toegang tot globale implementaties in uw abonnement uitschakelen
Met Azure Policy kunt u organisatiestandaarden afdwingen en compliance op schaal beoordelen. Via het compliancedashboard biedt het een geaggregeerde weergave om de algehele status van de omgeving te evalueren, met de mogelijkheid om in te zoomen op de granulariteit per resource, per beleid. Hiermee kunt u ook zorgen voor compliance van uw resources via bulkherstel voor bestaande resources en automatisch herstel voor nieuwe resources. Meer informatie over Azure Policy en specifieke ingebouwde besturingselementen voor AI-services.
U kunt het volgende beleid gebruiken om de toegang tot elk Azure OpenAI-implementatietype uit te schakelen. Als u de toegang tot een specifiek implementatietype wilt uitschakelen, vervangt GlobalStandard u de SKU-naam voor het implementatietype waartoe u de toegang wilt uitschakelen.
{
"mode": "All",
"policyRule": {
"if": {
"allOf": [
{
"field": "type",
"equals": "Microsoft.CognitiveServices/accounts/deployments"
},
{
"field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
"equals": "GlobalStandard"
}
]
}
}
}
Modellen implementeren
Raadpleeg de handleiding voor het maken van resources voor meer informatie over het maken van resources en het implementeren van modellen.