Azure OpenAI-Bereitstellungstypen
Azure OpenAI bietet Kunden Auswahlmöglichkeiten bei der Hostingstruktur, die ihren Geschäfts- und Nutzungsmustern entspricht. Der Dienst bietet zwei Haupttypen der Bereitstellung: Standard und Bereitgestellt. Für einen bestimmten Bereitstellungstyp können Kunden ihre Arbeitsauslastungen an ihren Datenverarbeitungsanforderungen anpassen, indem Sie eine Azure-Geografie (Standard oder Provisioned-Managed), von Microsoft angegebene Datenzone (DataZone-Standard oder DataZone Provisioned-Managed) oder globale Verarbeitungsoptionen (Global-Standard oder Global Provisioned-Managed) auswählen.
Alle Bereitstellungen können dieselben Rückschlussvorgänge ausführen, Abrechnung, Skalierung und Leistung unterscheiden sich jedoch erheblich. Im Rahmen Ihres Lösungsdesigns müssen Sie zwei wichtige Entscheidungen treffen:
- Standort für die Datenverarbeitung
- Aufrufvolumen
Azure OpenAI Deployment Data Processing Locations
Für Standardbereitstellungen gibt es drei Optionen für Bereitstellungstypen, aus denen Sie wählen können – global, Datenzone und Azure-Geografie. Für bereitgestellte Bereitstellungen gibt es zwei Optionen für Bereitstellungstypen, aus denen Sie wählen können – global und Azure-Geografie. Der globale Standard ist der empfohlene Ausgangspunkt.
Globale Bereitstellungen nutzen die globale Azure-Infrastruktur und leiten den Kundendatenverkehr dynamisch an das Rechenzentrum weiter, das die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden bietet. Dies bedeutet, dass Sie die höchsten Grenzwerte für den anfänglichen Durchsatz und die beste Modellverfügbarkeit mit Global erhalten, während Sie gleichzeitig von unsere Uptime-SLA und niedrigen Latenzzeiten profitieren können. Bei Workloads mit hohem Volumen, die über die angegebenen Nutzungsebenen von Standard und Global Standard hinausgehen, können erhöhte Latenzschwankungen auftreten. Für Kunden, die die geringere Wartezeitvarianz bei einer hohen Workloadnutzung erfordern, empfehlen wir die Nutzung unserer bereitgestellten Bereitstellungstypen.
Unsere globalen Bereitstellungen sind der erste Ort für alle neuen Modelle und Features. Je nach Aufrufvolumen sollten Kunden mit hohen Volumen- und geringen Latenzabweichungsanforderungen unsere bereitgestellten Bereitstellungstypen berücksichtigen.
Datenzonenbereitstellungen nutzen die globale Azure-Infrastruktur und leiten den Kundendatenverkehr dynamisch an das Rechenzentrum weiter, das die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden innerhalb der von Microsoft festgelegten Datenzone bietet. Positioniert zwischen unseren Bereitstellungsangeboten Azure-Geografie und Global bieten Datenzonenbereitstellungen erhöhte Kontingentbeschränkungen, während die Datenverarbeitung innerhalb der angegebenen Datenzone von Microsoft beibehalten wird. Ruhende Daten bleiben weiterhin in der Geografie der Azure OpenAI-Ressource (z. B. für eine Azure OpenAI-Ressource, die in der Region Schweden, Mitte erstellt wurde, ist die Azure-Geografie Schweden).
Wenn sich die Azure OpenAI-Ressource, die in Ihrer Datenzonenbereitstellung verwendet wird, in den USA befindet, werden die Daten innerhalb der USA verarbeitet. Wenn sich die Azure OpenAI-Ressource, die in Ihrer Datenzonenbereitstellung verwendet wird, in einem Mitgliedsstaat der Europäischen Union befindet, werden die Daten innerhalb der Regionen der Europäischen Union verarbeitet. Für alle Azure OpenAI-Dienstbereitstellungstypen bleiben alle ruhenden Daten weiterhin in der Geografie der Azure OpenAI-Ressource. Azure-Datenverarbeitungs- und Complianceverpflichtungen gelten weiterhin.
Für jeden Bereitstellungstyp mit der Bezeichnung „Global“, können Prompts und Antworten in jeder Region, in der das relevante Azure OpenAI-Modell bereitgestellt wird (weitere Informationen zur Regionale Verfügbarkeit von Modellen), verarbeitet werden. Für alle Bereitstellungstypen, die als „DataZone“ bezeichnet werden, können Prompts und Antworten in jeder Geografie innerhalb der angegebenen Datenzone verarbeitet werden, wie von Microsoft definiert. Wenn Sie eine DataZone-Bereitstellung in einer Azure OpenAI-Ressource erstellen, die sich in den USA befindet, werden Prompts und Antworten möglicherweise überall in den USA verarbeitet. Wenn Sie eine DataZone-Bereitstellung in einer Azure OpenAI-Ressource erstellen, die sich in einem Mitgliedsstaat der Europäischen Union befindet, können Prompts und Antworten in diesem oder einem anderen Mitgliedsstaat der Europäischen Union verarbeitet werden. Für die Bereitstellungstypen „Global“ und „DataZone“ werden alle ruhenden Daten, z. B. hochgeladene Daten, in der vom Kunden festgelegten Geografie gespeichert. Nur der Standort der Verarbeitung ist betroffen, wenn ein Kunde eine Bereitstellung vom Typ „Global“ oder „DataZone“ in Azure OpenAI Service verwendet; Azure-Datenverarbeitungs- und Complianceverpflichtungen gelten weiterhin.
Globaler Standard
Wichtig
Ruhende Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort verarbeitet werden. Erfahren Sie mehr über Data Residency.
Globale Bereitstellungen stehen in denselben Azure OpenAI-Ressourcen zur Verfügung wie nicht globale Bereitstellungstypen, ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Der globale Standard stellt das höchste Standardkontingent bereit und beseitigt die Notwendigkeit des Lastenausgleichs über mehrere Ressourcen hinweg.
Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite zu Kontingenten. Für Kunden, die eine geringere Wartezeitvarianz bei einer hohen Workloadnutzung erfordern, empfehlen wir den Kauf des bereitgestellten Durchsatzes.
Global bereitgestellt
Wichtig
Ruhende Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort verarbeitet werden. Erfahren Sie mehr über Data Residency.
Globale Bereitstellungen stehen in denselben Azure OpenAI-Ressourcen zur Verfügung wie nicht globale Bereitstellungstypen, ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Globale bereitgestellte Bereitstellungen bieten reservierte Modellverarbeitungskapazität für hohen und vorhersehbaren Durchsatz mithilfe der globalen Azure-Infrastruktur.
Global-Batch
Wichtig
Ruhende Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort verarbeitet werden. Erfahren Sie mehr über Data Residency.
Global-Batch ist darauf ausgelegt, umfangreiche Verarbeitungsaufgaben mit hohem Volumen effizient zu verarbeiten. Verarbeiten Sie asynchrone Anforderungsgruppen mit separatem Kontingent mit einer angestrebten Verarbeitungszeit von 24 Stunden zu 50 % weniger Kosten als bei „Global-Standard“. Bei der Stapelverarbeitung senden Sie die einzelnen Anforderungen nicht nacheinander, sondern Sie senden eine große Anzahl von Anforderungen in einer einzelnen Datei. Globale Batchanforderungen verfügen über ein separates Tokenkontingent, das in die Warteschlange eingereiht wird, um Unterbrechungen Ihrer Onlineworkloads zu vermeiden.
Wichtige Anwendungsfälle:
Umfangreiche Datenverarbeitung: Analysieren Sie schnell umfangreiche Datasets parallel.
Inhaltsgenerierung: Erstellen Sie große Textmengen, z. B. Produktbeschreibungen oder Artikel.
Dokumentüberprüfung und Zusammenfassung: Automatisieren Sie die Überprüfung und Zusammenfassung von umfangreichen Dokumenten.
Automatisierung des Kundendiensts: Verarbeiten Sie zahlreiche Anfragen gleichzeitig für schnellere Antworten.
Datenextraktion und -analyse: Extrahieren und analysieren Sie Informationen aus großen Mengen unstrukturierter Daten.
NLP-Aufgaben (Natural Language Processing, Verarbeitung natürlicher Sprache): Führen Sie Aufgaben wie Stimmungsanalyse oder Übersetzung für große Datasets aus.
Marketing und Personalisierung: Generieren Sie personalisierte Inhalte und Empfehlungen im großen Stil.
Datenzonenstandard
Wichtig
Ruhende Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort innerhalb der von Microsoft festgelegten Datenzone verarbeitet werden. Erfahren Sie mehr über Data Residency.
Standardbereitstellungen für Datenzonen sind in derselben Azure OpenAI-Ressource wie alle anderen Azure OpenAI-Bereitstellungstypen verfügbar, ermöglichen es Ihnen jedoch, die globale Azure-Infrastruktur zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum innerhalb der von Microsoft definierten Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Der Datenzonenstandard bietet höhere Standardkontingente als unsere geografiebasierten Azure-Bereitstellungstypen.
Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite zu Kontingenten und Beschränkungen. Für Workloads, die eine geringe Latenzabweichung bei großem Volumen erfordern, empfehlen wir die Nutzung der bereitgestellten Bereitstellungsangebote.
In Datenzonen bereitgestellt
Wichtig
Gespeicherte Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort innerhalb der von Microsoft festgelegten Datenzone verarbeitet werden. Weitere Informationen zur Datenresidenz
Bereitgestellte Bereitstellungen für Datenzonen sind in derselben Azure OpenAI-Ressource wie alle anderen Azure OpenAI-Bereitstellungstypen verfügbar, ermöglichen es Ihnen jedoch, die globale Azure-Infrastruktur zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum innerhalb der von Microsoft angegebenen Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. In Datenzonen bereitgestellte Bereitstellungen bieten reservierte Modellverarbeitungskapazität für hohen und vorhersehbaren Durchsatz mithilfe der Azure-Infrastruktur in der von Microsoft angegebenen Datenzone.
Datenzonenbatch
Wichtig
Ruhende Daten verbleiben in der angegebenen Azure-Geografie, während Daten für Rückschlüsse möglicherweise an einem beliebigen Azure OpenAI-Standort innerhalb der von Microsoft festgelegten Datenzone verarbeitet werden. Erfahren Sie mehr über Data Residency.
Batchbereitstellungen von Datenzonen bieten alle die gleichen Funktionen wie globale Batchbereitstellungen und ermöglichen es Ihnen, die globale Azure-Infrastruktur zu nutzen, um Datenverkehr dynamisch an Rechenzentren innerhalb der von Microsoft definierten Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten.
Standard
Standardbereitstellungen bieten ein Abrechnungsmodell für die Bezahlung pro Aufruf für das ausgewählte Modell. Bietet die schnellste Möglichkeit loszulegen, da Sie nur für das bezahlen, was Sie verbrauchen. Modelle, die in den einzelnen Regionen verfügbar sind, sowie der Durchsatz können beschränkt sein.
Standardbereitstellungen sind für Workloads mit geringem bis mittlerem Volumen mit hoher Burstartigkeit optimiert. Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben.
Bereitgestellt
Mit bereitgestellten Bereitstellungen können Sie den in einer Bereitstellung erforderlichen Durchsatz angeben. Der Dienst weist daraufhin die erforderliche Modellverarbeitungskapazität zu und stellt sicher, dass diese für Sie bereit ist. Der Durchsatz wird als bereitgestellte Durchsatzeinheiten (Provisioned Throughput Units, PTUs) definiert. Dabei handelt es sich um eine normalisierte Methode zur Darstellung des Durchsatzes für Ihre Bereitstellung. Jedes Modellversionspaar benötigt unterschiedliche PTU-Mengen, um unterschiedliche Durchsatzmengen pro PTU bereitzustellen. Weitere Informationen finden Sie in unserem Artikel zu Konzepten für bereitgestellten Durchsatz.
Deaktivieren des Zugriffs auf globale Bereitstellungen in Ihrem Abonnement
Azure Policy hilft bei der Durchsetzung von Organisationsstandards und bei der Bewertung der Compliance nach Bedarf. Über sein Compliance-Dashboard bietet der Dienst eine aggregierte Ansicht zur Bewertung des Gesamtzustands der Umgebung mit der Möglichkeit, einen Drilldown zur Granularität pro Ressource und Richtlinie durchzuführen. Außerdem trägt er durch Massenwartung für vorhandene Ressourcen und automatische Wartung dazu bei, dass Ihre Ressourcen Compliance-Anforderungen erfüllen. Erfahren Sie mehr über Azure Policy und bestimmte integrierte Steuerelemente für KI-Dienste.
Sie können die folgende Richtlinie verwenden, um den Zugriff auf beliebige Azure OpenAI-Bereitstellungstypen zu deaktivieren. Um den Zugriff auf einen bestimmten Bereitstellungstyp zu deaktivieren, ersetzen Sie GlobalStandard durch den SKU-Namen für den Bereitstellungstyp, für den Sie den Zugriff deaktivieren möchten.
{
"mode": "All",
"policyRule": {
"if": {
"allOf": [
{
"field": "type",
"equals": "Microsoft.CognitiveServices/accounts/deployments"
},
{
"field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
"equals": "GlobalStandard"
}
]
}
}
}
Bereitstellen von Modellen
Informationen zum Erstellen von Ressourcen und Bereitstellen von Modellen finden Sie in der Anleitung zum Erstellen von Ressourcen.