Häufig gestellte Fragen zur Verwendung von Azure AI-Diensten für Startups.
Erste Schritte
Was ist die beste Methode, um mit dem Azure OpenAI-Dienst für meinen Start zu beginnen?
Sehen Sie sich den generativen KI-Kurs für Anfänger auf GitHub an. Es ist ein 18-Lektions-Anweisungssatz, der alle wichtigsten Azure OpenAI-Features einführt und Ihnen zeigt, wie Sie Anwendungen mit ihnen erstellen.
Wie kann ich Azure AI-Funktionen schnell mit einem Low/No-Code-Ansatz testen?
Verwenden Sie Azure AI Foundry-Portal, um eine Vielzahl von KI-Funktionen zu testen, einschließlich Bereitstellen von Azure OpenAI-Modellen und Anwenden von Inhaltsmoderationsdiensten.
Regionale Verfügbarkeit und Data Residency
In welchen Azure-Regionen ist der OpenAI-Dienst verfügbar?
Verschiedene Azure OpenAI-Modelle sind auf verschiedene Regionen beschränkt. Eine vollständige Liste finden Sie in der Modellverfügbarkeitstabelle .
Wie wirkt sich die Regionsauswahl auf die Latenz und Leistung von Azure OpenAI-Diensten aus?
Die Auswirkung ist minimal, es sei denn, Sie verwenden das Streaming-Feature. Die Latenz der eigenen Antwort des Modells wirkt sich wesentlich stärker auf die Latenz aus als bei Regionsunterschieden.
Die Wahl der Verwendung eines dedizierten Azure OpenAI-Servers im Vergleich zu pay-as-you-go-Plan hat auch größere Auswirkungen auf die Leistung.
Grenzwerte für Tarife und Ressourcenverwaltung
Wie kann ich sicherstellen, dass meine Anwendung ihr Azure OpenAI-Kontingent skalieren kann?
Lesen Sie "Verwalten des Azure OpenAI-Dienstkontingents ", um zu verstehen, wie Kontingentbeschränkungen funktionieren und wie sie verwaltet werden.
Was sind die Ratenbeschränkungen für Azure OpenAI-Dienst und wie kann ich sie verwalten?
Kunden, die das Pay-as-You-Go-Modell (am häufigsten) verwenden, finden Sie auf der Seite " Azure OpenAI-Dienstkontingent verwalten". Kunden, die einen dedizierten Azure OpenAI-Server verwenden, finden Sie im Kontingentabschnitt des zugehörigen Leitfadens.
Gewusst wie Token-pro-Minute-Einschränkungen im Azure OpenAI-Dienst behandeln?
Erwägen Sie die Kombination mehrerer Azure OpenAI-Bereitstellungen in einer erweiterten Architektur, um ein System zu erstellen, das mehr Token pro Minute für mehr Benutzer bereitstellt.
Wann sollte ich einen dedizierten Azure OpenAI-Server (PTU) anstelle des Pay-as-you-go-Modells verwenden?
Sie sollten in Betracht ziehen, von pay-as-you-go zum bereitgestellten Durchsatz zu wechseln, wenn Sie gut definierte, vorhersagbare Durchsatzanforderungen haben. In der Regel ist dies der Fall, wenn die Anwendung für die Produktion bereit ist oder bereits in der Produktion bereitgestellt wurde und es ein Verständnis des erwarteten Datenverkehrs gibt. Auf diese Weise können Benutzer die erforderliche Kapazität genau vorhersagen und eine unerwartete Abrechnung vermeiden.
Lastenausgleich und Skalierung
Gewusst wie hohen Datenverkehr verwalten und sicherstellen, dass meine Azure OpenAI-Anwendung reaktionsfähig bleibt?
Erstellen Sie einen Lastenausgleich für Ihre Anwendung.
Sehen Sie sich das Beispiel für den Lastenausgleich an, wenn Sie das Pay-as-you-go-Modell verwenden. Wenn Sie einen dedizierten Azure OpenAI-Server verwenden, finden Sie im PTU-Leitfaden Informationen zum Lastenausgleich.
Entwickeln und Testen
Gewusst wie eine Entwicklungsumgebung zum Testen von Azure OpenAI-Anwendungen einrichten?
Erstellen einer Onlinebereitstellung mithilfe des Eingabeaufforderungsflusses im Azure AI Foundry-Portal. Testen Sie es dann, indem Sie Werte im Formular-Editor oder JSON-Editor eingeben.
Überwachung und Metriken
Wie kann ich Nutzungsmetriken meiner KI-Anwendung nachverfolgen und auswerten?
Informationen zum Nachverfolgen von Risiko- und Sicherheitsmetriken sowie zu einer Reihe von Metriken zur Reaktionsqualität finden Sie im Leitfaden zur Bewertung und Überwachung von Metriken.
Welche Tools kann ich verwenden, um die Leistung meiner Azure OpenAI-Endpunkte zu überwachen?
Verwenden Sie das Überwachungsfeature von Azure OpenAI Studio. Es stellt dashboards bereit, die die Leistungsmetriken Ihrer Modelle im Laufe der Zeit nachverfolgen.
Implementierung der Produktion und bewährte Methoden
Was sind einige bewährte Methoden für die Bereitstellung von OpenAI-Anwendungen in Azure in der Produktion?
Bewährte Methoden für die Bereitstellung einer Standardchatanwendung finden Sie in der Azure OpenAI-Chatreferenzarchitektur .
Können Sie Beispiele oder Fallstudien für erfolgreiche Implementierungen von Azure OpenAI Service bereitstellen?
Sehen Sie sich das Tech-Communityforum künstliche Intelligenz und Maschinelles Lernen an.
Zugehöriger Inhalt
Weitere Informationen finden Sie unter Microsoft für Startups.