Zusammenfassung

  • 4 Minuten

In diesem Modul haben Sie erfahren, wie Sie Azure OpenAI zusammen mit Azure API Management verwenden können. Durch die Kombination dieser Dienste können Sie den Zugriff auf Ihre KI-Modelle verwalten und schützen.

Als Erstes wurden das Problem des Lastenausgleichs und die Art und Weise erläutert, wie Azure API Management Ihnen dabei helfen kann, Datenverkehr zu verwalten und sicherzustellen, dass die Last gleichmäßig auf Ihre Back-Ends verteilt wird. Darüber hinaus haben wir uns mit Trennschaltern befasst und erläutert, wie Sie Ihnen dabei helfen können, Datenverkehr von fehlerhaften Back-Ends fernzuhalten.

Als Nächstes wurde die tokenbasierte Ratenbegrenzung erläutert, und Sie haben erfahren, wie Sie sie zum Steuern des Zugriffs auf Ihre APIs nutzen können. Ein wichtiger Lernaspekt war die Vermeidung von übermäßigem Verbrauch sowie von Noisy Neighbors durch Festlegen von Grenzen für die Tokennutzung.

Abschließend wurde erläutert, wie Sie Tokennutzungsmuster mithilfe der Metrikrichtlinie für von Azure OpenAI ausgegebene Token überwachen und analysieren können. Durch Bereitstellung umfassender Metriken können Sie die Ressourcenzuordnung optimieren sowie die Entscheidungsfindung und die Leistungsüberwachung verbessern.

Nächste Schritte

Empfohlene nächste Schritte: