Sammanfattning

  • 4 minuter

I den här modulen har vi gått igenom hur du kan använda Azure OpenAI tillsammans med Azure API Management. Genom att kombinera dessa tjänster kan du hantera och skydda åtkomsten till dina AI-modeller.

Först diskuterade vi problemet med belastningsutjämning och hur Azure API Management kan hjälpa dig att hantera trafik och se till att belastningen fördelas jämnt över dina serverdelar. Vi har också tittat på kretsbrytare och hur de kan hjälpa till att styra trafiken bort från ohälsosamma serverdelar.

Därefter diskuterade vi tokenbaserad hastighetsbegränsning och hur du kan använda den för att styra åtkomsten till dina API:er. En viktig inlärning var att undvika överförbrukning och så kallade "bullriga grannar" genom att ange gränser för tokenförbrukning.

Slutligen diskuterade vi hur du kan övervaka och analysera användningsmönster för token med hjälp av Azure OpenAI Emit Token Metric Policy. Genom att tillhandahålla omfattande mått kan du optimera resursallokering, förbättra beslutsfattandet och förbättra prestandaövervakningen.

Nästa steg

Här är våra rekommenderade nästa steg: