Riepilogo

  • 4 minuti

In questo modulo è stato illustrato come usare Azure OpenAI insieme a Gestione API di Azure. Combinando questi servizi, è possibile gestire e proteggere l'accesso ai modelli di intelligenza artificiale.

In primo luogo, è stato illustrato il problema del bilanciamento del carico e il modo in cui Gestione API di Azure consente di gestire il traffico e assicurarsi che il carico venga distribuito uniformemente tra i back-end. Sono stati esaminati anche gli interruttori di circuito e come possono aiutare a allontanare il traffico dai back-end non integri.

Successivamente, è stata illustrata la limitazione della frequenza basata su token e come usarla per controllare l'accesso alle API. Un importante apprendimento è stato quello di evitare un consumo eccessivo e così chiamato "vicini rumorosi" impostando limiti sul consumo di token.

Infine, è stato illustrato come monitorare e analizzare i modelli di utilizzo dei token usando i criteri delle metriche di emissione dei token OpenAI di Azure. Fornendo metriche complete, è possibile ottimizzare l'allocazione delle risorse, migliorare il processo decisionale e migliorare il monitoraggio delle prestazioni.

Passaggi successivi

Ecco i passaggi successivi consigliati: