Résumé

  • 4 minutes

Dans ce module, nous avons abordé la façon dont vous pouvez utiliser Azure OpenAI avec Gestion des API Azure. En combinant ces services, vous pouvez gérer et sécuriser l’accès à vos modèles d’IA.

Tout d’abord, nous avons abordé le problème de l’équilibrage de charge et la façon dont la Gestion des API Azure peut vous aider à gérer le trafic et à garantir que la charge est distribuée uniformément sur vos back-ends. Nous avons également examiné les disjoncteurs et comment ils peuvent aider à éloigner le trafic des back-ends défectueux.

Ensuite, nous avons abordé la limitation du débit basé sur les jetons et la façon dont vous pouvez l’utiliser pour contrôler l’accès à vos API. Un apprentissage important était d’éviter la surconsommation et les « voisins bruyants » en définissant des limites sur la consommation de jetons.

Enfin, nous avons abordé la façon dont vous pouvez surveiller et analyser les modèles d’utilisation des jetons à l’aide de la stratégie de métrique de jeton d’émission Azure OpenAI. En fournissant des métriques complètes, vous pouvez optimiser l’allocation des ressources, améliorer la prise de décision et améliorer la surveillance des performances.

Étapes suivantes

Voici les étapes suivantes que nous recommandons :