Resumen
En este módulo, se ha descrito cómo puede usar Azure OpenAI junto con Azure API Management. Al combinar estos servicios, puede administrar y proteger el acceso a los modelos de IA.
En primer lugar, se ha analizado el problema del equilibrio de carga y cómo Azure API Management puede ayudarle a administrar el tráfico y asegurarse de que la carga se distribuye uniformemente entre los back-end. También se han examinado los disyuntores y cómo pueden ayudar a alejar el tráfico de back-end incorrectos.
A continuación, se ha analizado la limitación de velocidad basada en tokens y cómo puede usarla para controlar el acceso a las API. Un aprendizaje importante ha sido evitar el consumo excesivo y los denominados "vecinos ruidosos" mediante el establecimiento de límites en el consumo de tokens.
Por último, se ha analizado cómo puede supervisar y analizar patrones de uso de tokens mediante la directiva de métricas de emisión de tokens de Azure OpenAI. Al proporcionar métricas completas, puede optimizar la asignación de recursos, mejorar la toma de decisiones y la supervisión del rendimiento.
Pasos siguientes
Estos son los pasos siguientes recomendados:
- Ejemplo de APIM y Azure OpenAI
- Identidad administrada en APIM
- Directiva de métrica de token -Directiva de límite de tokens
- Back-end de APIM
- Terminología de Azure API Management
- Documentación de Azure OpenAI
- Precios de Azure API Management