Compartir a través de

Escalado del chat de Azure OpenAI para Java mediante RAG con Azure Container Apps

  • Artículo

Aprenda a agregar equilibrio de carga a la aplicación para ampliar la aplicación de chat más allá de los límites de cuota de modelo y token de Azure OpenAI. Este enfoque usa Azure Container Apps para crear tres puntos de conexión de Azure OpenAI, así como un contenedor principal para dirigir el tráfico entrante a uno de los tres puntos de conexión.

Este artículo requiere que implemente dos ejemplos independientes:

  • Aplicación de chat

    • Si aún no ha implementado la aplicación de chat, espere hasta que se implemente el ejemplo del equilibrador de carga.

    • Si ya ha implementado la aplicación de chat una vez, cambiará la variable de entorno para admitir un punto de conexión personalizado para el equilibrador de carga y volver a implementarla.

    • Aplicación de chat disponible en estos idiomas:

  • Aplicación del equilibrador de carga

Nota:

En este artículo se usan una o varias plantillas de aplicación de IA como base para los ejemplos e instrucciones del artículo. Las plantillas de aplicación de IA proporcionan implementaciones de referencia bien mantenidas y fáciles de implementar que ayudan a garantizar un punto de partida de alta calidad para las aplicaciones de IA.

Arquitectura para el equilibrio de carga de Azure OpenAI con Azure Container Apps

Dado que el recurso de Azure OpenAI tiene límites específicos de cuota de tokens y modelos, una aplicación de chat que usa un único recurso de Azure OpenAI es propenso a tener errores de conversación debido a esos límites.

Diagrama en el que se muestra la arquitectura de la aplicación de chat con el recurso de Azure OpenAI resaltado.

Para usar la aplicación de chat sin alcanzar esos límites, use una solución de carga equilibrada con Azure Container Apps. Esta solución expone sin problemas un único punto de conexión de Azure Container Apps al servidor de aplicaciones de chat.

Diagrama que muestra la arquitectura de aplicaciones de chat con Azure Container Apps delante de tres recursos de Azure OpenAI.

La aplicación de Azure Container se encuentra delante de un conjunto de recursos de Azure OpenAI. La aplicación de Container resuelve dos escenarios: normal y limitado. Durante un escenario normal donde está disponible la cuota de tokens y modelos, el recurso de Azure OpenAI devuelve un valor de 200 a través de Container App y App Server.

Diagrama que muestra un escenario normal. En el escenario normal, se muestran tres grupos de puntos de conexión de Azure OpenAI con el primer grupo de dos puntos de conexión que obtienen un tráfico correcto.

Cuando un recurso está en un escenario limitado, por ejemplo, debido a los límites de cuota, la aplicación de Azure Container puede reintentar un recurso de Azure OpenAI diferente inmediatamente para completar la solicitud de aplicación de chat original.

Diagrama que muestra un escenario de limitación con un código de respuesta con errores 429 y un encabezado de respuesta de cuántos segundos tiene que esperar el cliente para volver a intentarlo.

Requisitos previos

Apertura de la aplicación de ejemplo del equilibrador local de aplicaciones de contenedor

GitHub Codespaces ejecuta un contenedor de desarrollo administrado por GitHub con Visual Studio Code para la web como interfaz de usuario. Para obtener el entorno de desarrollo más sencillo, utilice Codespaces de GitHub de modo que tenga las herramientas y dependencias de desarrollador correctas preinstaladas para completar este artículo.

Abra este proyecto en GitHub Codespaces.

Importante

Todas las cuentas de GitHub pueden usar Codespaces durante un máximo de 60 horas gratis cada mes con 2 instancias principales. Para obtener más información, consulte Almacenamiento y horas de núcleo incluidas mensualmente en GitHub Codespaces.

Implementación del equilibrador de carga de Azure Container Apps

  1. Inicie sesión en Azure Developer CLI para proporcionar autenticación a los pasos de aprovisionamiento e implementación.

    azd auth login --use-device-code

  2. Establezca una variable de entorno para usar la autenticación de la CLI de Azure en el paso posterior al aprovisionamiento.

    azd config set auth.useAzCliAuth "true"

  3. Implemente la aplicación del equilibrador de carga.

    azd up

    Deberá seleccionar una suscripción y una región para la implementación. No tienen por qué ser de la misma suscripción y región que la aplicación de chat.

  4. Antes de continuar, espere a que se complete la implementación.

Obtener el extremo de implementación

  1. Use el comando siguiente para mostrar el punto de conexión implementado para la aplicación Azure Container.

    azd env get-values

  2. Copie el valor CONTAINER_APP_URL. La usará en la sección siguiente.

Reimplementación de la aplicación de chat con el punto de chat del equilibrador de carga

Estos se completan en el ejemplo de la aplicación de chat.

  1. Abra el contenedor de desarrollo de la aplicación de chat mediante una de las siguientes opciones.

    Lenguaje Codespaces Visual Studio Code
    .NET Abrir en GitHub Codespaces Abrir en Contenedores de desarrollo
    JavaScript Abrir en GitHub Codespaces Abrir en Contenedores de desarrollo
    Python Abrir en GitHub Codespaces Abrir en Contenedores de desarrollo

  2. Inicie sesión en Azure Developer CLI (AZD).

    azd auth login

    Finalice las instrucciones de inicio de sesión.

  3. Cree un entorno de AZD con un nombre como chat-app.

    azd env new <name>

  4. Agregue la siguiente variable de entorno, que indica al back-end de la aplicación chat que usa una dirección URL personalizada para las solicitudes de OpenAI.

    azd env set OPENAI_HOST azure_custom

  5. Agregue la siguiente variable de entorno, sustituyendo <CONTAINER_APP_URL> por la dirección URL de la sección anterior. Esta acción indica al back-end de la aplicación chat cuál es el valor de la dirección URL personalizada para la solicitud de OpenAI.

    azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>

  6. Implemente la aplicación de chat.

    azd up

Ahora puede usar la aplicación de chat con la confianza de que se ha creado para escalar horizontalmente entre muchos usuarios sin quedarse sin cuota.

Transmisión de registros para ver los resultados del equilibrador de carga

  1. En Azure Portal, busque el grupo de recursos.

  2. En la lista de recursos del grupo, seleccione el recurso Container App.

  3. Seleccione Supervisión -> Flujo de registro para ver el registro.

  4. Use la aplicación de chat para generar tráfico en el registro.

  5. Busque los registros, que hacen referencia a los recursos de Azure OpenAI. Cada uno de los tres recursos tiene su identidad numérica en el comentario de registro a partir de Proxying to https://openai3, donde 3 indica el tercer recurso de Azure OpenAI.

    Captura de pantalla que muestra los registros de streaming de Azure Container App con dos líneas de registro resaltadas que muestran el comentario del registro.

  6. Al usar la aplicación de chat, cuando el equilibrador de carga recibe el estado de que la solicitud ha superado la cuota, el equilibrador de carga gira automáticamente a otro recurso.

Configuración de los tokens por cuota de minutos (TPM)

De forma predeterminada, cada una de las instancias de OpenAI del equilibrador de carga se implementará con 30 000 TPM (tokens por minuto). Puedes usar la aplicación de chat con la confianza de que se ha creado para escalar horizontalmente entre muchos usuarios sin quedarse sin cuota. Cambie este valor cuando:

  • Obtiene errores de capacidad de implementación: menor que ese valor.
  • Planee una mayor capacidad, aumente el valor.

  1. Use el siguiente comando para cambiar el valor.

    azd env set OPENAI_CAPACITY 50

  2. Vuelva a implementar el equilibrador de carga.

    azd up

Limpieza de recursos

Cuando haya terminado con la aplicación de chat y el equilibrador de carga, limpie los recursos. Los recursos Azure creados en este artículo se facturan a su suscripción Azure. Si no espera necesitar estos recursos en el futuro, elimínelos para evitar incurrir en más gastos.

Limpieza de los recursos de la aplicación de chat

Vuelva al artículo de la aplicación de chat para limpiar esos recursos.

Limpieza de los recursos del equilibrador de carga

Ejecute el siguiente comando de la Azure Developer CLI para eliminar los recursos de Azure y eliminar el código de origen:

azd down --purge --force

Los modificadores proporcionan:

  • purge: los recursos eliminados se purgan inmediatamente. Esto le permite reutilizar el TPM de Azure OpenAI.
  • force: la eliminación se produce de forma silenciosa, sin necesidad de consentimiento del usuario.

Limpiar GitHub Codespaces

La eliminación del entorno de GitHub Codespaces garantiza que pueda maximizar la cantidad de derechos de horas gratuitas por núcleo que obtiene para su cuenta.

Importante

Para obtener más información sobre los derechos de la cuenta de GitHub, consulte Almacenamiento y horas de núcleo incluidas mensualmente en GitHub Codespaces.

  1. Inicie sesión en el panel de GitHub Codespaces (https://github.com/codespaces).

  2. Busque los espacios de código que se ejecutan actualmente procedentes del repositorio de GitHub azure-samples/openai-aca-lb.

    Captura de pantalla de todos los espacios de código en ejecución, incluidos su estado y las plantillas.

  3. Abra el menú contextual del codespace y, a continuación, seleccione Eliminar.

    Captura de pantalla del menú contextual de un solo codespace con la opción para eliminar resaltada.

Obtener ayuda

Si tiene problemas para implementar el equilibrador de carga de Azure API Management, registre el problema en el repositorio Problemas.

Código de ejemplo

Entre los ejemplos usados en este artículo se incluyen:

Paso siguiente