Compartir a través de

Paso 6. Realizar y evaluar correcciones de calidad en el agente de IA

  • Artículo

Este artículo le guía por los pasos necesarios para recorrer en iteración y evaluar las correcciones de calidad en el agente de IA generativa en función del análisis de la causa principal.

Diagrama de flujo de trabajo de POC, paso de iteración

Para obtener más información sobre cómo evaluar un agente de IA, consulte ¿Qué es la evaluación del agente de IA de Mosaico?.

Requisitos

  1. En función del análisis de la causa principal, ha identificado una posible corrección para recuperación o generación para implementar y evaluar.
  2. La aplicación POC (u otra cadena de línea base) se registra en una ejecución de MLflow con una Agent Evaluation almacenada en la misma ejecución.

Consulte el repositorio de GitHub para ver el código de ejemplo de esta sección.

Resultado esperado en la evaluación del agente

GIF animado que muestra la salida de una ejecución de evaluación de agente en Databricks MLflow.

En la imagen anterior se muestra la salida de evaluación del agente en MLflow.

Cómo corregir, evaluar e iterar en el agente de IA

Para todos los tipos, use el cuaderno B_quality_iteration/02_evaluate_fixes para evaluar la cadena resultante frente a la configuración de línea base, la POC y elija un "ganador". Este cuaderno le ayuda a elegir el experimento ganador y a implementarlo en la aplicación de revisión o en una API REST escalable lista para producción.

  1. En Azure Databricks, abra el cuaderno B_quality_iteration/02_evaluate_fixes .
  2. En función del tipo de corrección que está implementando:
    • Para las correcciones de canalización de datos:
    • Para las correcciones de configuración de cadena:
      • Siga las instrucciones de la sección Chain configuration del cuaderno 02_evaluate_fixes para agregar correcciones de configuración de cadena a la variable CHAIN_CONFIG_FIXES.
    • Para las correcciones de código de cadena:
      • Cree un archivo de código de cadena modificado y guárdelo en la carpeta B_quality_iteration/chain_code_fixes. Como alternativa, seleccione una de las correcciones de código de cadena proporcionadas de esa carpeta.
      • Siga las instrucciones de la sección Chain code del cuaderno 02_evaluate_fixes para agregar el archivo de código de cadena y cualquier configuración de cadena adicional necesaria a la variable CHAIN_CODE_FIXES.
  3. Cuando se ejecuta el cuaderno desde la celda Run evaluation, sucede lo siguiente:
    • Evalúe cada corrección.
    • Determine la corrección con las mejores métricas de calidad, costo y latencia.
    • Implemente la mejor en la aplicación de revisión y una API REST lista para producción para recibir comentarios de las partes interesadas.

Paso siguiente

Continúe con el Paso 6 (canalizaciones). Implemente correcciones de canalización de datos .

< Anterior: Paso 5.2. Calidad de generación de depuración

Siguiente: Paso 6.1. Corrección de la canalización de datos >