Revisar y mejorar la eficacia del agente en Copilot Studio
La página Análisis de Copilot Studio proporciona información agregada sobre la eficacia general de su agente en todas las sesiones de análisis.
Hay tres áreas principales en las que hay que centrarse a la hora de revisar y mejorar la eficacia de los agentes:
- Resultados e involucración: conocer el resultado final de una conversación ayuda a empezar a identificar dónde está teniendo éxito el agente y dónde necesita mejorar.
- Uso de fuentes de conocimiento: ver la frecuencia con la que se utilizan las fuentes de conocimiento ayuda a comprender la capacidad del agente para responder a las preguntas de los usuarios.
- Uso de acciones: conocer la frecuencia con la que se usan las acciones y la frecuencia con la que se realizan correctamente puede ayudar a comprender si esas acciones son útiles y correctas para los usuarios.
- Comentarios de los usuarios: la revisión de los comentarios de los usuarios ayuda a identificar nuevos escenarios y problemas de los usuarios, así como a introducir mejoras basadas directamente en lo que piden los usuarios.
Puede ver análisis de eventos que ocurrieron en los últimos 360 días.
Nota
El 20 de febrero de 2025, la retención de datos para análisis cambió de 90 días a 360 días, por lo que solo puede ver análisis de eventos que ocurrieron después del 22 de noviembre de 2024, incluso si ocurrieron en los últimos 360 días.
Resultados e interacción
La sección Resultados e involucración muestra un gráfico que hace un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.
Para abrir un panel lateral con un desglose de gráfico circular de los resultados de la sesión, junto con los temas principales que condujeron a cada resultado, seleccione Ver detalles en el gráfico.
Una sesión se divide en uno de los siguientes dos estados:
- Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.
-
Con compromiso: una sesión se considera con compromiso cuando se produce una de las siguientes situaciones:
- Se desencadena un tema alternativo que no es del sistema
- Se escala la sesión
- Se desencadena el tema de respaldo
- Se activa el tema de impulso conversacional
Una vez que se compromete, la sesión se mantiene en ese estado. Una sesión activa tiene uno de los siguientes resultados:
- Escalada: una sesión finaliza y se considera escalada cuando se activa el tema Escalar o se ejecuta un nodo Transferir al agente (la sesión de análisis actual finaliza, ya sea que la conversación se transfiera a un agente en directo o no).
- Resuelta: la sesión termina y se considera resuelta cuando se desencadena el tema de fin de conversación y el usuario confirma que la interacción fue un éxito o deja que se agote el tiempo de espera de la sesión.
- Abandonada: una sesión finaliza y se considera abandonada cuando se agota el tiempo de espera de una sesión comprometida después de 36 minutos y no alcanzó un estado resuelto o escalado.
También puede establecer el resultado de las acciones con el parámetro conversationOutcome mediante el editor de código de acción. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.
Consulte la documentación de orientación Medición de la participación del Copilot para obtener sugerencias y prácticas recomendadas sobre cómo medir y mejorar la participación.
Uso de origen de conocimiento
La sección Uso de origen de conocimiento muestra un gráfico y métricas que rastrean la frecuencia con la que se usan las fuentes de conocimiento en las conversaciones entre el agente y los usuarios.
También muestra indicadores de tendencia sobre la frecuencia con la que se utilizan las fuentes, la cantidad de errores que se generan y el número de veces que se utiliza la fuente para proporcionar respuestas a las preguntas de los usuarios.
El gráfico muestra los cinco principales orígenes de conocimiento utilizados en el intervalo de fechas definido en la parte superior de la página Análisis.
Seleccione Ver detalles para abrir un panel lateral con el uso del origen de conocimiento y las tasas de error durante el período de tiempo seleccionado. Puede utilizar estos gráficos para identificar qué fuentes de conocimiento funcionan bien para ayudar a los usuarios y a cuáles dirigirse para realizar mejoras.
- El uso de origen de conocimiento muestra el porcentaje de sesiones que utilizaron cada uno al que tiene acceso el agente.
- Errores muestra el porcentaje de sesiones que usaron cada tipo de origen de conocimiento (por ejemplo SharePoint) que resultó en un error.
Uso de la acción
La sección Uso de acciones muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las acciones a lo largo del tiempo y de la frecuencia con la que se completan correctamente.
También muestra indicadores de tendencia sobre la frecuencia con la que se usan las acciones y el porcentaje de acciones llamadas que se completaron correctamente.
Nota
El análisis de acciones está disponible para los agentes con el modo generativo activado.
El gráfico muestra los cinco principales acciones utilizadas en el intervalo de fechas definido en la parte superior de la página Análisis.
Para abrir un panel lateral con una lista de todas las acciones utilizadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico.
Comentarios del usuario
La sección Comentarios de los usuarios muestra un gráfico y métricas que realizan un seguimiento de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los clientes responden a una solicitud de final de sesión para realizar la encuesta.