Optimización del rendimiento para cargas de trabajo de aplicaciones inteligentes
La eficiencia del rendimiento es la capacidad de la carga de trabajo de escalar de manera eficiente para satisfacer las demandas que le imponen los usuarios. Supervisar el rendimiento de la carga de trabajo de las aplicaciones inteligentes es crucial para garantizar que funcione de forma eficaz y eficiente.
El equipo de carga de trabajo debe establecer métricas clave de rendimiento, revisar periódicamente el rendimiento del sistema y diagnosticar cualquier problema con prontitud. Los procedimientos eficaces de monitorización y diagnóstico ayudan a mantener la fiabilidad del sistema y la satisfacción del usuario.
Definir objetivos de rendimiento
La identificación de las métricas clave de rendimiento implica determinar las medidas esenciales que realizan un seguimiento del progreso hacia el logro de los objetivos de rendimiento de la carga de trabajo. Estas métricas proporcionan una forma cuantificable de medir y mejorar la eficiencia del rendimiento.
Cuando identifique las métricas clave en las que centrarse, tenga en cuenta las métricas relacionadas con la capacidad, el tiempo de respuesta, la tasa de desvío y el compromiso y los resultados:
Capacidad: el rendimiento y la simultaneidad son ejemplos de métricas de capacidad. El rendimiento es la capacidad de manejar una cantidad específica de transacciones durante un período de tiempo determinado. Por ejemplo, un agente puede manejar 200 000 sesiones de chat al mes. Tenga en cuenta también las variaciones estacionales y el pico máximo previsto de conversaciones simultáneas. La simultaneidad es una medida de usuarios o acciones simultáneas. Por ejemplo, un agente puede manejar un máximo de 5000 chats simultáneos durante la temporada alta. Comprender los volúmenes de destino ayuda a validar la arquitectura y la escala de destino.
Tiempo de respuesta: la latencia y el tiempo de carga son métricas de tiempo de respuesta comunes. La latencia es el tiempo que lleva responder a una solicitud (200 milisegundos). El tiempo de carga es el que tarda un agente en activarse y responder al primer mensaje. Comprenda la latencia máxima esperada para que el agente responda a las consultas y defina un enfoque para controlar acciones de larga duración (por ejemplo, esperar a que un sistema externo devuelva datos).
Tasa de desvío: en el contexto de la IA conversacional, el desvío es un indicador que representa el porcentaje de solicitudes que se completan de forma de autoservicio y que, de otro modo, serían gestionadas por los representantes del servicio al cliente. En otras palabras, se refiere a la cantidad de tareas que un equipo ya no tiene que manejar debido a la automatización. La optimización de la tasa de desvío del agente es una de las principales áreas de enfoque para que las organizaciones logren sus objetivos comerciales, desde el retorno de la inversión (ROI) y la satisfacción del cliente (CSAT), hasta la mejora del rendimiento general del agente. Microsoft Copilot Studio proporciona una descripción general del rendimiento de su agente, incluidos indicadores clave como la tasa de resolución, la tasa de escalamiento y la CSAT.
Compromiso y resultados: el seguimiento de la participación en la conversación y los resultados es esencial para medir las métricas de rendimiento del agente y detectar áreas de mejora. Obtenga más información en Medición de la implicación del agente y Medición de resultados del agente.
Planificación del desempeño
Los recursos de su carga de trabajo tienen limitaciones de rendimiento. Se aplican limitaciones de rendimiento a las funciones dentro de cada servicio. Debe comprender las limitaciones de los recursos de su carga de trabajo y tener en cuenta esas limitaciones en sus decisiones de diseño. Por ejemplo, debe saber si las limitaciones de recursos requieren que cambie el enfoque de diseño o que cambie los recursos por completo.
- Conocer los volúmenes de destino. Los volúmenes de destino también ayudan a validar los aspectos de licencia de la arquitectura y escala buscados del agente, así como el efecto potencial en el almacenamiento de las transcripciones de conversaciones de Dataverse.
- Comprender los límites de la plataforma. Al integrar la carga de trabajo de su aplicación inteligente con sistemas externos, por ejemplo, a través de solicitudes de HTTP o Power Automate, es importante validar que todos los componentes puedan manejar la carga.
- Identificar atascos. Mida el rendimiento y los tiempos de respuesta para identificar los componentes de su sistema que podrían volverse problemáticos a medida que crece la carga de trabajo. Identifique los cuellos de botella en el proceso integral mediante el uso de capacidades de análisis de minería de procesos, como la reelaboración y el análisis de la causa raíz.
Más información: Recomendaciones para planificar rendimiento
Supervisión del rendimiento
La optimización del rendimiento requiere datos para medir el rendimiento actual de una carga de trabajo o un flujo en comparación con sus objetivos de rendimiento. Recopile una cantidad y variedad suficientes de datos para medir con precisión el rendimiento del código y la infraestructura en comparación con los objetivos de rendimiento establecidos. Asegúrese de que cada componente y flujo dentro de la carga de trabajo genere automáticamente métricas y registros continuos y significativos.
Supervise atentamente el rendimiento de la carga de trabajo de su aplicación inteligente para asegurarse de que funciona con la máxima eficacia y eficiencia.
Copilot Studio proporciona análisis completos listos para usar para comprender el uso de un agente y los indicadores clave de rendimiento.
Puede ver informes relacionados con:
- Rendimiento y uso
- Satisfacción del cliente
- Información de sesión
- Análisis del tema
- Sesiones facturadas
Además de las característica de análisis nativas dentro de Copilot Studio, puede enviar datos de telemetría a Application Insights. Obtenga más información en Capturar telemetría con Application Insights. Supervisión continua del rendimiento y detección de anomalías mediante herramientas como Azure Monitor, Log Analytics, Application Insights y alertas.
Defina los indicadores clave de rendimiento (KPI) que desea supervisar para medir el éxito de la carga de trabajo de sus aplicaciones inteligentes, como la tasa de interacción, la tasa de resolución y la tasa de desviación. En primer lugar, revise los paneles nativos para comprender los datos disponibles. A continuación, decida si la creación de un informe personalizado satisfaría mejor sus necesidades específicas.
Más información:
Optimización continua del rendimiento
La optimización proactiva del rendimiento implica la implementación de medidas para mejorar y potenciar el rendimiento de la carga de trabajo antes de que surjan problemas. Las medidas proactivas incluyen la identificación de posibles cuellos de botella, la supervisión de las métricas de rendimiento y la implementación de optimizaciones para garantizar que la carga de trabajo se ejecute de manera eficiente y cumpla con los objetivos de rendimiento.
Para mejorar continuamente la carga de trabajo de su aplicación inteligente, programe revisiones periódicas del rendimiento del agente:
| Indicador de rendimiento | Definición |
|---|---|
| Tasa de resolución | Porcentaje de solicitudes de usuarios que son resueltas correctamente por el agente sin necesidad de remitirlas a un representante del servicio de atención al cliente. |
| Índice de interacción | Porcentaje del total de sesiones activas. Una sesión se considera activa cuando un usuario interactúa con el agente de una manera significativa, como iniciar un tema que no es del sistema, escalar la sesión o invocar un tema alternativo. |
| Tasa de abandono | Porcentaje de sesiones activas que finalizan sin llegar a una resolución o escalado. Básicamente, mide la frecuencia con la que los usuarios abandonan o dejan de interactuar con el agente antes de que su problema se resuelva o se eleve a un representante. |
| Tasa de escalación | El porcentaje de sesiones con involucración para el tema que se escalan. Esta métrica es clave para comprender la frecuencia con la que el agente no puede resolver las consultas de los usuarios por sí solo y requiere intervención humana. |
| Expresiones no reconocidas | Tiene lugar cuando el modelo de comprensión del lenguaje natural (NLU) del agente no puede hacer coincidir una entrada del usuario con ninguna intención o tema predefinido. El sistema no puede determinar la intención del usuario en función de la entrada proporcionada. |
| CSAT | Satisfacción del cliente. |
| Temas con baja resolución | Se refiere a temas de conversación que con frecuencia no resuelven las consultas de los usuarios de manera efectiva. Estos temas a menudo conducen a la insatisfacción del usuario, el abandono o la remisión a un representante. |
Esta revisión ayuda a priorizar la acumulación de actualizaciones de agente. Por ejemplo, si las expresiones no reconocidas se remiten con frecuencia a un representante del servicio al cliente, aproveche la oportunidad para mejorar la desviación. Analice los patrones de usuario que desencadenan expresiones de reserva y no reconocidas, y entrene los temas existentes o cree otros nuevos para equipar el agente para abordar mejor las necesidades de los usuarios.
Más información: