Optimización del rendimiento para cargas de trabajo de aplicaciones inteligentes
La eficiencia del rendimiento es la capacidad de su carga de trabajo de escalar eficientemente para satisfacer las demandas que le imponen los usuarios. Monitorear el rendimiento de la carga de trabajo de su aplicación inteligente es crucial para garantizar que funcione de manera eficaz y eficiente.
El equipo de carga de trabajo debe establecer métricas de rendimiento clave, revisar periódicamente el rendimiento del sistema y diagnosticar cualquier problema rápidamente. Los procedimientos de monitoreo y diagnóstico eficaces ayudan a mantener la confiabilidad del sistema y la satisfacción del usuario.
Definir objetivos de rendimiento
La identificación de métricas de rendimiento clave implica determinar las mediciones esenciales que rastrean el progreso hacia el logro de los objetivos de rendimiento de la carga de trabajo. Estas métricas proporcionan una forma cuantificable de medir y mejorar la eficiencia del rendimiento.
Al identificar métricas clave en las que centrarse, considere las métricas relacionadas con la capacidad, el tiempo, la tasa de desviación y el compromiso y los resultados:
Capacidad: el rendimiento y la simultaneidad son ejemplos de métricas de capacidad. El rendimiento se refiere a la capacidad de manejar una cantidad específica de transacciones dentro de un período de tiempo determinado. Por ejemplo, un copiloto podría gestionar 200.000 sesiones de chat al mes. Considere también las variaciones estacionales y el pico máximo previsto de conversaciones simultáneas. La concurrencia es una medida de usuarios o acciones simultáneos. Por ejemplo, un copiloto podría gestionar un máximo de 5.000 chats simultáneos durante la temporada alta. Comprender los volúmenes de destino ayuda a validar la arquitectura y la escala de destino.
respuesta tiempo: La latencia y el tiempo de carga son métricas de tiempo respuesta comunes. La latencia es el tiempo que tarda en responder a una solicitud (200 milisegundos). El tiempo de carga es el tiempo que tarda un copiloto en activarse y responder al primer mensaje. Comprenda la latencia máxima esperada para que el copiloto responda consultas y defina un enfoque para manejar acciones de larga duración (por ejemplo, esperar a que un sistema externo devuelva datos).
Tasa de desvío: en el contexto de la IA conversacional, la deflexión es un indicador que representa el porcentaje de solicitudes que se completan de manera autoservicio y que, de otro modo, serían manejadas por agentes en vivo. En otras palabras, se refiere a la cantidad de tareas que un equipo ya no tiene que manejar debido a la automatización. Optimizar la tasa de desviación del copiloto es una de las principales áreas de enfoque para que las organizaciones alcancen sus objetivos comerciales, desde el retorno de la inversión (ROI) y la satisfacción del cliente (CSAT), hasta la mejora del desempeño general del copiloto. Copilot Studio Proporciona una descripción general del desempeño de su copiloto, incluidos indicadores clave como la tasa de resolución, la tasa de escalada y la CSAT.
Compromiso y resultados: el seguimiento del compromiso y los resultados de la conversación es clave para medir las métricas de desempeño del copiloto e identificar áreas de mejora. Obtenga más información en Cómo medir la participación del copiloto y Cómo medir los resultados del copiloto.
Planificación del rendimiento
Los recursos de su carga de trabajo tienen limitaciones de rendimiento. Se aplican limitaciones de rendimiento a las funciones dentro de cada servicio. Debe comprender las limitaciones de los recursos de su carga de trabajo y tener en cuenta esas limitaciones en sus decisiones de diseño. Por ejemplo, debe saber si las limitaciones de recursos requieren que cambie el enfoque de diseño o que cambie los recursos por completo.
- Comprender los volúmenes objetivo. Los volúmenes de destino ayudan a validar la arquitectura y la escala de destino, los aspectos de licencia del copiloto y el efecto potencial en el almacenamiento de las transcripciones de conversaciones. Dataverse
- Comprenda los límites de la plataforma. Al integrar la carga de trabajo de su aplicación inteligente con sistemas externos, por ejemplo a través de solicitudes HTTP, es importante validar que cada componente pueda manejar la carga. Power Automate
- Identificar cuellos de botella. Mida el rendimiento y los tiempos respuesta para identificar los componentes de su sistema que podrían volverse problemáticos a medida que crece la carga de trabajo. Identifique cuellos de botella en el proceso de principio a fin mediante el uso de capacidades de análisis de minería de procesos, como el análisis de reelaboración y de causa raíz.
Más información: Recomendaciones para la planificación del rendimiento
Supervisión del rendimiento
La optimización del rendimiento requiere datos para medir el rendimiento actual de una carga de trabajo o un flujo en comparación con sus objetivos de rendimiento. Recopilar una cantidad y variedad suficiente de datos para medir con precisión el rendimiento del código y la infraestructura frente a los objetivos de rendimiento establecidos. Asegúrese de que cada componente y flujo dentro de la carga de trabajo genere automáticamente métricas y registros continuos y significativos.
Supervise de forma vigilante el rendimiento de la carga de trabajo de su aplicación inteligente para garantizar que funcione con la máxima eficacia y eficiencia.
Copilot Studio Proporciona análisis completos y listos para usar que le permiten comprender el uso y los indicadores clave de rendimiento de un copiloto. ...
Puede ver informes relacionados con:
- Rendimiento y uso
- Satisfacción del cliente
- Información de sesión
- Análisis del tema
- Sesiones facturadas
Además de las funciones de análisis nativas dentro de Copilot Studio, puedes enviar datos de telemetría a Application Insights. Obtenga más información en Capturar telemetría con Application Insights. Supervise continuamente el rendimiento y detecte anomalías mediante herramientas como Azure Monitor, Log Analytics, Application Insights y alertas.
Defina los indicadores clave de rendimiento (KPI) que desea monitorear para medir el éxito de la carga de trabajo de su aplicación inteligente, como la tasa de participación, la tasa de resolución y la tasa de desviación. Primero, revise los paneles nativos para comprender los datos disponibles. Luego, decida si crear un informe personalizado se adaptaría mejor a sus necesidades específicas.
Más información:
Optimización continua del rendimiento
Optimizar el rendimiento de forma proactiva implica implementar medidas para mejorar y optimizar el rendimiento de la carga de trabajo antes de que surjan problemas. Las medidas proactivas incluyen la identificación de posibles cuellos de botella, el monitoreo de métricas de rendimiento y la implementación de optimizaciones para garantizar que la carga de trabajo se ejecute de manera eficiente y cumpla con los objetivos de rendimiento.
Para mejorar continuamente la carga de trabajo de su aplicación inteligente, programe revisiones periódicas del rendimiento del copiloto:
| Indicador de rendimiento | Definición |
|---|---|
| Tasa de resolución | Porcentaje de solicitudes de usuarios que el copiloto resuelve con éxito sin necesidad de escalarlas a un agente humano. |
| Índice de interacción | Porcentaje del total de sesiones comprometidas. Una sesión se considera activa cuando un usuario interactúa con el copiloto de manera significativa, como activando un tema no relacionado con el sistema, escalando la sesión o invocando un tema alternativo. |
| Tasa de abandono | Porcentaje de sesiones activas que finalizan sin llegar a una resolución o escalada. Básicamente, mide la frecuencia con la que los usuarios abandonan o dejan de interactuar con el copiloto antes de que su problema se resuelva o se escale a un agente humano. |
| Tasa de escalación | Porcentaje de sesiones activas que se escalan a un agente humano. Esta métrica es clave para comprender con qué frecuencia el copiloto no puede resolver las consultas de los usuarios por sí solo y requiere intervención humana. |
| Expresiones no reconocidas | Se produce cuando el modelo comprensión del lenguaje natural (NLU) del copiloto no puede hacer coincidir una entrada del usuario con ninguna intención predefinida o tema. El sistema no puede determinar la intención del usuario basándose en la información proporcionada. |
| CSAT | Satisfacción del cliente. |
| Temas con baja resolución | Se refiere a temas de conversación que con frecuencia no logran resolver las consultas de los usuarios de manera efectiva. Estos temas a menudo provocan insatisfacción del usuario, abandono o derivación a agentes humanos. |
Esta revisión ayuda a priorizar la acumulación de actualizaciones de copiloto. Por ejemplo, si las expresiones no reconocidas se transmiten con frecuencia a un agente humano, aproveche la oportunidad para mejorar la desviación. Analice los patrones de usuario que Gatillo utilizan como respaldo y expresiones no reconocidas, y entrene los temas existentes o cree otros nuevos para equipar al copiloto para abordar mejor las necesidades de los usuarios.
Más información: