Exploración de variantes y opciones de supervisión
Durante la producción, quiere optimizar e implementar el flujo. Por último, quiere supervisar los flujos para saber cuándo es necesario mejorarlos.
Para optimizar el flujo puede usar variantes, puede implementarlo en un punto de conexión y puede supervisarlo mediante la evaluación de métricas clave.
Exploración de variantes
Las variantes de flujo de avisos son versiones de un nodo de herramienta con distintas configuraciones. Actualmente, solo se admiten variantes en la herramienta LLM, donde una variante puede representar un contenido de solicitud o una configuración de conexión diferentes. Las variantes permiten a los usuarios personalizar su enfoque para tareas específicas, como resúmenes de artículos de noticias.
Algunas de las ventajas del uso de variantes son:
- Mejorar la calidad de la generación de LLM: la creación de diversas variantes de un nodo LLM ayuda a encontrar la mejor solicitud y configuración para el contenido de alta calidad.
- Ahorrar tiempo y esfuerzo: las variantes permiten administrar y comparar de forma sencilla diferentes versiones de solicitudes, lo que simplifica el seguimiento histórico y reduce el trabajo para optimizarlas.
- Aumentar la productividad: las variantes simplifican la optimización de los nodos LLM, lo que permite crear y administrar de forma más rápida las variaciones y así obtener mejores resultados en menos tiempo.
- Facilitar la comparación: las variantes permiten comparaciones de resultados en paralelo, lo que ayuda a elegir la variante más eficaz en función de decisiones basadas por datos.
Implementación del flujo en un punto de conexión
Cuando esté satisfecho con el rendimiento del flujo, puede optar por implementarlo en un punto de conexión en línea. Los puntos de conexión son direcciones URL que puede llamar desde cualquier aplicación. Al realizar una llamada API a un punto de conexión en línea, puede esperar (casi) respuesta inmediata.
Al implementar el flujo en un punto de conexión en línea, el flujo de avisos genera una dirección URL y una clave para que pueda integrar de forma segura el flujo con otras aplicaciones o procesos empresariales. Al invocar el punto de conexión, se ejecuta un flujo y la salida se devuelve en tiempo real. Como resultado, la implementación de flujos en puntos de conexión puede, por ejemplo, generar respuestas de chat o Copilot que quiera devolver en otra aplicación.
Supervisión de métricas de evaluación
En el flujo de avisos, supervisar las métricas de evaluación es fundamental para conocer el rendimiento de la aplicación de LLM, ya que garantiza que cumple las expectativas del mundo real y proporciona resultados precisos.
Para saber si la aplicación satisface las necesidades prácticas, puede recopilar comentarios del usuario final y evaluar la utilidad de esta. Otro enfoque para saber si la aplicación funciona bien es comparar las predicciones de LLM con las respuestas de verificación en tierra para medir la precisión y la relevancia. Evaluar las predicciones de LLM es fundamental para que las aplicaciones de LLM sigan siendo confiables y eficaces.
Métricas
Las métricas clave que se usan para supervisar la evaluación en el flujo de avisos ofrecen información única sobre el rendimiento de los siguientes criterios de LLM:
- Fundamentación: mide la alineación de la salida de la aplicación de LLM con el origen de entrada o la base de datos.
- Relevancia: evalúa cómo de pertinente es la salida de la aplicación de LLM para la entrada especificada.
- Coherencia: evalúa el flujo lógico y la legibilidad del texto de la aplicación de LLM.
- Fluidez: evalúa la precisión gramatical y lingüística de la salida de la aplicación de LLM.
- Similitud: cuantifica la coincidencia contextual y semántica entre la salida de la aplicación de LLM y la verificación en tierra.
Las métricas como fundamentación, relevancia, coherencia, fluidez y similitud son clave para el control de calidad, ya que garantizan que las interacciones con las aplicaciones de LLM sean precisas y eficaces. Siempre que la aplicación de LLM no funcione según lo previsto, debe volver a la experimentación para explorar de forma iterativa cómo mejorar el flujo.