Descripción del ciclo de vida del desarrollo de aplicaciones de modelos de lenguaje grande (LLM)
Antes de comprender cómo trabajar con el flujo de avisos, exploremos el ciclo de vida de desarrollo de una aplicación de modelo de lenguaje grande (LLM).
El ciclo de vida consta de las siguientes fases:
- inicialización: Definir el caso de uso y diseñar la solución.
- Experimentación: Desarrollar un flujo y probar con un conjunto de datos pequeño.
- Evaluación y refinamiento: Evalar el flujo con un conjunto de datos mayor.
- Producción: Implementar y supervisar el flujo y la aplicación.
Durante la evaluación, el refinamiento y la producción, es posible que se de cuenta de que la solución debe mejorarse. Se volver a la experimentación, durante la cual desarrolle el flujo continuamente hasta que esté satisfecho con los resultados.
Ahora exploremos cada una de estas fases con más detalle.
Inicialización
Imagine que desea diseñar y desarrollar una aplicación de LLM para clasificar artículos de noticias. Antes de empezar a crear algo, deberá definir qué categorías desea como salida. Es necesario comprender el aspecto de un artículo de noticias típico, cómo presentar el artículo como entrada a la aplicación y cómo la aplicación genera la salida deseada.
En otras palabras, durante la inicialización, deberá:
- Definir el objetivo
- Recopilar un conjunto de datos de ejemplo
- Compilar un aviso básico
- Diseñar el flujo
Para diseñar, desarrollar y probar una aplicación de LLM, se necesita un conjunto de datos de ejemplo que actúe como entrada. Un conjunto de datos de ejemplo es un pequeño subconjunto representativo de los datos que espera analizar como entrada para la aplicación de LLM.
Al recopilar o crear el conjunto de datos de ejemplo, se debería garantizar la diversidad de los datos para cubrir diversos escenarios y casos perimetrales. También se debe quitar cualquier información confidencial de privacidad del conjunto de datos para evitar vulnerabilidades.
Experimentación
Recopiló un conjunto de datos de ejemplo de artículos de noticias y decidió en qué categorías desea que los artículos se clasifiquen. Diseñó un flujo que toma un artículo de noticias como entrada y usa un LLM para clasificar el artículo. Para probar si el flujo genera la salida esperada, ejecútelo en el conjunto de datos de ejemplo.
La fase de experimentación es un proceso iterativo durante el que (1) ejecuta el flujo en un conjunto de datos de ejemplo. A continuación, (2) evalúa el rendimiento del aviso. Si está (3) satisfecho con el resultado, pase a la evaluación y el refinamiento. Si cree que hay espacio para mejorar, (4) modifique el flujo cambiando el aviso o el propio flujo.
Evaluación y refinamiento
Cuando esté satisfecho con la salida del flujo que clasifica los artículos de noticias, en función del conjunto de datos de ejemplo, evalúe el rendimiento del flujo en un conjunto de datos mayor.
Al probar el flujo en un conjunto de datos más grande, evalúe la forma en que la aplicación del LLM generaliza los nuevos datos. Durante la evaluación, se pueden identificar posibles cuellos de botella o áreas para la optimización o refinamiento.
Al editar el flujo, primero se debería ejecutar en un conjunto de datos más pequeño antes de volver a ejecutarlo en un conjunto de datos más grande. Probar el flujo con un conjunto de datos más pequeño permite responder más rápidamente a cualquier problema.
Una vez que la aplicación de LLM parezca sólida y confiable al manejar varios escenarios, se podrá decidir mover la aplicación LLM a producción.
Producción
Finalmente, la aplicación de clasificación de artículos de noticias estará lista para producción.
Durante la producción, deberá:
- Optimizar el flujo que clasifica los artículos entrantes para mejorar la eficiencia y la eficacia.
- Implementar el flujo en un punto de conexión. Al llamar al punto de conexión, se desencadena el flujo para ejecutarse y se genera la salida deseada.
- Supervisar el rendimiento de la solución mediante la recopilación de datos de uso y los comentarios de los usuarios finales. Al comprender cómo se comporta la aplicación, se puede mejorar el flujo siempre que sea necesario.
Explorar el ciclo de vida de desarrollo completo
Ahora que comprende cada fase del ciclo de vida de desarrollo de una aplicación de LLM, examine toda la introducción:
