Compartir a través de

Ajuste de modelos en Azure AI Studio

  • Artículo

Importante

Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

El ajuste preciso vuelve a entrenar un modelo de lenguaje grande (LLM) existente mediante datos de ejemplo. El resultado es un nuevo LLM personalizado optimizado para los ejemplos proporcionados.

Este artículo puede ayudarle a decidir si el ajuste preciso es la solución adecuada para su caso de uso. En este artículo también se describe cómo Estudio de IA de Azure puede admitir sus necesidades de ajuste preciso.

En este artículo, el ajuste preciso hace referencia al ajuste preciso supervisado, no al entrenamiento previo continuo ni al aprendizaje de refuerzo a través de comentarios humanos (RLHF). El ajuste preciso supervisado es el proceso de volver a entrenar modelos entrenados previamente en conjuntos de datos específicos. Normalmente, el propósito es mejorar el rendimiento del modelo en tareas específicas o introducir información que no estaba bien representada al entrenar originalmente el modelo base.

Introducción al ajuste preciso

Al decidir si el ajuste preciso es la solución adecuada para su caso de uso, resulta útil familiarizarse con estos términos clave:

  • La ingeniería de solicitudes es una técnica que implica diseñar solicitudes para modelos de procesamiento del lenguaje natural. Este proceso mejora la precisión y la relevancia de las respuestas para optimizar el rendimiento del modelo.
  • Generación aumentada de recuperación (RAG): mejora el rendimiento del modelo de LLM mediante la recuperación de datos de orígenes externos y la incorporación de dichos datos a una solicitud. RAG puede ayudar a las empresas a desarrollar soluciones personalizadas al tiempo que mantienen la relevancia de los datos y optimizan los costos.

El ajuste es una excelente manera de obtener resultados de mayor calidad al reducir la latencia. Las siguientes preguntas pueden ayudarle a comprender mejor por qué ajustar y evaluar si está listo para ajustar el proceso. Puede usar estas preguntas para guiar los pasos siguientes.

¿Por qué desea ajustar de forma precisa un modelo?

Antes de empezar a ajustar un modelo, considere si ha identificado deficiencias al usar un modelo base. Estas deficiencias pueden incluir: un rendimiento incoherente en los casos perimetrales, incapacidad de ajustarse a suficientes avisos en la ventana de contexto para dirigir el modelo o alta latencia.

Los modelos base ya están entrenados previamente en grandes cantidades de datos, pero la mayoría de las veces agregará instrucciones y ejemplos al mensaje para obtener las respuestas de calidad que busca. Este proceso de "aprendizaje de pocas tomas" se puede mejorar con el ajuste preciso.

El ajuste preciso le permite entrenar un modelo con muchos más ejemplos. Puede adaptar sus ejemplos para satisfacer su caso de uso específico. Esto puede ayudarle a reducir el número de tokens en el símbolo del sistema que conduce a posibles ahorros de costos y solicitudes con una menor latencia.

Los casos de uso para ajustar un modelo pueden ser:

  • Dirigir el modelo para generar contenido en un estilo, tono o formato específicos y personalizados.

Si identifica el costo como motivador principal, continúe con precaución. El ajuste preciso podría reducir los costos de determinados casos de uso al acortar las solicitudes o permitirle usar un modelo más pequeño. Pero, en general, hay un mayor costo inicial para el entrenamiento y tiene que pagar por hospedar su propio modelo personalizado.

¿Qué no funciona con enfoques alternativos?

Comprender en qué puntos se queda corta la ingeniería de solicitudes debe servir de guía para abordar el ajuste preciso. ¿Se produce un error del modelo base en casos limítrofes o excepciones? ¿El modelo base no proporciona resultados de forma coherente en el formato correcto y no se pueden ajustar suficientes ejemplos en la ventana de contexto para corregirlo?

Algunos ejemplos de errores con el modelo base y la ingeniería de solicitudes le pueden ayudar a identificar los datos que necesitan recopilar para el ajuste preciso y cómo debe evaluar el modelo ajustado de manera precisa.

Este es un ejemplo: un cliente quiere usar GPT-3.5 Turbo para convertir preguntas de lenguaje natural en consultas en un lenguaje de consulta específico y no estándar. El cliente proporciona instrucciones en la solicitud (“Devolver siempre GQL”) y ha usado RAG para recuperar el esquema de la base de datos. Sin embargo, la sintaxis no siempre es correcta y a menudo se producen errores en los casos perimetrales. El cliente recopila miles de ejemplos de preguntas de lenguaje natural y las consultas equivalentes para la base de datos, incluidos los casos en los que se produjo un error en el modelo antes. A continuación, el cliente usa esos datos para ajustar el modelo de manera precisa. La combinación de su nuevo modelo ajustado de forma precisa con su solicitud y recuperación diseñadas aporta la precisión de las salidas del modelo hasta estándares aceptables para su uso.

¿Qué ha intentado hasta ahora?

El ajuste preciso es una funcionalidad avanzada, no el punto inicial del recorrido de IA generativa. Ya debería estar familiarizado con los conceptos básicos del uso de LLM. Para empezar, debe evaluar el rendimiento de un modelo base con ingeniería de solicitudes o RAG para obtener una base de referencia para el rendimiento.

Tener una base de referencia para el rendimiento sin ajuste preciso es esencial para saber si el ajuste preciso mejora o no el rendimiento del modelo. El ajuste preciso con datos incorrectos empeora el modelo base, pero sin una línea de base, es difícil detectar regresiones.

Antes de empezar a ajustar un modelo, debe asegurarse de lo siguiente:

  • Puede demostrar evidencias y conocimientos sobre el uso de la ingeniería rápida y los enfoques basados en RAG en su LLM.
  • Puede compartir experiencias y desafíos específicos con técnicas distintas del ajuste preciso que ya ha probado para su caso de uso.
  • Tendrá evaluaciones cuantitativas del rendimiento de línea base siempre que sea posible.
  • Tiene un conjunto de datos etiquetado que se corresponde con el caso de uso específico que desea entrenar su LLM.

¿Qué datos va a usar para el ajuste preciso?

Incluso con un buen caso de uso, el ajuste fino solo es tan bueno como la calidad de los datos que puede proporcionar. Debe estar dispuesto a invertir el tiempo y el esfuerzo para realizar un trabajo de ajuste preciso. Los distintos modelos requieren volúmenes de datos diferentes, pero a menudo es necesario poder proporcionar cantidades bastante grandes de datos mantenidos de alta calidad. En el ajuste fino supervisado, se entrena un modelo genérico en un conjunto de datos etiquetados para un tema específico. El modelo con ajustar los parámetros a los nuevos datos y aplicar conocimientos preexistentes al generar contenido nuevo.

Otro punto importante es que, incluso con datos de alta calidad, si los datos no están en el formato necesario para el ajuste preciso, deberá confirmar los recursos de ingeniería para dar formato a los datos correctamente.

Es posible que esté listo para el ajuste preciso si:

  • Ha identificado un conjunto de datos para el ajuste preciso.
  • El conjunto de datos tiene el formato adecuado para el entrenamiento en el modelo existente.
  • Ha empleado algún nivel de mantenimiento para garantizar la calidad del conjunto de datos.

¿Cómo medirá la calidad del modelo, el cual se ha ajustado de forma precisa?

No hay una única respuesta correcta a esta pregunta, pero debe tener unos objetivos claramente definidos sobre cómo es el éxito del ajuste. Idealmente, este esfuerzo no debería ser simplemente cualitativo. Debe incluir medidas cuantitativas de éxito, como el uso de un conjunto de datos de retención para la validación, además de las pruebas de aceptación de usuario o las pruebas A/B del modelo ajustado de manera precisa en un modelo base.

Modelos admitidos para el ajuste preciso en Azure AI Studio

Ahora que sabe cuándo usar el ajuste preciso para su caso de uso, puede ir a Inteligencia artificial de Azure Studio para encontrar varios modelos disponibles para ajustarlos de manera precisa. En la tabla siguiente se describen los modelos que puede ajustar de manera precisa en Estudio de IA de Azure, junto con las regiones en las que puede ajustarlos.

Familia de modelos Id. de modelo Regiones de ajuste preciso
Modelos de Azure OpenAI Los modelos de Azure OpenAI Service que puede ajustar de manera precisa incluyen entre otros gpt-4 y gpt-4o-mini.

Para obtener más información sobre los modelos de Azure OpenAI que están disponibles para el ajuste preciso, consulte la Documentación sobre los modelos de Azure OpenAI Service o la tabla de modelos de Azure OpenAI más adelante en esta guía.		 Los modelos de Azure OpenAI Service que puede ajustar de manera precisa incluyen entre otros Centro-norte de EE. UU. y Centro de Suecia.

Las regiones admitidas pueden variar si usa modelos de Azure OpenAI en un proyecto de Estudio de IA o fuera de este.

Para obtener más información sobre las regiones donde se puede ajustar, consulte la Documentación de los modelos de Azure OpenAI Service.
Modelos de la familia Phi-3 Phi-3-mini-4k-instruct
Phi-3-mini-128k-instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct		 Este de EE. UU. 2
Modelos de la familia Meta Llama 2 Meta-Llama-2-70b
Meta-Llama-2-7b
Meta-Llama-2-13b
Llama-2-7B-chat
Llama-2-70B-chat		 Oeste de EE. UU. 3
Modelos de la familia Meta Llama 3.1 Meta-Llama-3.1-70b-Instruct
Meta-Llama-3.1-8b-Instruct		 Oeste de EE. UU. 3

En esta tabla se proporcionan más detalles sobre los modelos de Azure OpenAI Service que admiten el ajuste preciso y las regiones en las que está disponible el ajuste preciso.

Ajuste preciso de los modelos de Azure OpenAI

Nota:

gpt-35-turbo: el ajuste preciso de este modelo se limita a un subconjunto de regiones y no está disponible en todas las regiones en las que el modelo base está disponible.

Las regiones admitidas para el ajuste preciso pueden variar si usa los modelos de Azure OpenAI en un proyecto de Estudio de IA o fuera de un proyecto.

Id. de modelo Regiones de ajuste preciso Solicitud máxima (tokens) Datos de entrenamiento (hasta)
babbage-002 Centro-Norte de EE. UU
Centro de Suecia
Oeste de Suiza		 16 384 Septiembre de 2021
davinci-002 Centro-Norte de EE. UU
Centro de Suecia
Oeste de Suiza		 16 384 Septiembre de 2021
gpt-35-turbo (0613) Este de EE. UU. 2
Centro-Norte de EE. UU
Centro de Suecia
Oeste de Suiza		 4 096 Septiembre de 2021
gpt-35-turbo (1106) Este de EE. UU. 2
Centro-Norte de EE. UU
Centro de Suecia
Oeste de Suiza		 Entrada: 16 385
Salida: 4096		 Septiembre de 2021
gpt-35-turbo (0125) Este de EE. UU. 2
Centro-Norte de EE. UU
Centro de Suecia
Oeste de Suiza		 16 385 Septiembre de 2021
gpt-4 (0613) 1 Centro-Norte de EE. UU
Centro de Suecia		 8192 Septiembre de 2021
gpt-4o-mini 1 (2024-07-18) Centro-Norte de EE. UU
Centro de Suecia		 Entrada: 128 000
Salida: 16 384
Longitud del contexto de ejemplo de entrenamiento: 64,536		 Octubre de 2023
gpt-4o 1 (2024-08-06) Este de EE. UU. 2
Centro-Norte de EE. UU
Centro de Suecia		 Entrada: 128 000
Salida: 16 384
Longitud del contexto de ejemplo de entrenamiento: 64,536		 Octubre de 2023

1 GPT-4 se encuentra actualmente en versión preliminar pública.

Contenido relacionado