Herramienta LLM

La herramienta de modelo de lenguaje grande (LLM) en el flujo de mensajes le permite aprovechar los modelos de lenguaje grandes ampliamente usados, como OpenAI o Azure OpenAI Service, o cualquier modelo de lenguaje compatible con la API de inferencia de modelos de Azure AI para el procesamiento de lenguaje natural.

El flujo de avisos ofrece varias API de modelos de lenguaje de gran tamaño:

• Finalización: los modelos de finalización de OpenAI generan texto basado en las solicitudes proporcionadas.
• Chat: los modelos de chat de OpenAI y los modelos de chat de Azure AI facilitan conversaciones interactivas con respuestas y entradas basadas en texto.

Nota:

Hemos quitado la embedding opción de la configuración de la API de la herramienta LLM. Puede usar una API de inserción con la herramienta de inserción. Solo se admite la autenticación basada en claves para la conexión de Azure OpenAI. No use caracteres no ascii en el nombre del grupo de recursos del recurso de Azure OpenAI, el flujo de mensajes no admitía este caso.

Requisitos previos

Crear recursos de OpenAI:

• OpenAI:

  • Registre su cuenta en el sitio web de OpenAI.
  • Inicie sesión y busque su clave de API personal.

• Azure OpenAI:

  • Cree recursos de Azure OpenAI con estas instrucciones.

• Modelos implementados en puntos de conexión de API sin servidor

  • Cree un punto de conexión con el modelo desde el catálogo que le interese e impleméntelo con un punto de conexión de API sin servidor.
  • Para usar modelos implementados en puntos de conexión de API sin servidor compatibles con la API de inferencia de modelos de Azure AI, como Mistral, Cohere, Meta Llama o la familia de modelos de Microsoft (entre otros), debe crear una conexión en el proyecto al punto de conexión.

Conexiones

Configure las conexiones a los recursos aprovisionados en el flujo de avisos.

Tipo	Nombre	Clave de API	Tipo de API	Versión de API
OpenAI	Obligatorio	Obligatorio	-	-
Azure OpenAI: clave de API	Obligatorio	Obligatorio	Obligatorio	Obligatorio
Azure OpenAI: identificador de Microsoft Entra	Obligatorio	-	-	Obligatorio
Modelo sin servidor	Obligatorio	Obligatorio	-	-

Sugerencia

• Para usar el tipo de autenticación Microsoft Entra ID para la conexión Azure OpenAI, debe asignar el Cognitive Services OpenAI User o Cognitive Services OpenAI Contributor role al usuario o a la identidad administrada asignada al usuario.
• Obtenga más información sobre cómo especificar para usar la identidad de usuario para enviar la ejecución del flujo.
• Más información acerca de la Configuración de Azure OpenAI Service con identidades administradas.

Entradas

En las secciones siguientes se muestran varias entradas.

Finalización de texto

Nombre	Escribir	Descripción	Obligatorio
símbolo del sistema	cadena	Solicitud de texto para el modelo de lenguaje.	Sí
model, deployment_name	string	Modelo de lenguaje que se va a usar.	Sí
max_tokens	integer	Número máximo de tokens que se van a generar en la finalización. El valor predeterminado es 16.	No
temperatura	FLOAT	Aleatoriedad del texto generado. El valor predeterminado es 1.	No
stop	list	Secuencia de detención del texto generado. El valor predeterminado es null.	No
sufijo	string	Texto anexado al final de la finalización.	No
top_p	FLOAT	Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1.	No
logprobs	integer	Número de probabilidades de registro que se van a generar. El valor predeterminado es null.	No
echo	boolean	Valor que indica si se devuelve el mensaje en la respuesta. El valor predeterminado es False.	No
presence_penalty	FLOAT	Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0.	No
frequency_penalty	FLOAT	Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0.	No
best_of	integer	Número de mejores finalizaciones que se van a generar. El valor predeterminado es 1.	No
logit_bias	diccionario	Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío.	No

Chat

Nombre	Escribir	Descripción	Obligatorio
símbolo del sistema	string	Mensaje de texto que usa el modelo de lenguaje para una respuesta.	Sí
model, deployment_name	string	Modelo de lenguaje que se va a usar. Este parámetro no es necesario si el modelo se implementa en un punto de conexión de API sin servidor.	Sí*
max_tokens	integer	Número máximo de tokens que se van a generar en la respuesta. El valor predeterminado es inf.	No
temperatura	FLOAT	Aleatoriedad del texto generado. El valor predeterminado es 1.	No
stop	list	Secuencia de detención del texto generado. El valor predeterminado es null.	No
top_p	FLOAT	Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1.	No
presence_penalty	FLOAT	Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0.	No
frequency_penalty	FLOAT	Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0.	No
logit_bias	diccionario	Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío.	No

Salidas

API	Tipo de valor devuelto	Descripción
Completion	string	Texto de una finalización prevista
Chat	string	Texto de una respuesta de conversación

Uso de la herramienta LLM

1. Configure y seleccione las conexiones a recursos de OpenAI o a un punto de conexión de API sin servidor.
2. Configure la API de modelo de lenguaje grande y sus parámetros.
3. Prepare el aviso con una guía.