Chat empresarial de Azure OpenAI con imágenes mediante GPT-4 Turbo with Vision
Importante
Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
Use este artículo para aprender a proporcionar sus propios datos de imagen para GPT-4 Turbo con Vision, el modelo de visión de Azure OpenAI. El chat empresarial GPT-4 Turbo with Vision permite al modelo generar respuestas más personalizadas y dirigidas mediante la generación aumentada de recuperación basada en imágenes propias y metadatos de imagen.
Sugerencia
Este artículo sirve para usar los datos de imagen en el modelo GPT-4 Turbo con Vision. Vea Implementación de una aplicación web de chat empresarial para obtener un tutorial sobre cómo implementar una aplicación web de chat mediante los datos de texto.
Requisitos previos
- Una suscripción a Azure (cree una cuenta gratuita).
- Un recurso de Azure OpenAI con el modelo de GPT-4 Turbo con Vision implementado. Para obtener más información sobre la implementación de modelos, consulte la guía de implementación de recursos.
- Asegúrese de que tiene asignado al menos el rol de Colaborador de Cognitive Services para el recurso de Azure OpenAI.
- Un recurso de Azure AI Search. Consulte Creación de un servicio Azure AI Search en el portal. Si no tiene un recurso de Búsqueda de Azure AI, se le pedirá que cree uno al agregar el origen de datos más adelante en esta guía.
- Un centro de AI Studio con el recurso de Azure OpenAI y el recurso de Búsqueda de Azure AI agregados como conexiones.
Implementación de un modelo GPT-4 Turbo con Visión
- Inicie sesión en Inteligencia artificial de Azure Studio y seleccione el centro en el que quiere trabajar.
- En el menú de navegación izquierdo, seleccione Servicios de IA. Seleccione el panel Probar GPT-4 Turbo.
- En la página gpt-4, seleccione Implementar. En la ventana que aparece, seleccione el recurso de Azure OpenAI. Seleccione
vision-preview
como versión del modelo. - Seleccione Implementar.
- A continuación, vaya a la página del nuevo modelo y seleccione Abrir en el área de juegos. En el área de juegos del chat, la implementación de GPT-4 que creó debe seleccionarse en la lista desplegable Implementación.
Selección del origen de datos de la imagen
- En el panel izquierdo, seleccione la pestaña Agregar los datos y seleccione Agregar un origen de datos.
- En la ventana que aparece, seleccione una opción de origen de datos. Cada opción usa un índice de Búsqueda de Azure AI entrenado en las imágenes y se puede usar para recuperar la generación aumentada en el área de juegos del chat.
- Búsqueda de Azure AI: si tiene un índice de Búsqueda de Azure AI existente, puede usarlo como un origen de datos.
- Azure Blob Storage: la opción Azure Blob Storage es especialmente útil si tiene un gran número de archivos de imagen y no desea cargar manualmente cada uno. La Inteligencia artificial de Azure Studio generará un índice de búsqueda de imágenes automáticamente.
- Cargar archivos de imagen y metadatos: puede cargar archivos de imagen y metadatos mediante el área de juegos. Esta opción es útil si tiene un pequeño número de archivos de imagen. La Inteligencia artificial de Azure Studio generará un índice de búsqueda de imágenes automáticamente.
Adición de los datos de imagen
Si tiene un índice de Búsqueda de Azure AI existente, puede usarlo como un origen de datos. Si todavía no tiene un índice de búsqueda, pero le gustaría crear uno por su cuenta, siga el repositorio de vector de búsqueda de Búsqueda de AI de GitHub, que proporciona scripts para crear un índice con los archivos de imagen.
- En la ventana Seleccionar o agregar origen de datos, elija Búsqueda de Azure AI y escriba los detalles del índice. Seleccione los cuadros para confirmar que las implementaciones y las conexiones incurren en uso en su cuenta.
- Si lo desea, puede habilitar la opción Usar asignación de campos personalizada. Esto le permite controlar la asignación entre los campos personalizados del índice de búsqueda y los campos estándar que usan los modelos del chat de Azure OpenAI durante la generación aumentada de recuperación.
- Seleccione Siguiente y revise la configuración en la página siguiente. A continuación, seleccione Guardar y cerrar.
- En el área de juegos del chat, puede ver que se han agregado los datos.
Uso de los datos con el modelo GPT-4 Turbo con Visión
Después de agregar los datos de imagen, puede probar una conversación del chat basada en los datos de la imagen.
Use el botón datos adjuntos en la ventana del chat para cargar una nueva imagen. Haga una pregunta sobre su relación con las otras imágenes del conjunto de datos.
El modelo responderá con una respuesta basada en los datos de la imagen.
Adición y eliminación de orígenes de datos
Azure OpenAI solo permite usar un origen de datos por sesión del chat. Si desea agregar un nuevo origen de datos, primero debe quitar el origen de datos existente. Para ello, seleccione Quitar origen de datos en la información del origen de datos.
Al quitar un origen de datos, verá un mensaje de advertencia. Al quitar un origen de datos, se borra la sesión de chat y se restablecen todas las configuraciones del área de juegos.
Pasos siguientes
- Obtenga información acerca de cómo crear un proyecto en Azure AI Studio.
- Implementación de una aplicación web de chat empresarial