GPT-4o Realtime API para voz y audio (versión preliminar)

Nota:

Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

GPT-4o Realtime API de Azure OpenAI para voz y audio forma parte de la familia de modelos GPT-4o que admite interacciones conversacionales de baja latencia, "voz en voz, voz fuera". La API de audio GPT-4o realtime está diseñada para controlar interacciones de conversación en tiempo real y de baja latencia, lo que la convierte en una excelente opción para los casos de uso que implican interacciones en vivo entre un usuario y un modelo, como agentes de asistencia al cliente, asistentes de voz y traductores en tiempo real.

La mayoría de los usuarios de Realtime API necesitan entregar y recibir audio de un usuario final en tiempo real, incluidas las aplicaciones que usan WebRTC o un sistema de telefonía. Realtime API no está diseñada para conectarse directamente a los dispositivos de usuario final y se basa en integraciones de cliente para finalizar las secuencias de audio del usuario final.

Modelos admitidos

Actualmente solo la versión gpt-4o-realtime-preview: 2024-10-01-preview admite audio en tiempo real.

El modelo gpt-4o-realtime-preview está disponible para implementaciones globales en las regiones Este de EE. UU. 2 y Centro de Suecia.

Importante

El sistema almacena las solicitudes y finalizaciones como se describe en la sección "Uso de datos y acceso a la supervisión de abuso" de los términos de producto específicos del servicio para Azure OpenAI Service, excepto que no se aplica la excepción limitada. La supervisión de abusos se activará para el uso de la API gpt-4o-realtime-preview incluso para los clientes que de otro modo están aprobados para la supervisión de abusos modificados.

Compatibilidad con API

La compatibilidad con la API en tiempo real se agregó por primera vez en la versión 2024-10-01-preview de la API.

Nota:

Para más información sobre la API y la arquitectura, consulte el repositorio de audio en tiempo real de GPT-4o de Azure OpenAI en GitHub.

Requisitos previos

• Una suscripción a Azure (cree una cuenta gratuita).
• Un recurso de Azure OpenAI creado en una región admitida. Para obtener más información, consulte Creación de un recurso e implementación de un modelo con Azure OpenAI.

Implementación de un modelo para audio en tiempo real

Para poder usar el audio en tiempo real de GPT-4o, necesita una implementación del modelo gpt-4o-realtime-preview en una región compatible, tal como se describe en la sección modelos admitidos.

1. Vaya a la página principal de Azure AI y asegúrese de que ha iniciado sesión con la suscripción de Azure que tiene el recurso de Azure OpenAI Service (con o sin implementaciones de modelos).
2. Seleccione el área de juegos Audio en tiempo real en Área de juegos de recursos en el panel izquierdo.
3. Seleccione + Crear una implementación para abrir la ventana de implementación.
4. Busque y seleccione el modelo gpt-4o-realtime-preview y, a continuación, seleccione Confirmar.
5. En el Asistente para la implementación, asegúrese de seleccionar la versión del modelo 2024-10-01.
6. Siga las instrucciones del asistente para implementar el modelo.

Ahora que tiene una implementación del modelo gpt-4o-realtime-preview, puede interactuar con él en tiempo real en el área de juegos Audio en tiempo real en el portal de Azure AI Foundry o en la API en tiempo real.

Usar el audio en tiempo real de GPT-4o

Sugerencia

En este momento, la forma más rápida de comenzar a desarrollar con la API en tiempo real GPT-4o es descargar el código de muestra del repositorio de audio en tiempo real GPT-4o de Azure OpenAI en GitHub.

Para chatear con su modelo gpt-4o-realtime-preview implementado en el área de juegos de audio en tiempo real de Azure AI Foundry, siga estos pasos:

1. la página Azure OpenAI Service en el portal de Azure AI Foundry. Asegúrese de que ha iniciado sesión con la suscripción de Azure que tiene el recurso de Azure OpenAI Service y el modelo gpt-4o-realtime-preview implementado.

2. Seleccione el área de juegos Audio en tiempo real en Área de juegos de recursos en el panel izquierdo.

3. Seleccione el modelo de gpt-4o-realtime-preview implementado en la lista desplegable Implementación.

4. Seleccione Habilitar micrófono para permitir que el explorador acceda al micrófono. Si ya ha concedido permiso, puede omitir este paso.

   

5. Opcionalmente, puede editar el contenido en el cuadro de texto Dar instrucciones y contexto al modelo. Proporcione instrucciones al modelo sobre cómo debe comportarse y cualquier contexto al que debe hacer referencia al generar una respuesta. Puede describir la personalidad del asistente, indicarle lo que debe y lo que no debe responder y cómo formatear las respuestas.

6. Opcionalmente, cambie la configuración, como umbral, relleno de prefijo y duración del silencio.

7. Seleccione Iniciar escucha para iniciar la sesión. Puede hablar en el micrófono para iniciar un chat.

   

8. Puede interrumpir el chat en cualquier momento hablando. Para finalizar el chat, seleccione el botón Detener escucha.

En el ejemplo web de JavaScript se muestra cómo usar la API GPT-4o Realtime para interactuar con el modelo en tiempo real. El código de ejemplo incluye una interfaz web sencilla que captura el audio del micrófono del usuario y lo envía al modelo para su procesamiento. El modelo responde con texto y audio, que el código de ejemplo se representa en la interfaz web.

Puede ejecutar el código de ejemplo localmente en el equipo siguiendo estos pasos. Consulte el repositorio en GitHub para obtener las instrucciones más actualizadas.

1. Si no tiene instalado Node.js, descargue e instale la versión LTS de Node.js.

2. Clone el repositorio en la máquina local:

   git clone https://github.com/Azure-Samples/aoai-realtime-audio-sdk.git
   

3. Vaya a la carpeta javascript/samples/web en el editor de código que prefiera.

   cd ./javascript/samples
   

4. Ejecute download-pkg.ps1 o download-pkg.sh para descargar los paquetes necesarios.

5. Vaya a la carpeta web desde la carpeta ./javascript/samples.

   cd ./web
   

6. Ejecute npm install para instalar las dependencias del paquete.

7. Ejecute npm run dev para iniciar el servidor web y vaya a las solicitudes de permisos de firewall según sea necesario.

8. Vaya a cualquiera de los URI proporcionados desde la salida de la consola (como http://localhost:5173/) en un explorador.

9. Escriba la siguiente información en la interfaz web:

   • Punto de conexión: punto de conexión de recurso de un recurso de Azure OpenAI. No es necesario anexar la ruta de acceso /realtime. Una estructura de ejemplo podría ser https://my-azure-openai-resource-from-portal.openai.azure.com.
   • Clave de API: clave de API correspondiente para el recurso de Azure OpenAI.
   • Implementación: el nombre del modelo gpt-4o-realtime-preview que implementó en la sección anterior.
   • Mensaje del sistema: opcionalmente, puede proporcionar un mensaje del sistema como "Siempre habla como un pirata amable".
   • Temperatura: opcionalmente, puede proporcionar una temperatura personalizada.
   • Voz: opcionalmente, puede seleccionar una voz.

10. Seleccione el botón Grabar para iniciar la sesión. Acepte permisos para usar el micrófono si se le solicita.

11. Debería ver un mensaje << Session Started >> en la salida principal. A continuación, puede hablar en el micrófono para iniciar un chat.

12. Puede interrumpir el chat en cualquier momento hablando. Para finalizar el chat, seleccione el botón Detener.

Contenido relacionado

• Más información acerca de Uso de la API en tiempo real
• Consulte la Referencia de API en tiempo real.
• Más información sobre las cuotas y límites de Azure OpenAI