Uso del resumen textual (versión preliminar)

En este artículo se muestra cómo usar el resumen de texto con Video Indexer de Azure AI. En este ejemplo se usan implementaciones de modelos de Azure OpenAI.

Nota:

Esta característica solo funciona con una cuenta estándar. Cree una cuenta estándar.

Requisitos previos

• Revise la introducción al resumen texual.

Nube

• Una cuenta de Azure AI Video Indexer conectada a una cuenta de Azure OpenAI.

• Acceso concedido a Azure OpenAI en la suscripción de Azure que quiera. Actualmente, solo la aplicación concede acceso a este servicio. Puede solicitar acceso a Azure OpenAI completando el formulario.

• Una implementación gpt-35-turbo o gpt-4 de Azure OpenAI. Para beneficiarse de los resúmenes basados en fotogramas clave, debe seleccionar un modelo de Azure Open AI que acepte la entrada visual. Obtenga más información aquí: Modelos de servicio OpenAI de Azure.

• El filtro Prompt Shields for direct attacks (jailbreak) debe agregarse a la implementación. Obtenga más información aquí: Uso de filtros de contenido (versión preliminar) con el servicio Azure OpenAI.

• Se recomienda configurar filtros de contenido dañinos para categorías como "Violencia", "Odio", "Sexual" y "Auto-daño". Aunque estos filtros no son obligatorios, debe establecerlos en "Medio" o "Bajo" para filtrar el contenido de al menos el nivel medio de perjudicialidad. Esta configuración garantiza que el contenido con una clasificación de daños de medio o superior está bloqueado. Para aumentar la seguridad, puede optar por una configuración más estricta. Una vez configurado, guarde la configuración del filtro de contenido.

• Vídeo cargado en la biblioteca de Video Indexer de Azure AI.

Nota:

Video Indexer de Azure AI no puede conectarse a modelos ajustados.

perimetral

Video Indexer de Azure AI habilitado por Arc permite usar Azure AI Video Indexer en dispositivos perimetrales. A continuación se muestran los requisitos técnicos para este caso de uso:

• Video Indexer habilitado por Arc del número de versión 1.1.23 o posterior.
• Requisitos de hardware: GPU o CPU Intel. La ejecución en la CPU puede ser muy lenta y no se recomienda. Se recomienda usar Nvidia V100 o superior. Si hay varios nodos de GPU, puede agregar un selector de nodos para seleccionar el nodo deseado.
• El uso de fotogramas clave como parte del resumen requiere Nvidia A100 o superior.
• El resumen de vídeo textual en Edge solo usa el modelo Phi3.5. Para obtener más información de hardware, consulte la información oficial de la versión de Phi 3.5.

Abrir páginas web en el explorador

Es más fácil seguir estas instrucciones si ya tiene abiertas las páginas web necesarias. Copie y pegue los parámetros siguientes en su editor de texto favorito. Esta es una lista para empezar:

• VI id. de cuenta:
• id. de archivo de vídeo:
• nombre de implementación:
• token de acceso:

1. Abra Azure Portal en una pestaña o ventana e inicie sesión.
   1. Vaya a la página de la cuenta de Video Indexer de Azure AI para el identificador de cuenta.
   2. Vaya a la página de la cuenta de Azure OpenAI.
      1. En el menú, seleccione Implementaciones de modelos y, a continuación, seleccione Administrar implementaciones. Se abre Azure OpenAI Studio. Copie el nombre de implementación que desea usar.
2. Abra el portal web de Azure AI Video Indexer en otra pestaña o ventana e inicie sesión.
   1. Vaya a la página de la biblioteca, elija un vídeo y haga clic con el botón derecho en él para el identificador de archivo de vídeo.
3. Abra Azure AI Video Indexer API en otra pestaña o ventana e inicie sesión.

Web

Generar un resumen de texto con o sin fotogramas clave

Puede usar el portal web de Video Indexer de Azure AI para resumir el texto.

1. Si aún no tiene el portal web abierto, abra el portal web de Azure AI Video Indexer.
2. Cargue un archivo y espere a que se indexe.
3. Seleccione el vídeo para ir a la página multimedia.
4. Si desea usar fotogramas clave para generar el resumen, active la casilla Incluir información de fotogramas clave visuales para obtener un resumen de mejor calidad.
5. Seleccione Generar resumen. Se genera el resumen textual.

Nota:

Si no ve el botón Generar resumen, puede usar una cuenta de prueba. Cree una cuenta estándar para usar esta característica.

Personalizaciones de resumen

Una vez generado el resumen, puede realizar ajustes en él personalizando el estilo de resumen o cambiando la implementación del modelo.

Personalización del estilo de resumen

También puede personalizar el resumen seleccionando el icono Personalizar resumen . Puede elegir entre longitudes de resumen corto, **medio o largo , y puede elegir Neutral, Casual o Formal como estilo de resumen. Una vez que elija las opciones, seleccione Generar de nuevo.

Cambio de la implementación del modelo

1. Seleccione el icono Personalizar resumen .
2. Seleccione la implementación de modelos que desea usar en la lista desplegable Implementación de modelos.
3. Seleccione Generar de nuevo.

Nota:

Recuerde que la implementación del modelo es una combinación del modelo y los filtros. Además, cada vez que personalice el resumen de texto, representa una solicitud PUT de API.

API

Creación de un resumen de vídeo

Generar token de acceso

Genere un token de acceso en Azure Portal:

1. Vaya a la cuenta de Video Indexer de Azure AI.
2. En el menú, seleccione Management (Administración ) y Management API (API de administración).
3. En la lista desplegable Tipo de permiso , seleccione Colaborador.
4. En la lista desplegable Ámbito , seleccione Cuenta.
5. Selecciona Generar. Se genera el token de acceso.
6. Copie el token de acceso en el Portapapeles.

Debe tener todos los parámetros necesarios para crear un resumen de vídeo listo para ir en el editor de texto.

1. En la página api de Video Indexer de Azure AI, busque resumen.
2. Seleccione el botón Pruébelo situado junto a Crear resumen de vídeo. Se abre el panel Parámetros de API.
3. Pegue el token de acceso en el Portapapeles en el campo accessToken .
4. Seleccione la ubicación en la lista desplegable ubicación .
5. Copie y pegue el identificador de cuenta VI en el campo accountId .
6. Copie el identificador del archivo de vídeo y péguelo en el campo videoId .
7. Elija la longitud del resumen, medio, corto o largo, en la lista desplegable de longitud .
8. Elija el estilo, neutro, casual o formal, en la lista desplegable estilo .
9. Seleccione Enviar.

En la respuesta, hay un identificador de resumen. Copie ese identificador en el Portapapeles.

Obtener un resumen de vídeo

En primer lugar, compruebe el estado de resumen. Hasta que finalice el trabajo de resumen, el valor de estado muestra "Procesamiento", pero no hay ningún resumen en la respuesta. Cuando finalice el trabajo de resumen, el resumen se muestra en la respuesta.

1. Seleccione GET Video Summary (Obtener resumen de vídeo).
2. Escriba el identificador de cuenta, el identificador de vídeo, el identificador de resumen y el token de acceso en los campos adecuados.
3. Seleccione Enviar.

Nota:

Siempre hay una declinación de responsabilidades disponible en la respuesta sobre el resumen. Además, hay un vínculo a la API de estado del trabajo en el encabezado Ubicación .

Mostrar resúmenes de vídeo

Puede enumerar los resúmenes de vídeo por página. Seleccione GET List Video Summaries (Resúmenes de vídeo de lista GET) y use los mismos parámetros ya descritos. Si hay una lista grande de resúmenes, use los parámetros de página para devolver la respuesta en las páginas. Use el identificador de resumen de la solicitud GET Video Summary.

Eliminar un resumen de vídeo

La eliminación del resumen de vídeo es tan simple como seleccionar RESUMEN DE ELIMINACIÓN DE VÍDEO, usando los mismos parámetros y seleccionando Enviar.

Códigos de error

Solicitar	status code	Mensaje de error	Tipo de error	Motivo	Mitigación
Create-Video-Summary	400	La cuenta no está conectada a Azure OpenAI	INVALID_INPUT		Vaya a Azure Portal y conecte una cuenta.
Create-Video-Summary	400	No se encontró ninguna implementación con este nombre: {deploymentName}	INVALID_INPUT		Compruebe la cadena de nombre de implementación.
Create-Video-Summary	400	Este modelo no admite la generación de resúmenes.	INVALID_INPUT		Elección de un modelo diferente
Create-Video-Summary	400	No se pudo generar un resumen porque el modelo de IA debe tener filtros de contenido agregados para evitar mostrar contenido perjudicial. " + $"Agregue las siguientes directivas: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak))}." + $"Establezca AllowedContentLevel en al menos {AllowedContentLevel.Medium} para ambos orígenes {FilterSource.Prompt} y {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Consulte el mensaje de error.
Create-Video-Summary	400	No se encontró el vídeo	VIDEO_NOT_FOUND
Create-Video-Summary	400	La indexación de vídeo aún no ha finalizado correctamente	VIDEO_ALREADY_IN_PROGRESS
Create-Video-Summary	400	Valor de longitud de resumen no válido '{length}'	INVALID_INPUT
Create-Video-Summary	400	Valor de estilo de resumen no válido '{style}	INVALID_INPUT
Get-Video-Summary	200	N/D	N/D
Get-Video-Summary	404	No se encontró el resumen '{summaryId}' para el vídeo '{videoId}'	NOT_FOUND
Get-Video-Summary	200	No se pudo generar un resumen porque el contenido del vídeo se marcó como perjudicial. Para obtener más información, consulte Filtros de contenido.	N/D	Todas las secciones del vídeo han desencadenado el filtro de contenido.	No hay ninguna solución para el vídeo específico.
Get-Video-Summary	200	No hay suficiente información para generar el resumen.	N/D	La información de vídeo no contiene suficiente información para crear solicitudes de Azure OpenAI.	Si el valor preestablecido del vídeo no contiene todos los modelos, volver a indexar con un valor preestablecido más avanzado que contenga audio podría ayudar.
Get-Video-Summary	200	No se pudieron obtener implementaciones de Azure OpenAI para el recurso {_resourceName}
Get-Video-Summary	200	La implementación {DeploymentName} no existe
Get-Video-Summary	200	No se pudo acceder a Azure OpenAI. Intente volver a ejecutar el resumen más adelante.			Vuelva a intentar resumir el trabajo más adelante.
Create-Video-Summary				Sin asignación de roles
Get-Video-Summary				Sin asignación de roles

Solución de problemas

Antes de buscar soluciones específicas, asegúrese de crear los recursos en la sección Requisitos previos del documento.

No aparece el resumen de generación

Es posible que no haya conectado correctamente la cuenta de Azure OpenAI a la cuenta de Azure AI Video Indexer.

No se pudo generar el resumen

• Debe agregar filtros de contenido a la implementación para evitar mostrar contenido perjudicial. Vuelva a Azure OpenAI Studio y agregue filtros a la implementación.
• Es posible que haya creado un filtro de contenido permisivo para el contenido que tenga contenido confidencial o dañino. El filtro de contenido debe ser al menos Medio. Si establece el filtro de contenido en Contenido medio Y dañino permanece en el vídeo, se desencadena el filtro. En este caso, no hay ninguna solución.
• Es posible que no haya solicitado una transcripción o que no haya suficiente información generada durante el proceso de indexación.
• Es posible que esté usando un valor preestablecido avanzado.
• Es posible que el vídeo no tenga suficiente audio en él para crear una transformación.

No se puede usar una implementación de modelo o falta la implementación

• Es posible que no haya creado una implementación.
• Es posible que alguien haya cambiado o eliminado el modelo implementado.

Limitaciones

Puede haber demasiadas solicitudes enviadas a VI. Espere unos minutos y vuelva a intentarlo.

Recibe el error "no se encontró el filtro"

Si recibe un error de filtro no encontrado, obtendrá un error detallado que describe lo que falta. El error tiene un aspecto similar al siguiente, pero puede tener detalles sobre otras cosas que faltan:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Nota:

El filtro de jailbreak solo es necesario cuando se usa un resumen basado en fotogramas clave o un resumen normal, a partir del 1 de noviembre de 2024.

Para resolver el problema de jailbreak:

1. Seleccione Ir a Azure Open AI Studio.
2. Seleccione Implementaciones.
3. Seleccione la implementación con la que está trabajando.
4. Seleccione Editar.
5. Configure los filtros para que tengan al menos nivel Medio para cada categoría.
6. Aplicar escudos de aviso para ataques de jailbreak.
7. Seleccione Crear filtro.

Otras consideraciones

Se recomienda crear las cuentas de Azure AI Video Indexer y Azure OpenAI en la misma región o podría experimentar problemas de rendimiento.