Información general sobre la detección de escenas, capturas y fotogramas clave
Escena, captura, detección de fotogramas clave
La detección de escenas detecta cuándo cambia una escena en un vídeo en función de las indicaciones visuales.
Una escena representa un único evento y se compone de una serie de tomas, que están relacionadas.
Las capturas son una serie de fotogramas distintivos por indicaciones visuales, como transiciones abruptas y graduales en combinación de colores de marcos adyacentes. Los metadatos de la captura incluyen la hora de inicio y finalización, así como una lista de fotogramas clave incluidos en la captura.
Un fotograma clave es un fotograma de una toma que representa mejor una captura.
Casos de uso de detección de escenas, capturas y fotogramas clave
- Examine, administre y edite fácilmente el contenido de vídeo en función de las distintas granularidades.
- Use la detección de tipos de captura editorial para editar vídeos en clips, finalizadores o al buscar un estilo específico de fotograma clave.
Detección de escenas
Video Indexer de Azure AI determina cuándo cambia una escena en el vídeo en función de las indicaciones visuales. Una escena representa un único evento y se compone de una serie de capturas consecutivas, que están relacionadas semánticamente.
Una vista en miniatura de la escena es el primer fotograma clave de su captura subyacente.
Video Indexer de Azure AI segmenta un vídeo en escenas en función de la coherencia de color entre capturas consecutivas y recupera la hora de inicio y finalización de cada escena.
Los vídeos deben contener al menos tres escenas.
Detección de cortes
Video Indexer de Azure AI determina cuándo cambia una captura en el vídeo en función de las indicaciones visuales mediante la detección de transiciones abruptas y graduales en la combinación de colores y otra característica visual de fotogramas adyacentes. Los metadatos del corte incluyen una hora de inicio y de finalización, así como la lista de fotogramas clave incluidos en ese corte. Los cortes son fotogramas consecutivos que se toman con la misma cámara al mismo tiempo.
Nota:
Puede haber un hueco entre los disparos que incluyen fotogramas que forman parte de la transición. Thereofre, estos fotogramas no se consideran parte de la toma.
Detección de tipos de captura editorial de fotogramas clave
El tipo de captura se determina en función del análisis del primer fotograma clave de cada captura. Las capturas se identifican por la escala, el tamaño y la ubicación de las caras que aparecen en su primer fotograma clave.
El tamaño y la escala de la toma se determinan en función de la distancia entre la cámara y las caras que aparecen en el fotograma. Con estas propiedades, Video Indexer de Azure AI detecta los siguientes tipos de captura:
- Plano general: muestra todo el cuerpo de una persona.
- Plano medio: muestra la cara y la parte superior del cuerpo de una persona.
- Primer plano: muestra principalmente la cara de una persona.
- Primerísimo primer plano: muestra la cara de una persona que rellena la pantalla.
Los tipos de capturas también pueden determinarse por la ubicación de los personajes del sujeto con respecto al centro del fotograma. Esta propiedad define los siguientes tipos de captura en Video Indexer de Azure AI:
- Cara en la izquierda: una persona aparece en el lado izquierdo del fotograma.
- Cara en el centro: una persona aparece en el área central del fotograma.
- Cara en la derecha: una persona aparece en el lado derecho del fotograma.
- Exterior: una persona aparece en un entorno exterior.
- Interior: una persona aparece en un entorno interior.
Características adicionales:
- Dos tomas: muestra las caras de dos personas en tamaño medio.
- Varias caras: más de dos personas.
Visualización del JSON de información con el portal web
Una vez que haya cargado e indexado un vídeo, la información está disponible en formato JSON para su descarga mediante el portal web.
- Seleccione la pestaña Biblioteca .
- Seleccione los medios con los que desea trabajar.
- Seleccione Descargar y Insights (JSON). El archivo JSON se abre en una nueva pestaña del explorador.
- Busque el par de claves descrito en la respuesta de ejemplo.
Uso de la API
- Use la solicitud Obtener índice de vídeo. Se recomienda pasar
&includeSummarizedInsights=false. - Busque los pares de claves descritos en la respuesta de ejemplo.
Respuesta de ejemplo
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Descarga de los fotogramas clave con la API
Para descargar cada fotograma clave, use los identificadores de fotograma clave con la solicitud Obtener miniaturas .
Advertencia
No se recomienda usar datos directamente desde la carpeta artefactos para fines de producción. Los artefactos son salidas intermedias del proceso de indexación. Son esencialmente salidas sin procesar de los distintos motores de inteligencia artificial que analizan los vídeos; el esquema de los artefactos puede cambiar con el tiempo.
Importante
Es importante leer la información general de la nota de transparencia para todas las características vi. Cada información también tiene notas de transparencia propias:
Notas de detección de escenas, capturas y fotogramas clave
- El detector funciona mejor en archivos multimedia que tienen capturas y escenas dentro de ellos.
- Si el vídeo se filma con una cámara que nunca se mueve, la segmentación de disparos funciona mal y es posible que los fotogramas clave no sean representativos.
- Los fotogramas clave se seleccionan teniendo en cuenta el nivel de desenfoque de los fotogramas. Si la mayoría de la captura es borrosa, por ejemplo con movimiento, el fotograma clave también podría ser borroso.
- Los vídeos con mala calidad visual producen resultados deficientes.
- La hora de cada captura, escena o fotograma clave puede cambiar (menos de un segundo).
Componentes de escena, captura y fotograma clave
No hay componentes definidos.