Visão geral da perceção de deteção de cena, captura e quadro-chave
Deteção de cena, tiro, quadro-chave
A deteção de cena deteta quando uma cena muda em um vídeo com base em pistas visuais.
Uma cena retrata um único evento e é composta por uma série de planos, que estão relacionados.
As fotos são uma série de quadros que se distinguem por pistas visuais, como transições abruptas e graduais no esquema de cores de quadros adjacentes. Os metadados da foto incluem a hora de início e fim, bem como uma lista de quadros-chave incluídos na foto.
Um quadro-chave é um quadro de uma foto que melhor representa uma foto.
Casos de uso de deteção de cena, captura e quadro-chave
- Navegue, gerencie e edite facilmente seu conteúdo de vídeo com base em granularidades variadas.
- Use a deteção de tipo de captura editorial para editar vídeos em clipes, trailers ou ao pesquisar um estilo específico de quadro-chave.
Deteção de cena
O Azure AI Video Indexer determina quando uma cena é alterada no vídeo com base em sinais visuais. Uma cena retrata um único evento e é composta por uma série de planos consecutivos, que são semanticamente relacionados.
Uma miniatura de cena é o primeiro quadro-chave de sua foto subjacente.
O Azure AI Video Indexer segmenta um vídeo em cenas com base na coerência de cores em fotos consecutivas e recupera a hora de início e término de cada cena.
Os vídeos devem conter pelo menos três cenas.
Deteção de tiro
O Azure AI Video Indexer determina quando uma captura muda no vídeo com base em pistas visuais, detetando transições abruptas e graduais no esquema de cores e outros recursos visuais de quadros adjacentes. Os metadados da captura incluem uma hora de início e fim, bem como a lista de quadros-chave incluídos nessa foto. As fotos são quadros consecutivos tirados da mesma câmera ao mesmo tempo.
Nota
Pode haver uma lacuna entre os tiros, o que inclui quadros que fazem parte da transição. Com isso, esses quadros não são considerados parte do tiro.
Deteção de tipo de captura editorial de quadro-chave
O tipo de disparo é determinado com base na análise do primeiro quadro-chave de cada disparo. As fotos são identificadas pela escala, tamanho e localização dos rostos que aparecem em seu primeiro quadro-chave.
O tamanho e a escala da foto são determinados com base na distância entre a câmera e os rostos que aparecem no quadro. Usando essas propriedades, o Azure AI Video Indexer deteta os seguintes tipos de captura:
- Wide: mostra o corpo de uma pessoa inteira.
- Médio: mostra a parte superior do corpo e o rosto de uma pessoa.
- Close up: mostra principalmente o rosto de uma pessoa.
- Close-up extremo: mostra o rosto de uma pessoa preenchendo a tela.
Os tipos de tiro também podem ser determinados pela localização dos caracteres do assunto em relação ao centro do quadro. Esta propriedade define os seguintes tipos de captura no Azure AI Video Indexer:
- Face esquerda: uma pessoa aparece no lado esquerdo do quadro.
- Face central: uma pessoa aparece na região central do quadro.
- Rosto direito: uma pessoa aparece no lado direito do quadro.
- Ao ar livre: uma pessoa aparece em um ambiente ao ar livre.
- Interior: uma pessoa aparece num ambiente interior.
Características adicionais:
- Dois tiros: mostra o rosto de duas pessoas de tamanho médio.
- Rostos múltiplos: mais de duas pessoas.
Veja o insight JSON com o portal da Web
Depois de carregar e indexar um vídeo, os insights ficam disponíveis no formato JSON para download usando o portal da Web.
- Selecione a guia Biblioteca .
- Selecione a mídia com a qual deseja trabalhar.
- Selecione Download e o Insights (JSON). O arquivo JSON é aberto em uma nova guia do navegador.
- Procure o par de chaves descrito na resposta de exemplo.
Utilizar a API
- Use a solicitação Obter índice de vídeo. Recomendamos passar
&includeSummarizedInsights=false. - Procure os pares de chaves descritos na resposta de exemplo.
Resposta de exemplo
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Faça o download dos quadros-chave com a API
Para baixar cada quadro-chave, use os IDs do quadro-chave com a solicitação Obter miniaturas .
Aviso
Não recomendamos que você use dados diretamente da pasta de artefatos para fins de produção. Os artefatos são saídas intermediárias do processo de indexação. São essencialmente saídas brutas dos vários motores de IA que analisam os vídeos; O esquema de artefatos pode mudar ao longo do tempo.
Importante
É importante ler a visão geral da nota de transparência para todos os recursos VI. Cada insight também tem notas de transparência próprias:
Notas de deteção de cena, captura e quadro-chave
- O detetor funciona melhor em arquivos de mídia que têm fotos e cenas dentro deles.
- Se o vídeo for filmado com uma câmera que nunca se move, a segmentação da captura funciona mal, e os quadros-chave podem não ser representativos.
- Os quadros-chave são selecionados tendo em conta o nível de desfocagem dos quadros. Se a maior parte da captura estiver desfocada, por exemplo, com movimento, o quadro-chave também pode estar desfocado.
- Vídeos com baixa qualidade visual produzem resultados ruins.
- O tempo de cada foto/cena/quadro-chave pode mudar (menos de um segundo).
Componentes de cena, captura e quadro-chave
Nenhum componente definido.