Obtenha informações sobre deteção de objetos

Artigo
10/09/2024

Deteção de objetos

O Azure AI Video Indexer deteta objetos em vídeos como carros, malas e mochilas e portáteis.

Objetos suportados

avião
maçã
mochila
banana
luva de beisebol
cama
bancada
bicicleta
barco
livro
frasco
taça
brócolos
ônibus
bolo

carro
cenoura
telefone celular
cadeira
relógio
rato de computador
sofá
Chávena
mesa de jantar
donut
Hidrante
fork
Frisbee

secador de cabelo
bolsa
cachorro-quente
teclado
pipa
faca
computador portátil
micro-ondas
motocicleta
rato de computador
gravata
laranja
forno
parquímetro
pizza
planta envasada

sanduíche
tesoura
lavatório
skate
esquis
prancha de snowboard
colher
bola desportiva
Sinal de parada
mala
prancha de surf
ursinho de pelúcia

raquete de ténis
torradeira
WC
escova de dentes
Sinal de tráfego
Comboio
guarda-chuva
vaso
copo de vinho

Veja o insight JSON com o portal da Web

Depois de carregar e indexar um vídeo, os insights ficam disponíveis no formato JSON para download usando o portal da Web.

Selecione a guia Biblioteca .
Selecione a mídia com a qual deseja trabalhar.
Selecione Download e o Insights (JSON). O arquivo JSON é aberto em uma nova guia do navegador.
Procure o par de chaves descrito na resposta de exemplo.

Utilizar a API

Use a solicitação Obter índice de vídeo. Recomendamos passar &includeSummarizedInsights=false.
Procure os pares de chaves descritos na resposta de exemplo.

Resposta de exemplo

Os objetos detetados e rastreados aparecem em "Objetos detetados" no arquivo insights.json baixado. Toda vez que um objeto único é detetado, ele recebe um ID. Esse objeto também é rastreado, o que significa que o modelo observa para que o objeto detetado retorne ao quadro. Se isso acontecer, outra instância será adicionada às instâncias do objeto com diferentes horários de início e fim.

Neste exemplo, o primeiro carro foi detetado e recebeu um ID de 1, uma vez que também foi o primeiro objeto detetado. Em seguida, foi detetado um carro diferente e esse carro recebeu o ID de 23, uma vez que era o 23.º objeto detetado. Mais tarde, o primeiro carro apareceu novamente e outra instância foi adicionada ao JSON. Aqui está o JSON resultante:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Chave	Definição
ID	Número incremental de IDs dos objetos detetados no arquivo de mídia
Type	Tipo de objetos, por exemplo, Carro
ID da miniatura	GUID que representa uma única deteção do objeto
displayName	Nome a ser exibido na experiência do portal VI
WikiDataID	Um identificador exclusivo na estrutura WikiData
Instâncias	Lista de todas as instâncias que foram rastreadas
Confiança	Uma pontuação entre 0-1 indicando a confiança na deteção do objeto
ajustadoStart	Hora de início ajustada do vídeo ao usar o editor
ajustadoFim	Hora de término ajustada do vídeo ao usar o editor
iniciar	A hora em que o objeto aparece no quadro
end	o tempo em que o objeto não aparece mais no quadro

Componentes

Nenhum componente é definido para deteção de objetos.

Notas sobre transparência

Importante

É importante ler a visão geral da nota de transparência para todos os recursos VI. Cada insight também tem notas de transparência próprias:

Há até 20 deteções por quadro para processamento padrão e avançado e 35 faixas por classe.
O tamanho do objeto não deve ser maior que 90% do quadro. Objetos muito grandes que se estendem consistentemente por uma grande parte do quadro podem não ser reconhecidos.
Objetos pequenos ou desfocados podem ser difíceis de detetar. Eles podem ser perdidos ou mal classificados (copo de vinho, xícara).
Objetos que são transitórios e aparecem em poucos quadros podem não ser reconhecidos.
Outros fatores que podem afetar a precisão da deteção de objetos incluem condições de pouca luz, movimento da câmera e oclusões.
O Azure AI Video Indexer suporta apenas objetos do mundo real. Não há suporte para animação ou CGI. Gráficos gerados por computador (como adesivos de notícias) podem produzir resultados estranhos.
Fichários, folhetos e outros materiais escritos tendem a ser detetados como "livros".

Código de exemplo

Ver todos os exemplos de VI

Partilhar via