Panoramica delle informazioni dettagliate sul rilevamento di fotogrammi chiave, scene, riprese
Scena, ripresa, rilevamento del fotogramma chiave
Il rilevamento della scena rileva quando una scena cambia in un video in base ai segnali visivi.
Una scena rappresenta un singolo evento ed è composta da una serie di scatti, che sono correlati.
Gli scatti sono una serie di fotogrammi distinti da segnali visivi come transizioni improvvise e graduali nella combinazione di colori di fotogrammi adiacenti. I metadati dello scatto includono l'ora di inizio e di fine, nonché un elenco di fotogrammi chiave inclusi nello scatto.
Un fotogramma chiave è un fotogramma di uno scatto che rappresenta meglio uno scatto.
Casi d'uso di rilevamento di scene, riprese e fotogrammi chiave
- Esplorare, gestire e modificare facilmente i contenuti video in base alle diverse granularità.
- Usa il rilevamento del tipo di ripresa editoriale per modificare i video in clip, trailer o durante la ricerca di uno stile specifico del fotogramma chiave.
Rilevamento della scena
Video Indexer di Azure per intelligenza artificiale determina quando una scena cambia in base ai segnali visivi. Una scena rappresenta un singolo evento ed è composto da una serie di scatti consecutivi, che sono correlati semanticamente.
Un'anteprima della scena è il primo fotogramma chiave dello scatto sottostante.
Azure AI Video Indexer segmenta un video in scene in base alla coerenza dei colori tra scatti consecutivi e recupera l'ora iniziale e finale di ogni scena.
I video devono contenere almeno tre scene.
Rilevamento inquadratura
Azure AI Video Indexer determina quando un'immagine cambia in base ai segnali visivi, rilevando transizioni improvvise e graduali nella combinazione di colori e altre funzionalità visive dei fotogrammi adiacenti. I metadati dello scatto includono un'ora di inizio e di fine, nonché l'elenco dei fotogrammi chiave inclusi in tale scatto. Gli scatti sono fotogrammi consecutivi acquisiti contemporaneamente dalla stessa fotocamera.
Nota
Potrebbe esserci un divario tra i fotogrammi che includono fotogrammi che fanno parte della transizione. Questi fotogrammi non sono considerati parte del colpo.
Rilevamento del tipo di scatto editoriale del fotogramma chiave
Il tipo di tiro viene determinato in base all'analisi del primo fotogramma chiave di ogni colpo. Gli scatti sono identificati dalla scala, dalle dimensioni e dalla posizione dei visi che appaiono nel primo fotogramma chiave.
Le dimensioni e la scala dello scatto vengono determinate in base alla distanza tra la fotocamera e i visi che appaiono nel fotogramma. Usando queste proprietà, Azure AI Video Indexer rileva i tipi di screenshot seguenti:
- Wide: mostra il corpo di un'intera persona.
- Medio: mostra il corpo superiore e il viso di una persona.
- Primo piano: mostra principalmente il viso di una persona.
- Primo piano estremo: mostra la faccia di una persona che riempie lo schermo.
I tipi di inquadratura possono anche essere determinati dalla posizione dei caratteri del soggetto rispetto al centro del fotogramma. Questa proprietà definisce i tipi di screenshot seguenti in Azure AI Video Indexer:
- Viso sinistro: una persona viene visualizzata sul lato sinistro della cornice.
- Volto centrale: una persona viene visualizzata nell'area centrale della cornice.
- Viso destro: una persona viene visualizzata sul lato destro della cornice.
- Outdoor: una persona viene visualizzata in un ambiente esterno.
- Interni: una persona viene visualizzata in un ambiente interno.
Caratteristiche aggiuntive:
- Due scatti: mostra i volti di due persone di medie dimensioni.
- Più volti: più di due persone.
Visualizzare il codice JSON di informazioni dettagliate con il portale Web
Dopo aver caricato e indicizzato un video, le informazioni dettagliate sono disponibili in formato JSON per il download tramite il portale Web.
- Selezionare la scheda Libreria .
- Selezionare i supporti con cui si vuole lavorare.
- Selezionare Download (Download) e Insights (JSON).Select Download and the Insights (JSON). Il file JSON viene aperto in una nuova scheda del browser.
- Cercare la coppia di chiavi descritta nella risposta di esempio.
Usare l'API
- Usare la richiesta Recupera indice video . È consigliabile
&includeSummarizedInsights=falsepassare . - Cercare le coppie chiave descritte nella risposta di esempio.
Esempio di risposta
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Scaricare i fotogrammi chiave con l'API
Per scaricare ogni fotogramma chiave, usare gli ID fotogrammi chiave con la richiesta Ottieni anteprime .
Avviso
Non è consigliabile usare i dati direttamente dalla cartella artefatti a scopo di produzione. Gli artefatti sono output intermedi del processo di indicizzazione. Sono essenzialmente output non elaborati dei vari motori di intelligenza artificiale che analizzano i video; lo schema degli artefatti può cambiare nel tempo.
Importante
È importante leggere la panoramica delle note sulla trasparenza per tutte le funzionalità vi. Ogni informazione ha anche note sulla trasparenza proprie:
Note di rilevamento di scene, riprese e fotogrammi chiave
- Il rilevatore funziona meglio sui file multimediali con riprese e scene all'interno di essi.
- Se il video viene filmato con una fotocamera che non si muove mai, la segmentazione del colpo funziona male e i fotogrammi chiave potrebbero non essere rappresentativi.
- I fotogrammi chiave vengono selezionati tenendo conto del livello di sfocatura dei fotogrammi. Se la maggior parte dello scatto è sfocata, ad esempio con il movimento, il fotogramma chiave potrebbe anche essere sfocato.
- I video con scarsa qualità visiva producono risultati scarsi.
- L'ora di ogni colpo/scena/fotogramma chiave può essere spostata (inferiore a un secondo).
Componenti scene, shot e keyframe
Nessun componente definito.