Översikt över scen-, bild- och nyckelramsidentifiering
Scen, bild, nyckelbildrutasidentifiering
Scenidentifiering identifierar när en scen ändras i en video baserat på visuella tips.
En scen visar en enda händelse och består av en serie bilder, som är relaterade.
Bilder är en serie bildrutor som utmärks av visuella signaler, till exempel plötsliga och gradvisa övergångar i färgschemat för intilliggande bildrutor. Bildens metadata innehåller start- och sluttid samt en lista över nyckelramar som ingår i bilden.
En nyckelbildruta är en ram från ett skott som bäst representerar ett skott.
Användningsfall för scen-, bild- och nyckelramsidentifiering
- Bläddra, hantera och redigera videoinnehållet enkelt baserat på varierande kornigheter.
- Använd typidentifiering av redaktionella bilder för att redigera videor i klipp, trailers eller när du söker efter en viss typ av nyckelram.
Scenidentifiering
Azure AI Video Indexer avgör när en scen ändras i video baserat på visuella tips. En scen visar en enda händelse och består av en serie på varandra följande bilder, som är semantiskt relaterade.
En scenminiatyr är den första nyckelramen i dess underliggande bild.
Azure AI Video Indexer segmenteras en video i scener baserat på färgsammanhållning i efterföljande bilder och hämtar start- och sluttiden för varje scen.
Videor måste innehålla minst tre scener.
Bildidentifiering
Azure AI Video Indexer avgör när ett skott ändras i videon baserat på visuella tips genom att identifiera både plötsliga och gradvisa övergångar i färgschemat och andra visuella funktioner i intilliggande bildrutor. Bildens metadata innehåller en start- och sluttid samt en lista över nyckelrutor som ingår i det skottet. Bilderna är på varandra följande bilder tagna från samma kamera samtidigt.
Kommentar
Det kan finnas ett mellanrum mellan bilder som innehåller bildrutor som ingår i övergången. Dessa bildrutor betraktas inte som en del av skottet.
Identifiering av nyckelramsredaktion av bildtyp
Skotttypen bestäms baserat på analys av den första nyckelramen för varje skott. Bilder identifieras med skalning, storlek och plats för ansikten som visas i deras första nyckelbildruta.
Skottstorleken och skalan bestäms baserat på avståndet mellan kameran och ansiktena som visas i ramen. Med hjälp av dessa egenskaper identifierar Azure AI Video Indexer följande bildtyper:
- Bred: visar en hel persons kropp.
- Medel: visar en persons överkropp och ansikte.
- Närbild: visar främst en persons ansikte.
- Extrem närbild: visar en persons ansikte som fyller skärmen.
Bildtyper kan också bestämmas av motivets plats med avseende på mitten av ramen. Den här egenskapen definierar följande bildtyper i Azure AI Video Indexer:
- Vänster ansikte: en person visas på vänster sida av ramen.
- Mitt ansikte: en person visas i ramens centrala region.
- Höger ansikte: en person visas på höger sida av ramen.
- Utomhus: en person visas i en utomhusmiljö.
- Inomhus: en person visas i en inomhusmiljö.
Ytterligare egenskaper:
- Två bilder: visar två personers ansikten av medelstor storlek.
- Flera ansikten: fler än två personer.
Visa insikts-JSON med webbportalen
När du har laddat upp och indexerat en video är insikter tillgängliga i JSON-format för nedladdning med hjälp av webbportalen.
- Välj fliken Bibliotek .
- Välj media som du vill arbeta med.
- Välj Ladda ned och Insikter (JSON). JSON-filen öppnas på en ny webbläsarflik.
- Leta efter nyckelparet som beskrivs i exempelsvaret.
Använda API:et
- Använd begäran hämta videoindex. Vi rekommenderar att du skickar
&includeSummarizedInsights=false. - Leta efter nyckelparen som beskrivs i exempelsvaret.
Exempelsvar
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Ladda ned nyckelramarna med API:et
Om du vill ladda ned varje nyckelram använder du nyckelrams-ID:t med begäran Hämta miniatyrer .
Varning
Vi rekommenderar inte att du använder data direkt från mappen artifacts i produktionssyfte. Artefakter är mellanliggande utdata från indexeringsprocessen. De är i huvudsak råa utdata från de olika AI-motorerna som analyserar videorna. artefaktschemat kan ändras över tid.
Viktigt!
Det är viktigt att läsa översikten över transparensanteckningen för alla VI-funktioner. Varje insikt har också egna transparensanteckningar:
Identifieringsanteckningar för scen, bild och nyckelbildruta
- Detektorn fungerar bäst på mediefiler som har bilder och scener i sig.
- Om videon filmas med en kamera som aldrig rör sig fungerar bildsegmenteringen dåligt och nyckelrutorna kanske inte är representativa.
- Nyckelrutor väljs med hänsyn till bildrutornas suddighetsnivå. Om det mesta av bilden är suddig, till exempel med rörelse, kan nyckelramen också vara suddig.
- Videor med dålig visuell kvalitet ger dåliga resultat.
- Tiden för varje bild/scen/nyckelbildruta kan skifta (mindre än en sekund).
Scen-, bild- och nyckelramskomponenter
Inga komponenter har definierats.