Overzicht van scènes, shot, keyframe detection insight
Scène, schot, sleutelframedetectie
Scènedetectie detecteert wanneer een scène in een video verandert op basis van visuele aanwijzingen.
Een scène toont één gebeurtenis en bestaat uit een reeks opnamen die gerelateerd zijn.
Shots zijn een reeks frames die worden onderscheiden door visuele aanwijzingen, zoals abrupte en geleidelijke overgangen in het kleurenschema van aangrenzende frames. De metagegevens van de shot bevatten de begin- en eindtijd, evenals een lijst met sleutelframes die zijn opgenomen in de opname.
Een sleutelframe is een frame van een opname die het beste een opname vertegenwoordigt.
Use cases voor scène-, shot- en keyframedetectie
- Blader, beheer en bewerk eenvoudig uw video-inhoud op basis van verschillende granulariteiten.
- Gebruik de detectie van het type redactioneel beeldtype voor het bewerken van video's in clips, trailers of bij het zoeken naar een specifieke stijl van het hoofdframe.
Scènedetectie
Azure AI Video Indexer bepaalt wanneer een scène in video verandert op basis van visuele aanwijzingen. Een scène toont één gebeurtenis en bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn.
Een miniatuur van een scène is het eerste sleutelframe van de onderliggende opname.
Azure AI Video Indexer segmenteert een video in scènes op basis van kleurcoherentie in opeenvolgende opnamen en haalt de begin- en eindtijd van elke scène op.
Video's moeten ten minste drie scènes bevatten.
Schotdetectie
Azure AI Video Indexer bepaalt wanneer een opname verandert in de video op basis van visuele aanwijzingen, door zowel plotselinge als geleidelijke overgangen in het kleurenschema en andere visuele kenmerken van aangrenzende frames te detecteren. De metagegevens van de shot bevatten een begin- en eindtijd, evenals de lijst met sleutelframes die in die opname zijn opgenomen. De opnamen zijn opeenvolgende frames van dezelfde camera tegelijk.
Notitie
Er is mogelijk een tussenruimte tussen opnamen die frames bevatten die deel uitmaken van de overgang. Daarvan worden deze frames niet beschouwd als onderdeel van het schot.
Detectie van hoofdframes voor redactioneel schottype
Het schottype wordt bepaald op basis van de analyse van het eerste sleutelframe van elke opname. Schermafbeeldingen worden geïdentificeerd door de schaal, grootte en locatie van de gezichten die worden weergegeven in hun eerste hoofdframe.
De grootte en schaal van de opname worden bepaald op basis van de afstand tussen de camera en de gezichten die in het frame worden weergegeven. Met behulp van deze eigenschappen detecteert Azure AI Video Indexer de volgende typen opnamen:
- Breed: toont het lichaam van een hele persoon.
- Gemiddeld: toont het bovenlichaam en gezicht van een persoon.
- Close-up: toont voornamelijk het gezicht van een persoon.
- Extreme close-up: toont het gezicht van een persoon die het scherm vult.
Schottypen kunnen ook worden bepaald door de locatie van de onderwerptekens met betrekking tot het midden van het frame. Deze eigenschap definieert de volgende typen opnamen in Azure AI Video Indexer:
- Linker gezicht: een persoon wordt aan de linkerkant van het frame weergegeven.
- Midden gezicht: een persoon wordt weergegeven in de centrale regio van het frame.
- Rechter gezicht: een persoon wordt aan de rechterkant van het frame weergegeven.
- Buiten: een persoon verschijnt in een buitenomgeving.
- Binnen: een persoon verschijnt in een binneninstelling.
Aanvullende kenmerken:
- Twee foto's: toont twee gezichten van twee personen van middelgrote grootte.
- Meerdere gezichten: meer dan twee personen.
De inzicht-JSON weergeven met de webportal
Zodra u een video hebt geüpload en geïndexeerd, zijn inzichten beschikbaar in JSON-indeling voor downloaden met behulp van de webportal.
- Selecteer het tabblad Bibliotheek .
- Selecteer media waarmee u wilt werken.
- Selecteer Downloaden en de Inzichten (JSON). Het JSON-bestand wordt geopend op een nieuw browsertabblad.
- Zoek naar het sleutelpaar dat wordt beschreven in het voorbeeldantwoord.
De API gebruiken
- Gebruik de aanvraag Video Index ophalen. We raden u aan door te geven
&includeSummarizedInsights=false. - Zoek naar de sleutelparen die worden beschreven in het voorbeeldantwoord.
Voorbeeld van een antwoord
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
De sleutelframes downloaden met de API
Als u elk sleutelframe wilt downloaden, gebruikt u de keyframe-id's met de aanvraag Miniaturen ophalen.
Waarschuwing
We raden u niet aan om gegevens rechtstreeks vanuit de map artefacten te gebruiken voor productiedoeleinden. Artefacten zijn tussenliggende uitvoer van het indexeringsproces. Ze zijn in wezen onbewerkte uitvoer van de verschillende AI-engines die de video's analyseren; het artefactschema kan na verloop van tijd veranderen.
Belangrijk
Het is belangrijk om het overzicht van de transparantienotitie voor alle VI-functies te lezen. Elk inzicht heeft ook eigen transparantienotities:
Notities voor de detectie van scènes, opnamen en keyframes
- De detector werkt het beste op mediabestanden met opnamen en scènes erin.
- Als de video wordt gefilmd met één camera die nooit beweegt, werkt de segmentatie slecht en zijn de hoofdframes mogelijk niet representatief.
- Sleutelframes worden geselecteerd door rekening te houden met het wazigheidsniveau van de frames. Als het grootste deel van de opname wazig is, bijvoorbeeld met beweging, kan het keyframe ook wazig zijn.
- Video's met slechte visuele kwaliteit produceren slechte resultaten.
- De tijd van elke opname/scène/keyframe kan verschuiven (minder dan een seconde).
Scène-, shot- en keyframe-onderdelen
Er zijn geen onderdelen gedefinieerd.