Přehled přehledu detekce scény, snímku, klíče
Scéna, snímek, detekce klíčových snímků
Detekce scény zjistí, kdy se scéna ve videu změní na základě vizuálních upozornění.
Scéna znázorňuje jednu událost a skládá se z řady snímků, které souvisejí.
Snímky jsou řady snímků, které jsou rozlišeny vizuálními pomůckami, jako jsou náhlé a postupné přechody v barevném schématu sousedních snímků. Metadata snímku zahrnují počáteční a koncový čas a také seznam klíčových snímků, které jsou součástí snímku.
Klíčový snímek je snímek ze snímku, který nejlépe představuje snímek.
Případy použití scény, snímku a detekce klíčových snímků
- Obsah videa můžete snadno procházet, spravovat a upravovat na základě různých podrobností.
- K úpravám videí do klipů, přívěsů nebo při hledání určitého stylu klíčového snímku použijte detekci typu redakčního snímku.
Detekce scén
Azure AI Video Indexer určuje, kdy se scéna ve videu změní na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které jsou sémanticky související.
Miniatura scény je první klíčový snímek podkladového snímku.
Azure AI Video Indexer segmentuje video do scén na základě barevné soudržnosti napříč po sobě jdoucími snímky a načte počáteční a koncový čas každé scény.
Videa musí obsahovat alespoň tři scény.
Detekce snímků
Azure AI Video Indexer určuje, kdy se snímek ve videu změní na základě vizuálních upozornění tím, že zjistí náhlé i postupné přechody v barevném schématu a další vizuální funkci sousedních snímků. Metadata snímku zahrnují počáteční a koncový čas a také seznam klíčových snímků zahrnutých v daném snímku. Snímky jsou po sobě jdoucí snímky pořízené ze stejné kamery najednou.
Poznámka:
Mezi snímky může být mezera, která zahrnuje snímky, které jsou součástí přechodu. Z tohoto snímku se tyto snímky nepovažují za součást snímku.
Detekce typu úvodního snímku klíčového snímku
Typ snímku se určuje na základě analýzy prvního klíčového snímku každého snímku. Snímky jsou identifikovány měřítkem, velikostí a umístěním tváří, které se zobrazují v prvním klíčovém snímku.
Velikost snímku a měřítko se určují na základě vzdálenosti mezi fotoaparátem a tvářemi, které se zobrazují v rámečku. Pomocí těchto vlastností azure AI Video Indexer zjistí následující typy snímků:
- Široké: ukazuje tělo celé osoby.
- Střední: zobrazuje horní tělo a tvář osoby.
- Zblízka: ukazuje hlavně tvář člověka.
- Extrémní detail: zobrazuje obličej osoby vyplňující obrazovku.
Typy snímků lze určit také umístěním znaků předmětu vzhledem ke středu rámce. Tato vlastnost definuje následující typy snímků ve službě Azure AI Video Indexer:
- Levý obličej: Na levé straně rámečku se zobrazí osoba.
- Středová tvář: Osoba se zobrazí v centrální oblasti rámce.
- Pravý obličej: osoba se zobrazí na pravé straně rámečku.
- Venkovní: osoba se zobrazí ve venkovním prostředí.
- Vnitřní: osoba se zobrazí v interiérovém nastavení.
Další vlastnosti:
- Dva snímky: ukazuje tváře dvou osob střední velikosti.
- Více tváří: více než dvě osoby.
Zobrazení kódu JSON přehledu pomocí webového portálu
Po nahrání a indexování videa jsou přehledy k dispozici ve formátu JSON ke stažení pomocí webového portálu.
- Vyberte kartu Knihovna.
- Vyberte multimédia, se kterými chcete pracovat.
- Vyberte Stáhnout a přehledy (JSON). Soubor JSON se otevře na nové kartě prohlížeče.
- Vyhledejte pár klíčů popsaný v ukázkové odpovědi.
Použití rozhraní API
- Použijte požadavek Získat index videa. Doporučujeme předat
&includeSummarizedInsights=false. - Vyhledejte páry klíčů popsané v ukázkové odpovědi.
Příklad odpovědi
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Stažení klíčových rámců pomocí rozhraní API
Pokud chcete stáhnout každý klíčový snímek, použijte ID klíčových snímků s požadavkem Získat miniatury .
Upozorňující
Nedoporučujeme používat data přímo ze složky artefaktů pro produkční účely. Artefakty jsou přechodné výstupy procesu indexování. Jsou to v podstatě nezpracované výstupy různých modulů umělé inteligence, které analyzují videa; schéma artefaktů se může v průběhu času měnit.
Důležité
Je důležité si přečíst přehled poznámek transparentnosti pro všechny funkce VI. Každý přehled má také vlastní poznámky k transparentnosti:
Poznámky k detekci scény, snímku a klíče
- Detektor funguje nejlépe na mediálních souborech, které mají v sobě snímky a scény.
- Pokud je video filmováno s jednou kamerou, která se nikdy nepřesune, segmentace snímků funguje špatně a klíčové snímky nemusí být reprezentativní.
- Klíčové snímky jsou vybrány s ohledem na úroveň rozmazanosti snímků. Pokud je většina snímku rozmazaná, například s pohybem, může být klíčový snímek také rozmazaný.
- Videa s nízkou kvalitou vizuálu vytvářejí špatné výsledky.
- Čas každého snímku, scény nebo klíčového snímku se může posunout (menší než sekunda).
Komponenty scény, snímku a klíčového rámce
Nejsou definovány žádné komponenty.