Inzichten in objectdetectie ophalen

Artikel
10/09/2024

Objectdetectie

Azure AI Video Indexer detecteert objecten in video's zoals auto's, handtassen en rugzakken en laptops.

Ondersteunde objecten

vliegtuig
appel
rugzak
banaan
honkbalhandschoen
bed
bank
fiets
boot
boek
fles
kom
broccoli
bus
cake

car
wortel
mobieltje
stoel
klok
computermuis
bank
kopje
Eettafel
donut
brandkraan
fork
frisbee

haardroger
handtas
hotdog
toetsenbord
wouw
mes
laptop
magnetron
motorfiets
computermuis
stropdas
oranje
oven
parkeermeter
pizza
potplant

sandwich
schaar
zinken
skateboard
Ski 's
snowboard
lepel
sportbal
Stopteken
koffer
surfplank
teddybeer

tennisracket
broodrooster
toilet
tandenborstel
Stoplicht
trein
paraplu
vaas
wijnglas

De inzicht-JSON weergeven met de webportal

Zodra u een video hebt geüpload en geïndexeerd, zijn inzichten beschikbaar in JSON-indeling voor downloaden met behulp van de webportal.

Selecteer het tabblad Bibliotheek .
Selecteer media waarmee u wilt werken.
Selecteer Downloaden en de Inzichten (JSON). Het JSON-bestand wordt geopend op een nieuw browsertabblad.
Zoek naar het sleutelpaar dat wordt beschreven in het voorbeeldantwoord.

De API gebruiken

Gebruik de aanvraag Video Index ophalen. We raden u aan door te geven &includeSummarizedInsights=false.
Zoek naar de sleutelparen die worden beschreven in het voorbeeldantwoord.

Voorbeeld van een antwoord

Gedetecteerde en bijgehouden objecten worden weergegeven onder 'gedetecteerde objecten' in het gedownloade insights.json-bestand . Telkens wanneer een uniek object wordt gedetecteerd, krijgt het een id. Dat object wordt ook bijgehouden, wat betekent dat het model kijkt naar het gedetecteerde object om terug te keren naar het frame. Als dit het geval is, wordt er een ander exemplaar toegevoegd aan de exemplaren voor het object met verschillende begin- en eindtijden.

In dit voorbeeld is de eerste auto gedetecteerd en krijgt de id 1 omdat het ook het eerste object is gedetecteerd. Vervolgens werd een andere auto gedetecteerd en die auto kreeg de id van 23 sinds het 23e object is gedetecteerd. Later verscheen de eerste auto opnieuw en werd een ander exemplaar toegevoegd aan de JSON. Dit is de resulterende JSON:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Code	Definitie
Id	Incrementeel aantal id's van de gedetecteerde objecten in het mediabestand
Type	Type objecten, bijvoorbeeld Auto
ThumbnailID	GUID die één detectie van het object vertegenwoordigt
displayName	Naam die moet worden weergegeven in de VI-portalervaring
WikiDataID	Een unieke id in de WikiData-structuur
Exemplaren	Lijst met alle exemplaren die zijn bijgehouden
Betrouwbaarheid	Een score tussen 0 en 1 die de betrouwbaarheid van de objectdetectie aangeeft
adjustedStart	aangepaste begintijd van de video wanneer u de editor gebruikt
adjustedEnd	aangepaste eindtijd van de video wanneer u de editor gebruikt
starten	het tijdstip waarop het object wordt weergegeven in het frame
end	de tijd dat het object niet meer in het frame wordt weergegeven

Onderdelen

Er zijn geen onderdelen gedefinieerd voor objectdetectie.

Transparantienotities

Belangrijk

Het is belangrijk om het overzicht van de transparantienotitie voor alle VI-functies te lezen. Elk inzicht heeft ook eigen transparantienotities:

Er zijn maximaal 20 detecties per frame voor standaard en geavanceerde verwerking en 35 sporen per klasse.
De objectgrootte mag niet groter zijn dan 90 procent van het frame. Zeer grote objecten die consistent over een groot deel van het frame lopen, worden mogelijk niet herkend.
Kleine of wazige objecten kunnen moeilijk te detecteren zijn. Ze kunnen worden gemist of verkeerd geclassificeerd (wijnglas, kopje).
Objecten die tijdelijk zijn en in zeer weinig frames worden weergegeven, worden mogelijk niet herkend.
Andere factoren die van invloed kunnen zijn op de nauwkeurigheid van de objectdetectie zijn onder andere omstandigheden met weinig licht, camerabeweging en occlusies.
Azure AI Video Indexer ondersteunt alleen echte objecten. Er is geen ondersteuning voor animatie of CGI. Computer gegenereerde afbeeldingen (zoals nieuwsstickers) kunnen vreemde resultaten opleveren.
Binders, brochures en andere geschreven materialen worden meestal gedetecteerd als 'boek'.

Voorbeeldcode

Bekijk alle voorbeelden voor VI

Delen via