Inleiding tot Intelligent Video Analytics
Elke dag produceren videocamera's volumes aan gegevens in populaire zakelijke domeinen. Deze gebieden omvatten ziekenhuis-, productie-, detailhandel- en smart-city-omgevingen. Veel van deze implementaties kunnen worden uitgebreid met de toevoeging van AI die werkt op de gegevens die door de camerasensoren in realtime worden geproduceerd.
Stel dat u het afdwingen van gezondheidsadviezen of naleving van veiligheidsprotocollen op jobsites kunt bewaken, zich kunt aanpassen aan demografische gegevens van klanten of op geautomatiseerde wijze kunt reageren op verkeersgebeurtenissen. U kunt deze scenario's uitvoeren met behulp van videooplossingen die AI toepassen op Internet of Things-apparaten die aan de rand zijn geïmplementeerd.
We verwijzen naar deze soorten oplossingen als Intelligent Video Analytics-toepassingen (IVA ). Ze extraheren bruikbare inzichten via de toepassing van Computer Vision-algoritmen die werken op live videoframes. In deze tabel worden drie typen Computer Vision-algoritmen beschreven:
| Computer Vision-algoritme | Functies |
|---|---|
Objectdetectie  |
Objectdetectiemodellen worden getraind om afzonderlijke objecten in een afbeelding te classificeren en hun locatie te identificeren met een begrenzingsvak. Een oplossing voor verkeersbewaking kan bijvoorbeeld objectdetectie gebruiken om de locatie van verschillende klassen voertuigen te identificeren. |
Afbeeldingsclassificatie  |
Afbeeldingsclassificatie omvat het trainen van een machine learning-model om afbeeldingen te classificeren op basis van hun inhoud. Denk bijvoorbeeld aan een oplossing voor verkeersbewaking. U kunt een afbeeldingsclassificatiemodel gebruiken om afbeeldingen te classificeren op basis van het type voertuig dat ze bevatten, zoals taxi's, bussen, fietsen, enzovoort. |
Objecttracking  |
U kunt objecttracking toepassen op een object dat is gedetecteerd via objectdetectie. Aan het object wordt een identiteit toegewezen waarnaar u kunt verwijzen via opeenvolgende deductie die in een IVA-pijplijn wordt doorgegeven. U kunt bijvoorbeeld objecttracking gebruiken om unieke exemplaren van personen in een gebied te tellen. |
U kunt krachtige evaluaties uitvoeren door deze algoritmen in combinatie te gebruiken om functionaliteit te bereiken die trapsgewijs deductie wordt genoemd. Hier volgt een voorbeeld van deze techniek:
- Identificeer een voertuig en de locatie in het frame met behulp van objectdetectie.
- Gebruik een tracker die elk voertuig een unieke id toewijst om het aantal voertuigen in het gebied te tellen.
- Gebruik een model voor afbeeldingsclassificatie om de kleur van elk voertuig te bepalen.
Nadat u op deze manier inzichten hebt gegenereerd, kunt u meer services gebruiken om deze gegevens te gebruiken door te offloaden naar cloudservices in Microsoft Azure. In Azure kunnen gegevens live worden verwerkt, automatiseringstaken activeren of worden gearchiveerd voor historische analyse.
Ontwikkeling van Intelligent Video Analytics-toepassingen mogelijk maken met behulp van NVIDIA DeepStream en Azure
Met NVIDIA DeepStream kunt u Intelligent Video Analytics-toepassingen ontwikkelen die gebruikmaken van een framework met meerdere platforms dat u aan de rand kunt implementeren en verbinding kunt maken met cloudservices. Met dit framework kunt u IVA-pijplijnen visueel definiëren met behulp van een ontwikkelhulpprogramma met de naam NVIDIA Graph Composer. Met het hulpprogramma kunt u videobronnen definiëren van bestands-, lokale camera- of rtsp-videostreams in het netwerk die rechtstreeks kunnen worden ingevoerd in enkele of trapsgewijze deductiebewerkingen. Deze bewerkingen produceren inzichten die u vervolgens kunt doorsturen naar cloudservices voor verdere verwerking. Door de rekenkrachtige deductietaken lokaal aan de rand uit te voeren, kunt u de hoeveelheid gegevens verminderen die nodig is om inzichten en telemetrie naar de cloud te verzenden.
Hardware- en besturingssysteemvereisten
Als u wilt doorgaan met deze module, moet u toegang hebben tot een x86/AMD64-computer met Ubuntu 18.04. U moet er ook voor zorgen dat op uw ontwikkelcomputer een van de volgende grafische kaarten is geïnstalleerd.
GPU's die compatibel zijn met DeepStream 6.0
-
Notitie
Als u van plan bent een virtuele machine te gebruiken om aan deze vereisten te voldoen, kunnen er later in dit leertraject problemen optreden wanneer u NVIDIA Graph Composer probeert te starten als u verbinding maakt met uw virtuele machine via een externe sessie. U kunt nog steeds doorgaan met de module, maar we willen zeker weten dat u op de hoogte bent van dit probleem.
Probeer dit eens
Denk aan scenario's waarbij u Computer Vision kunt gebruiken om een taak te automatiseren of een traditioneel complex proces te vereenvoudigen. Wat moeten uw videofeeds zien? Welke Computer Vision-algoritmen moet u gebruiken om uw oplossing te implementeren (objectdetectie, afbeeldingsclassificatie, objecttracking)?