Introduktion till Intelligent Video Analytics
Varje dag producerar videokameror datavolymer i populära affärsdomäner. Dessa områden omfattar sjukhus-, tillverknings-, detaljhandels- och smartstadsmiljöer. Många av dessa distributioner kan förbättras med tillägg av AI som fungerar på data som produceras av kamerasensorerna i realtid.
Tänk dig att kunna övervaka tillämpningen av hälsorekommendationer eller efterlevnad av säkerhetsprotokoll på arbetsplatser, anpassa sig till kunddemografi eller svara på trafikhändelser på ett automatiserat sätt. Du kan utföra dessa scenarier med hjälp av videobaserade lösningar som tillämpar AI på Sakernas Internet-enheter som distribueras vid gränsen.
Vi refererar till dessa typer av lösningar som IVA-program (Intelligent Video Analytics). De extraherar användbara insikter genom tillämpning av algoritmer för visuellt innehåll som fungerar på livevideoramar. Den här tabellen beskriver tre typer av algoritmer för visuellt innehåll:
| Algoritm för visuellt innehåll | Funktioner |
|---|---|
Objektidentifiering  |
Objektidentifieringsmodeller tränas att klassificera enskilda objekt i en bild och identifiera deras plats med en avgränsningsruta. En trafikövervakningslösning kan till exempel använda objektidentifiering för att identifiera platsen för olika fordonsklasser. |
Bildklassificering  |
Bildklassificering omfattar träning av en maskininlärningsmodell för att klassificera bilder baserat på deras innehåll. Överväg till exempel en trafikövervakningslösning. Du kan använda en bildklassificeringsmodell för att klassificera bilder baserat på vilken typ av fordon de innehåller, till exempel taxibilar, bussar, cyklar och så vidare. |
Objektspårning  |
Du kan använda objektspårning för ett objekt som identifieras via objektidentifiering. Objektet tilldelas en identitet som du kan referera till via efterföljande slutsatsdragningspass i en IVA-pipeline. Du kan till exempel använda objektspårning för att räkna unika instanser av personer i ett område. |
Du kan göra kraftfulla utvärderingar med hjälp av dessa algoritmer i kombination för att uppnå funktioner som kallas sammanhängande slutsatsdragning. Här är ett exempel på den här tekniken:
- Identifiera ett fordon och dess plats i ramen med hjälp av objektidentifiering.
- Använd en spårare som tilldelar varje fordon ett unikt ID för att räkna antalet fordon i området.
- Använd en bildklassificeringsmodell för att fastställa varje fordons färg.
När du har konfigurerats för att generera insikter på det här sättet kan du använda fler tjänster för att använda dessa data genom att avlasta till molntjänster i Microsoft Azure. I Azure kan data bearbetas live, utlösa automatiseringsuppgifter eller arkiveras för historisk analys.
Aktivera utveckling av Intelligent Video Analytics-program med hjälp av NVIDIA DeepStream och Azure
MED NVIDIA DeepStream kan du utveckla Intelligent Video Analytics-program som använder ett ramverk för flera plattformar som du kan distribuera på gränsen och ansluta till molntjänster. Med det här ramverket kan du visuellt definiera IVA-pipelines med hjälp av ett utvecklingsverktyg med namnet NVIDIA Graph Composer. Med verktyget kan du definiera videokällor från fil-, lokal kamera- eller nätverksanslutna RTSP-videoströmmar som kan matas direkt till enstaka eller sammanhängande slutsatsdragningsåtgärder. Dessa åtgärder ger insikter som du sedan kan vidarebefordra till molntjänster för vidare bearbetning. Genom att utföra beräkningsintensiva slutsatsdragningsuppgifter lokalt vid gränsen kan du minska mängden data som behövs för att överföra insikter och telemetri till molnet.
Maskinvaru- och operativsystemkrav
Om du vill fortsätta med den här modulen måste du ha åtkomst till en x86/AMD64-baserad dator som kör Ubuntu 18.04. Du måste också se till att utvecklingsdatorn har något av följande grafikkort installerat.
GPU:er som är kompatibla med DeepStream 6.0
-
Kommentar
Om du planerar att använda en virtuell dator för att uppfylla dessa krav kan det uppstå problem senare i den här utbildningsvägen när du försöker starta NVIDIA Graph Composer om du ansluter till den virtuella datorn via en fjärrsession. Du kommer fortfarande att kunna fortsätta med modulen, men vi vill vara säkra på att du är medveten om det här problemet.
Prova detta
Överväg scenarier där du kan använda visuellt innehåll för att automatisera en uppgift eller förenkla en traditionellt komplex process. Vad skulle dina videofeeds behöva se? Vilka algoritmer för visuellt innehåll skulle du behöva använda för att implementera din lösning (objektidentifiering, bildklassificering, objektspårning)?