Úvod do inteligentní analýzy videa
Každý den videokamery vytvářejí objemy dat v oblíbených obchodních doménách. Mezi tyto oblasti patří nemocnice, výroba, maloobchod a prostředí inteligentního města. Mnohé z těchto nasazení je možné vylepšit přidáním umělé inteligence, která pracuje s daty vytvořenými senzory fotoaparátu v reálném čase.
Představte si, že dokáže monitorovat vynucování bezpečnostních doporučení nebo dodržování bezpečnostních protokolů na pracovních místech, přizpůsobit se demografickým údajům zákazníků nebo reagovat na dopravní události automatizovaným způsobem. K těmto scénářům můžete použít řešení založená na videích, která používají AI na zařízeních Internetu věcí nasazená na hraničních zařízeních.
Tyto typy řešení označujeme jako aplikace IVA (Intelligent Video Analytics). Extrahují užitečné přehledy prostřednictvím použití algoritmů počítačového zpracování obrazu, které pracují s snímky živého videa. Tato tabulka popisuje tři typy algoritmů počítačového zpracování obrazu:
| Algoritmus počítačového zpracování obrazu | Možnosti |
|---|---|
Rozpoznávání objektů  |
Modely rozpoznávání objektů se trénují tak, aby klasifikovaly jednotlivé objekty na obrázku a identifikovaly jejich umístění pomocí ohraničujícího rámečku. Řešení pro monitorování provozu může například použít detekci objektů k identifikaci umístění různých tříd vozidel. |
Klasifikace obrázků  |
Klasifikace obrázků zahrnuje trénování modelu strojového učení pro klasifikaci obrázků na základě jejich obsahu. Představte si například řešení pro monitorování provozu. Pomocí modelu klasifikace obrázků můžete klasifikovat obrázky na základě typu vozidla, které obsahují, jako jsou taxislužby, autobusy, jízdní kola atd. |
Sledování objektů  |
Sledování objektů můžete použít u objektu zjištěného prostřednictvím detekce objektů. Objektu je přiřazena identita, na kterou můžete odkazovat prostřednictvím následných odvozování průchodů v kanálu IVA. Pomocí sledování objektů můžete například spočítat jedinečné instance lidí v oblasti. |
Pomocí těchto algoritmů v kombinaci můžete provádět výkonná posouzení, abyste dosáhli funkcí označovaných jako kaskádové odvozování. Tady je příklad této techniky:
- Pomocí rozpoznávání objektů identifikujte vozidlo a jeho umístění v rámci.
- Použijte sledovací nástroj, který každému vozidle přiřadí jedinečné ID, aby se spočítal počet vozidel v dané oblasti.
- K určení barvy jednotlivých vozidel použijte model klasifikace obrázků.
Po nastavení pro generování přehledů tímto způsobem můžete využít více služeb pro použití těchto dat tím, že se přesměrují do cloudových služeb v Microsoft Azure. V Azure je možné data zpracovávat živě, aktivovat úlohy automatizace nebo je archivovat pro historickou analýzu.
Povolení vývoje inteligentních aplikací pro analýzu videí pomocí NVIDIA DeepStream a Azure
NVIDIA DeepStream umožňuje vyvíjet aplikace Inteligentní analýzy videí, které používají multiplatformní architekturu, kterou můžete nasadit na hraničních zařízeních a připojit se ke cloudovým službám. Tato architektura umožňuje vizuálně definovat kanály IVA pomocí vývojového nástroje s názvem NVIDIA Graph Composer. Nástroj umožňuje definovat zdroje videa ze souborů, místních fotoaparátů nebo síťových datových proudů videa RTSP, které se můžou nacházet přímo do jednoduchých nebo kaskádových operací odvozování. Tyto operace vytvářejí přehledy, které pak můžete předat do cloudových služeb pro další zpracování. Prováděním výpočetních úloh odvozování místně na hraničních zařízeních můžete snížit množství dat potřebných k přenosu přehledů a telemetrie do cloudu.
Požadavky na hardware a operační systém
Abyste mohli pokračovat v tomto modulu, musíte mít přístup k počítači založenému na platformě x86/AMD64 se systémem Ubuntu 18.04. Musíte také zajistit, aby byl na vývojovém počítači nainstalovaný jeden z následujících grafických karet.
Gpu kompatibilní s DeepStream 6.0
-
Poznámka:
Pokud chcete k splnění těchto požadavků použít virtuální počítač, může dojít k problémům později v tomto studijním programu, když se pokusíte spustit NVIDIA Graph Composer, pokud se připojujete k virtuálnímu počítači přes vzdálenou relaci. I nadále budete moct pokračovat v tomto modulu, ale chceme mít jistotu, že o tomto problému víte.
Vyzkoušejte toto
Zvažte scénáře, ve kterých můžete pomocí počítačového zpracování obrazu automatizovat úkol nebo zjednodušit tradičně složitý proces. Co by vaše video kanály potřebovaly vidět? Jaké algoritmy počítačového zpracování obrazu byste potřebovali použít k implementaci řešení (rozpoznávání objektů, klasifikace obrázků, sledování objektů)?