Model detekce zápatí
Tento model poskytuje přehled implementace řešení detekce zápatí založeného na umělé inteligenci pro analýzu provozu návštěvníků v maloobchodních prodejnách. Řešení generuje přehledy z akcí z reálného světa pomocí Azure, Azure Stack Hubu a sady Custom Vision AI Dev Kit.
Kontext a problém
Contoso Stores by chtěla získat přehled o tom, jak zákazníci dostávají aktuální produkty v souvislosti s rozložením obchodu. Nemůžou umístit zaměstnance do každé části a je neefektivní mít tým analytiků, kteří kontrolují záběry z fotoaparátu v celém obchodě. Kromě toho žádná z jejich obchodů nemá dostatečnou šířku pásma pro streamování videa ze všech fotoaparátů do cloudu pro účely analýzy.
Společnost Contoso by chtěla najít nevtíravý, přívětivý způsob ochrany osobních údajů k určení demografických údajů, věrnosti a reakcí zákazníků na obchod s displeji a produkty.
Řešení
Tento model analýzy maloobchodního prodeje používá vrstvený přístup k odvozování na okraji sítě. Pomocí sady Custom Vision AI Dev Kit se pro analýzu odesílají pouze obrázky s lidskými tvářemi do privátního Azure Stack Hubu, který provozuje Azure Cognitive Services. Anonymizovaná agregovaná data se odesílají do Azure za účelem agregace napříč všemi úložišti a vizualizacemi v Power BI. Kombinace periferního a veřejného cloudu umožňuje společnosti Contoso využívat moderní technologie AI a zároveň zůstat v souladu se svými firemními zásadami a respektovat soukromí zákazníků.
Tady je souhrn toho, jak řešení funguje:
- Sada Custom Vision AI Dev Kit získá konfiguraci ze služby IoT Hub, která instaluje IoT Edge Runtime a ML model.
- Pokud model uvidí osobu, pořídí obrázek a nahraje ji do úložiště objektů blob ve službě Azure Stack Hub.
- Služba blob aktivuje funkci Azure Functions ve službě Azure Stack Hub.
- Funkce Azure volá kontejner s rozhraním API pro rozpoznávání tváře, aby z obrázku získal demografická data a data emocí.
- Data se anonymizují a odesílají do clusteru Azure Event Hubs.
- Cluster Event Hubs odesílá data do Stream Analytics.
- Stream Analytics agreguje data a odesílá je do Power BI.
Součásti
Toto řešení používá následující komponenty:
| Vrstva | Komponenta | Popis |
|---|---|---|
| Hardware v obchodě | vývojová sada Custom Vision AI | Poskytuje filtrování v úložišti pomocí místního modelu ML, který zachytává jenom obrázky lidí pro analýzu. Zabezpečené zřizování a aktualizace prostřednictvím IoT Hubu |
| Azurový | Azure Event Hubs | Azure Event Hubs poskytuje škálovatelnou platformu pro ingestování anonymizovaných dat, která se integrují přehledně s Azure Stream Analytics. |
| Azure Stream Analytics | Úloha Azure Stream Analytics agreguje anonymizovaná data a seskupí je do 15sekundových oken pro vizualizaci. | |
| Microsoft Power BI | Power BI poskytuje snadno použitelné rozhraní řídicího panelu pro zobrazení výstupu z Azure Stream Analytics. | |
| Azure Stack Hub | App Service | Poskytovatel prostředků služby App Service poskytuje základ pro okrajové komponenty, včetně funkcí hostování a správy pro webové aplikace, rozhraní API a služby Functions. |
| Cluster modulu Azure Kubernetes Service (AKS) Engine | RP AKS s clusterem AKS-Engine nasazeným do Azure Stack Hub poskytuje škálovatelný a odolný nástroj pro provozování kontejneru Face API. | |
| Kontejnery rozhraní API služby Azure Cognitive Services rozpoznávání tváře | RP Azure Cognitive Services s kontejnery rozhraní API pro rozpoznávání obličejů poskytuje v privátní síti společnosti Contoso detekci demografických údajů, emocí a jedinečných návštěvníků. | |
| Úložiště typu Blob | Obrázky zachycené ze sady AI Dev Kit se nahrají do úložiště objektů blob služby Azure Stack Hub. | |
| Azure Functions | Funkce Azure spuštěná ve službě Azure Stack Hub přijímá vstup z úložiště objektů blob a spravuje interakce s rozhraním API pro rozpoznávání tváře. Generuje anonymizovaná data do clusteru Event Hubs umístěného v Azure. |
Problémy a důležité informace
Při rozhodování o implementaci tohoto řešení zvažte následující body:
Škálovatelnost
Aby bylo možné toto řešení škálovat napříč několika fotoaparáty a místy, musíte zajistit, aby všechny komponenty zvládly zvýšené zatížení. Možná budete muset provést následující akce:
- Zvyšte počet jednotek streamování Stream Analytics.
- Horizontální navýšení kapacity nasazení rozhraní API pro rozpoznávání tváře
- Zvýšení propustnosti clusteru Event Hubs
- V případě extrémních případů může být potřeba migrovat z Azure Functions na virtuální počítač.
Dostupnost
Vzhledem k tomu, že je toto řešení vrstvené, je důležité myslet na to, jak řešit chyby sítě nebo napájení. V závislosti na obchodních potřebách možná budete chtít implementovat mechanismus pro ukládání obrazů do mezipaměti místně a poté je poslat do Azure Stack Hub, až se obnoví připojení.
Ovladatelnost
Toto řešení může zahrnovat mnoho zařízení a umístění, která by mohla být nepraktná. služby IoT Azure je možné použít k automatickému uvedení nových umístění a zařízení do online režimu a udržování jejich aktuálního stavu.
Bezpečnost
Toto řešení zachytává image zákazníků, což představuje zásadní význam zabezpečení. Ujistěte se, že jsou všechny účty úložiště zabezpečené pomocí správných zásad přístupu a pravidelně obměňujte klíče. Ujistěte se, že účty úložiště a služba Event Hubs mají zásady uchovávání informací, které splňují firemní a vládní předpisy pro ochranu osobních údajů. Nezapomeňte také vrstvit úrovně přístupu uživatelů. Vrstvení zajišťuje, aby uživatelé měli přístup jenom k datům, která potřebují pro svou roli.
Další kroky
Další informace o tématech uvedených v tomto článku:
- Podívejte se na vzor vrstvených dat, který využívá vzor detekce kročejů.
- Další informace o používání Custom Vision najdete v sadě Custom Vision AI Dev Kit .
Až budete připraveni otestovat příklad řešení, pokračujte v průvodci nasazením detekce zápatí . Průvodce nasazením obsahuje podrobné pokyny k nasazení a testování komponent.