Wzorzec wykrywania opadów
Ten wzorzec zawiera omówienie implementowania opartego na sztucznej inteligencji rozwiązania do wykrywania pułapek na potrzeby analizowania ruchu odwiedzających w sklepach detalicznych. Rozwiązanie generuje szczegółowe informacje na podstawie rzeczywistych akcji, przy użyciu platformy Azure, usługi Azure Stack Hub i zestawu deweloperskiego Custom Vision AI.
Kontekst i problem
Sklepy Contoso chcą uzyskać szczegółowe informacje na temat sposobu, w jaki klienci otrzymują swoje bieżące produkty w odniesieniu do układu sklepu. Nie są w stanie umieścić pracowników w każdej sekcji i nieefektywne jest, aby zespół analityków przeglądał cały sklep nagrania z kamery. Ponadto żaden z ich sklepów nie ma wystarczającej przepustowości, aby przesyłać strumieniowo wideo ze wszystkich kamer do chmury w celu analizy.
Firma Contoso chce znaleźć nietrudny, przyjazny dla prywatności sposób określania danych demograficznych, lojalności i reakcji klientów na przechowywanie wyświetlaczy i produktów.
Rozwiązanie
Ten wzorzec analizy handlu detalicznego używa podejścia warstwowego do wnioskowania na brzegu sieci. Korzystając z zestawu Custom Vision AI Dev Kit, do analizy prywatnej usługi Azure Stack Hub z uruchomionymi usługami Azure Cognitive Services są wysyłane tylko obrazy z twarzami ludzkimi. Anonimowe, zagregowane dane są wysyłane do platformy Azure w celu agregacji we wszystkich magazynach i wizualizacjach w Power BI. Połączenie brzegowej i publicznej chmury umożliwia firmie Contoso korzystanie z nowoczesnej technologii sztucznej inteligencji, a jednocześnie zachowanie zgodności z zasadami firmowymi i przestrzeganie prywatności klientów.
Oto podsumowanie działania rozwiązania:
- Zestaw Custom Vision AI Dev Kit pobiera konfigurację z IoT Hub, która instaluje środowisko uruchomieniowe IoT Edge i model ML.
- Jeśli model widzi osobę, pobiera obraz i przekazuje go do usługi Azure Stack Hub Blob Storage.
- Usługa blob wyzwala funkcję platformy Azure w usłudze Azure Stack Hub.
- Funkcja platformy Azure wywołuje kontener z interfejsem API rozpoznawania twarzy, aby uzyskać dane demograficzne i dane emocji z obrazu.
- Dane są anonimowe i wysyłane do klastra Azure Event Hubs.
- Klaster usługi Event Hubs wypycha dane do usługi Stream Analytics.
- Usługa Stream Analytics agreguje dane i wypycha je do Power BI.
Składniki
To rozwiązanie korzysta z następujących składników:
| Warstwa | Składnik | Opis |
|---|---|---|
| Sprzęt w sklepie | zestaw deweloperski sztucznej inteligencji Custom Vision | Zapewnia filtrowanie w magazynie przy użyciu lokalnego modelu ML, który przechwytuje tylko obrazy osób do analizy. Bezpiecznie aprowizowana i aktualizowana za pomocą IoT Hub. |
| Azure | Azure Event Hubs | Azure Event Hubs zapewnia skalowalną platformę do pozyskiwania anonimowych danych, które ściśle integrują się z usługą Azure Stream Analytics. |
| Azure Stream Analytics | Zadanie usługi Azure Stream Analytics agreguje anonimowe dane i grupuje je w 15-sekundowe okna na potrzeby wizualizacji. | |
| Microsoft Power BI | Power BI udostępnia łatwy w użyciu interfejs pulpitu nawigacyjnego do wyświetlania danych wyjściowych z usługi Azure Stream Analytics. | |
| Azure Stack Hub | App Service | Dostawca zasobów App Service (RP) udostępnia podstawowe składniki brzegowe, w tym funkcje hostingu i zarządzania aplikacjami internetowymi/interfejsami API i funkcjami. |
| klaster aparatu Azure Kubernetes Service (AKS) | Dostawca usługi AKS z klastrem AKS-Engine wdrożonym w usłudze Azure Stack Hub zapewnia skalowalny, odporny aparat do uruchamiania kontenera interfejsu API rozpoznawania twarzy. | |
| Kontenery interfejsu API rozpoznawania twarzy usług Azure Cognitive Services | Dostawca usług Azure Cognitive Services z kontenerami interfejsu API rozpoznawania twarzy zapewnia dane demograficzne, emocje i unikatowe wykrywanie odwiedzających w sieci prywatnej firmy Contoso. | |
| Blob Storage | Obrazy przechwycone z zestawu AI Dev Kit są przekazywane do magazynu obiektów blob usługi Azure Stack Hub. | |
| Azure Functions | Funkcja platformy Azure działająca w usłudze Azure Stack Hub odbiera dane wejściowe z magazynu obiektów blob i zarządza interakcjami z interfejsem API rozpoznawania twarzy. Emituje anonimowe dane do klastra usługi Event Hubs znajdującego się na platformie Azure. |
Problemy i kwestie do rozważenia
Podczas podejmowania decyzji o sposobie implementacji tego rozwiązania należy wziąć pod uwagę następujące kwestie:
Skalowalność
Aby umożliwić skalowanie tego rozwiązania w wielu aparatach i lokalizacjach, należy upewnić się, że wszystkie składniki mogą obsłużyć zwiększone obciążenie. Może być konieczne podjęcie działań, takich jak:
- Zwiększ liczbę jednostek przesyłania strumieniowego usługi Stream Analytics.
- Skalowanie w poziomie wdrożenia interfejsu API rozpoznawania twarzy.
- Zwiększ przepływność klastra usługi Event Hubs.
- W skrajnych przypadkach może być konieczna migracja z Azure Functions do maszyny wirtualnej.
Dostępność
Ponieważ to rozwiązanie jest warstwowe, ważne jest, aby zastanowić się, jak radzić sobie z awariami sieci lub zasilania. W zależności od potrzeb biznesowych możesz zaimplementować mechanizm buforowania obrazów lokalnie, a następnie przekazać go do usługi Azure Stack Hub po powrocie łączności. Jeśli lokalizacja jest wystarczająco duża, wdrożenie urządzenia Data Box Edge z kontenerem interfejsu API rozpoznawania twarzy w tej lokalizacji może być lepszym rozwiązaniem.
Możliwości zarządzania
To rozwiązanie może obejmować wiele urządzeń i lokalizacji, co może być nieporętne. Usługi IoT platformy Azure mogą służyć do automatycznego utrzymywania aktualności nowych lokalizacji i urządzeń w trybie online.
Zabezpieczenia
To rozwiązanie przechwytuje obrazy klientów, co sprawia, że bezpieczeństwo jest najważniejsze. Upewnij się, że wszystkie konta magazynu są zabezpieczone przy użyciu odpowiednich zasad dostępu i regularnie wymieniaj klucze. Upewnij się, że konta magazynu i usługa Event Hubs mają zasady przechowywania zgodne z przepisami dotyczącymi prywatności firmowych i rządowych. Upewnij się również, że poziom dostępu użytkownika jest warstwowy. Obsługa warstw zapewnia, że użytkownicy mają dostęp tylko do danych, których potrzebują do swojej roli.
Następne kroki
Aby dowiedzieć się więcej na temat tematów wprowadzonych w tym artykule:
- Zobacz wzorzec danych warstwowych, który jest użyć wzorca wykrywania opadów.
- Zobacz Custom Vision AI Dev Kit, aby dowiedzieć się więcej na temat korzystania z usługi Custom Vision.
Gdy wszystko będzie gotowe do przetestowania przykładu rozwiązania, przejdź do przewodnika wdrażania wykrywania footfall. Przewodnik wdrażania zawiera instrukcje krok po kroku dotyczące wdrażania i testowania jego składników.