Ćwiczenie — projektowanie rozwiązania do przetwarzania obrazów
W tym module utworzysz rozwiązanie do rozpoznawania obrazów z urządzeniem usługi IoT Edge, które może komunikować się za pośrednictwem dźwięku. To rozwiązanie będzie używać trzech usług platformy Azure, z których każda ma usługi w warstwie Bezpłatna.
Skonfigurujesz środowisko uruchomieniowe usługi IoT Edge, aby komputer z systemem Linux działał jako urządzenie usługi IoT Edge. Użyjesz programu Visual Studio Code do wdrożenia rozwiązania na brzegu sieci.
Składniki rozwiązania
Rozwiązanie działa w usłudze Azure IoT Edge i składa się z kilku usług, które działają w zgodzie.
- Moduł przechwytywania Aparat skanuje elementy przy użyciu aparatu fotograficznego.
- Moduł klasyfikacji obrazów identyfikuje element. Moduł klasyfikacji obrazów składa się z modelu uczenia maszynowego, który został wytrenowany przy użyciu obrazów owoców, które klasyfikuje zeskanowane elementy.
- Moduł zamiany tekstu na mowę konwertuje etykietę elementu na mowę. Następnie nazwa zeskanowanego elementu jest odtwarzana na głośniku. Moduł zamiany tekstu na mowę konwertuje nazwę zeskanowanego elementu na mowę dźwiękową przy użyciu usług Azure Speech Services.
- Aparat USB przechwytuje obrazy przedmiotów do zakupu.
- Głośnik jest używany do odtwarzania elementu rozpoznanego na podstawie tekstu.
- Usługa Azure IoT Hub (warstwa bezpłatna) zarządza urządzeniami usługi Azure IoT Edge używanymi do implementowania rozwiązania.
- Usługa Azure Speech Services (warstwa bezpłatna) generuje naturalną mowę informującą kupujących o zeskanowanym elemencie.
- Usługa Azure Custom Vision służy do tworzenia modelu owoców używanego do klasyfikacji obrazów.
- Visual Studio Code to edytor kodu źródłowego. Używasz programu Visual Studio Code jako narzędzia deweloperskiego dla urządzenia IoT.
Wymagane kroki
Oto ogólne kroki w ramach modułu:
Konfigurowanie urządzenia usługi IoT Edge
a. Tworzenie centrum IoT Hub
b. Tworzenie urządzenia brzegowego w centrum
c. Instalowanie środowiska uruchomieniowego usługi IoT Edge w systemie Linux
d. Ustawianie parametry połączenia na usługę Azure IoT Edge
Klonowanie repozytorium
Tworzenie usługi Azure Speech Service
Kompilowanie i wdrażanie rozwiązania
Monitorowanie rozwiązania
Po ukończeniu modułu komputer z systemem Linux będzie działać jako urządzenie usługi IoT Edge i zostanie skonfigurowany do usługi IoT Hub. Moduły zostaną wdrożone na urządzeniu brzegowym. Wynikowe rozwiązanie przeprowadzi klasyfikację obrazów przy użyciu usług Azure AI na potrzeby scenariusza samodzielnego wyewidencjonowania.