Ćwiczenie — projektowanie rozwiązania do przetwarzania obrazów
W tym module utworzysz rozwiązanie do rozpoznawania obrazów z urządzeniem usługi IoT Edge, które może komunikować się za pośrednictwem dźwięku. To rozwiązanie będzie używać trzech usług Azure, z których każda ma usługi w bezpłatnej warstwie.
Skonfigurujesz środowisko uruchomieniowe usługi IoT Edge, aby komputer z systemem Linux działał jako urządzenie usługi IoT Edge. Użyjesz programu Visual Studio Code do wdrożenia rozwiązania na brzegu sieci.
Składniki rozwiązania
Rozwiązanie działa w usłudze Azure IoT Edge i składa się z kilku usług, które działają w zgodzie.
- Moduł przechwytywania obrazu skanuje elementy za pomocą kamery.
- Moduł klasyfikacji obrazów identyfikuje element. Moduł klasyfikacji obrazów składa się z modelu uczenia maszynowego, który został wytrenowany przy użyciu obrazów owoców, które klasyfikuje zeskanowane elementy.
- Moduł przekształcania tekstu na mowę konwertuje etykietę elementu na mowę. Następnie nazwa zeskanowanego elementu jest odtwarzana na głośniku. Moduł Zamiana tekstu na mowę konwertuje nazwę zeskanowanego elementu na mowę dźwiękową przy użyciu usług Azure Speech Services.
- Kamera USB przechwytuje obrazy przedmiotów do zakupu.
- głośnika służy do odtwarzania elementu rozpoznanego na podstawie tekstu.
- usługa Azure IoT Hub (warstwa bezpłatna) zarządza urządzeniami usługi Azure IoT Edge używanymi do implementowania rozwiązania.
- usługa Azure Speech Services (warstwa bezpłatna) generuje naturalną mowę informującą klienta o zeskanowanym produkcie.
- usługa Azure Custom Vision service służy do tworzenia modelu owoców używanego do klasyfikacji obrazów.
- Visual Studio Code jest edytorem kodu źródłowego. Program Visual Studio Code jest używany jako narzędzie programistyczne dla urządzenia IoT.
Kroki do wykonania
Ogólne kroki modułu to:
Konfigurowanie urządzenia usługi IoT Edge
a. Utwórz Hub IoT
b. Utwórz urządzenie brzegowe w hubie
c. Instalowanie środowiska uruchomieniowego usługi IoT Edge w systemie Linux
d. Ustaw ciąg połączenia dla Azure IoT Edge
Klonowanie repozytorium
Tworzenie usługi Azure Speech Service
Kompilowanie i wdrażanie rozwiązania
Monitorowanie rozwiązania
Po ukończeniu modułu komputer z systemem Linux będzie działać jako urządzenie usługi IoT Edge i zostanie skonfigurowany do usługi IoT Hub. Moduły zostaną wdrożone na urządzeniu na skraju sieci. Wynikowe rozwiązanie przeprowadzi klasyfikację obrazów przy użyciu usług Azure AI na potrzeby scenariusza samoobsługowej kasy.