Cvičení – návrh řešení počítačového zpracování obrazu
V tomto modulu vytvoříte řešení pro rozpoznávání obrázků se zařízením IoT Edge, které dokáže komunikovat přes zvuk. Toto řešení bude používat tři služby Azure, z nichž každá bude mít služby úrovně Free.
Modul runtime IoT Edge nakonfigurujete pro počítač s Linuxem tak, aby fungoval jako zařízení IoT Edge. K nasazení řešení na hraničních zařízeních použijete Visual Studio Code.
Součásti řešení
Řešení běží v Azure IoT Edge a skládá se z několika služeb, které fungují v unison.
- Modul Kamera Capture skenuje položky pomocí fotoaparátu.
- Modul klasifikace obrázků identifikuje položku. Modul klasifikace obrázků se skládá z modelu strojového učení, který byl natrénován obrázky ovoce, které klasifikuje naskenované položky.
- Modul Převod textu na řeč převede popisek položky na řeč. Potom se na mluvčím přehraje jméno naskenované položky. Modul Text na řeč převede název naskenované položky na zvukovou řeč pomocí služeb Azure Speech.
- USB Kamera zachycuje obrázky položek, které se mají koupit.
- Reproduktor se používá k přehrávání položky rozpoznané z textu.
- Azure IoT Hub (úroveň Free) spravuje zařízení Azure IoT Edge používaná k implementaci řešení.
- Azure Speech Services (úroveň Free) generuje přirozenou řeč informující zákazníka o naskenované položce.
- Služba Azure Custom Vision se používá k vytvoření modelu ovoce používaného pro klasifikaci obrázků.
- Visual Studio Code je editor zdrojového kódu. Nástroj Visual Studio Code budete používat jako vývojový nástroj pro zařízení IoT.
Jak postupovat
Toto je celkový postup v modulu:
Konfigurace zařízení IoT Edge
a. Vytvoření IoT Hubu
b. Vytvoření hraničního zařízení v centru
c. Instalace modulu runtime IoT Edge v Linuxu
d. Nastavení připojovací řetězec na Azure IoT Edge
Klonování úložiště
Vytvoření služby Azure Speech
Sestavení a nasazení řešení
Monitorování řešení
Po dokončení modulu bude počítač s Linuxem fungovat jako zařízení IoT Edge a nakonfiguruje se pro IoT Hub. Moduly budete mít nasazené na hraničním zařízení. Výsledné řešení provede klasifikaci obrázků pomocí služeb Azure AI pro scénář samoobslužné rezervace.