Übung: Entwerfen einer Lösung für maschinelles Sehen
In diesem Modul erstellen Sie eine Bilderkennungslösung mit einem IoT Edge-Gerät, das über eine Sprachkommunikationsfunktion verfügt. Für diese Lösung werden drei Azure-Dienste verwendet, die jeweils Dienste mit Free-Tarif beinhalten.
Sie konfigurieren IoT Edge-Runtime, damit der Linux-Computer als IoT Edge-Gerät fungieren kann. Sie verwenden Visual Studio Code, um die Lösung am Edge bereitzustellen.
Lösungskomponenten
Die Lösung wird auf Azure IoT Edge ausgeführt und besteht aus mehreren zusammen genutzten Diensten.
- Vom Kameraaufnahmemodul werden Artikel mithilfe einer Kamera gescannt.
- Vom Bildklassifizierungsmodul wird der Artikel identifiziert. Das Bildklassifizierungsmodul besteht aus einem Machine Learning-Modell, das mit Bildern von Obst trainiert wurde und mit dem die gescannten Artikel klassifiziert werden.
- Vom Text-zu-Sprache-Modul wird die Artikelbezeichnung in Sprache konvertiert. Danach wird der Name des gescannten Artikels über den Lautsprecher ausgegeben. Vom Text-zu-Sprache-Modul wird der Name des gescannten Artikels mithilfe des Azure Speech-Diensts in Sprache konvertiert.
- Mit einer USB-Kamera werden Bilder von den zum Kauf angebotenen Artikeln aufgenommen.
- Ein Lautsprecher wird für die in Sprache konvertierte Ausgabe des Artikels verwendet, der anhand des Texts erkannt wurde.
- Mit Azure IoT Hub (Free-Tarif) werden die Azure IoT Edge-Geräte verwaltet, die zum Implementieren der Lösung verwendet werden.
- Mit dem Azure-Sprachdienst (Free-Tarif) wird natürliche Sprache generiert, mit der der Kunde über den gescannten Artikel informiert wird.
- Der Azure Custom Vision-Dienst wird dazu verwendet, das für die Bildklassifizierung eingesetzte Modell für Obst zu erstellen.
- Visual Studio Code ist ein Quellcode-Editor. Sie verwenden Visual Studio Code als Entwicklungstool für das IoT-Gerät.
Vorgehensweise
Im Modul erfolgen diese Schritte:
Konfigurieren eines IoT Edge-Geräts
a. Erstellen eines IoT Hubs
b. Erstellen eines Edgegeräts im Hub
c. Installieren der IoT Edge-Runtime unter Linux
d. Festlegen der Verbindungszeichenfolge auf Azure IoT Edge
Klonen des Repositorys
Erstellen eines Azure-Sprachdiensts
Erstellen und Bereitstellen der Lösung
Überwachen der Lösung
Nach Abschluss des Moduls verwenden Sie den für den IoT Hub konfigurierten Linux-Computer als IoT Edge-Gerät. Die Module sind dann auf dem Edgegerät bereitgestellt. Die daraus resultierende Lösung wird eine Bildklassifizierung mit Azure KI Services für das Selbst-Check-Out-Szenario durchführen.