Einführung
Mit Azure IoT Edge können Sie Workloads aus der Cloud an den Rand des Netzwerks (Edge) verlagern. Auf diese Weise können Sie Workloads lokal auf Edgegeräten ausführen, die näher an dem Ort sind, an dem die Daten generiert werden. Dieser Ansatz eignet sich gut für Dienste zum Verarbeiten großer Datenmengen, z. B. Modelle für maschinelles Sehen. Azure KI Services mit IoT Edge ermöglicht es Ihnen, eine Lösung zu erstellen und als Container auf IoT-Geräten bereitzustellen. Wenn Sie Azure IoT Edge und Azure KI Services zusammen implementieren, können Sie Erkenntnisse aus Bildern oder Videostreams am Edge gewinnen, ohne zunächst alle Daten an einen externen Standort übertragen zu müssen.
Angenommen, Sie arbeiten als wissenschaftliche Fachkraft für Daten und sind für die Bereitstellung von Azure KI Services verantwortlich, mit denen die Bilderkennungsfunktionen für die in Supermärkten verwendeten Selbstbedienungskassen implementiert werden. Das System sollte über eine Bild-zu-Sprache-Funktion verfügen, damit Menschen mit beeinträchtigtem Sehvermögen die Selbstbedienungskassen nutzen können. Vom System wird das gescannte Bild des Artikels mit einem vortrainierten Machine Learning-Modell abgeglichen, damit der gescannte Artikel identifiziert werden kann. Der Artikel wird dann gewogen, und die Kosten werden anhand der Identifikation berechnet. Mithilfe dieses Systems wird verhindert, dass eine Person mit beeinträchtigtem Sehvermögen den Artikel betrachten muss. Durch die Text-zu-Sprache-Funktion wird der Kunde dann durch eine Audionachricht darüber informiert, dass der Artikel gescannt wurde. Die Geschäftslogik für das Bilderkennungsmodul befindet sich auf dem Gerät. Das System identifiziert den gescannten Artikel und konvertiert eine Bezeichnung des Bilds in Sprache.
Um diesen Ansatz zu implementieren, könnten Sie das Bilderkennungsmodul, das für einen bestimmten Bereich (z. B. Identifizierung von Obst) vorgesehen ist, in der Cloud erstellen und trainieren und das Modell als Container auf dem Gerät bereitstellen.
In diesem Modul führen Sie eine Azure IoT Edge-Lösung aus, von der Azure Custom Vision und der Azure-Sprachdienst verwendet werden, und stellen die Lösung auf dem Edgegerät bereit. Die Anwendung besteht aus einer Reihe von Modulen, die dazu dienen, die Artikel mithilfe einer Kamera zu scannen, die gescannten Artikel zu klassifizieren und die identifizierten Artikel in Sprache zu konvertieren.
Am Ende dieses Moduls können Sie IoT Edge-Geräte mit Cognitive Services verbinden und die Lösung auf dem IoT Edge-Gerät bereitstellen. Die Anwendung gibt (per Audiomitteilung) aus, welche Artikel gescannt wurden.
Lernziele
Verwenden eines vorab trainierten Bildklassifizierungsmoduls mit Azure KI Services
Bereitstellen der Lösung in IoT Edge mithilfe von Visual Studio Code
Überprüfen der erfolgreichen Ausführung eines Moduls
Voraussetzungen
Grundlegende Kenntnisse zu IoT Edge
Grundkenntnisse zu Azure KI Services
Gute Kenntnisse im Umgang mit Visual Studio Code
Azure-Abonnement
Linux-Computer, der als simuliertes Azure IoT Edge-Gerät fungiert
USB-Kamera