Wprowadzenie
Usługa Azure IoT Edge umożliwia przenoszenie obciążeń z chmury do krawędzi. Dzięki temu można uruchamiać obciążenia lokalnie na urządzeniach brzegowych bliżej miejsca generowania danych. Takie podejście dobrze pasuje do usług, które przetwarzają duże ilości danych, takich jak modele przetwarzania obrazów. Usługi azure AI z usługą IoT Edge umożliwiają tworzenie rozwiązania i wdrażanie ich na urządzeniach IoT jako kontenerów. Po zaimplementowaniu razem usługi Azure IoT Edge i Azure AI umożliwiają wyszukiwanie szczegółowych informacji z obrazów lub strumieni wideo na urządzeniach brzegowych bez uprzedniego przesyłania wszystkich danych poza witryną.
Załóżmy, że pracujesz jako badacze dancyh i odpowiadasz za wdrażanie usług azure AI, które implementują funkcję rozpoznawania obrazów na potrzeby samoobsługowych kas używanych w supermarketach. System powinien zawierać możliwość zamiany obrazu na mowę, aby umożliwić osobom niedowidzącym korzystanie z samoobsługowego wyewidencjonowania. System uruchomi obraz zeskanowanego elementu względem wstępnie wytrenowanego modelu uczenia maszynowego w celu zidentyfikowania zeskanowanego elementu. Element zostanie następnie ważony, a koszt zostanie obliczony w zależności od identyfikacji. Ten obiekt pozwala uniknąć niedowidzącej osoby, która musi przyjrzeć się przedmiotowi. Przy użyciu tekstu na mowę klient otrzyma wiadomość dźwiękową, że element został zeskanowany. Logika biznesowa modułu rozpoznawania obrazów będzie znajdować się na urządzeniu. System zidentyfikuje zeskanowany element i przekonwertuje etykietę obrazu na mowę.
Aby zaimplementować to podejście, możesz skompilować i wytrenować moduł rozpoznawania obrazów w chmurze przeznaczony dla danej domeny (takiej jak identyfikowanie owoców) i wdrożyć model jako kontener na urządzeniu.
W tym module uruchomisz rozwiązanie usługi Azure IoT Edge korzystające z usług Azure Custom Vision i Azure Speech Service oraz wdrożysz rozwiązanie na urządzeniu Brzegowym. Aplikacja składa się z wielu modułów, które skanują elementy przy użyciu aparatu, klasyfikują zeskanowane elementy i konwertują zidentyfikowane elementy na mowę.
Po ukończeniu tego modułu będzie można połączyć urządzenia IoT z usługą Cognitive Service i wdrożyć rozwiązanie na urządzeniu usługi IoT Edge. Aplikacja poinformuje Cię (za pośrednictwem dźwięku), jakie elementy zostały zeskanowane.
Cele szkolenia
Korzystanie ze wstępnie wytrenowanego modułu klasyfikacji obrazów z usługami Azure AI
Wdrażanie rozwiązania w usłudze IoT Edge przy użyciu programu Visual Studio Code
Weryfikowanie modułu, który został uruchomiony pomyślnie
Wymagania wstępne
Podstawowa wiedza na temat usługi IoT Edge
Podstawowa wiedza na temat usług Azure AI
Możliwość używania programu Visual Studio Code
Subskrypcja platformy Azure
Komputer z systemem Linux, który działa jako symulowane urządzenie usługi Azure IoT Edge
Aparat USB