Esercizio - Progettare una soluzione di visione artificiale
In questo modulo verrà compilata una soluzione di riconoscimento delle immagini con un dispositivo IoT Edge in grado di comunicare tramite audio. Questa soluzione userà tre servizi di Azure, ognuno con servizi del livello Gratuito.
Si configurerà il runtime IoT Edge per il computer Linux in modo che funga da dispositivo IoT Edge. Si userà Visual Studio Code per distribuire la soluzione nel perimetro.
Componenti della soluzione
La soluzione viene eseguita Azure IoT Edge ed è costituita da diversi servizi che operano all'unisono.
- Il modulo Acquisizione con fotocamera digitalizza gli elementi usando una fotocamera.
- Il modulo di classificazione immagini identifica l'articolo. Il modulo di classificazione immagini è costituito da un modello di Machine Learning di cui è stato eseguito il training con immagini di frutta e che classifica gli articoli letti dallo scanner.
- Il modulo Sintesi vocale converte l'etichetta dell'elemento in parlato. In seguito, il nome dell'articolo letto dallo scanner viene riprodotto tramite l'altoparlante. Il modulo Sintesi vocale converte il nome dell'elemento digitalizzato in un messaggio audio usando i servizi Voce di Azure.
- Una fotocamera USB acquisisce le immagini degli articoli da acquistare.
- Si usa un altoparlante per la riproduzione dell'articolo riconosciuto dal testo.
- L'hub IoT di Azure (livello Gratuito) gestisce i dispositivi Azure IoT Edge usati per implementare la soluzione.
- I servizi Voce di Azure (livello Gratuito) generano un messaggio in linguaggio naturale per informare l'acquirente in merito all'articolo letto dallo scanner.
- Il servizio Visione personalizzata di Azure consente di compilare il modello di frutta usato per la classificazione immagini.
- Visual Studio Code è un editor di codice sorgente. Usare Visual Studio Code come strumento di sviluppo per il dispositivo IoT.
Operazioni da eseguire
I passaggi generali del modulo sono:
Configurare il dispositivo IoT Edge
a. Creare un hub IoT
b. Creare un dispositivo perimetrale nell'hub
c. Installare il runtime Azure IoT Edge in Linux
d. Impostare la stringa di connessione su Azure IoT Edge
Clonare il repository
Creare il servizio Voce di Azure
Compilare e distribuire la soluzione
Monitorare la soluzione
Dopo aver completato il modulo, il computer Linux fungerà da dispositivo IoT Edge e verrà configurato per l'hub IoT. I moduli verranno distribuiti nel dispositivo perimetrale. La soluzione risultante eseguirà la classificazione immagini usando Servizi di Azure AI per lo scenario della cassa automatica.