Exercício - Projetar solução de visão computacional

Concluído

Neste módulo, você criará uma solução de reconhecimento de imagem com um dispositivo IoT Edge capaz de se comunicar via áudio. Esta solução utilizará três serviços do Azure, cada um com serviços de camada gratuitos.

• Hub IoT do Azure
• Visão Personalizada do Azure
• Serviços de Fala do Azure

Você configurará o tempo de execução do IoT Edge para que seu computador Linux atue como um dispositivo IoT Edge. Você usará o Visual Studio Code para implantar sua solução na borda.

Componentes da solução

A solução é executada no Azure IoT Edge e consiste em vários serviços que funcionam em uníssono.

• O Módulo de Captura de Câmera verifica itens usando uma câmera.
• O Módulo de Classificação de Imagem identifica o item. O Módulo de Classificação de Imagem é composto por um modelo de aprendizagem automática que foi treinado com imagens de frutas que classifica os itens digitalizados.
• O módulo Texto em Fala converte o rótulo do item em fala. Depois disso, o nome do item digitalizado é reproduzido no alto-falante. O Módulo Texto em Fala converte o nome do item digitalizado em fala de áudio usando os Serviços de Fala do Azure.
• Uma câmera USB captura imagens de itens a serem comprados.
• Um alto-falante é usado para a reprodução do item reconhecido a partir do texto.
• O Hub IoT do Azure (camada gratuita) gerencia os dispositivos do Azure IoT Edge usados para implementar a solução.
• Os Serviços de Fala do Azure (camada gratuita) geram fala natural informando o comprador sobre o item digitalizado.
• O serviço Visão Personalizada do Azure é usado para criar o modelo de frutas usado para classificação de imagem.
• Visual Studio Code é um editor de código-fonte. O Visual Studio Code é utilizado como uma ferramenta de programação do dispositivo IoT.

Passos a seguir

Seguem-se os passos gerais deste módulo:

1. Configurar dispositivo IoT Edge

   a. Criar um Hub IoT

   b. Criar um dispositivo de borda em seu hub

   c. Instalar o tempo de execução do IoT Edge no Linux

   d. Definir a cadeia de conexão como Azure IoT Edge

2. Clonar o repositório

3. Criar o Serviço de Fala do Azure

4. Crie e implante a solução

5. Monitorizar a solução

Depois de concluir o módulo, seu computador Linux atuará como um dispositivo IoT Edge e será configurado para o Hub IoT. Você terá os módulos implantados no dispositivo de borda. A solução resultante executará a classificação de imagem usando os serviços de IA do Azure para o cenário de autocheckout.