Exercício – Projetar uma solução de pesquisa visual computacional

  • 5 minutos

Neste módulo, você criará uma solução de reconhecimento de imagem com um dispositivo IoT Edge compatível com a comunicação por áudio. Essa solução usará três serviços do Azure, cada um com serviços de camada gratuita.

Você vai configurar o runtime do IoT Edge para que o computador Linux funcione como um dispositivo IoT Edge. Você usará o Visual Studio Code para implantar sua solução na borda.

Componentes da solução

A solução é executada no Azure IoT Edge e consiste em vários serviços que funcionam em harmonia.

  • O Módulo de Captura com Câmera digitaliza os itens usando uma câmera.
  • O Módulo de Classificação de Imagem identifica o item. Ele é composto por um modelo de machine learning treinado com imagens de frutas que classifica os itens digitalizados.
  • O Módulo de Conversão de Texto em Fala converte o rótulo do item em fala. Depois disso, o nome do item digitalizado é reproduzido no alto-falante. O Módulo de Conversão de Texto em Fala converte o nome do item digitalizado em fala de áudio usando os Serviços de Fala do Azure.
  • Uma Câmera USB captura imagens de itens para compra.
  • Um alto-falante é usado para reprodução do item reconhecido com base no texto.
  • O Hub IoT do Azure (camada gratuita) gerencia os dispositivos Azure IoT Edge usados para implementar a solução.
  • Os Serviços de Fala do Azure (camada gratuita) geram a fala natural informando o comprador sobre o item digitalizado.
  • O Serviço de Visão Personalizada do Azure é usado para criar o modelo de frutas usado para classificação de imagem.
  • O Visual Studio Code é um editor de código-fonte. Você usará o Visual Studio Code como uma ferramenta de desenvolvimento para o dispositivo de IoT.

Etapas a serem executadas

As etapas gerais do módulo são:

  1. Configurar um dispositivo IoT Edge

    a. Crie um Hub IoT

    b. Criar um dispositivo de borda no hub

    c. Instalar o runtime do IoT Edge no Linux

    d. Definir a cadeia de conexão como o Azure IoT Edge

  2. Clonar o repositório

  3. Criar um serviço de fala do Azure

  4. Criar e implantar a solução

  5. Monitorar a solução

Após a conclusão do módulo, o computador Linux funcionará como um dispositivo IoT Edge e será configurado para o Hub IoT. Você terá os módulos implantados no dispositivo de borda. A solução resultante fará a classificação de imagem usando os serviços de IA do Azure para o cenário de finalização da compra.