Exercício – Integrar a Visão Personalizada do Azure
Neste módulo, você aprenderá a usar a Visão Personalizada do Azure. Você deve fazer upload de um conjunto de fotos de um Objeto Rastreado, enviá-las para o serviço Visão Personalizada e iniciar o processo de treinamento. Em seguida, você usará o serviço para detectar o Objeto Rastreado capturando fotos do feed da webcam.
Entender a Visão Personalizada de IA do Azure
A Visão Personalizada de IA do Azure faz parte da família de Serviços Cognitivos e é usada para treinar classificadores de imagem. O classificador de imagens é um serviço de IA que usa o modelo treinado para aplicar marcas correspondentes. Nosso aplicativo usará esse recurso de classificação para detectar Objetos Rastreados.
Saiba mais sobre a Visão Personalizada.
Preparar a Visão Personalizada
Antes de começar, crie um projeto de Visão Personalizada. A maneira mais rápida de criar seu projeto de Visão Personalizada é usando o portal de Visão Personalizada.
Siga este tutorial de início rápido para configurar sua conta e o projeto. siga as etapas até a seção Carregar e marcar imagens . Você deve criar uma marca com cinco imagens.
Aviso
Para treinar um modelo, você precisa ter pelo menos duas marcas e cinco imagens por marca. Mais tarde, adicionaremos mais imagens por meio do aplicativo. No entanto, para utilizar esse aplicativo, você precisa criar pelo menos uma marca com cinco imagens para que o processo de treinamento não falhe mais tarde.
Preparar a cena
Na janela Projeto, navegue até a pasta Ativos>MRTK.Tutorials.AzureCloudServices>Pré-fabricados>Gerenciador.
Em seguida, arraste a predefinição ObjectDetectionManager para a Hierarquia de cena.
Na janela Hierarquia, localize e selecione o objeto ObjectDetectionManager. A predefinição ObjectDetectionManager contém o componente ObjectDetectionManager (script) e, como é possível ver na janela do Inspetor, ele depende das configurações do Azure e do Projeto.
Recuperar as credenciais do recurso de API do Azure
Você pode recuperar as credenciais necessárias para as configurações do ObjectDetectionManager (script) no portal do Azure e no portal de Visão Personalizada.
Recuperar as credenciais de configurações do Azure
Encontre e localize o recurso Visão Personalizada do tipo Serviços Cognitivos que você criou na seção Preparando a cena deste tutorial. Lá, selecione Visão Geral ou Chaves e Ponto de Extremidade para recuperar as credenciais necessárias.
- ID de assinatura de recurso do Azure: Use a ID de Assinatura da seção Visão geral.
- Nome do grupo de recursos do Azure: Use o nome do grupo de recursos na seção Visão geral.
Para Nome do Grupo de Serviços Cognitivos, utilize o nome do recurso de Visão Personalizada seguido de -Prediction.
- Ponto de extremidade de previsão da base de recursos: Use o ponto de extremidade de Chaves e Ponto de Extremidade no recurso -Prediction da Visão Personalizada.
- Chave de previsão de API: Use Chave1 de Chaves e Ponto de Extremidade no recurso -Prediction de Visão Personalizada.
Recuperar as credenciais de configurações do projeto
No painel Visão Personalizada, abra o projeto que você criou para este tutorial e clique no canto superior direito da página no ícone de Configurações (engrenagem) para abrir a página de Configurações. As credenciais necessárias são encontradas na seção Recursos, no lado direito, e na seção Geral, no lado esquerdo.
- Ponto de extremidade base do recurso: Use o ponto de extremidade da seção Recursos. Isso deve corresponder ao ponto de extremidade em Chaves e Pontos de Extremidade no recurso Visão Personalizada.
- Chave de API: Use a Chave da seção Recursos. Ela deve corresponder à chave em Chaves e Ponto de Extremidade no recurso Visão Personalizada.
- ID de Projeto: Use a ID do projeto da seção Geral.
Agora, com o ObjectDetectionManager (script) configurado corretamente, localize o objeto SceneController na sua hierarquia de cena e selecione-o.
O campo Gerenciador de Detecção de Objetos no componente SceneController está vazio. Arraste o ObjectDetectionManager da hierarquia para o componente SceneController e salve a cena.
Criar e carregar imagens
Execute a cena e selecione Definir Objeto. Insira o nome de um dos Objetos Rastreados que você criou na lição anterior. Selecione o botão Pesquisa Visual Computacional na parte inferior do Cartão de Objeto.
Uma nova janela será aberta. Você tirará seis fotos para treinar o modelo de reconhecimento de imagem. Selecione o botão Câmera e execute um AirTap para ver o objeto que você deseja rastrear. Faça isso seis vezes.
Dica
Para aprimorar o treinamento do modelo, tente tirar cada imagem de diferentes ângulos e condições de iluminação.
Quando tiver imagens suficientes, selecione o botão Treinar para iniciar o processo de treinamento de modelo na nuvem. Isso carrega todas as imagens e inicia o treinamento. O processo pode levar alguns minutos. Uma mensagem dentro do menu indica o progresso atual. Após a indicação de que o processo foi concluído, você pode interromper o aplicativo.
Dica
O ObjectDetectionManager (script) carrega diretamente as imagens feitas no serviço de Visão Personalizada. Como alternativa, a API de Visão Personalizada aceita URLs para as imagens. Como um exercício, você pode modificar o ObjectDetectionManager (script) para, em vez disso, carregar as imagens em um Armazenamento de blobs.
Aviso
Se o treinamento falhar, verifique seu painel de Visão Personalizada e certifique-se de que você tenha pelo menos duas marcas e que cada marca tenha pelo menos cinco imagens.
Detectar objetos
Agora você pode testar o modelo treinado. Execute o aplicativo. No Menu Principal, selecione Pesquisar Objeto e insira o nome do Objeto Rastreado em questão. A Placa do objeto aparecerá. Em seguida, selecione o botão Visão Personalizada. O *ObjectDetectionManager começará a fazer capturas de imagem no segundo plano da câmera. O menu indicará o progresso do aplicativo. Aponte a câmera para o objeto que você usou para treinar o modelo. Em breve, ele detectará o objeto.