Exercício - Integrar e utilizar o reconhecimento e transcrição de fala

  • 5 minutos

Neste módulo, você criará um aplicativo de Realidade Mista que explora o uso dos Serviços de Fala do Azure com o HoloLens 2. Ao concluir esta série, você poderá usar o microfone do seu dispositivo para transcrever fala para texto em tempo real, traduzir sua fala para outros idiomas e usar o recurso de reconhecimento de intenção para entender comandos de voz usando inteligência artificial.

Criar e preparar o projeto Unity

Nesta seção, você criará um novo projeto Unity e o preparará para o desenvolvimento do MRTK.

Como pré-requisito, certifique-se de ter concluído as etapas abaixo para inicializar seu projeto e aplicativo:

  1. Criar o projeto Unity e dar-lhe um nome adequado, por exemplo, MRTK Tutorials
  2. Mudar a plataforma de compilação
  3. Importando os recursos essenciais do TextMeshPro
  4. Importando o Kit de Ferramentas de Realidade Mista
  5. Configurando o projeto Unity
  6. Criar e configurar a cena e dar-lhe um nome adequado; por exemplo, AzureSpeechServices

Nota

Você pode aprender como configurar seu projeto de realidade mista no módulo Introdução ao Kit de Ferramentas de Realidade Mista .

Configurar os recursos

  1. No menu Unity, selecione Editar>Definições do Projeto... para abrir a janela Definições do Media Player e, em seguida, localize a secção Definições de Publicação do Media Player:>

    Screenshot of Configuring capabilities.

  2. Nas Configurações de Publicação, role para baixo até a seção Recursos e verifique se os recursos InternetClient, Microfone e Perceção Espacial (que você habilitou quando criou o projeto no início do tutorial) ainda estão habilitados. Em seguida, habilite os recursos InternetClientServer e PrivateNetworkClientServer.

    Screenshot of Enable the capabilities.

Importar os ativos do tutorial

  1. Baixe e importe os seguintes pacotes personalizados Unity na ordem em que estão listados:

  2. Depois de importar os ativos do tutorial, a janela Project deve ter esta aparência:

    Screenshot of Project window after importing the requisite assets.

Preparar a cena

Nesta seção, você preparará a cena adicionando o tutorial pré-fabricado e configurará o componente Lunarcom Controller (Script) para controlar sua cena.

  1. Na janela Projeto, navegue até o MRTK de ativos>. Tutorials.AzureSpeechServices>Prefabs pasta e arraste o Lunarcom pré-fabricado para a janela Hierarquia para adicioná-lo à sua cena.

    Screenshot of preparing the scene.

  2. Com o objeto Lunarcom ainda selecionado na janela Hierarchy, na janela Inspetor, use o botão Add Component para adicionar o componente Lunarcom Controller (Script) ao objeto Lunarcom.

    Screenshot of adding Lunarcom controller (Script).

  3. Com o objeto Lunarcom ainda selecionado, expanda-o para revelar seus objetos filho e, em seguida, arraste o objeto Terminal para o campo Terminal do componente Controlador Lunarcom (Script).

    Screenshot of the Terminal field.

  4. Com o objeto Lunarcom ainda selecionado, expanda o objeto Terminal para revelar seus objetos filho e, em seguida, arraste o objeto ConnectionLight para o campo Connection Light do componente Lunarcom Controller (Script) e o objeto OutputText para o campo Output Text.

    Screenshot of the Output text field.

  5. Com o objeto Lunarcom ainda selecionado, expanda o objeto Buttons para revelar seus objetos filho e, na janela Inspetor, expanda a lista Botões, defina o campo Buttons como 3 e arraste os objetos MicButton, SatelliteButton e RocketButton para os campos Element 0, 1 e 2, respectivamente.

    Screenshot of configuring the buttons.

Conectar o projeto Unity ao recurso do Azure

Para usar os Serviços de Fala do Azure, você precisa criar um recurso do Azure e obter uma chave de API para o Serviço de Fala. Siga as instruções de início rápido e anote sua região de serviço (também conhecida como Local) e a chave da API (também conhecida como Key1 ou Key2).

  1. Na janela Hierarquia, selecione o objeto Lunarcom e, em seguida, na janela Inspetor, localize a seção Credenciais do SDK de Fala do componente Controlador Lunarcom (Script) e configure-a da seguinte maneira:

    • No campo Chave da API do Serviço de Fala, insira sua chave de API (Key1 ou Key2).
    • No campo Região do Serviço de Fala, insira sua região de serviço (Local) usando letras minúsculas e espaços removidos.

    Screenshot of configuring Speech SDK Credentials.

Usar o reconhecimento de fala para transcrever a fala

  1. Na janela Hierarquia, selecione o objeto Lunarcom e, em seguida, na janela Inspetor, use o botão Adicionar componente para adicionar o componente Lunarcom Speech Recognizer (Script) ao objeto Lunarcom.

    Screenshot of adding the Lunarcom Speech Recognizer (Script).

  2. Se agora entrar no modo de jogo e selecionar o botão Reproduzir, pode testar o reconhecimento de voz premindo primeiro o botão do microfone:

    Screenshot of Enter game mode.

  3. Então, supondo que seu computador tenha um microfone, quando você disser algo, sua fala será transcrita no painel do terminal:

    Screenshot of Speech will be transcribed on the terminal panel.

    Atenção

    O aplicativo precisa se conectar ao Azure, portanto, verifique se seu computador/dispositivo está conectado à Internet.