Exercício - Integrar e utilizar o reconhecimento e transcrição de fala

  • 5 minutos

Neste módulo, você criará um aplicativo de Realidade Mista que explora o uso dos Serviços de Fala do Azure com o HoloLens 2. Ao concluir esta série, você poderá usar o microfone do seu dispositivo para transcrever fala para texto em tempo real, traduzir sua fala para outros idiomas e usar o recurso de reconhecimento de intenção para entender comandos de voz usando inteligência artificial.

Criar e preparar o projeto Unity

Nesta seção, você criará um novo projeto Unity e o preparará para o desenvolvimento do MRTK.

Como pré-requisito, certifique-se de ter concluído as etapas abaixo para inicializar seu projeto e aplicativo:

  1. Criar o projeto Unity e dar-lhe um nome adequado, por exemplo, MRTK Tutorials
  2. Mudar a plataforma de compilação
  3. Importando os recursos essenciais do TextMeshPro
  4. Importando o Kit de Ferramentas de Realidade Mista
  5. Configurando o projeto Unity
  6. Criar e configurar a cena e dar-lhe um nome adequado; por exemplo, AzureSpeechServices

Observação

Você pode aprender como configurar seu projeto de realidade mista no módulo Introdução ao Kit de Ferramentas de Realidade Mista.

Configurar os recursos

  1. No menu Unity, selecione Editar>Configurações do Projeto... para abrir a janela Configurações do Player, e localize a seção Player>Configurações de Publicação:

    Captura de ecrã da Configuração de capacidades.

  2. No Configurações de Publicação, role para baixo até a seção Capabilities e verifique se os recursos InternetClient, Microphonee SpatialPerception (que você habilitou quando criou o projeto no início do tutorial) ainda estão habilitados. Em seguida, habilite os recursos de InternetClientServer e os recursos de PrivateNetworkClientServer.

    Captura de ecrã de ativação das capacidades.

Importar os ativos do tutorial

  1. Baixe e importe os seguintes pacotes personalizados Unity na ordem em que estão listados:

  2. Depois de importar os ativos do tutorial, a janela Project deve ter esta aparência:

    Captura de tela da janela Projeto depois de importar os ativos necessários.

Preparar a cena

Nesta seção, você preparará a cena adicionando o tutorial pré-fabricado e configurará o componente Lunarcom Controller (Script) para controlar sua cena.

  1. Na janela Projeto, navegue até ao Assets>MRTK.Tutorials.AzureSpeechServices> Prefabs pasta e arraste o Lunarcom prefab para a janela Hierarquia para o adicionar à sua cena.

    Captura de tela da preparação da cena.

  2. Com o objeto Lunarcom ainda selecionado na janela Hierarquia, na janela Inspetor, use o botão Adicionar componente para adicionar o componente Controlador Lunarcom (Script) ao objeto Lunarcom.

    Screenshot da adição do controlador Lunarcom (Script).

  3. Com o objeto Lunarcom ainda selecionado, expanda-o para revelar os seus objetos-filho e arraste o objeto Terminal para o campo Terminal do componente Lunarcom Controller (Script).

    Captura de ecrã do campo Terminal.

  4. Com o objeto Lunarcom ainda selecionado, expanda o objeto Terminal para revelar os seus objetos filho e, em seguida, arraste o objeto ConnectionLight para o campo Connection Light do componente Lunarcom Controller (Script) e o objeto OutputText para o campo Output Text.

    Captura de ecrã do campo de texto de saída.

  5. Com o objeto Lunarcom ainda selecionado, expanda o objeto Buttons para revelar os seus objetos filho e, na janela do Inspetor, expanda a lista Buttons, defina o campo Buttons como 3e arraste os objetos MicButton, SatelliteButtone RocketButton para os campos Element 0, 1 e 2, respetivamente.

    Captura de tela da configuração dos botões.

Conectar o projeto Unity ao recurso do Azure

Para usar os Serviços de Fala do Azure, você precisa criar um recurso do Azure e obter uma chave de API para o Serviço de Fala. Siga as instruções de início rápido e anote a sua região de serviço (também conhecida como Localização ) e a chave de API (também conhecida como Key1 ou Key2 ).

  1. Na janela Hierarquia, selecione o objeto Lunarcom, depois, na janela Inspetor, localize o componente Controlador Lunarcom (Script) na seção Credenciais do SDK de Fala e configure-a da seguinte forma:

    • No campo da Chave da API do Serviço de Fala , insira a sua chave de API (Key1 ou Key2).
    • No campo Região do Serviço de Fala, insira a sua região de serviço (Local) com letras minúsculas e sem espaços.

    Captura de tela da configuração das credenciais do SDK de fala.

Usar o reconhecimento de fala para transcrever a fala

  1. Na janela Hierarquia, selecione o objeto Lunarcom e, em seguida, na janela Inspetor, use o botão Adicionar componente para adicionar o componente Lunarcom Speech Recognizer (Script) ao objeto Lunarcom.

    Captura de tela da adição do Lunarcom Speech Recognizer (Script).

  2. Se agora entrar no modo de jogo e selecionar o botão Play, pode testar o reconhecimento de voz premindo primeiro o botão do microfone:

    Captura de ecrã de entrar no modo de jogo.

  3. Então, supondo que seu computador tenha um microfone, quando você disser algo, sua fala será transcrita no painel do terminal:

    Captura de tela da fala será transcrita no painel do terminal.

    Atenção

    O aplicativo precisa se conectar ao Azure, portanto, verifique se seu computador/dispositivo está conectado à Internet.