Övning – Integrera och använda taligenkänning och transkription

  • 5 minuter

I den här modulen skapar du ett Mixed Reality-program som utforskar användningen av Azure Speech Services med HoloLens 2. När du har slutfört den här serien kan du använda enhetens mikrofon för att transkribera tal till text i realtid, översätta ditt tal till andra språk och använda funktionen Avsiktsigenkänning för att förstå röstkommandon med artificiell intelligens.

Skapa och förbereda Unity-projektet

I det här avsnittet ska du skapa ett nytt Unity-projekt och förbereda det för MRTK-utveckling.

Som en förutsättning kontrollerar du att du har slutfört stegen nedan för att initiera projektet och programmet:

  1. Skapa Unity-projektet och ge det ett lämpligt namn, till exempel MRTK-självstudier
  2. Byta byggplattform
  3. Importerar nödvändiga TextMeshPro-resurser
  4. Importera Mixed Reality Toolkit
  5. Konfigurera Unity-projektet
  6. Skapa och konfigurera scenen och ge den ett lämpligt namn; Till exempel AzureSpeechServices

Kommentar

Du kan lära dig hur du konfigurerar ditt mixed reality-projekt i modulen Introduktion till Mixed Reality Toolkit .

Konfigurera funktionerna

  1. I Unity-menyn väljer du Redigera>projekt Inställningar... för att öppna fönstret Player Inställningar och letar sedan upp avsnittet Player>Publishing Inställningar:

    Screenshot of Configuring capabilities.

  2. I publicerings-Inställningar rullar du ned till avsnittet Funktioner och dubbelkollar att funktionerna InternetClient, Microphone och SpatialPerception (som du aktiverade när du skapade projektet i början av självstudien) fortfarande är aktiverade. Aktivera sedan funktionerna InternetClientServer och PrivateNetworkClientServer.

    Screenshot of Enable the capabilities.

Importera självstudietillgångarna

  1. Ladda ned och importera följande anpassade Unity-paket i den ordning de visas:

  2. När du har importerat självstudietillgångarna bör projektfönstret se ut så här:

    Screenshot of Project window after importing the requisite assets.

Förbereda scenen

I det här avsnittet förbereder du scenen genom att lägga till självstudiekursen prefab och konfigurera komponenten Lunarcom Controller (Script) för att styra din scen.

  1. I fönstret Projekt navigerar du till MRTK för tillgångar>. Tutorials.AzureSpeechServices>Prefabs-mappen och dra Lunarcom-prefab till hierarkifönstret för att lägga till den i din scen.

    Screenshot of preparing the scene.

  2. När Lunarcom-objektet fortfarande är markerat i hierarkifönstret går du till fönstret Inspector och använder knappen Lägg till komponent för att lägga till komponenten Lunarcom Controller (Skript) i Lunarcom-objektet.

    Screenshot of adding Lunarcom controller (Script).

  3. När Lunarcom-objektet fortfarande är markerat expanderar du det för att visa dess underordnade objekt och drar sedan terminalobjektet till komponenten Lunarcom Controller (Skript) terminalfält.

    Screenshot of the Terminal field.

  4. När Lunarcom-objektet fortfarande är markerat expanderar du terminalobjektet för att visa dess underordnade objekt och drar sedan objektet Anslut ionLight till Komponenten Lunarcom Controller (Skript) Anslut ion Light och OutputText-objektet till fältet Utdatatext.

    Screenshot of the Output text field.

  5. När Lunarcom-objektet fortfarande är markerat expanderar du objektet Knappar för att visa dess underordnade objekt och expanderar sedan listan Knappar i fönstret Inspector, anger fältet Knappar till 3 och drar objekten MicButton, SatelliteButton och RocketButton till fälten Element 0, 1 respektive 2.

    Screenshot of configuring the buttons.

Anslut Unity-projektet till Azure-resursen

Om du vill använda Azure Speech Services måste du skapa en Azure-resurs och hämta en API-nyckel för Speech Service. Följ snabbstartsinstruktionerna och anteckna tjänstregionen (även kallat Plats) och API-nyckeln (kallas även Key1 eller Key2).

  1. I hierarkifönstret väljer du Lunarcom-objektet och i fönstret Inspector letar du upp komponenten Lunarcom Controller (Script) i avsnittet Speech SDK Credentials (Speech SDK-autentiseringsuppgifter) och konfigurerar det på följande sätt:

    • I fältet API-nyckel för Speech Service anger du din API-nyckel (Key1 eller Key2).
    • I fältet Speech Service Region anger du din tjänstregion (plats) med gemener och blanksteg borttagna.

    Screenshot of configuring Speech SDK Credentials.

Använda taligenkänning för att transkribera tal

  1. I hierarkifönstret väljer du Lunarcom-objektet och i fönstret Inspector använder du knappen Lägg till komponent för att lägga till komponenten Lunarcom Speech Recognizer (Skript) i Lunarcom-objektet.

    Screenshot of adding the Lunarcom Speech Recognizer (Script).

  2. Om du nu anger Spelläge och väljer knappen Spela upp kan du testa taligenkänningen genom att först trycka på mikrofonknappen:

    Screenshot of Enter game mode.

  3. Sedan, förutsatt att datorn har en mikrofon, kommer ditt tal att transkriberas på terminalpanelen när du säger något:

    Screenshot of Speech will be transcribed on the terminal panel.

    Varning

    Programmet måste ansluta till Azure, så se till att datorn/enheten är ansluten till Internet.