Oefening: spraakherkenning en transcriptie integreren en gebruiken

  • 5 minuten

In deze module maakt u een Mixed Reality-toepassing die het gebruik van Azure Speech Services verkent met de HoloLens 2. Wanneer u deze reeks voltooit, kunt u de microfoon van uw apparaat gebruiken om spraak in realtime te transcriberen naar tekst, spraak te vertalen naar andere talen en de functie Intentieherkenning te gebruiken om spraakopdrachten te begrijpen met behulp van kunstmatige intelligentie.

Het Unity-project maken en voorbereiden

In deze sectie maakt u een nieuw Unity-project en bereidt u het voor op MRTK-ontwikkeling.

Zorg er als vereiste voor dat u de onderstaande stappen hebt uitgevoerd om uw project en toepassing te initialiseren:

  1. Het Unity-project maken en het een passende naam geven, bijvoorbeeld MRTK-handleidingen
  2. Overschakelen van het buildplatform
  3. De Essential Resources van TextMeshPro importeren
  4. De Mixed Reality Toolkit importeren
  5. Het Unity-project configureren
  6. De scène maken en configureren en deze een geschikte naam geven; Bijvoorbeeld AzureSpeechServices

Notitie

U kunt leren hoe u uw mixed reality-project instelt in de module Introduction to Mixed Reality Toolkit.

De mogelijkheden configureren

  1. Selecteer in het Unity-menu Bewerken>Projectinstellingen... om het venster Player Settings te openen en zoek vervolgens de sectie Player>Publishing Settings:

    schermopname van de configuratiemogelijkheden.

  2. Schuif in de Publicatie-instellingenomlaag naar de sectie Capabilities en controleer of de InternetClient, Microphoneen SpatialPerception mogelijkheden (die u hebt ingeschakeld toen u het project aan het begin van de zelfstudie maakte) nog steeds zijn ingeschakeld. Schakel vervolgens de mogelijkheden InternetClientServer en PrivateNetworkClientServer in.

    Een schermopname van het inschakelen van de mogelijkheden.

Importeer de assets van de tutorial

  1. Download en importeer de volgende aangepaste Unity-pakketten in de volgorde waarin ze worden vermeld:

  2. Zodra u de zelfstudieassets hebt geïmporteerd, ziet het projectvenster er als volgt uit:

    schermopname van het venster Project na het importeren van de vereiste assets.

De scène voorbereiden

In deze sectie bereidt u de scène voor door de tutorial prefab toe te voegen en de Lunarcom Controller (Script) component te configureren om uw scène te beheren.

  1. Navigeer in het venster Project naar de Assets>MRTK. Tutorials.AzureSpeechServices>Prefabs map en sleep de Lunarcom prefab naar het venster Hierarchy om deze toe te voegen aan uw scène.

    Schermopname van het voorbereiden van de scène.

  2. Als het Lunarcom object nog steeds is geselecteerd in het venster Hierarchy, gebruikt u in het venster Inspector de knop Component toevoegen om het Lunarcom Controller (Script)-onderdeel toe te voegen aan het Lunarcom-object.

    Schermopname van het toevoegen van Lunarcom controller (Script).

  3. Terwijl het Lunarcom object nog steeds is geselecteerd, vouwt u het uit om de onderliggende objecten weer te geven en sleept u het Terminal-object naar het Terminal--veld van het onderdeel Lunarcom Controller (Script).

    Schermopname van het veld Terminal.

  4. Als het Lunarcom object nog steeds is geselecteerd, vouwt u het Terminal-object uit om de onderliggende objecten weer te geven en sleept u het ConnectionLight-object naar het verbindings lichtveld van het onderdeel Lunarcom Controller (Script) en het OutputText-object naar het veld Uitvoertekst.

    schermopname van het veld Uitvoertekst.

  5. Met het Lunarcom object nog steeds geselecteerd, vouw het Knoppen-object uit om de onderliggende objecten weer te geven en vouw vervolgens in het venster Inspector de Knoppen lijst uit, stel het veld Knoppen in op 3en sleep de MicButton, SatelliteButtonen RocketButton objecten naar de Element 0, 1 en 2 velden respectievelijk.

    schermopname van het configureren van de knoppen.

Het Unity-project verbinden met de Azure-resource

Als u Azure Speech Services wilt gebruiken, moet u een Azure-resource maken en een API-sleutel voor de Speech Service verkrijgen. Volg de quickstart instructies en noteer uw serviceregio (ook wel Locatiegenoemd) en API-sleutel (ook wel bekend als Key1 of Key2).

  1. Selecteer in het venster Hierarchy het Lunarcom-object en vind in het venster Inspector het onderdeel Lunarcom Controller (Script) in de sectie Speech SDK-referenties en configureer deze als volgt:

    • Voer in het veld Speech Service-API-sleutel uw API-sleutel (Key1 of Key2) in.
    • Voer in het veld Speech Service Region uw serviceregio (Locatie) in met kleine letters en spaties die zijn verwijderd.

    schermopname van het configureren van Speech SDK-referenties.

Spraakherkenning gebruiken om spraak te transcriberen

  1. Selecteer in het venster Hierarchy het object Lunarcom en gebruik vervolgens in het venster Inspector de knop Component toevoegen om het onderdeel Lunarcom Speech Recognizer (Script) toe te voegen aan het Lunarcom-object.

    schermopname van het toevoegen van de Lunarcom Speech Recognizer (Script).

  2. Als u nu de gamemodus opent en de knop Afspelen selecteert, kunt u de spraakherkenning testen door eerst op de microfoonknop te drukken:

    Screenshot van 'Spelmodus starten'.

  3. Als uw computer vervolgens een microfoon heeft, wordt uw spraak getranscribeerd op het terminalpaneel wanneer u iets zegt:

    Schermopname van Spraak wordt getranscribeerd op het terminalpaneel.

    Voorzichtigheid

    De toepassing moet verbinding maken met Azure, dus zorg ervoor dat uw computer/apparaat is verbonden met internet.