Cvičení – integrace a používání rozpoznávání a přepisu řeči

Dokončeno

V tomto modulu vytvoříte aplikaci hybridní reality, která prozkoumá použití služeb Azure Speech s HoloLens 2. Po dokončení této řady budete moct pomocí mikrofonu zařízení přepisovat řeč na text v reálném čase, překládat řeč do jiných jazyků a používat funkci rozpoznávání záměru k pochopení hlasových příkazů pomocí umělé inteligence.

Vytvoření a příprava projektu Unity

V této části vytvoříte nový projekt Unity a připravíte ho na vývoj MRTK.

Jako předpoklad se ujistěte, že jste dokončili následující kroky pro inicializaci projektu a aplikace:

1. Vytvoření projektu Unity a poskytnutí vhodného názvu, například tutoriály MRTK
2. Přepnutí platformy sestavení
3. Import nezbytných zdrojů TextMeshPro
4. Import sady nástrojů Mixed Reality
5. Konfigurace projektu Unity
6. Vytvoření a konfigurace scény a poskytnutí vhodného názvu; Například azureSpeechServices

Poznámka

V modulu Introduction to Mixed Reality Toolkit se dozvíte, jak nastavit projekt hybridní reality.

Konfigurace možností

1. V nabídce Unity vyberte Upravit>Nastavení projektu..., abyste otevřeli okno Nastavení přehrávače, a vyhledejte Přehrávač>Nastavení publikování sekci:

   

2. V Nastavení publikováníse posuňte dolů do části Funkce a pečlivě zkontrolujte, jestli jsou funkce InternetClient, Mikrofona SpatialPerception (které jste povolili při vytváření projektu na začátku kurzu) stále povoleny. Potom povolte schopnosti InternetClientServer a PrivateNetworkClientServer.

   

Import materiály tutoriálu

1. Stáhněte a importujte následující vlastní balíčky Unity v pořadí, ve kterém jsou uvedeny:

   • Microsoft.CognitiveServices.Speech.N.N.N.unitypackage (nejnovější verze)
   • MRTK. HoloLens2.Unity.Tutorials.Assets.GettingStarted.3.0.0.unitypackage
   • MRTK. HoloLens2.Unity.Tutorials.Assets.AzureSpeechServices.3.0.0.unitypackage

2. Po importu výukových materiálů by okno Projektu mělo vypadat takto:

   

Příprava scény

V této části připravíte scénu tím, že přidáte prefabrikovanou šablonu kurzu a nakonfigurujete komponentu Lunarcom Controller (Script) pro ovládání scény.

1. V okně Projektu přejděte na Prostředky>MRTK.Tutorials.AzureSpeechServices>Prefabs složku a přetáhněte Lunarcom prefab do okna Hierarchie, abyste ho přidali do scény.

   

2. Pokud je Objekt Lunarcom stále vybraný v okně Hierarchie, použijte v okně Inspektoru tlačítko Přidat komponentu a přidejte do objektu Lunarcom komponentu Lunarcom Controller (Script).

   

3. Když je objekt Lunarcom stále vybraný, rozbalte ho, aby se zobrazily jeho podřízené objekty, pak přetáhněte objekt Terminál do pole Terminál komponenty Lunarcom Controller (Script).

   

4. S vybraným objektem Lunárnícom rozbalte terminálový objekt, aby se zobrazily jeho podřízené objekty, přetáhněte objekt ConnectionLight do pole Připojovací světlo (Script) komponenty Lunárního kontroleru (Script) a objekt OutputText do pole Výstupní text.

   

5. S vybraným objektem Lunarcom rozbalte objekt Tlačítka, aby se zobrazily jeho podřízené objekty, a potom v okně inspektoru rozbalte seznam Tlačítka, nastavte pole Tlačítka na hodnotu 3a přetáhněte objekty MicButton, SatelliteButtona RocketButton do polí Element 0, 1 a 2.

   

Připojení projektu Unity k prostředku Azure

Pokud chcete používat azure Speech Services, musíte vytvořit prostředek Azure a získat klíč rozhraní API pro službu Speech. Postupujte podle pokynů rychlého startu a poznamenejte si oblast služby (označovanou také jako Location) a klíč rozhraní API (označovaný také jako Key1 nebo Key2).

1. V okně Hierarchie vyberte objekt Lunarcom a pak v okně Inspektor vyhledejte komponentu Lunarcom Controller (Script) součásti Přihlašovací údaje sady Speech SDK a nakonfigurujte ji následujícím způsobem:

   • Do pole Klíč rozhraní API služby Speech zadejte klíč rozhraní API (Key1 nebo Key2).
   • Do pole Oblast služby Speech zadejte oblast služby (umístění) malými písmeny bez mezer.

   

Použití rozpoznávání řeči k přepisu řeči

1. V okně Hierarchie vyberte objekt Lunarcom a potom v okně Inspektoru použijte tlačítko Přidat komponentu k přidání komponenty Lunarcom Speech Recognizer (Script) do objektu Lunarcom.

   

2. Pokud teď přejdete do herního režimu a vyberete tlačítko Přehrát, můžete rozpoznávání řeči otestovat tak, že nejdřív stisknete tlačítko mikrofonu:

   

3. Za předpokladu, že má váš počítač mikrofon, když něco řeknete, řeč se přepíše na panelu terminálu:

   

   Opatrnost

   Aplikace se musí připojit k Azure, proto se ujistěte, že je počítač nebo zařízení připojené k internetu.