練習 - 整合和使用語音辨識及謄寫

已完成

在此課程模組中,您將建立一個混合實境應用程式,以探索 Azure 語音服務與 HoloLens 2 的使用方式。 當您完成此系列時,您將能夠使用裝置的麥克風即時將語音轉譯為文字、將語音翻譯成其他語言,並使用意圖辨識功能來瞭解使用人工智慧的語音命令。

建立並準備 Unity 專案

在本節中,您將建立新的 Unity 專案,並準備好進行 MRTK 開發。

作為必要條件,請確定您已完成下列步驟以初始化專案和應用程式:

  1. 建立 Unity 專案並適當命名,例如 MRTK Tutorials
  2. 切換組建平台
  3. 匯入 TextMeshPro 基本資源
  4. 匯入混合實境工具組
  5. 設定 Unity 專案
  6. 建立和設定場景,併為其提供適當的名稱;例如, AzureSpeechServices

注意

您可以在混合實境工具組簡介課程模組中了解如何設定混合實境專案。

設定功能

  1. 在 Unity 功能表中,選取 [編輯] > [專案設定...] 以開啟 [播放程式設定] 視窗,然後找出 [播放程式] > [發佈設定] 區段:

    Screenshot of Configuring capabilities.

  2. 在 [發佈設定] 中,向下捲動至 [功能] 區段,然後再次確認您在教學課程開頭建立專案時所啟用的 InternetClientMicrophoneSpatialPerception 功能是否仍然啟用。 然後,啟用 InternetClientServerPrivateNetworkClientServer 功能。

    Screenshot of Enable the capabilities.

匯入教學課程資產

  1. 依照列出的順序下載並入下列 Unity 自定義套件

  2. 匯入教學課程資產之後,您的 [專案] 視窗看起來應該像這樣:

    Screenshot of Project window after importing the requisite assets.

準備場景

在本節中,您將新增教學課程預製並設定 Lunarcom 控制器 (腳本) 元件來控制場景,以準備場景。

  1. 在 [專案] 視窗中,流覽至 [資產>MRTK]。Tutorials.AzureSpeechServices>Prefabs 資料夾,並將 Lunarcom 預製專案拖曳到 [階層] 視窗中,將它新增至您的場景。

    Screenshot of preparing the scene.

  2. [階層] 視窗中仍然選取 Lunarcom 物件時,在 [偵測器] 視窗中,使用 [新增元件] 按鈕將 Lunarcom 控制器 (腳本) 元件新增至 Lunarcom 物件。

    Screenshot of adding Lunarcom controller (Script).

  3. 在仍然選取 Lunarcom 物件之後,展開它以顯示其子對象,然後將 Terminal 物件拖曳至 Lunarcom Controller (Script) 元件的 Terminal 字段。

    Screenshot of the Terminal field.

  4. 選取 Lunarcom 物件後,展開 Terminal 物件以顯示其子對象,然後將 連線 ionLight 物件拖曳至 Lunarcom Controller (Script) 元件的 連線 ion Light 字段,並將 OutputText 物件拖曳至 [輸出文字] 字段。

    Screenshot of the Output text field.

  5. 選取 Lunarcom 物件之後,展開 Buttons 物件以顯示其子對象,然後在 [偵測器] 視窗中展開 Buttons 清單、將 Buttons 字段設定3,然後將 MicButton、SatelliteButton 和 RocketButton 物件分別拖曳Element 0、1 和 2 字段。

    Screenshot of configuring the buttons.

將 Unity 專案連線至 Azure 資源

若要使用 Azure 語音服務,您必須建立 Azure 資源,並取得語音服務的 API 金鑰。 請遵循快速入門指示,並記下您的服務區域(也稱為位置)和 API 密鑰(也稱為 Key1Key2)。

  1. 在 [階層] 視窗中,選取 [Lunarcom] 物件,然後在 [偵測器] 視窗中,找到 [Lunarcom 控制器 (指令碼)] 元件的 [語音 SDK 認證] 區段,並以如下方式加以設定:

    • 在 [ 語音服務 API 金鑰 ] 字段中,輸入您的 API 金鑰 (Key1 或 Key2)。
    • 在 [ 語音服務區域] 字段中,使用已移除小寫字母和空格輸入您的服務區域(位置)。

    Screenshot of configuring Speech SDK Credentials.

使用語音辨識來謄寫語音文字

  1. 在 [階層] 視窗中,選取 Lunarcom 物件,然後在 [偵測器] 視窗中,使用 [新增元件] 按鈕將 Lunarcom 語音識別器 (腳本) 元件新增至 Lunarcom 物件。

    Screenshot of adding the Lunarcom Speech Recognizer (Script).

  2. 如果您現在進入遊戲模式並選取 [播放 ] 按鈕,您可以先按下麥克風按鈕來測試語音辨識:

    Screenshot of Enter game mode.

  3. 接下來,假設您的電腦有麥克風,當您說到某個東西時,您的語音會在終端面板上謄寫:

    Screenshot of Speech will be transcribed on the terminal panel.

    警告

    應用程式必須連線至 Azure,因此請確定您的電腦/裝置已連線至網際網路。