Упражнение. Интеграция и использование распознавания речи и транскрипции

Завершено

В этом модуле вы создадите приложение Смешанная реальность, которое изучает использование служб распознавания речи Azure с HoloLens 2. После завершения этой серии вы сможете использовать микрофон устройства для транскрибирования речи в режиме реального времени, перевода речи на другие языки и использования функции распознавания намерений для понимания голосовых команд с помощью искусственного интеллекта.

Создание и подготовка проекта Unity

В этом разделе вы будете создавать новый проект Unity и готовить его к разработке MRTK.

Перед началом работы выполните следующие шаги для инициализации проекта и приложения:

1. Создание проекта Unity и указание подходящего имени, например руководства ПО MRTK
2. Переключение платформы сборки.
3. Импорт требуемых ресурсов TextMeshPro.
4. Импорт набора средств для Смешанной реальности (MRTK).
5. Настройка проекта Unity.
6. Создание и настройка сцены и предоставление ему подходящего имени; Например, AzureSpeechServices

Примечание.

Сведения о настройке проекта смешанной реальности см. в модуле Общие сведения о наборе средств смешанной реальности.

Настройка функциональных возможностей

1. В меню Unity щелкните Edit>Project Settings... (Правка > Параметры проекта...), чтобы открыть окно параметров проигрывателя, а затем найдите раздел Player>Publishing Settings (Проигрыватель > Параметры публикации).

   

2. В области Параметры публикации прокрутите вниз до раздела Возможности и внимательно проверьте, что возможности InternetClient, Microphone и SpatialPerception (которые вы включили при создании проекта в начале руководства) по-прежнему включены. Затем включите возможности InternetClientServer и PrivateNetworkClientServer.

   

Импорт ресурсов руководства

1. Скачайте и импортируйте следующие пользовательские пакеты Unity в том порядке, в который они перечислены:

   • Microsoft.CognitiveServices.Speech.N.N.N.unitypackage (последняя версия);
   • MRTK. HoloLens2.Unity.Tutorials.Assets.GettingStarted.3.0.0.unitypackage
   • MRTK. HoloLens2.Unity.Tutorials.Assets.AzureSpeechServices.3.0.0.unitypackage

2. После импорта ресурсов учебника окно Project должно выглядеть следующим образом:

   

Подготовка сцены

В этом разделе описано, как подготовить сцену, добавив префаб руководства и настроив компонент Контроллера Лунногоcom (скрипта) для управления сценой.

1. В окне "Проект" перейдите в раздел "Активы>MRTK". Tutorials.AzureSpeechServices>Prefabs и перетащите префаб Лунныйcom в окно иерархии, чтобы добавить его в сцену.

   

2. Если объект Lunarcom по-прежнему выбран в окне иерархии, в окне Инспектора нажмите кнопку "Добавить компонент", чтобы добавить компонент "Контроллер Лунногоcom" (Скрипт) в объект Lunarcom.

   

3. При выборе объекта Lunarcom разверните его, чтобы показать дочерние объекты, а затем перетащите объект терминала в поле терминала компонента "Контроллер Лунком" (Скрипт).

   

4. Если объект Lunarcom по-прежнему выбран, разверните объект Терминала, чтобы отобразить его дочерние объекты, а затем перетащите объект Подключение ionLight в Подключение ion Light компонента Lunarcom Controller (Script) и объект OutputText в поле "Выходной текст".

   

5. При выборе объекта Lunarcom разверните объект Button, чтобы отобразить дочерние объекты, а затем в окне инспектора разверните список кнопок, установите поле "Кнопки" равным 3, а затем перетащите объекты MicButton, SatelliteButton и RocketButton в поля "Элемент 0, 1 и 2" соответственно.

   

Подключение проекта Unity к ресурсу Azure

Чтобы использовать службу речи Azure, потребуется создать ресурс Azure и получить ключ API для службы "Речь". Следуйте инструкциям краткого руководства и запишите регион службы (также известный как расположение) и ключ API (также известный как Key1 или Key2).

1. В окне Hierarchy (Иерархия) выберите объект Lunarcom, а затем в окне Inspector (Инспектор) найдите в компоненте Lunarcom Controller (Script) (Контроллер Lunarcom — скрипт) раздел Speech SDK Credentials (Учетные данные пакета SDK) и настройте его, как описано ниже.

   • В поле "Ключ API службы речи" введите ключ API (Key1 или Key2).
   • В поле "Регион службы речи" введите регион службы (расположение), используя строчные буквы и пробелы, удаленные.

   

Применение распознавания речи для транскрибирования текста.

1. В окне иерархии выберите объект Lunarcom, а затем в окне Инспектора нажмите кнопку "Добавить компонент", чтобы добавить компонент Lunarcom Speech Recognizer (Script) в объект Lunarcom.

   

2. Если вы войдете в режим игры и нажмите кнопку "Воспроизвести ", вы можете протестировать распознавание речи, нажав кнопку микрофона:

   

3. Теперь, если на компьютере подключен микрофон, любой сказанный вами текст будет выводиться на панели терминала:

   

   Внимание

   Этому приложению требуется подключение к Azure, поэтому не забудьте проверить связь компьютера или устройства с Интернетом.