연습 - 음성 인식 및 대화 내용 기록을 통합하고 사용합니다.

  • 5분

이 모듈에서는 HoloLens 2와 함께 Azure Speech Services를 사용하는 방법을 탐색하는 혼합 현실 애플리케이션을 만듭니다. 이 시리즈를 완료하면 디바이스의 마이크를 사용하여 실시간으로 음성을 텍스트로 전사하고, 음성을 다른 언어로 번역하고, 의도 인식 기능을 사용하여 인공 지능을 사용하여 음성 명령을 이해할 수 있습니다.

Unity 프로젝트 만들기 및 준비

이 섹션에서는 새 Unity 프로젝트를 만들고 MRTK 개발에 맞춰 준비합니다.

필수 조건으로, 아래 단계를 완료하여 프로젝트와 애플리케이션을 초기화해야 합니다.

  1. Unity 프로젝트 만들기 및 적절한 이름(예: MRTK Tutorials) 지정
  2. 빌드 플랫폼 전환
  3. TextMeshPro 필수 리소스 가져오기
  4. Mixed Reality Toolkit 가져오기
  5. Unity 프로젝트 구성
  6. 장면을 만들고 구성하고 적절한 이름을 지정합니다. 예를 들어 AzureSpeechServices

참고 항목

Mixed Reality 도구 상자 소개 모듈에서 혼합 현실 프로젝트 설정 방법을 확인할 수 있습니다.

기능 구성

  1. Unity 메뉴에서 편집>프로젝트 설정... 을 차례로 선택하여 [플레이어 설정] 창을 연 다음, 플레이어>게시 설정 섹션을 차례로 찾습니다.

    Screenshot of Configuring capabilities.

  2. 게서 설정에서 기능 섹션까지 스크롤한 다음 자습서 초반에 프로젝트를 만들 때 활성화한 InternetClient, Microphone, SpatialPerception 기능이 여전히 활성화되어 있는지 확인합니다. 그런 다음 InternetClientServer 및 PrivateNetworkClientServer 기능을 사용하도록 설정합니다.

    Screenshot of Enable the capabilities.

자습서 자산 가져오기

  1. 나열된 순서대로 다음 Unity 사용자 지정 패키지를 다운로드하고 가져옵니다.

  2. 자습서 자산을 가져오면 프로젝트 창이 다음과 같이 표시됩니다.

    Screenshot of Project window after importing the requisite assets.

장면 준비

이 섹션에서는 자습서 프리팹을 추가하여 장면을 준비하고 장면을 제어하도록 Lunarcom 컨트롤러(스크립트) 구성 요소를 구성합니다.

  1. 프로젝트 창에서 자산>MRTK로 이동합니다. Tutorials.AzureSpeechServices>프리팹 폴더를 선택하고 Lunarcom 프리팹을 계층 구조 창으로 끌어 장면에 추가합니다.

    Screenshot of preparing the scene.

  2. 계층 구조 창에서 Lunarcom 개체가 선택된 상태에서 검사기 창에서 구성 요소 추가 단추를 사용하여 Lunarcom 개체에 Lunarcom 컨트롤러(스크립트) 구성 요소를 추가합니다.

    Screenshot of adding Lunarcom controller (Script).

  3. Lunarcom 개체를 선택한 상태에서 확장하여 자식 개체를 표시한 다음 터미널 개체를 Lunarcom 컨트롤러(스크립트) 구성 요소의 터미널 필드로 끕니다.

    Screenshot of the Terminal field.

  4. Lunarcom 개체를 계속 선택한 상태에서 터미널 개체를 확장하여 자식 개체를 표시한 다음 커넥트ionLight 개체를 Lunarcom Controller(스크립트) 구성 요소의 커넥트Ion Light 필드 및 OutputText 개체를 출력 텍스트 필드로 끌어옵니다.

    Screenshot of the Output text field.

  5. Lunarcom 개체를 선택한 상태에서 Buttons 개체를 확장하여 자식 개체를 표시한 다음, 검사기 창에서 단추 목록을 확장하고 Buttons 필드를 3으로 설정하고 MicButton, SatelliteButton 및 RocketButton 개체를 요소 0, 1 및 2 필드로 각각 끕니다.

    Screenshot of configuring the buttons.

Unity 프로젝트를 Azure 리소스에 커넥트

Azure Speech Services를 사용하려면 Azure 리소스를 만들고, Speech Service에 대한 API 키를 얻어야 합니다. 빠른 시작 지침을 따르고 서비스 지역(위치라고도 함) 및 API 키(Key1 또는 Key2라고도 함)를 기록해 둡니다.

  1. [계층 구조] 창에서 Lunarcom 개체를 선택한 다음, [검사기] 창에서 Lunarcom 컨트롤러(스크립트) 구성 요소의 Speech SDK 자격 증명 섹션을 찾아서 다음과 같이 구성합니다.

    • Speech Service API 키 필드에 API 키(Key1 또는 Key2)를 입력합니다.
    • Speech Service 지역 필드에 소문자와 공백을 제거하여 서비스 지역(위치)을 입력합니다.

    Screenshot of configuring Speech SDK Credentials.

음성 인식을 사용하여 음성을 기록

  1. 계층 구조 창에서 Lunarcom 개체를 선택한 다음, 검사기 창에서 구성 요소 추가 단추를 사용하여 Lunarcom Speech Recognizer(스크립트) 구성 요소를 Lunarcom 개체에 추가 합니다.

    Screenshot of adding the Lunarcom Speech Recognizer (Script).

  2. 이제 게임 모드로 전환하고 재생 단추를 선택하면 먼저 마이크 단추를 눌러 음성 인식을 테스트할 수 있습니다.

    Screenshot of Enter game mode.

  3. 그런 다음, 마이크가 컴퓨터에 있다고 가정하여 사용자가 무언가를 말하면 음성이 터미널 패널에 전사됩니다.

    Screenshot of Speech will be transcribed on the terminal panel.

    주의

    애플리케이션에서 Azure에 연결해야 하므로 컴퓨터/디바이스가 인터넷에 연결되어 있는지 확인합니다.