사례 연구: HoloTour를 위한 공간 사운드 디자인
파노라마 비디오와 홀로그램 풍경은 몰입형 Microsoft HoloLens 투어를 위한 공식의 일부일 뿐입니다. 이 문서에서는 소리가 각 HoloTour 위치에 실제로 있는 것처럼 느껴지도록 하는 데 어떻게 사용되었는지 설명합니다.
기술
HoloTour에서 볼 수 있는 아름다운 이미지와 홀로그램 장면은 믿을 수 있는 혼합 현실 경험의 일부에 불과합니다. 홀로그램은 사용자 앞에만 표시되지만 HoloLens는 모든 방향에서 공간 사운드 를 제공할 수 있으므로 보다 완벽한 감각 환경을 제공합니다.
공간 소리는 사용자가 방향을 나타내거나 사용자에게 공간 내에서 볼 수 있는 홀로그램이 더 있다는 것을 알리기 위한 신호를 제공합니다. 또한 홀로그램에 직접 사운드를 연결하고 홀로그램이 사용자로부터의 방향과 거리를 지속적으로 업데이트할 수 있습니다. 이 기술은 소리가 해당 개체에서 직접 오는 것처럼 보입니다.
HoloTour의 경우 HoloLens의 공간 사운드 기능을 활용하고 싶었기 때문에 비디오와 동기화되는 360도 주변 환경을 만들어 특정 위치의 음향 하이라이트를 공개했습니다.
배후 상황
우리는 로마와 마추 픽추의 두 가지 다른 위치의 HoloTour 경험을 만들었습니다. 이러한 투어를 정통하고 매력적인 느낌으로 만들기 위해 일반적인 소리를 사용하는 대신 우리가 촬영 한 위치에서 오디오를 캡처하고 싶었습니다.
오디오 캡처
HoloTour의 시각적 콘텐츠를 캡처하는 방법에 대한 사례 연구에서는 카메라 장비의 디자인에 대해 설명합니다. 삼각대에 맞게 설계된 3D 인쇄 하우징에 14개의 GoPro 카메라로 구성되었습니다. 오디오를 캡처하기 위해 카메라 아래에 쿼드 마이크 배열을 추가했습니다. 사운드는 삼각대 베이스의 컴팩트한 4 채널 녹음 장치로 공급됩니다. 우리는 잘했지만 카메라를 방해하지 않도록 충분히 작은 마이크를 선택했습니다.
사용자 지정 카메라 및 마이크 장비
이 설정은 4방향으로 소리를 캡처합니다. 공간 사운드의 3D 청각 파노라마를 다시 만들기에 충분한 정보를 기록했으며, 나중에 360도 비디오와 동기화할 수 있었습니다.
카메라 배열 오디오의 한 가지 과제는 사이렌, 비행기 또는 강풍과 같은 오프 카메라 소리의 자비에 있다는 것입니다. 필요한 모든 사운드 요소가 있는지 확인하기 위해 스테레오 및 모노 모바일 레코더를 사용하여 각 위치의 특정 관심 지점에서 비동기 및 주변 사운드를 캡처했습니다. 이러한 녹음은 사운드 디자이너 클린 콘텐츠를 제공하여 포스트 프로덕션에서 관심을 더하고 방향성을 향상시킵니다.
캡처일마다 많은 파일이 생성됩니다. 따라서 특정 위치 또는 카메라 샷에 해당하는 파일을 추적하는 시스템을 개발하는 것이 중요했습니다. 기록 단위는 날짜 및 "테이크" 번호별로 파일 이름을 자동으로 지정하도록 설정되었습니다. 매일 종료 시 외부 드라이브에 파일을 백업했습니다. 우리는 또한 구두로 오디오 녹음의 시작을 슬레이트하는 것이 중요하다는 것을 발견했다. 이 예방 조치를 사용하면 파일 이름 문제가 발생하는 경우 콘텐츠를 쉽게 컨텍스트 식별할 수 있습니다. 비디오와 오디오가 별도의 미디어로 기록되고 포스트 프로덕션 중에 동기화되어야 했기 때문에 카메라 장비 캡처를 시각적으로 슬레이트하는 것도 중요했습니다.
오디오 편집
캡처 여행 후 스튜디오로 돌아가서 방향성 및 몰입형 청각 환경을 조립하는 첫 번째 단계는 캡처된 모든 오디오를 위치에 대해 검토하는 것입니다. 통합 중에 적용할 수 있는 최상의 테이크를 선택하고 강조 표시를 식별합니다. 그런 다음 오디오를 편집하고 정리합니다. 예를 들어 1초 정도 지속되고 몇 번 반복되는 자동차 경적 폭발은 동일한 캡처 세션에서 조용한 주변 오디오로 대체될 수 있습니다.
위치에 대한 비디오 편집이 설정된 후 사운드 디자이너는 해당 오디오를 동기화할 수 있습니다. 이 시점에서 카메라 장비와 모바일 사운드 캡처를 모두 평가하여 최고의 몰입형 오디오 장면을 빌드할 요소를 결정합니다. 모든 사운드 요소를 오디오 편집기에 넣고 빠른 선형 모형을 빌드하여 다양한 혼합 아이디어를 실험하는 것이 유용하다는 것을 알게 되었습니다. 이 단계는 실제 HoloTour 장면을 빌드할 때가 되었을 때 더 나은 형식의 아이디어를 제공했습니다.
장면 어셈블
3D 앰비언트 장면을 빌드하는 첫 번째 단계는 장면의 다른 기능 및 대화형 사운드 요소를 지원하는 일반적인 배경 앰비언트 루핑 사운드의 침대를 만드는 것입니다. 특정 장면에 대한 디자인 기준에 따라 결정되는 구현에 대한 전체적인 접근 방식을 취합니다. 일부 장면은 동기화된 카메라 캡처를 사용하는 쪽으로 인덱싱할 수 있습니다. 더 많은 "영화" 순간에는 별도로 배치된 소리, 대화형 요소 및 음악에 의존하는 큐레이팅된 접근 방식이 필요할 수 있습니다.
카메라 캡처 오디오에 인덱싱할 때 카메라의 방향 방향에 해당하는 공간 사운드 지원 앰비언트 오디오 방출기를 배치했습니다. 북쪽 카메라 보기는 북쪽 마이크에서 오디오를 재생하며, 다른 카디널 방향에서도 재생됩니다. 이러한 방출기는 월드로 잠겨 있으므로 사용자가 고개를 돌릴 때 소리가 바뀝니다. 이 기술은 해당 위치에 서 있는 소리를 효과적으로 모델링합니다. 카메라 캡처 오디오의 좋은 혼합을 사용하는 장면의 예를 보려면 나보나 광장 또는 판테온을 들어보십시오.
다른 접근 방식에서는 장면 주위에 배치되는 공간 사운드 방출기를 사용하여 루핑 스테레오 분위기를 재생하는 경우가 있습니다. 이러한 방출기는 임의 볼륨, 피치 및 트리거 빈도의 일회성 소리를 재생합니다. 이 기술은 방향성 감각이 향상된 분위기를 만듭니다. 예를 들어 Aguas Alienates에서 파노라마의 각 사분면에 지리의 특정 영역을 강조 표시하지만 함께 작동하여 전반적인 몰입형 분위기를 만드는 특정 방출기가 어떻게 있는지 들을 수 있습니다.
팁과 요령
방향성을 강조하고 몰입도를 개선하여 HoloLens의 공간 사운드 기능을 최대한 활용하는 다른 방법이 있습니다. 여기에 목록을 제공했습니다. 다음에 HoloTour를 시도할 때 이러한 효과를 수신 대기합니다.
- 대상 보기: 이러한 소리는 홀로그램 프레임의 특정 개체 또는 영역을 볼 때 트리거됩니다. 예를 들어 로마 나보나 광장의 거리 카페를 바라보며 바쁜 레스토랑 소리를 미묘하게 유발합니다.
- 로컬 비전: HoloTour는 홀로그램의 도움을 받아 투어 가이드가 주제를 심층 탐구하는 특정 "비트"를 포함하고 있습니다. instance 경우, 판테온의 외관이 오큘러스를 드러내기 위해 용해됨에 따라 판테온 내부에서 3D 방출기로 배치된 반향 오디오는 사용자가 내부를 탐색하도록 권장합니다.
- 향상된 방향성: 많은 장면 내에서 방향성에 추가할 수 있는 다양한 방법으로 사운드를 배치했습니다. 예를 들어 판테온 장면에서 분수의 소리는 사용자에게 충분히 가까운 별도의 방출기로 배치되어 놀이 공간을 돌아다닐 때 "소닉 시차"의 감각을 얻을 수 있었습니다. 페루의 살리나스 데 마라스(Salinas de Maras) 장면에서는 개별 작은 스트림의 소리가 별도의 방출기로 배치되어 보다 몰입형 앰비언트 환경을 구축하여 사용자를 해당 위치의 진정한 사운드로 둘러싸고 있습니다.
- 스플라인 방출기: 이러한 내보내기는 연결된 개체의 시각적 위치에 따라 3D 공간으로 이동합니다. 예를 들어 마추픽추(Machu Picchu)의 기차에서 스플라인 방출기를 사용하여 방향성과 움직임을 뚜렷하게 파악했습니다.
- 음악 및 SFX: 좀 더 스타일화되거나 영화적인 접근 방식을 나타내는 HoloTour의 특정 측면은 음악과 음향 효과를 사용하여 정서적 영향을 높입니다. 예를 들어 로마 투어가 끝날 때 검투사 전투는 후쉬와 스팅어와 같은 특수 효과를 사용하여 장면에 나타나는 레이블의 효과를 강화합니다.