Analiza przypadku: Projektowanie dźwięku przestrzennego dla urządzenia HoloTour
Panoramiczne filmy i sceneria holograficzne są tylko częścią formuły immersyjnej trasy Microsoft HoloLens. W tym artykule opisano, jak dźwięk został użyty, aby poczuć, że jesteś rzeczywiście w każdej lokalizacji HoloTour.
Technologia
Piękne obrazy i sceny holograficzne, które widać na holoTour, są tylko jedną częścią wiarygodnego środowiska rzeczywistości mieszanej. Podczas gdy hologramy pojawiają się tylko przed użytkownikiem, urządzenie HoloLens może dostarczać dźwięk przestrzenny ze wszystkich kierunków, co zapewnia bardziej kompletne środowisko sensoryczne.
Dźwięk przestrzenny zapewnia sygnały wskazujące kierunek, w jaki użytkownik powinien włączyć lub poinformować użytkownika, że istnieje więcej hologramów, które mają być widoczne w przestrzeni. Możemy również dołączyć dźwięk bezpośrednio do hologramu i stale aktualizować kierunek i odległość hologramu od użytkownika. Ta technika sprawia, że wydaje się, że dźwięk pochodzi bezpośrednio z tego obiektu.
W przypadku urządzenia HoloTour chcieliśmy skorzystać z możliwości dźwięku przestrzennego urządzenia HoloLens, więc utworzyliśmy środowisko otoczenia 360 stopni zsynchronizowane z wideo, aby ujawnić dźwiękowe wyróżnienia określonych lokalizacji.
Za kulisami
Stworzyliśmy środowiska HoloTour dwóch różnych lokalizacji: Rzym i Machu Picchu. Aby te wycieczki czuły się autentyczne i atrakcyjne, chcieliśmy przechwycić dźwięk z miejsc, w których nakręciliśmy zamiast używać ogólnych dźwięków.
Przechwytywanie dźwięku
W naszej analizie przypadku dotyczącej przechwytywania zawartości wizualnej dla urządzenia HoloTour mówimy o projekcie naszej platformy aparatu. Składał się z 14 kamer GoPro w obudowie drukowanej 3D, która została zaprojektowana do dopasowania do statywu. Aby przechwycić dźwięk, dodaliśmy tablicę czworokątnego mikrofonu poniżej kamer. Dźwięk jest zasilany z kompaktowym czterokanałowym modułem nagrywania u podstawy statywu. Wybraliśmy mikrofony, które działały dobrze, ale były wystarczająco małe, aby uniknąć zakłócania kamer.
Niestandardowa kamera i zestaw mikrofonów
Ta konfiguracja przechwytuje dźwięk w czterech kierunkach. Nagraliśmy wystarczającą ilość informacji, aby ponownie utworzyć auralną panoramę dźwięku przestrzennego 3D, którą później można było zsynchronizować z wideo 360 stopni.
Jednym z wyzwań dźwięku tablicy kamery jest to, że jesteś na łasce dźwięków poza kamerą, takich jak syreny, samoloty lub silne wiatry. Aby upewnić się, że mieliśmy wszystkie potrzebne elementy dźwiękowe, użyliśmy stereo i mono rejestratorów mobilnych do przechwytywania asynchronicznego, otoczenia dźwięku w określonych punktach zainteresowania w każdej lokalizacji. Nagrania te zapewniają projektantowi dźwięku czystą zawartość, aby zwiększyć zainteresowanie i poprawić kierunek pracy poprodukcyjnej.
Każdy dzień przechwytywania generuje wiele plików. Dlatego ważne było opracowanie systemu do śledzenia, które pliki odpowiadają określonej lokalizacji lub nakręcony aparat. Nasza jednostka nagrywania została skonfigurowana do automatycznego nadawania nazw plikom według daty i numeru "take". Kopie zapasowe plików są tworzone na dyskach zewnętrznych na końcu każdego dnia. Odkryliśmy również, że ważne jest słownie slate początku nagrań audio. Ten środek ostrożności umożliwia łatwą kontekstową identyfikację zawartości w przypadku wystąpienia problemów z nazwą pliku. Ważne było również, aby wizualnie slate kamery rig przechwytywania, ponieważ wideo i audio zostały nagrane jako oddzielne nośniki i musiały być zsynchronizowane podczas poprodukcji.
Edytowanie dźwięku
Powrót do studia po podróży przechwytywania, pierwszym krokiem w zebraniu kierunkowego i immersyjnego środowiska aural jest przejrzenie wszystkich przechwyconych audio dla lokalizacji. Wybieramy najlepsze metody i identyfikujemy najważniejsze jednostki, które można zastosować podczas integracji. Dźwięk jest następnie edytowany i czyszczony. Na przykład wybuch roga samochodu, który trwa sekundę lub tak i powtarza się kilka razy, może zostać zastąpiony cichszym dźwiękiem otoczenia z tej samej sesji przechwytywania.
Po ustawieniu edycji wideo dla lokalizacji projektant dźwięku może zsynchronizować odpowiedni dźwięk. W tym momencie oceniamy zarówno platformę kamery, jak i dźwięk mobilny, aby zdecydować, które elementy stworzyłyby najlepszą immersywną scenę dźwiękową. Odkryliśmy, że przydatne jest umieszczenie wszystkich elementów dźwięku w edytorze dźwięku i zbudowanie szybkich makiety liniowej w celu eksperymentowania z różnymi pomysłami mieszanymi. Ten krok dał nam lepiej sformułowane pomysły na to, kiedy nadszedł czas na zbudowanie rzeczywistych scen HoloTour.
Składanie sceny
Pierwszym krokiem do utworzenia sceny otoczenia 3D jest stworzenie łóżka ogólnych dźwięków otoczenia otoczenia tła, które będą obsługiwać inne funkcje i interaktywne elementy dźwiękowe w scenie. Bierzemy całościowe podejście do implementacji określone przez kryteria projektowania dla każdej konkretnej sceny. Niektóre sceny mogą być indeksowane w kierunku używania zsynchronizowanych przechwytywania kamery. Więcej "kinowych" momentów może wymagać wyselekcjonowane podejście, które opiera się na dyskretnie umieszczonych dźwiękach, elementach interaktywnych i muzyce.
Po zaindeksowanym dźwięku przechwytywania kamery umieściliśmy przestrzenne emitery audio otoczenia z włączoną obsługą dźwięku, które odpowiadały kierunkowej orientacji kamer. Widok kamery północnej odtwarza dźwięk z mikrofonu północnego i podobnie dla innych kardynaalnych kierunków. Te emitery są zablokowane na świecie, co oznacza, że dźwięk zmienia się, gdy użytkownicy odwracają głowę. Ta technika skutecznie modeluje dźwięk stojący w tej lokalizacji. Posłuchaj Piazza Navona lub Panteonu, aby uzyskać przykłady scen, które wykorzystują dobrą mieszankę przechwyconego przez kamerę dźwięku.
W innym podejściu czasami odtwarzamy zapętlanie atmosfery stereo z przestrzennymi emiterami dźwięku, które są umieszczane wokół sceny. Te emitery odtwarzają jednorazowe dźwięki losowego woluminu, skoku i częstotliwości wyzwalacza. Ta technika tworzy atmosferę, która ma zwiększone poczucie kierunkowości. Na przykład w Aguas Alienates można usłyszeć, jak każda ćwiartka panoramy ma określone emitery, które podkreślają określone obszary geografii, ale współpracują ze sobą, aby stworzyć ogólną immersywną atmosferę.
Porady i wskazówki
Istnieją inne sposoby wyróżniania kierunkowości i ulepszania zanurzenia w celu pełnego wykorzystania możliwości dźwięku przestrzennego urządzenia HoloLens. Tutaj udostępniliśmy listę. Posłuchaj tych efektów przy następnym wypróbowaniu urządzenia HoloTour.
- Wyszukaj elementy docelowe: Te dźwięki są wyzwalane podczas patrzenia na konkretny obiekt lub obszar ramki holograficznej. Na przykład spójrz w kierunku ulicy kawiarni w Rzymie Piazza Navona, aby subtelnie wyzwolić ruchliwe dźwięki restauracji.
- Wizja lokalna: Podróż, chociaż HoloTour zawiera pewne "rytmy", w których przewodnik, wspomagany przez hologramy, bada szczegółowo temat. Na przykład, gdy fasada Panteonu rozpuszcza się, aby ujawnić oculus, pogłosując dźwięk, który został umieszczony jako emiter 3D z wnętrza Panteon zachęca użytkownika do odkrywania wnętrza.
- Ulepszona kierunkowość: W wielu scenach umieściliśmy dźwięki na różne sposoby, aby dodać do kierunkowości. Na przykład w scenie Panteon dźwięk fontanny został umieszczony jako oddzielny emiter wystarczająco blisko użytkownika, że mogą mieć poczucie "sonic parallax", gdy chodziją po przestrzeni zabawy. W peruwiaskiej scenie Salinas de Maras dźwięki poszczególnych małych strumieni zostały umieszczone jako oddzielne emitery, aby zbudować bardziej wciągające środowisko otoczenia, otaczając użytkownika autentycznymi dźwiękami tej lokalizacji.
- Emiter krzywy: Te emitery przenoszą się w przestrzeń 3D na podstawie położenia wizualnego obiektu, do którego są dołączone. Przykładem jest pociąg w Machu Picchu, w którym użyliśmy emitera krzywego, aby dać wyraźne poczucie kierunkowości i ruchu.
- Muzyka i SFX: Niektóre aspekty HoloTour, które reprezentują bardziej stylizowane lub kinowe podejście, używają muzyki i efektów dźwiękowych w celu zwiększenia emocjonalnego wpływu. Na przykład bitwa gladiatora na końcu trasy rzymskiej wykorzystuje efekty specjalne, takie jak whooshes i żądło, aby wzmocnić efekt etykiet, które pojawiają się w scenach.