HoloLens (1e generatie) Spatial 220: Ruimtelijk geluid

Belangrijk

De Mixed Reality Academy-zelfstudies zijn ontworpen met HoloLens (1e generatie), Unity 2017 en Mixed Reality Immersive Headsets in het achterhoofd. Daarom vinden we het belangrijk om deze zelfstudies te laten staan voor ontwikkelaars die nog steeds op zoek zijn naar hulp bij het ontwikkelen van deze apparaten. Deze zelfstudies worden niet bijgewerkt met de nieuwste toolsets of interacties die worden gebruikt voor HoloLens 2 en zijn mogelijk niet compatibel met nieuwere versies van Unity. Ze worden onderhouden om te blijven werken op de ondersteunde apparaten. Er is een nieuwe reeks zelfstudies geplaatst voor HoloLens 2.

Ruimtelijk geluid blaast hologrammen tot leven en geeft ze aanwezigheid in onze wereld. Hologrammen bestaan uit zowel licht als geluid, en als u uw hologrammen uit het oog verliest, kan ruimtelijk geluid u helpen ze te vinden. Ruimtelijk geluid is niet zoals het typische geluid dat je op de radio hoort, het is geluid dat in de 3D-ruimte is gepositioneerd. Met ruimtelijk geluid kunt u hologrammen laten klinken alsof ze achter u, naast u of zelfs op uw hoofd staan. In deze cursus gaat u het volgende doen:

• Configureer uw ontwikkelomgeving voor het gebruik van Microsoft Spatial Sound.
• Gebruik ruimtelijk geluid om interacties te verbeteren.
• Gebruik Ruimtelijk geluid in combinatie met Ruimtelijke toewijzing.
• Meer informatie over best practices voor geluidsontwerp en mixen.
• Gebruik geluid om speciale effecten te verbeteren en de gebruiker in de Mixed Reality wereld te brengen.

Ondersteuning voor apparaten

Cursus	HoloLens	Immersive headsets
MR Spatial 220: Ruimtelijk geluid	✔️	✔️

Voordat u begint

Vereisten

• Een Windows 10 pc geconfigureerd waarop de juiste hulpprogramma's zijn geïnstalleerd.
• Enige eenvoudige programmeermogelijkheid in C#.
• U moet MR Basics 101 hebben voltooid.
• Een HoloLens-apparaat dat is geconfigureerd voor ontwikkeling.

Projectbestanden

• Download de bestanden die vereist zijn voor het project. Vereist Unity 2017.2 of hoger.
  • Als u nog steeds ondersteuning voor Unity 5.6 nodig hebt, gebruikt u deze release. Deze release is mogelijk niet meer bijgewerkt.
  • Als u nog steeds ondersteuning voor Unity 5.5 nodig hebt, gebruikt u deze release. Deze release is mogelijk niet meer bijgewerkt.
  • Als u nog steeds ondersteuning voor Unity 5.4 nodig hebt, gebruikt u deze release. Deze release is mogelijk niet meer bijgewerkt.
• Maak het archiveren van de bestanden op uw bureaublad of een andere gemakkelijk te bereiken locatie ongedaan.

Notitie

Als u de broncode wilt bekijken voordat u deze downloadt, is deze beschikbaar op GitHub.

Errata en notities

• 'Alleen mijn code inschakelen' moet worden uitgeschakeld (uitgeschakeld) in Visual Studio onder Extra-opties-foutopsporing>> om onderbrekingspunten in uw code te bereiken.

Hoofdstuk 1 - Unity instellen

Doelen

• Wijzig de geluidsconfiguratie van Unity om Microsoft Spatial Sound te gebruiken.
• Voeg 3D-geluid toe aan een object in Unity.

Instructies

• Start Unity.
• Selecteer Openen.
• Navigeer naar uw bureaublad en zoek de map die u eerder hebt gearchiveerd.
• Klik op de map Starting\Decibel en druk vervolgens op de knop Map selecteren .
• Wacht tot het project is geladen in Unity.
• Open Scènes\Decibel.unity in het deelvenster Project.
• Vouw hologramCollection uit in het deelvenster Hierarchy en selecteer P0LY.
• Vouw audiobron in de inspector uit en u ziet dat er geen selectievakje Spatialize is.

Standaard laadt Unity geen spatializer-invoegtoepassing. Met de volgende stappen wordt ruimtelijk geluid in het project ingeschakeld.

• Ga in het bovenste menu van Unity naar Projectinstellingen > bewerken > Audio.
• Zoek de vervolgkeuzelijst Spatializer-invoegtoepassing en selecteer MS HRTF Spatializer.
• Selecteer hologramCollection > P0LY in het deelvenster Hierarchy.
• Zoek in het deelvenster Inspector het onderdeel Audiobron .
• Schakel het selectievakje Spatialize in.
• Sleep de schuifregelaar Ruimtelijk overvloeien helemaal naar 3D of voer 1 in het invoervak in.

We gaan nu het project bouwen in Unity en de oplossing configureren in Visual Studio.

1. Selecteer in Unity Instellingen voor bestandsbuilding>.
2. Klik op Open scènes toevoegen om de scène toe te voegen.
3. Selecteer Universeel Windows-platform in de lijst Platform en klik op Platform wisselen.
4. Als u specifiek ontwikkelt voor HoloLens, stelt u Doelapparaat in op HoloLens. Anders laat u dit op Elk apparaat staan.
5. Zorg ervoor dat Buildtype is ingesteld op D3D en SDK is ingesteld op Laatst geïnstalleerd (dit moet SDK 16299 of hoger zijn).
6. Klik op Build.
7. Maak een nieuwe map met de naam 'App'.
8. Klik één klik op de map App .
9. Druk op Map selecteren.

Wanneer Unity klaar is, wordt een Bestandenverkenner venster weergegeven.

1. Open de map App .
2. Open de Decibel Visual Studio-oplossing.

Als u implementeert op HoloLens:

1. Wijzig met behulp van de bovenste werkbalk in Visual Studio het doel van Foutopsporing in Release en van ARM in x86.
2. Klik op de vervolgkeuzepijl naast de knop Lokale computer en selecteer Externe computer.
3. Voer het IP-adres van uw HoloLens-apparaat in en stel Verificatiemodus in op Universal (Unencrypted Protocol). Klik op Selecteren. Als u het IP-adres van uw apparaat niet weet, kijkt u in Instellingen > Netwerk & Geavanceerde > internetopties.
4. Klik in de bovenste menubalk op Fouten opsporen -> Starten zonder foutopsporing of druk op Ctrl + F5. Als dit de eerste keer is dat u op uw apparaat implementeert, moet u het koppelen met Visual Studio.

Als u implementeert op een immersive headset:

1. Gebruik de bovenste werkbalk in Visual Studio om het doel te wijzigen van Foutopsporing in Release en van ARM in x64.
2. Zorg ervoor dat het implementatiedoel is ingesteld op Lokale computer.
3. Klik in de bovenste menubalk op Fouten opsporen -> Starten zonder foutopsporing of druk op Ctrl + F5.

Hoofdstuk 2 - Ruimtelijk geluid en interactie

Doelen

• Verbeter het hologram-realisme met behulp van geluid.
• Richt de blik van de gebruiker met behulp van geluid.
• Geef feedback over gebaren met behulp van geluid.

Deel 1: Realisme verbeteren

Belangrijkste concepten

• Hologramgeluiden ruimtelijk maken.
• Geluidsbronnen moeten op een geschikte locatie op het hologram worden geplaatst.

De juiste locatie voor het geluid is afhankelijk van het hologram. Als het hologram bijvoorbeeld van een mens is, moet de geluidsbron zich in de buurt van de mond bevinden en niet bij de voeten.

Instructies

Met de volgende instructies wordt een ruimtelijk geluid aan een hologram gekoppeld.

• Vouw in het deelvenster HierarchyhologramCollection uit en selecteer P0LY.
• Klik in het deelvenster Inspector in de AudioSource op de cirkel naast AudioClip en selecteer PolyHover in het pop-upvenster.
• Klik op de cirkel naast Uitvoer en selecteer SoundEffects in het pop-upvenster.

Project Decibel maakt gebruik van een Unity AudioMixer-onderdeel om het aanpassen van de geluidsniveaus voor groepen geluiden mogelijk te maken. Door geluiden op deze manier te groeperen, kan het totale volume worden aangepast met behoud van het relatieve volume van elk geluid.

• Vouw in audiobroninstellingen voor 3D-geluid uit.
• Stel DopplerNiveau in op 0.

Als u dopplerniveau instelt op nul, worden wijzigingen in toonhoogte die worden veroorzaakt door beweging (het hologram of de gebruiker) uitgeschakeld. Een klassiek voorbeeld van Doppler is een snel bewegende auto. Als de auto een stationaire listener nadert, stijgt de toonhoogte van de motor. Wanneer deze de listener passeert, daalt de toonhoogte met de afstand.

Deel 2: De blik van de gebruiker aansturen

Belangrijkste concepten

• Gebruik geluid om de aandacht te vestigen op belangrijke hologrammen.
• De oren helpen om te kijken waar de ogen moeten kijken.
• De hersenen hebben wat geleerde verwachtingen.

Een voorbeeld van geleerde verwachtingen is dat vogels over het algemeen boven de hoofden van mensen staan. Als een gebruiker een vogelgeluid hoort, is de eerste reactie om omhoog te zoeken. Het plaatsen van een vogel onder de gebruiker kan ertoe leiden dat ze de juiste richting van het geluid zien, maar het hologram niet kunnen vinden op basis van de verwachting dat ze moeten opzoeken.

Instructies

Met de volgende instructies kan P0LY zich achter u verbergen, zodat u geluid kunt gebruiken om het hologram te vinden.

• Selecteer Managers in het deelvenster Hiërarchie.
• Zoek in het deelvenster Inspectornaar Spraakinvoerhandler.
• Vouw in SpraakinvoerhandlerDe optie Verbergen uit.
• Wijzig No Function in PolyActions.GoHide.

Deel 3 : Feedback over gebaren

Belangrijkste concepten

• De gebruiker een bevestiging van een positief gebaar geven met behulp van geluid
• Overweldig de gebruiker niet- te luide geluiden in de weg
• Subtiele geluiden werken het beste - overschaduw de ervaring niet

Instructies

• Vouw in het deelvenster HierarchyhologramCollection uit.
• Vouw EnergyHub uit en selecteer Basis.
• Klik in het deelvenster Inspector op Component toevoegen en voeg De Handler voor gebarengeluid toe.
• Klik in Gesture Sound Handler op de cirkel naast Navigatie gestart Clip en Navigatie bijgewerkt fragment en selecteer DraaienKlik in het pop-upvenster voor beide.
• Dubbelklik op 'GestureSoundHandler' om te laden in Visual Studio.

Gesture Sound Handler voert de volgende taken uit:

• Een AudioSource maken en configureren.
• Plaats de AudioSource op de locatie van het juiste GameObject.
• Hiermee wordt de AudioClip afgespeeld die is gekoppeld aan het gebaar.

Bouwen en implementeren

1. Selecteer in Unity Instellingen voor bestandsbuild>.
2. Klik op Bouwen.
3. Klik één klik op de map App .
4. Druk op Map selecteren.

Controleer of op de werkbalk 'Release', 'x86' of 'x64' en 'Extern apparaat' staat. Als dat niet het geval is, is dit het codeerexemplaren van Visual Studio. Mogelijk moet u de oplossing opnieuw openen vanuit de map App.

• Laad de projectbestanden opnieuw als u hierom wordt gevraagd.
• Implementeer net als voorheen vanuit Visual Studio.

Nadat de toepassing is geïmplementeerd:

• U ziet hoe het geluid verandert terwijl u door P0LY navigeert.
• Zeg 'Ga verbergen' om P0LY naar een locatie achter u te laten verplaatsen. Vind het bij het geluid.
• Staar naar de basis van de Energy Hub. Tik en sleep naar links of rechts om het hologram te draaien. U ziet hoe het klikkende geluid de beweging bevestigt.

Opmerking: er is een tekstvenster dat samen met u tagt. Dit bevat de beschikbare spraakopdrachten die u in deze cursus kunt gebruiken.

Hoofdstuk 3 - Ruimtelijk geluid en ruimtelijke kaart

Doelen

• Bevestig de interactie tussen hologrammen en de echte wereld met behulp van geluid.
• Occlude geluid met behulp van de fysieke wereld.

Deel 1- Interactie in de fysieke wereld

Belangrijkste concepten

• Fysieke objecten maken over het algemeen een geluid wanneer u een oppervlak of een ander object tegenkomt.
• Geluiden moeten geschikt zijn voor de context binnen de ervaring.

Het instellen van een beker op een tafel zou bijvoorbeeld een stiller geluid moeten maken dan het laten vallen van een rotsblok op een stuk metaal.

Instructies

• Vouw in het deelvenster HierarchyhologramCollection uit.
• Vouw EnergyHub uit en selecteer Basis.
• Klik in het deelvenster Inspector op Onderdeel toevoegen en voeg Tap To Place with Sound and Action toe.
• Tik in Om te plaatsen met geluid en actie:
  • Schakel Bovenliggend item plaatsen bij tikken in.
  • Stel Plaatsingsgeluid in op Plaats.
  • Stel Pick-upgeluid in op Ophalen.
  • Druk rechtsonder op de + onder zowel Bij de actie Bij ophalen als Bij plaatsing. Sleep EnergyHub van de scène naar de velden Geen (Object).
    • Klik onder Actie bij ophalen op Geen functie ->EnergyHubBase ->ResetAnimation.
    • Klik onder Bij plaatsingsactie op Geen functie ->EnergyHubBase ->OnSelect.

Deel 2 - Geluid occlusie

Belangrijkste concepten

• Geluid, zoals licht, kan worden afgedwongen.

Een klassiek voorbeeld is een concertzaal. Wanneer een luisteraar buiten de zaal staat en de deur gesloten is, klinkt de muziek gedempt. Er is meestal ook een vermindering van het volume. Wanneer de deur wordt geopend, wordt het volledige spectrum van het geluid op het werkelijke volume gehoord. Hoogfrequente geluiden worden over het algemeen meer geabsorbeerd dan lage frequenties.

Instructies

• Vouw in het deelvenster HierarchyhologramCollection uit en selecteer P0LY.
• Klik in het deelvenster Inspector op Component toevoegen en voeg Audio-emitter toe.

De klasse Audio Emitter biedt de volgende functies:

• Herstelt eventuele wijzigingen in het volume van de AudioSource.
• Voert een Physics.RaycastNonAlloc uit vanaf de positie van de gebruiker in de richting van het GameObject waaraan de AudioEmitter is gekoppeld.

De methode RaycastNonAlloc wordt gebruikt als prestatieoptimalisatie om toewijzingen en het aantal geretourneerde resultaten te beperken.

• Voor elke IAudioInfluencer die is aangetroffen, wordt de methode ApplyEffect aangeroepen.
• Voor elke eerdere IAudioInfluencer die niet meer wordt aangetroffen, roept u de methode RemoveEffect aan.

Houd er rekening mee dat AudioEmitter wordt bijgewerkt op menselijke tijdschalen, in plaats van per frame. Dit wordt gedaan omdat mensen over het algemeen niet snel genoeg bewegen om het effect vaker te moeten worden bijgewerkt dan elk kwart of de helft van een seconde. Hologrammen die snel van de ene locatie naar de andere teleporteert, kunnen de illusie doorbreken.

• Vouw in het deelvenster HierarchyhologramCollection uit.
• Vouw EnergyHub uit en selecteer BlobOutside.
• Klik in het deelvenster Inspector op Component toevoegen en voeg Audio-occluder toe.
• Stel in Audio-occludercutoff frequency in op 1500.

Deze instelling beperkt de AudioSource-frequenties tot 1500 Hz en lager.

• Stel Volume Pass Through in op 0,9.

Met deze instelling wordt het volume van de AudioSource verlaagd tot 90% van het huidige niveau.

Audio Occluder implementeert IAudioInfluencer om:

• Pas een occlusie-effect toe met behulp van een AudioLowPassFilter dat wordt gekoppeld aan de door AudioSource beheerde aankoop van de AudioEmitter.
• Hiermee past u volumedeactivering toe op de AudioSource.
• Hiermee schakelt u het effect uit door een neutrale afsluitfrequentie in te stellen en het filter uit te schakelen.

De frequentie die als neutraal wordt gebruikt, is 22 kHz (22000 Hz). Deze frequentie werd gekozen omdat deze boven de nominale maximale frequentie lag die door het menselijk oor kan worden gehoord, waardoor er geen merkbare invloed op het geluid is.

• Selecteer SpatialMapping in het deelvenster Hierarchy.
• Klik in het deelvenster Inspector op Component toevoegen en voeg Audio-occluder toe.
• Stel in Audio-occludercutoff frequency in op 750.

Wanneer meerdere occluders zich in het pad tussen de gebruiker en de AudioEmitter bevinden, wordt de laagste frequentie toegepast op het filter.

• Stel Volume Pass Through in op 0,75.

Wanneer meerdere occluders zich in het pad tussen de gebruiker en de AudioEmitter bevinden, wordt de volumedoorgang additief toegepast.

• Selecteer Managers in het deelvenster Hiërarchie.
• Vouw in het deelvenster Inspectorde optie Spraakinvoerhandler uit.
• Vouw in SpraakinvoerhandlerGo Charge uit.
• Wijzig No Function in PolyActions.GoCharge.

• Vouw Hierheen komen uit.
• Wijzig De functie No in PolyActions.ComeBack.

Bouwen en implementeren

• Bouw net als voorheen het project in Unity en implementeer het in Visual Studio.

Nadat de toepassing is geïmplementeerd:

• Zeg 'Go Charge' om P0LY naar de Energy Hub te laten gaan.

Let op de verandering in het geluid. Het zou gedempt en een beetje stiller moeten klinken. Als u zich met een muur of ander object tussen u en de Energy Hub kunt positioneren, ziet u een verdere demping van het geluid vanwege de occlusie door de echte wereld.

• Zeg 'Kom hier' om P0LY de Energy Hub te laten verlaten en zich voor u te laten positioneer.

Merk op dat de geluidsafsluiting wordt verwijderd zodra P0LY de Energy Hub verlaat. Als u nog steeds occlusie hoort, kan P0LY worden afgedaan door de echte wereld. Probeer te bewegen om ervoor te zorgen dat u een duidelijke zichtlijn naar P0LY hebt.

Deel 3 - Kamermodellen

Belangrijkste concepten

• De grootte van de ruimte biedt subliminale wachtrijen die bijdragen aan geluidslokalisatie.
• Ruimtemodellen worden ingesteld per AudioSource.
• De MixedRealityToolkit voor Unity biedt code voor het instellen van het ruimtemodel.
• Voor Mixed Reality ervaringen selecteert u het kamermodel dat het beste past bij de echte ruimte.

Als u een Virtual Reality-scenario maakt, selecteert u het ruimtemodel dat het beste past bij de virtuele omgeving.

Hoofdstuk 4 - Geluidsontwerp

Doelen

• Inzicht in overwegingen voor effectief geluidsontwerp.
• Meer informatie over mengtechnieken en -richtlijnen.

Deel 1 - Geluid en ervaringsontwerp

In deze sectie worden belangrijke overwegingen en richtlijnen voor het ontwerp van geluid en ervaring besproken.

Alle geluiden normaliseren

Dit voorkomt dat speciale code nodig is om de volumeniveaus per geluid aan te passen. Dit kan tijdrovend zijn en beperkt de mogelijkheid om geluidsbestanden eenvoudig bij te werken.

Ontwerpen voor een ongebonden ervaring

HoloLens is een volledig ingesloten, niet-gekoppelde holografische computer. Uw gebruikers kunnen en zullen uw ervaringen gebruiken tijdens het verplaatsen. Zorg ervoor dat u uw audiomix test door rond te lopen.

Geluid verzenden vanaf logische locaties op uw hologrammen

In de echte wereld blaft een hond niet van zijn staart en komt de stem van een mens niet van zijn/haar voeten. Voorkom dat uw geluiden afkomstig zijn van onverwachte delen van uw hologrammen.

Voor kleine hologrammen is het redelijk om geluid te laten uitzenden vanuit het midden van de geometrie.

Bekende geluiden zijn het meest lokaliseerbaar

De menselijke stem en muziek zijn zeer eenvoudig te lokaliseren. Als iemand je naam belt, kun je heel nauwkeurig bepalen uit welke richting de stem kwam en van hoe ver weg. Korte, onbekende geluiden zijn moeilijker te lokaliseren.

Wees op de hoogte van de verwachtingen van gebruikers

Levenservaring speelt een rol in ons vermogen om de locatie van een geluid te identificeren. Dit is een van de redenen waarom de menselijke stem bijzonder gemakkelijk te lokaliseren is. Het is belangrijk om op de hoogte te zijn van de geleerde verwachtingen van uw gebruiker bij het plaatsen van uw geluiden.

Wanneer iemand bijvoorbeeld een vogelzang hoort, zoeken ze meestal naar boven, omdat vogels meestal boven de gezichtslijn staan (vliegend of in een boom). Het is niet ongebruikelijk dat een gebruiker in de juiste richting van een geluid draait, maar in de verkeerde verticale richting kijkt en in de war of gefrustreerd raakt wanneer ze het hologram niet kunnen vinden.

Verborgen emitters voorkomen

In de echte wereld kunnen we, als we een geluid horen, over het algemeen het object identificeren dat het geluid uitzendt. Dit zou ook waar moeten zijn in uw ervaringen. Het kan erg verontrustend zijn voor gebruikers om een geluid te horen, te weten waar het geluid vandaan komt en een object niet te kunnen zien.

Er zijn enkele uitzonderingen op deze richtlijn. Omgevingsgeluiden zoals krekels in een veld hoeven bijvoorbeeld niet zichtbaar te zijn. Levenservaring geeft ons vertrouwdheid met de bron van deze geluiden zonder dat we het hoeven te zien.

Deel 2 - Sound Mixen

Richt uw mix voor 70% volume op de HoloLens

Mixed Reality ervaringen maken het mogelijk om hologrammen in de echte wereld te zien. Ze moeten ook toestaan dat geluiden uit de echte wereld worden gehoord. Een volumedoel van 70% stelt de gebruiker in staat om de wereld om hen heen te horen, samen met het geluid van uw ervaring.

HoloLens op 100% volume zou externe geluiden moeten overstemmen

Een volumeniveau van 100% is vergelijkbaar met een Virtual Reality-ervaring. Visueel wordt de gebruiker naar een andere wereld overgebracht. Hetzelfde moet hoorbaar zijn.

De Unity AudioMixer gebruiken om categorieën geluiden aan te passen

Bij het ontwerpen van uw mix is het vaak handig om geluidscategorieën te maken en de mogelijkheid te hebben om het volume ervan als eenheid te verhogen of te verlagen. Dit behoudt de relatieve niveaus van elk geluid en maakt snelle en eenvoudige wijzigingen in de algehele mix mogelijk. Algemene categorieën zijn onder andere; geluidseffecten, sfeer, voice-overs en achtergrondmuziek.

Mix geluiden op basis van de blik van de gebruiker

Het kan vaak handig zijn om de geluidsmix in uw ervaring te wijzigen op basis van waar een gebruiker (of niet) op zoek is. Een veelvoorkomend gebruik voor deze techniek is het verlagen van het volumeniveau voor hologrammen die zich buiten het Holographic Frame bevinden, zodat de gebruiker zich gemakkelijker kan concentreren op de voorliggende informatie. Een ander gebruik is het verhogen van het volume van een geluid om de aandacht van de gebruiker te vestigen op een belangrijke gebeurtenis.

Uw mix bouwen

Wanneer u uw mix bouwt, is het raadzaam om te beginnen met de achtergrondaudio van uw ervaring en lagen toe te voegen op basis van urgentie. Dit leidt er vaak toe dat elke laag luider is dan de vorige.

Als u zich uw mix voorstelt als een omgekeerde trechter, met de minst belangrijke (en over het algemeen rustigste geluiden) onderaan, is het raadzaam om uw mix te structureren zoals in het volgende diagram.

Voice-overs zijn een interessant scenario. Op basis van de ervaring die u maakt, wilt u mogelijk een stereogeluid (niet gelokaliseerd) hebben of uw voice-overs ruimtelijk maken. Twee door Microsoft gepubliceerde ervaringen illustreren uitstekende voorbeelden van elk scenario.

HoloTour maakt gebruik van een stereo voice-over. Wanneer de verteller de locatie beschrijft die wordt bekeken, is het geluid consistent en varieert het niet op basis van de positie van de gebruiker. Hierdoor kan de verteller de scène beschrijven zonder de ruimtelijke geluiden van de omgeving af te nemen.

Fragmenten maakt gebruik van een ruimtelijke voice-over in de vorm van een detective. De stem van de detective wordt gebruikt om de aandacht van de gebruiker te vestigen op een belangrijke aanwijzing alsof er een echte mens in de kamer was. Dit maakt een nog groter gevoel van onderdompeling in de ervaring van het oplossen van het mysterie mogelijk.

Deel 3 - Prestaties

CPU-gebruik

Wanneer u ruimtelijk geluid gebruikt, verbruiken 10 - 12 emitters ongeveer 12% van de CPU.

Lange audiobestanden streamen

Audiogegevens kunnen groot zijn, met name bij algemene samplesnelheden (44,1 en 48 kHz). Een algemene regel is dat audiobestanden van meer dan 5 tot 10 seconden moeten worden gestreamd om het geheugengebruik van de toepassing te verminderen.

In Unity kunt u een audiobestand voor streaming markeren in de importinstellingen van het bestand.

Hoofdstuk 5 - Speciale effecten

Doelen

• Voeg diepte toe aan 'Magic Windows'.
• Breng de gebruiker naar de virtuele wereld.

Magic Windows

Belangrijkste concepten

• Het maken van weergaven in een verborgen wereld is visueel aantrekkelijk.
• Verbeter het realisme door audio-effecten toe te voegen wanneer een hologram of de gebruiker zich in de buurt van de verborgen wereld bevindt.

Instructies

• Vouw hologramCollection uit in het deelvenster Hierarchy en selecteer Underworld.
• Vouw Onderwereld uit en selecteer VoiceSource.
• Klik in het deelvenster Inspector op Component toevoegen en voeg User Voice Effect toe.

Er wordt een AudioSource-onderdeel toegevoegd aan VoiceSource.

• Stel output in AudioSource in op UserVoice (mixer).
• Schakel het selectievakje Spatialize in.
• Sleep de schuifregelaar Ruimtelijk overvloeien helemaal naar 3D of voer 1 in het invoervak in.
• Vouw Instellingen voor 3D-geluid uit.
• Stel Doppler-niveau in op 0.
• Stel in User Voice Effectbovenliggend object in op de onderwereld van de scène.
• Stel Maximumafstand in op 1.

Als u Maximale afstand instelt , geeft u aan hoe dicht de gebruiker zich bij het bovenliggende object bevindt voordat het effect wordt ingeschakeld.

• Vouw in User Voice Effectde optie Chorus Parameters uit.
• Stel Diepte in op 0,1.
• Stel Tik op 1 volume, tik op 2 volume en tik op 3 volume in op 0,8.
• Stel Oorspronkelijk geluidsvolume in op 0,5.

Met de vorige instellingen worden de parameters van het Unity AudioChorusFilter geconfigureerd dat wordt gebruikt om de stem van de gebruiker uitgebreider te maken.

• Vouw in User Voice Effectde optie Echoparameters uit.
• Stel Vertraging in op 300
• Stel vervalverhouding in op 0,2.
• Stel Oorspronkelijk geluidsvolume in op 0.

Met de vorige instellingen worden de parameters van het Unity AudioEchoFilter geconfigureerd dat wordt gebruikt om de stem van de gebruiker te laten echoën.

Het script User Voice Effect is verantwoordelijk voor:

• Het meten van de afstand tussen de gebruiker en het GameObject waaraan het script is gekoppeld.
• Bepalen of de gebruiker naar het GameObject wordt geconfronteerd.

De gebruiker moet naar het GameObject gericht zijn, ongeacht de afstand, om het effect in te schakelen.

• Een AudioChorusFilter en een AudioEchoFilter toepassen en configureren op de AudioSource.
• Het effect uitschakelen door de filters uit te schakelen.

User Voice Effect maakt gebruik van het onderdeel Mic Stream Selector van de MixedRealityToolkit for Unity om de spraakstream van hoge kwaliteit te selecteren en om te leiden naar het audiosysteem van Unity.

• Selecteer Managers in het deelvenster Hiërarchie.
• Vouw in het deelvenster Inspectorde optie Spraakinvoerhandler uit.
• Vouw in Handler voor spraakinvoerde optie Onderwereld weergeven uit.
• Wijzig No Function in UnderworldBase.OnEnable.

• Vouw Onderwereld verbergen uit.
• Wijzig No Function in UnderworldBase.OnDisable.

Bouwen en implementeren

• Net als voorheen bouwt u het project in Unity en implementeert u het in Visual Studio.

Nadat de toepassing is geïmplementeerd:

• Kijk naar een oppervlak (muur, vloer, tafel) en zeg 'Show Underworld'.

De onderwereld wordt weergegeven en alle andere hologrammen worden verborgen. Als je de onderwereld niet ziet, zorg er dan voor dat je voor een echt oppervlak staat.

• Benader binnen 1 meter van het hologram van de onderwereld en begin te praten.

Er zijn nu audio-effecten toegepast op uw stem.

• Wend u af van de onderwereld en u ziet dat het effect niet meer wordt toegepast.
• Zeg 'Onderwereld verbergen' om de onderwereld te verbergen.

De onderwereld wordt verborgen en de eerder verborgen hologrammen worden opnieuw weergegeven.

Het einde

Gefeliciteerd U hebt nu MR Spatial 220: Ruimtelijk geluid voltooid.

Luister naar de wereld en breng uw ervaringen tot leven met geluid!