Freigeben über

Bewährte Methoden für räumlichen Klang

  • Artikel

Wenn Sie noch nicht mit raumbezogenem Sound arbeiten, lesen Sie unsere Übersicht über räumlichen Sound.

Sie können Sound verwenden, um das mentale Modell des Benutzers über den Anwendungszustand zu informieren und zu stärken. Verwenden Sie gegebenenfalls die Verräumung, um Sounds in der Mixed Reality-Welt zu platzieren. Wenn Sie auditive und visuelle Elemente auf diese Weise verbinden, vertiefen Sie die intuitive Natur der Interaktionen und erhöhen das Vertrauen der Benutzer.

Wann Sounds hinzugefügt werden sollen

Mixed Reality-Anwendungen haben häufig einen größeren Bedarf an Sound als 2D-Apps, da sie keine taktile Schnittstelle haben. Fügen Sie Sounds hinzu, wenn sie den Benutzer informieren oder Interaktionen verstärken.

Informieren und stärken

  • Verwenden Sie für Ereignisse, die nicht vom Benutzer initiiert werden, z. B. Benachrichtigungen, sound, um den Benutzer darüber zu informieren, dass eine Änderung aufgetreten ist.
  • Interaktionen können mehrere Phasen aufweisen. Verwenden Sie Sound, um Phasenübergänge zu verstärken.

Sehen Sie sich die folgenden Beispiele für Interaktionen, Ereignisse und vorgeschlagene Soundmerkmale an.

Zurückhaltung üben

Benutzer verfügen nicht über eine unbegrenzte Kapazität für Audioinformationen.

  • Jeder Sound sollte spezifische, wertvolle Informationen vermitteln.
  • Wenn Ihre App einen Sound wiedergibt, um den Benutzer zu informieren, verringern Sie vorübergehend die Lautstärke anderer Sounds.
  • Fügen Sie für Schaltflächen-Hoversounds (siehe die folgenden Informationen) eine Zeitverzögerung hinzu, um übermäßige Soundauslösung zu verhindern.

Verlassen Sie sich nicht nur auf Sounds

Sounds, die gut verwendet werden, sind für Ihre Benutzer wertvoll. Stellen Sie jedoch sicher, dass Ihre Anwendung auch bei ausgeschaltetem Sound verwendet werden kann.

  • Benutzer können schwerhörig sein.
  • Ihre Anwendung kann in einer lauten Umgebung verwendet werden.
  • Benutzer haben möglicherweise Bedenken hinsichtlich des Datenschutzes oder andere Gründe, die Geräteaudio zu deaktivieren.

So sonifizieren Sie Interaktionen

Interaktionstypen in Mixed Reality umfassen Gesten, direkte Manipulation und Stimme. Verwenden Sie die folgenden vorgeschlagenen Merkmale, um Sounds für diese Interaktionen auszuwählen oder zu entwerfen.

Gesteninteraktionen

In Mixed Reality können Benutzer mit Schaltflächen mit einer Maus interagieren. Schaltflächenaktionen treten in der Regel auf, wenn der Benutzer loslässt, anstatt die Schaltfläche zu drücken, um dem Benutzer die Möglichkeit zu geben, die Interaktion abzubrechen. Verwenden Sie Sounds, um diese Phasen zu verstärken. Um Benutzer bei der Ausrichtung entfernter Schaltflächen zu unterstützen, sollten Sie auch einen Zeiger-Hover-Sound verwenden.

  • Tastendruckgeräusche sollten ein kurzes, taktiles "Klicken" sein.
    Beispiel: MRTK_ButtonPress.wav
  • Taste-"Unpress"-Sounds sollten ein ähnliches taktiles Gefühl haben. Eine höhere Tonhöhe als der Pressesound verstärkt das Gefühl der Vervollständigung.
    Beispiel: MRTK_ButtonUnpress.wav
  • Für Hover-Sounds sollten Sie einen subtilen und nicht bedrohlichen Sound verwenden, z. B. einen niederfrequenten Thud oder bump.

Direkte Manipulation

Auf HoloLens 2 unterstützt die artikulierte Handverfolgung die direkte Manipulation von Benutzeroberflächenelementen. Sounds sind wichtig, wenn es kein anderes physisches Feedback gibt.

Ein Tastendruckton ist wichtig, da der Benutzer keinen anderen Hinweis erhält, wenn er den unteren Rand des Tastenstrichs erreicht. Soundanzeigen der Schlüsselreise können klein, subtil und verdeckt sein. Wie bei Gesteninteraktionen sollten Tastendrücke einen kurzen, taktilen Klang wie ein Klick erhalten. Unpresss sollten einen ähnlichen Klicksound haben, aber mit erhöhter Tonhöhe.

Es ist schwierig, eine Greif- oder Freigabeaktion visuell zu bestätigen. Die Hand des Benutzers wird oft jedem visuellen Effekt im Weg stehen, und hartkörperige Objekte fehlen ein reales visuelles Analogon des "Greifens". Sounds können effektiv erfolgreiche Interaktionen zum Greifen und Freigeben kommunizieren.

  • Greifaktionen sollten einen kurzen, etwas dumpf wirkenden Klang haben, der die Vorstellung von Fingern angibt, die um ein Objekt herum schließen. Manchmal gibt es auch einen "Whoosh"-Sound, der zum greifenden Ton führt, um die Bewegung der Hand zu kommunizieren.
    Beispiel: MRTK_Move_Start.wav
  • Releaseaktionen sollten einen ähnlich kurzen und taktilen Sound erhalten. Es ist in der Regel niedriger als der Greifersound und in umgekehrter Reihenfolge, mit einem Aufprall und dann einem "Whoosh", um zu kommunizieren, dass sich das Objekt an ort und Stelle befindet.
    Beispiel: MRTK_Move_End.wav

Eine Zeichnungsinteraktion sollte einen persistenten, schleifenden Klang mit der Lautstärke erhalten, die durch die Handbewegung des Benutzers bestimmt wird. Es sollte leise sein, wenn die Hand des Benutzers still ist, und am lautesten, wenn sich die Hand schnell bewegt.

Sprachinteraktionen

Sprachinteraktionen weisen häufig subtile visuelle Elemente auf. Verwenden Sie Sounds, um Interaktionsphasen zu verstärken. Möglicherweise möchten Sie klanglichere Sounds verwenden, um sie von Gesten- und direkten Manipulationsgeräuschen zu unterscheiden.

  • Verwenden Sie einen positiv klingenden Ton für Sprachbefehlsbestätigungen. Steigende Töne und große musikalische Intervalle sind effektiv.
  • Verwenden Sie einen kürzeren, weniger positiv klingenden Ton für Sprachbefehlsfehler. Vermeiden Sie negative Sounds. Verwenden Sie stattdessen einen perkussiven, neutralen Sound, um zu kommunizieren, dass sich die Anwendung von der Interaktion fortbewegt.
  • Wenn Ihre Anwendung über ein Aktivierungswort verfügt, verwenden Sie einen kurzen, sanften Ton, wenn das Gerät mit dem Lauschen beginnt. Verwenden Sie einen subtilen Schleifensound, während die Anwendung lauscht.

Benachrichtigungen

Benachrichtigungen signalisieren Änderungen des Anwendungszustands und andere Ereignisse, die der Benutzer nicht initiiert hat. Zustandsänderungen können Prozessabschlüsse, Nachrichten und Telefonanrufe umfassen.

In Mixed Reality bewegen sich Objekte manchmal aus dem Sichtfeld des Benutzers. Koppeln Sie sich bewegende animierte Objekte mit einem verräumlichten Sound, der vom Objekttyp und der Bewegungsgeschwindigkeit abhängt.

  • Es hilft, einen verräumlichten Sound am Ende einer Animation wiederzugeben, um den Benutzer über die neue Position des Objekts zu informieren.
  • Bei allmählichen Bewegungen hilft ein "Whoosh"-Sound während der Bewegung dem Benutzer, das Objekt nachzuverfolgen.

Nachrichtenbenachrichtigungsgeräusche können wiederholt, manchmal in schneller Folge zu hören sein. Es ist wichtig, dass sie nicht auffallen oder hart klingen. Positive Tontöne im mittleren Bereich sind effektiv.

  • Eingehende Anrufgeräusche sollten ähnliche Qualitäten wie ein Handy-Klingelton aufweisen. Diese Sounds sind looping musikalische Phrasen, die so lange wiedergegeben werden, bis der Benutzer den Anruf angibt.
  • Sprachkommunikationsverbindung und Trennung sollten einen kurzen tonalen Klang aufweisen. Der Verbindungssound sollte ein positiver Ton sein, um auf eine erfolgreiche Verbindung hinzuweisen. Der Trennungssound sollte ein neutraler Sound sein, um den Abschluss des Anrufs anzuzeigen.

Behandeln der Verräumung

Bei der Verräumung werden Stereokopfhörer oder Lautsprecher verwendet, um Sounds in der Mixed Reality-Welt zu platzieren.

Welche Sounds sollen verräumlich werden?

Ein Sound sollte verräumlicht werden, wenn er einem Ereignis zugeordnet ist, das über eine räumliche Position verfügt. Dies umfasst die Benutzeroberfläche, verkörperte KI-Stimmen und visuelle Indikatoren.

Verräumen Sie Benutzeroberflächenelemente , um den akustischen "Raum" des Benutzers zu verwischen, indem sie die Anzahl der Stereosounds, die er hört, begrenzen. Manipulationsinteraktionen wie Berühren, Greifen und Freigeben wirken natürlicher, wenn Audiofeedback verräumlicht ist. Beachten Sie die folgenden Informationen zur Entfernungsdämpfung für diese Elemente.

Verräumen Sie visuelle Indikatoren und verkörperte KI-Stimmen , um Benutzer intuitiv zu informieren, wenn sich diese Dinge außerhalb des Sichtfelds befinden.

Vermeiden Sie im Gegensatz dazu die Verräumlichung für gesichtslose KI-Stimmen und andere Elemente, denen eine klar definierte räumliche Position fehlt. Die Verräumung ohne ein verwandtes visuelles Element kann Benutzer davon ablenken, dass es ein visuelles Element gibt, das sie nicht finden können.

Die Verräumung ist mit einigen CPU-Kosten verbunden. In vielen Anwendungen werden höchstens zwei Sounds gleichzeitig wiedergegeben. Die Kosten der Verräumlichung sind in diesem Fall wahrscheinlich vernachlässigbar. Sie können den MRTK-Framerate-Monitor verwenden, um die Auswirkungen des Hinzufügens der Verräumlichung zu beurteilen.

Wann und wie die entfernungsbasierte Dämpfung angewendet wird

In der physischen Welt sind weiter entfernte Geräusche leiser. Ihre Audio-Engine kann diese Dämpfung basierend auf dem Quellabstand modellieren. Verwenden Sie die entfernungsbasierte Dämpfung, wenn sie relevante Informationen kommuniziert.

Die Entfernungen zu visuellen Indikatoren, animierten Hologrammen und anderen informativen Sounds sind für den Benutzer relevant. Verwenden Sie die entfernungsbasierte Dämpfung, um intuitiv Hinweise bereitzustellen.

Passen Sie die Dämpfungskurve für jede Quelle an die Größe der Räume Ihrer Mixed Reality-Welt an. Die Standardkurve Ihrer Audio-Engine ist häufig für große Räume (bis zu einem halben Kilometer) vorgesehen.

Sounds, die die progressiven Phasen von Schaltflächenaktionen und anderen Interaktionen verstärken, sollten nicht angewendet werden. Die verstärkenden Effekte dieser Sounds sind wichtiger als die Kommunikation des Abstands zur Schaltfläche. Variationen können ablenkend sein, insbesondere bei Tastaturen, wenn viele Tastenklicks nacheinander zu hören sind.

Welche Verräumungstechnologie soll verwendet werden?

Verwenden Sie mit Kopfhörern oder den HoloLens-Lautsprechern hrTF-basierte Verräumlichungstechnologien (Head Related Transfer Function, HRTF). Diese Technologien modellieren die Schallausbreitung um den Kopf in der physischen Welt. Selbst wenn sich eine Schallquelle auf der fernen Seite des Kopfes befindet, breitet sich der Klang mit etwas Dämpfung und Verzögerung bis zum entfernten Ohr aus. Die Sprecherverschiebung basiert nur auf der Dämpfung und wendet eine vollständige Dämpfung im linken Ohr an, wenn sich Töne auf der rechten Seite befinden, und umgekehrt. Diese Technik kann für "normale Hörer" unbequem und für Hörer, die schwerhörig in einem Ohr sind, unzugänglich sein.

Nächste Schritte