Was ist Mixed Reality?
Mixed Reality ist der nächste Entwicklungsschritt des Computings, der auf Mainframes, PCs und Smartphones folgt. Mixed Reality wird für Consumer und Unternehmen zum Mainstream. Es befreit uns von bildschirmgebundenen Erfahrungen, indem es instinktive Interaktionen mit Daten in unseren Lebensräumen und mit unseren Freunden ermöglicht. Hunderte von Millionen Online-Entdecker auf der ganzen Welt haben Mixed Reality über ihre Handheld-Geräte erlebt. Mobile AR bietet derzeit die massentauglichsten Mixed Reality-Lösungen in den sozialen Medien. Die Benutzer merken möglicherweise nicht einmal, dass die AR-Filter, die sie auf Instagram verwenden, Mixed Reality-Erfahrungen sind. Windows Mixed Reality hebt all diese Benutzererfahrungen auf die nächste Stufe – mit atemberaubenden holografischen Darstellungen von Menschen, holografischen High-Fidelity-3D-Modellen und der realen Welt, die sie umgibt.
Mixed Reality ist eine Mischung aus physischer und digitaler Welt, die die natürliche und intuitive 3D-Interaktion zwischen Menschen, Computern und Umgebung freisetzt. Diese neue Realität wird durch Fortschritte beim maschinellen Sehen, der Grafikverarbeitung, den Anzeigetechnologien, Eingabesystemen und dem Cloud Computing ermöglicht. Der Begriff Mixed Reality wurde 1994 in einem Dokument von Paul Milgram und Fumio Kishino eingeführt, „A Taxonomy of Mixed Reality Visual Displays“. In ihrem Artikel wurden das Konzept eines Virtualitätskontinuums und die Taxonomie visueller Displays untersucht. Seitdem hat sich die Anwendung von Mixed Reality über Displays hinaus entwickelt und beinhaltet nun:
- Umgebungsverständnis: räumliche Abbildung und Raumanker.
- Menschliches Verstehen: Handtracking, Eyetracking und Spracheingabe.
- Raumklang.
- Orte und Positionierung in physischen wie in virtuellen Räumen.
- Zusammenarbeit an 3D-Ressourcen in Mixed Reality-Bereichen.
Abbildung: Mixed Reality ist das Ergebnis der Verschmelzung der physischen Welt mit der digitalen Welt.
Umgebungseinfluss und Wahrnehmung
In den vergangenen Jahrzehnten hat sich die Beziehung zwischen Mensch und Computer durch die Eingabemethoden immer weiter entwickelt. Eine neue Disziplin hat sich entwickelt, die als Mensch-Computer-Interaktion oder „HCI“ (Human Computer Interaction) bezeichnet wird. Menschliche Eingaben können nun Tastaturen, Mäuse, Berührung, Freihand, Sprache und Kinect-Skelettnachverfolgung umfassen.
Fortschritte bei Sensoren und Verarbeitungsleistung erzeugen neue Computerwahrnehmungen von Umgebungen, basierend auf erweiterten Eingabemethoden. Daher werden die Namen von APIs in Windows, die Umgebungsinformationen offenlegen, als Wahrnehmungs-APIs bezeichnet. Umgebungseingaben können Folgendes erfassen:
- Die Körperposition einer Person in der physischen Welt (Kopf-Tracking (Nachverfolgung))
- Objekte, Oberflächen und Grenzen (räumliche Abbildung und Szenenverständnis)
- Umgebungslicht und -geräusche
- Objekterkennung
- Physische Orte
Abbildung: Die Interaktionen zwischen Computern, Menschen und Umgebungen.
Die Kombination dreier wesentlicher Elemente bildet die Grundlage für die Schaffung echter Mixed Reality-Erfahrungen:
- Von der Cloud unterstützte Computerverarbeitung
- Erweiterte Eingabemethoden
- Wahrnehmung der Umgebung
Während wir uns durch die physische Welt bewegen, werden unsere Bewegungen in einer digitalen Realität abgebildet. Physische Grenzen haben Einfluss auf die Mixed Reality-Erfahrungen, wie z. B. Spiele oder aufgabenbezogene Anleitungen in einer Fertigungsanlage. Mit Umgebungseingaben und -wahrnehmungen beginnen Erfahrungen physische und digitale Realitäten zu vermischen.
Das Spektrum von Mixed Reality
Mixed Reality vermischt sowohl physische als auch digitale Welten. Diese beiden Realitäten markieren die Pole eines Spektrums, das als Virtualitätskontinuum bezeichnet wird. Wir bezeichnen dieses Spektrum von Realitäten als Mixed Reality-Spektrum. Am einen Ende des Spektrums liegt die physische Realität, in der wir als Menschen leben. Am anderen Ende des Spektrums befindet sich die entsprechende digitale Realität.
Augmented Reality im Vergleich mit Virtual Reality
Die meisten aktuell auf dem Markt verfügbaren Mobiltelefone haben kaum oder keine Fähigkeiten zur Wahrnehmung der Umgebung. Die von diesen Telefonen angebotenen Erfahrungen können keine Mischung aus physischer und digitaler Realität anbieten.
Die Benutzererfahrungen, bei denen Grafiken, Videostreams oder Hologramme in der realen Welt überlagert werden, werden als „Augmented Reality“ bezeichnet. Die Benutzererfahrungen, die Ihre Sicht verdecken, um ein vollständig immersives, digitales Erlebnis darzustellen, sind virtuelle Realität („Virtual Reality“). Die Erfahrungen, die Übergänge zwischen Augmented Reality und virtueller Realität ermöglichen können, bilden die „Mixed Reality“, in der Sie folgende Möglichkeiten haben:
- Platzieren eines digitalen Objekts, z. B. eines Hologramms, in der physischen Welt, als ob es physisch vorhanden wäre.
- Persönliche und digitale Anwesenheit des Benutzers in der physischen Welt in Form eines Avatars, um asynchron mit anderen zu unterschiedlichen Zeitpunkten zusammenzuarbeiten.
Wenn sich ein Benutzer in virtueller Realität befindet, werden die physischen Hindernisse in seiner unmittelbaren Umgebung, z. B. Wände und Möbel, innerhalb der Erfahrung digital dargestellt, sodass der Benutzer den Zusammenstoß mit diesen physischen Hindernissen vermeiden kann.
Abbildung: Das Spektrum von Mixed Reality
Die meisten heute verfügbaren Erfahrungen für Augmented Reality und Virtual Reality stellen nur eine kleinen Teil des größeren Mixed Reality-Spektrums dar. Windows 10 wurde im Hinblick auf das gesamte Spektrum konzipiert und ermöglicht das Mischen digitaler Darstellungen von Personen, Orten und Gegenständen mit der realen Welt.
Geräte und Erlebnisse
Es gibt zwei Hauptarten von Geräten, die Windows Mixed Reality-Erlebnisse bieten:
- Holografische Geräte zeichnen sich durch die Fähigkeit aus, digitale Objekte so darzustellen, als wären sie in der realen Welt vorhanden.
- Immersive VR-Geräte zeichnen sich durch deren Fähigkeit aus, einen Eindruck von „Gegenwart“ zu erzeugen, indem die physische Welt komplett ausgeblendet und durch ein vollständig immersives, digitales Erlebnis ersetzt wird.
| Merkmal | Holografische -Geräte | Immersive Geräte |
|---|---|---|
| Beispielgerät | Microsoft HoloLens
| Samsung HMD Odyssey+
|
| Anzeige | Transparente Anzeige. Ermöglicht dem Benutzer, die physische Umgebung zu sehen, während er das Headset trägt. | Opake Anzeige. Sperrt die physische Umgebung während des Tragens des Headsets aus. |
| Movement | Volle sechs Freiheitsgrade für Bewegung, sowohl Drehung als auch Verschiebung. | Volle sechs Freiheitsgrade für Bewegung, sowohl Drehung als auch Verschiebung. |
Hinweis
Ob ein Gerät (per USB-Kabel oder WLAN) mit einem separaten PC verbunden oder nicht verbunden ist, sagt nichts darüber aus, ob das Gerät holografisch oder immersiv ist. Features, die die Mobilität verbessern, bieten häufig bessere Erfahrungen. Holografische und immersive Geräte können entweder verbunden oder nicht verbunden sein.
Mixed Reality-Erfahrungen sind das Ergebnis technologischer Fortschritte. Windows 10 bietet eine gemeinsame Mixed Reality-Plattform für Gerätehersteller und Entwickler. Heutzutage kann jedes Gerät einen bestimmten Bereich innerhalb des Mixed Reality-Spektrums unterstützen. In Zukunft sind neue Geräte mit umfangreicheren Bereichen zu erwarten: holografische Geräte werden stärker immersiv und immersive Geräte werden stärker holografisch.
Abbildung: Der Platz von Geräten im Mixed Reality-Spektrum
Welche Art von Erfahrungen möchten Sie als Anwendungs- oder Spieleentwickler erstellen? Die Erfahrungen zielen normalerweise auf einen bestimmten Punkt oder Teil des Spektrums ab. Sie müssen die Funktionen von Geräten berücksichtigen, für die Sie entwickeln möchten. Erfahrungen, die auf der physischen Welt basieren, lassen sich optimal in HoloLens ausführen.
- Mehr links (nahe an der physischen Realität). Benutzer verbleiben in ihrer physischen Realität, und ihnen wird nicht vermittelt, sie hätten diese Realität verlassen.
- In der Mitte (vollständige Mixed Reality). Diese Benutzererfahrungen bestehen aus einer Mischung aus realer Welt und digitaler Welt. Beispielsweise wurde im Film Jumanji die physische Struktur des Hauses, in dem die Geschichte spielt, mit einer Dschungelumgebung gemischt.
- Mehr rechts (nahe an der digitalen Realität). Benutzer erleben eine digitale Realität und sind sich der sie umgebenden physischen Realität nicht mehr bewusst.
Nächster Erkundungsprüfpunkt
Sie befinden sich am Anfang der Erkundungs-Journey, die wir für Sie entworfen haben, und erkunden gerade die Grundlagen der Mixed Reality. Von hier aus können Sie mit dem nächsten grundlegenden Thema fortfahren: