Hand Coach
Handcoach löst 3D-modellierte Hände aus, wenn das System die Hände des Benutzers nicht erkennt. Dieses Feature ist eine "Unterrichtskomponente", die den Benutzer anleiten kann, wenn die Geste nicht gelehrt wurde. Wenn Benutzer die angegebene Geste für einen bestimmten Zeitraum nicht ausgeführt haben, werden die Hände mit einer Verzögerung schleifen. Der Hand-Coach kann verwendet werden, um das Drücken einer Taste oder das Aufnehmen eines Hologramms darzustellen.
Handcoach bereitgestellt
Das aktuelle Interaktionsmodell stellt eine Vielzahl von Gestensteuerelementen dar, z. B. Scrollen, Fernauswahl und Tippen beim Tippen. Im Folgenden finden Sie eine vollständige Liste der vorhandenen Handgesten, die in MRTK bereitgestellt werden:
Beispiel für Near Select – Wird verwendet zeigt, wie Schaltflächen ausgewählt oder interagierbare Objekte geschlossen werden.
Beispiel für Air Tap : Wird verwendet, um zu zeigen, wie Objekte ausgewählt werden, die weit entfernt sind
Beispiel für das Verschieben eines Objekts im Raum: Wird verwendet, um zu zeigen, wie ein Hologramm im Raum verschoben wird
Beispiel für Rotate-Used, um zu zeigen, wie Hologramme oder Objekte gedreht werden
Beispiel für skalierung: Wird verwendet, um zu zeigen, wie Hologramme so bearbeitet werden, dass sie größer oder kleiner sind
Beispiel für Palm up – Empfohlene Verwendung zum Aufrufen von Handmenüs
Beispiel für Hand flip – Eine weitere Möglichkeit zum Aufrufen von Handmenüs
Beispiel für bildlauf : Wird zum Scrollen einer Liste oder eines langen Dokuments verwendet
Entwurfskonzepte
Für Hololens2 haben wir Interaktionen mit der Hand basierend auf instinktiven und natürlichen Handgesten entworfen. Wir glauben, dass diese für die meisten Benutzer intuitiv sind, daher haben wir keine dedizierten Gestenlernmomente erstellt. Stattdessen haben wir den Handcoach erstellt, um Benutzern zu helfen, mehr über diese Gesten zu erfahren, wenn sie hängen bleiben oder mit Hologramminteraktionen nicht vertraut sind. Ohne einen Lernmoment waren wir der Meinung, dass es die beste Option wäre, Benutzern zu zeigen, wie sie eine Aktion ausführen können, indem sie demonstriert wird. Wir haben festgestellt, dass Benutzer die Geste herausfinden konnten, aber ein wenig Anleitung benötigten. Wenn wir feststellen, dass ein Benutzer für einen bestimmten Zeitraum nicht mit einem Objekt interagiert, wird ein Hand-Coach ausgelöst, der die richtige Hand- und Fingerposition zeigt.
Intuitiv
Beim Animieren von Händen sollte es offensichtlich sein und sollte keine Verwirrung verursachen. Die Handanimation ist eine Darstellung der Geste, die Sie versuchen, den Benutzer zum Verstehen aufzufordern.
Wenn Sie z. B. möchten, dass ein Benutzer eine Schaltfläche drückt, wird eine Hand ausgelöst, die eine Schaltfläche drückt.
Hand Coach zeigt near Tapping a Gem
Handwaage
Wir haben verschiedene Handgrößen mit den UI-Menüs getestet und waren der Meinung, dass die Hände, wenn sie richtig waren, ein bedrohliches Gefühl gab. Wenn sie zu klein waren, war es schwer, die Geste zu erkennen und zu verstehen.
Voiceover und Hände
Erwarten Sie nicht, dass Benutzer eine Reihe von Anweisungen per Voiceover hören und verschiedene Anweisungen über Hand Coach watch können. Sequenzieren Sie Ihre Anweisungen, um Benutzern zu helfen, sich auf ihre Aufmerksamkeit zu konzentrieren oder um ihre Aufmerksamkeit zu konkurrieren, um die Sensorüberlastung zu reduzieren.
Kann ich eine eigene erstellen?
Ja! Wir empfehlen Ihnen, Ihre eigene einzigartige Geste für Ihr Spiel zu schaffen und sich zurück in die Community zu engagieren! Wir haben eine Maya-Datei mit einer rigged Hand bereitgestellt, die für Ihre App verwendet werden kann, die hier heruntergeladen werden kann: Download HandCoach_MRTK.zip
Beispiel für animiertes Hand-Instöppen einer Box in Maya
Empfohlenes Erstellungstool
Unter 3D-Künstlern entscheiden sich viele für die Verwendung von Autodesk Maya, die HoloLens verwenden kann, um die Art und Weise zu transformieren, wie Ressourcen erstellt werden. Die bereitgestellte Hands-Datei ist eine Maya-Binärdatei, daher wird empfohlen, Maya zum Animieren und Exportieren der Hände zu verwenden. Wenn Sie lieber ein anderes 3D-Programm verwenden möchten, finden Sie hier eine . FBX: Laden Sie HandCoachMRTK_FBX.zip herunter , um Ihr eigenes Controller-Setup zu erstellen.
Wenn Sie die bereitgestellte herunterladbare Maya-Handdatei verwenden, wird empfohlen, die Hände in Unity auf 0,6 herunterzuskalieren.
Manipulierte Hände
Technische Spezifikationen
- Zweihändige Datei ist im Maya Ascii-Format verfügbar
- Die rechte und linke Hand ist im Maya-Binärformat verfügbar.
- Festlegen der Maya-Datei auf 24 FPS
- Innerhalb der Datei gibt es eine linke und rechte Hand, die für zweihändige oder einhändige Gesten verwendet werden kann. Die rechte Hand ist nur standardmäßig sichtbar.
- Es wird empfohlen, am Anfang und Ende für Einblendungen einen Puffer von etwa 10 Frames zu belassen.
- Wenn Sie ein Objekt mit einem angegebenen Ziel animieren, empfiehlt es sich, ein Standardfeld oder null zu animieren.
- Wenn die Hand ein physisches Objekt wie ein Feld animiert, empfiehlt es sich, die Übersetzung nicht in Maya zu animieren, sondern zu warten, um sie in Unity oder in Code zu animieren.
- Die sichtbare Animation sollte 1,5 Sekunden lang sein, damit aussagekräftige Informationen vermittelt werden können.
- Wenn Sie mit Ihrer Animation zufrieden sind:
- Alle Gelenke auswählen und Keyframes backen
- Löschen Sie die Controller, wählen Sie die Gelenke und das Gitter aus, und exportieren Sie sie als FBX.
- Wenn mehrere Animationen vorhanden sind, können Sie den integrierten Game Exporter von Maya verwenden: https://knowledge.autodesk.com/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2015/ENU/Maya/files/Game-Exporter-htm.html
Exportieren aus Maya
Nachdem Sie mit Ihrer Animation zufrieden sind
Alle Gelenke auswählen: Hierarchie auswählen >
Animation aufbacken: Zu Animation > Key > Bake Animation wechseln
Löschen Sie die Controller rig: Outliner > MainR_Grp oder MainL_Grp
Als FBX exportieren: Auswählen von JNT + Mesh: Dateiexportauswahl > (Optionsfeld) > Exportauswahl
Wenn Sie als FBX exportieren und in Unity integrieren, skalieren Sie die Hände auf 0,6 herunter. Wir fanden heraus, dass dies eine perfekte Balance für die Anzeige der Hände war.
Unity-Einstellungen für HandCoach_R Prefab im MRTK
Implementieren von Hands in Ihr Unity-Projekt
Bewährte Methoden
Es wird empfohlen, die Hände in Unity auf 0,6 herunterzuskalieren.
Die Hände sollten zweimal wiedergegeben werden, und wenn sie nicht abgeschlossen sind, werden sie kontinuierlich in Schleife ausgeführt, bis die Geste abgeschlossen ist. Die Hände sollten zweimal in schleifen, um sicherzustellen, dass der Benutzer Zeit hatte, sich zu registrieren und die Geste zu sehen. Die Hände sollten zwischen Schleifen ein- und ausblenden.
Wenn die Hände des Benutzers von HL2-Kameras sichtbar sind, benutzer aber nicht die von ihnen benötigte Interaktion ausführen, werden die Hände nach 10 Sekunden angezeigt.
Wenn die Hände des Benutzers von HL2-Kameras NICHT sichtbar sind, werden die Hände nach 5 Sekunden angezeigt.
Wenn die Hände des Benutzers von HL2-Kameras in der Mitte der Animation sichtbar nachverfolgt werden, wird die Animation abgeschlossen und ausgeblendet.
Wenn Sie Voice-Over einschließen, wird empfohlen, dass es der Geste der Hand entspricht.
Wenn Sie die Hände mindestens einmal unterrichtet haben, wiederholen Sie die Geste nur, wenn erkannt wird, dass der Benutzer hängen bleibt.
Wenn bestimmte Finger-/Handpositionen wichtig sind, stellen Sie sicher, dass Benutzer diese Nuancen in der Animation deutlich sehen können. Versuchen Sie, die Hände zu angeln, damit die wichtigsten Teile deutlich sichtbar sind.
Wenn Sie Verzerrungen an den Händen feststellen, müssen Sie zu den Qualitätseinstellungen von Unity wechseln, um die Anzahl der Knochen zu erhöhen. Wechseln Sie zu Unitys Projekteinstellungen > bearbeiten > Qualität > Andere > Mischgewichte. Stellen Sie sicher, dass "4 Knochen" ausgewählt sind, um Glatte Gelenke zu sehen.
Was Sie vermeiden sollten
- Zu großes Skalieren der Hände
- Die Hände zu nah am Benutzer platzieren
- Hände sollten nur einmal unterrichtet werden. Überunterricht kann Verwirrung und Unordnung verursachen
- Laden Sie das neueste MRTK hier herunter, um es in Unity zu integrieren: https://github.com/microsoft/MixedRealityToolkit-Unity
- Material: Teaching_Hand2
- Skripts: Siehe MRTK-Richtlinien für MRTK-Handtrainer
- Projektspezifische Einstellung
- Szene auf UWP festgelegt: Anweisungen finden Sie im Artikel Einrichten eines neuen OpenXR-Projekts mit MRTK .