交互模型
混合现实工具包让你可以使用来自各种输入源的输入,例如控制器、关节人手或语音。 要选择最适合你的混合现实体验的交互模型,需要确定用户和他们的目标,并考虑可能会影响用户体验的任何情境或环境因素。 接下来,你将学习混合现实体验的三种主要交互模型,以及如何在 Unity 中模拟输入。
交互模型
有三种主要的交互模型适合大多数混合现实体验。
模型 | 示例方案 | 适合 |
---|---|---|
手部和运动控制器 | 3D 空间体验,如空间布局和设计、内容操作或模拟。 | 非常适合新用户,可与语音、眼动跟踪或头部凝视结合使用。 可轻易掌握。 手部跟踪和 6DoF 控制器之间的用户体验一致。 |
免手动 | 用户的双手被占用的情境体验,如在职学习和维护。 | 必需进行一些学习。 如果双手被占用,则设备可以很好地与语音和自然语言配对。 |
凝视并提交 | 点入浏览体验(例如,3D 演示文稿或演示)。 | 需要在头戴式设备上训练,而不是在移动设备上。 最适用于可访问的控制器。 |
尽管可以将多个交互模型的部分组合到混合现实体验中,但请注意,这样做会产生用户输入竞争的风险,如同时使用手部射线和头部凝视光标。 这可能会让用户感到不知所措和困惑。
如果你的体验确实需要多个交互模型,请注意,在从一个模型转换到另一个模型时,许多用户都可能会遇到困难,尤其是刚刚开始接触混合现实的用户。
手部和运动控制器模型
手部和运动控制器模型要求用户使用一只或两只手与全息影像交互。 此模型消除了虚拟世界和现实世界之间的界限。
一些具体方案包括:
- 为信息工作者提供包含 UI 的 2D 虚拟屏幕来显示和控制内容
- 为一线工作者提供关于工厂装配线的教程和指南
- 开发用于协助和教育医疗专业人员的专业工具
- 使用 3D 虚拟对象来装饰现实世界,或创建另一个世界
- 以现实世界为背景创建基于位置的服务和游戏
有三种手部和运动控制器模态:
- 用手直接操作
- 用手指向并提交
- 运动控制器
免手动模型
借助免手动模型,用户不用手也可以与全息内容进行交互。 如果用户可能需要用手来完成自己在现实世界的目标,并且无法与基于手部和控制器的界面进行交互,那么最好使用这种方法。
一些具体的场景包括:
- 在用户双手被占用时引导用户完成任务
- 在用户双手被占用时参考材料
- 手部疲劳
- 无法跟踪手套
- 手里拿着东西
- 避免在做大幅度手势时的社交尴尬
- 狭小空间
有两种免手动形态:
- 语音输入
- 凝视并停留
凝视并提交
“凝视并提交”是一种输入模型,与我们使用鼠标进行指向和单击来与计算机交互的方式密切相关。 “凝视并提交”被认为是包含间接操作的远点输入模型。 因此,在与无法触及的全息内容交互时,最好使用“凝视并提交”。 有两种类型的凝视输入(头部凝视和眼睛凝视),以及不同的提交操作。
在通过凝视定目标到对象或 UI 元素后,用户可以使用辅助输入与之交互或选中它。 这被称为输入模型的提交步骤。 提交方法包括语音命令、按下按钮或手势。
Unity 编辑器内输入模拟
借助 Unity 编辑器内输入模拟,可以在使用手部或眼睛交互时测试全息对象行为。
如何在场景中移动:
- 使用 W/A/S/D 键来向前/向左/向后/向右移动摄像机。
- 使用 Q/E 键来垂直移动摄像机。
- 按住鼠标右键来旋转摄像头。
如何模拟手部输入:
- 按住空格键来启用右手。
- 在按住空格键的同时,移动鼠标来移动手。
- 使用鼠标滚轮来调整手的深度。
- 单击鼠标左键来模拟收缩手势。
- 使用 T/Y 键来让手持续显示在视图中。
- 按住 CTRL 键并移动鼠标来旋转手。
- 按住左 Shift 键来启用左手。