遥操作中的HMD混合现实界面设计文献综述

1. 文献综述（或调研报告）：

3.1 课题涉及技术概述

本课题核心内容为将VR画面模拟成AR的样式，因此首先要明确AR与VR各自的定义以及各自的应用领域和应用成果。两者在本课题中是为机器人的遥操作提供更好的使用体验，因此遥操作相关的应用领域也需要加以研究。其次考虑到本次项目涉及内容中包含让人体舒适的界面设计相关内容，需要参考人因工程中和视觉相关的设计案例和设计理论。另外对于本次课题使用的HMD设备HTC Vive相关功能，参数的特点进行调研。

3.1.1 增强现实概述

增强现实技术是VR技术一个重要分支，最早由波音公司提出，旨在增强用户对现实世界的感知。所以增强现实技术很适合被应用到人机交互领域中，也是人机交互未来发展方向。

增强现实是一种将虚拟现实和真实世界巧妙融合的技术。通过捕捉真实环境中的物体，利用实时跟踪、传感、智能交互等技术，依靠计算机技术实现虚拟信息和真实信息的融合展现^[1]。这种实时交互性的优点决定了AR技术在人机交互领域的应用中能够产生更便捷、更自然的交互体验。

目前国外各大高校、实验室、研究所主要把研究重点放在增强现实实现的核心算法、人机交互方式、软硬件平台等方面。而国内相对较晚，但近几年也得到了深入发展。目前，增强现实在军事、医疗、教育、娱乐等方面都得到了广泛应用。

3.1.2 增强现实在机器人操控中的使用案例

哈尔滨工业大学设计的系统远程端由机械臂完成与工作环境的交互,其手部与双目摄像头构成的手眼系统通过双目视觉匹配获取三维信息,并在系统初始化阶段完成工作环境三维模型的建立。随后,该系统会在运行过程中对这一模型进行更新。增强现实技术在本系统中的具体应用主要体现在本地端的功能设计上。首先,本地端采用基准标记对观测摄像头进行注册,以确定待显示数字内容与摄像头之间应具有的相对位置关系,进而实现远处工作场景三维模型在本地端与真实环境的融合显示功能。其次,本地端还实现了用户与该场景模型之间的手势交互功能^[2]。

3.1.3 虚拟现实概述