第2章虚拟现实系统的三维交互设备 娄 岩 教授 2.1输入设备 2.2输出设备 2.1.1数据手套 2.2.1头盔显示器

Presentation on theme: "第2章虚拟现实系统的三维交互设备 娄 岩 教授 2.1输入设备 2.2输出设备 2.1.1数据手套 2.2.1头盔显示器"— Presentation transcript:

1 第2章虚拟现实系统的三维交互设备 娄 岩 教授 2.1输入设备 2.2输出设备 2.1.1数据手套 2.2.1头盔显示器
2.1.2鼠标 2.1.3位置跟踪器 2.1.4数据衣 2.1.5其他输入设备 2.2输出设备 2.2.1头盔显示器 2.2.2沉浸式立体投影系统 2.2.3立体眼镜（鹰眼） 2.2.4立体声耳机

2 本章要点 了解虚拟现实系统的输入、输出设备包括哪些。
熟悉数据手套、各种位置跟踪器（如机械跟踪器、电磁跟踪器、光学式跟踪器、超声波跟踪器、惯性跟踪器、图像提取跟踪器、GPS跟踪器以及混合跟踪器）、头盔显示器。 掌握什么是维度和六自由度。

3 本章教学设计 本章教学设计 教学设计 1、虚拟现实系统的输入设备与输出设备；
一、学习知识点制作幻灯片（参考教材、课件、网络检索） 二、网络检索虚拟现实系统的输入输出设备的国内外发展现状，制作演讲幻灯片（提升能力，学生自由选作） 1、虚拟现实系统的输入设备与输出设备； 2、位置跟踪器（如机械跟踪器、电磁跟踪器、光学式跟踪器、超声波跟踪器、惯性跟踪器、图像提取跟踪器、GPS跟踪器以及混合跟踪器）； 3、维度与六自由度； 4、虚拟交互设备对使用者的健康和安全问题。

4 输入设备 虚拟现实系统的输入设备是用来输入用户发 出的动作，使用户可以驾驭一个虚拟境界。 在与虚拟场景进行交互时，大量的传感器用 来管理用户的行为，并将场景中的物体状态 反馈给用户。 定义 最简单的就是常规的二维鼠标 器，或各种控制杆； 中等复杂程度的有三维或六维 鼠标器或其它种类的控制杆； 复杂的有人体部位式跟踪器等。

5 2.1.1 数据手套 数据手套（Data Glove）是虚拟仿真应用中主要的交互设备。
数据手套 数据手套（Data Glove）是虚拟仿真应用中主要的交互设备。 数据手套可以实时获取人手的动作姿态，如进行物体抓取、移 动、旋转、装配、操纵、控制等动作，能够在虚拟环境中再现 人手动作，达到人机交互的目的，是一种通用的人机接口。

6 1.CyberGlove 数据手套 2.5DT 数据手套

7 3.DGTech虚拟现实手套 DG5 VHand数据手套是DGTech Engineering Solution公司推出的 全新的VHand数据手套版本。 数据手套需要考虑下面两个要点： 手部运动测量 该数据手套集成了三轴加速度表，在3个主轴上测量出手的加 速度 手的动向（转动和倾斜度） 加速度可分为两类，即动态和静态。动态加速度是对手部瞬 间动作的测量，可采用三轴坐标测量的方法实现。而静态加 速度取决于重力。

8 鼠标 常用的二维鼠标器是一个二自由度的输入设备，适用于平面内的交互，但在三维场景中的交互需要在不同的角度和方位对空间物体进行观察、操纵，这时三维鼠标就成为虚拟现实应用中比较重要的交互设备。 1.维度 z轴 维度，又称维数，是数学中独立 参数的数目。 三维既是坐标轴的三个轴，其中x 表示左右空间，y表示上下空间， z表示前后空间。 x轴 y轴

9 2.六自由度 平移：物体可以上下，左右运动 旋转: 物体可以围绕任何一个坐标轴旋转 三维动画技术 虚拟现实 6个自由度（DOF):
延伸、拓展 三维动画技术 虚拟现实 关键：是否具有交互性 三度 六度 2.六自由度 平移：物体可以上下，左右运动 旋转: 物体可以围绕任何一个坐标轴旋转 6个自由度（DOF): 三个平移自由度: 用于描述三维对象的X、Y、Z坐标值； 三个旋转自由度: 俯仰角（Pitch）、横滚角（Roll）及航向角（Yaw） 因此虚拟现实是六度，而非三维动画的三度。

10 鼠标 三维鼠标是虚拟现实应用中比较重要的交互设备，可以从不同的角度和方位对三维物体进行观察、浏览和操纵。

11 2.1.3 位置跟踪器 跟踪器：虚拟现实系统中用于测量三维对象位置和方向实时变化的专门硬件设备称为跟踪器。 定义 工作方式 性能指标
位置跟踪器 跟踪器：虚拟现实系统中用于测量三维对象位置和方向实时变化的专门硬件设备称为跟踪器。 定义 信号 传感器 解码 计算机部件 固定发射器 时间运行系统 三维图形环境处理系统 确定发射器与接收器之间的相对位置及方位 数据 工作方式 性能指标  精度（accuracy）、 抖动（jitter）、 偏差（drift）、 延迟（latency）

12 工作原理：是通过机械连杆装置上的参考点与被测物体相 接触的方法来检测其位置的变化。
1.机械跟踪器 工作原理：是通过机械连杆装置上的参考点与被测物体相 接触的方法来检测其位置的变化。 简单且易于使用； 在跟踪器的工作范围内，它们的精度保持相对稳定， 不受周围环境中的金属物质和磁场的影响； 抖动比较小，延迟比较低； 机械跟踪器与被跟踪对象之间没有视觉阻挡问题。 优点 工作范围有限； 用户运动的自由度被减小； 需要同时使用多个机械跟踪器时，问题就会变得更加混乱； 会导致用户疲劳，从而不断降低在虚拟环境中的沉浸感。 缺点

13 工作原理：利用磁场的强度来进行位置和方向跟踪。
2.电磁跟踪器 工作原理：利用磁场的强度来进行位置和方向跟踪。 其敏感性不依赖于跟踪方位； 基本不受视线阻挡的限制； 体积小、价格便宜； 因此对于手部的跟踪大都采用此类跟踪器。 优点 延迟较长； 跟踪范围小； 容易受环境中大的金属物体或其他磁场的影响，从而导致信号发生畸变，跟踪精度降低。 缺点

14 3.光学式跟踪器 工作原理：采用摄像装置或光敏器接收具有一定几何分布 的光源所发出的光，通过接收的图像及光源和传感器的空 间位置来计算运动物体的6个自由度信息。 光路无遮挡； 不受金属物质的干扰； 具有较高的更新率和较低的延迟； 工作范围较大 优点 需要与被追踪物体保持在无障碍的视线之中，很多光学追踪器需要校准 缺点

15 光学跟踪器使用的主要有三种技术： 标志系统 模式识别系统 激光测距系统
标志系统：是利用传感器（如照相机或摄像机）监测发射器（如红外线发光二极管）的位置进行追踪。 模式识别系统：把发光器件按某一阵列排列，并将其固定在被跟踪对象身上，由摄像机记录运动阵列模式的变化，通过与已知的样本模式进行比较从而确定物体的位置。 激光测距系统：将激光通过衍射光栅发射到被测对象，然后接收经物体表面反射的二维衍射图的传感器记录。

16 工作原理：发射器发出高频超声波脉冲(频率20KHz以上)， 由接收器计算收到信号的时间差、相位差或声压差等，即 可确定跟踪对象的距离和方位。
4.超声波跟踪器 工作原理：发射器发出高频超声波脉冲(频率20KHz以上)， 由接收器计算收到信号的时间差、相位差或声压差等，即 可确定跟踪对象的距离和方位。 不受环境磁场及铁磁物体的影响； 同时不产生电磁辐射； 价格便宜。 优点 受温度影响； 采用多路复用，仿真延迟较大； 空气中超声波有衰减； 超声波跟踪器的发射器和接收器之间要求是畅通无阻； 背景噪声和其他超声源也会破坏跟踪器的信号。 缺点

17 按测量方法的不同，超声波跟踪定位技术可分为两种：
两种技术 飞行时间测量法 相位相干测量法 飞行时间（Time Of Flight，TOF）测量法 同时使用多个发射器和接收器，通过测量超声波从发出到反射回来的飞行时间计算出准确的位置和方向。 相位相干（Phase Coherent，PC）测量法 通过比较基准信号和发射出去后发射回来的信号之间的相位差来确定距离。

18 5.惯性跟踪器 工作原理：是利用小型陀螺仪测量对象在其倾角、偏角和 转角方面的数据。利用陀螺测量三个转动自由度的角度变 化，利用加速度计测量三个平动自由度的位移。通过盲推 的方法得出被跟踪物体的位置。 不存在发射源、不怕遮挡、没有外界干扰； 有无限大的工作空间； 抖动（传感器噪声可通过积分过滤掉）很小。 优点 缺点 快速积累误差

19 工作原理：是由一组摄像机拍摄人及其动作，然后通过图 像处理技术的运算和分析来确定人的位置及动作。
6.图像提取跟踪器 工作原理：是由一组摄像机拍摄人及其动作，然后通过图 像处理技术的运算和分析来确定人的位置及动作。 对用户没有约束； 不受附近的磁场或金属物质的影响； 在使用上非常方便。 优点 对被跟踪物体的距离和环境的背景等要求较高 采用较少的摄像机可能使被跟踪环境中物体出现在拍摄视野之外； 较多的摄像机又会增加采样识别算法复杂度与系统冗余度。 缺点

20 7. GPS跟踪器 工作原理：GPS跟踪器是内置了GPS模块和移动通信模块的 终端，用于将GPS模块获得的定位数据通过移动通信模块传 至Internet上的一台服务器上，从而可以实现在电脑上查 询终端位置。 GPS跟踪器是目前最广泛应用的一种跟踪器，主要是为船舶、汽车、飞机等运动物体进行定位导航。例如： 船舶远洋导航和进港引水 飞机航路引导和进场降落 汽车自主导航 地面车辆跟踪和城市智能交通管理 紧急救生 个人旅游及野外探险 个人通讯终端（与手机，PDA，电子地图等集成一体）

21 混合跟踪是将来自不同类型跟踪器的输出姿态数据进行合 并或融合的头部姿态跟踪技术，采用混合跟踪技术的姿态 跟踪器被称为混合跟踪器。
8. 混合跟踪器 混合跟踪是将来自不同类型跟踪器的输出姿态数据进行合 并或融合的头部姿态跟踪技术，采用混合跟踪技术的姿态 跟踪器被称为混合跟踪器。 优点 保持了高精度姿态跟踪时还增强了跟踪鲁棒性。 与单一姿态跟踪器相比，混合跟踪器增加了虚拟现实系统的复杂性。 缺点

22 混合跟踪器的特点主要体现在以下四个方面：
姿态预测以降低系统注册延迟 姿态自由度组合或融合互补 避免跟踪不稳定性及跟踪失败 扩展跟踪范围 混合跟踪器面向不同应用具有不同混合类型，其中光学混合、 超声波-惯性和视觉-惯性混合跟踪器的发展技术水平已比较 成熟，而未来发展重点在于视觉-惯性-GPS等复杂跟踪器。

23 2.1.4 数据衣 数据衣为了让虚拟现实系统识别全身运动而设计的输入装置。他是根据“数据手套”的原理研制出来的，这种衣服装备着许多触觉传感器，穿在身上，衣服里面的传感器能够根据身体的动作探测和跟踪人体的所有动作。 优点 使人的感觉更加逼真。 延迟大、分辨率低、作用范围小、使用不便； 一个潜在的问题就是人的体型差异比较大 缺点

24 2.1.5 其他输入设备 在虚拟现实中还有一些重要的输入设备： 语音识别 触觉反馈器 三维扫描仪 FastScan三维扫描仪

25 2.2 输出设备 定义 由虚拟系统把虚拟环境综合产生的各种感官信息输出给用户，使用户产生一种身临其境的逼真感。

26 2.2.1 头盔显示器 头盔显示器（HMD，Head Mounted Display）是常见的立体显示设备，利用头盔显示器将人对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。

27 1. Virtual Research 数字头盔 2. eMagin数字头盔
Virtual Research VR1280 是一款双路输入SXGA（1280 x 1024）分辨 率反射FLCOS头戴式显示器，适用于高级虚拟现实应用领域。 可用于医疗、游戏产业以及建筑专案的设计规划、虚拟现实模拟训练等领域。 2. eMagin数字头盔 eMagin公司是OLED微型显示器和虚拟图像技术的引领者。 适用于3D游戏、模拟训练、工业仿真及商业应用领域。

28 该产品的通用支架使用户能够准确定位安装头戴式显示器，且佩戴十分舒适。
3. Liteye单目穿透式头盔 数字头盔从外型上主要分为单目式数字头盔和双目式数字 头盔，类似“能量探测器”的就是单目式数字头盔。 Liteye LE-750A VGA单目式数字头盔就是常用于军事训练 的优秀产品。 该产品的通用支架使用户能够准确定位安装头戴式显示器，且佩戴十分舒适。

29 即插即用，可同几乎任何类型的计算机相兼容，为用户提供最佳的3D 立体影像。适用于娱乐、仿真、游戏、医疗等诸多领域。
4. Cybermind双目式数字头盔 Cybermind hi-Res800_PC 3D是一款全彩的SVGA沉浸式的头 戴式显示器，它集高品质和卓越设计于一身，可满足用户 的不同需求，且具有超高的性价比。 即插即用，可同几乎任何类型的计算机相兼容，为用户提供最佳的3D 立体影像。适用于娱乐、仿真、游戏、医疗等诸多领域。

30 用户可根据自己对沉浸感的需求进行不同层级的调节，另外还有可进行大小调节的顶部旋钮、背部旋钮、穿戴式的头部跟踪器以及便于检测的翻盖式设计。
5. 5DT数字头盔 5DT头盔显示器具有超高分辨率，可提供清晰的图像和优质 的音响效果，产品外形设计简约流畅，便于携带。 用户可根据自己对沉浸感的需求进行不同层级的调节，另外还有可进行大小调节的顶部旋钮、背部旋钮、穿戴式的头部跟踪器以及便于检测的翻盖式设计。

31 2.2.2 沉浸式立体投影系统 沉浸感是虚拟现实技术的本质特征之一，所以，沉浸式显示系统也是虚拟现实系统建设中的重要内容。 在虚拟现实实验室建设过程中，沉浸感的实现手段有很多，其中显示部分主要通过具有沉浸感的大屏幕立体投影系统来实现。 沉浸式空间

32 单通道立体投影显示系统是一套基于高端PC 虚拟现实工作 站平台的入门级虚拟现实三维投影显示系统。
1. 单通道立体投影系统 单通道立体投影显示系统是一套基于高端PC 虚拟现实工作 站平台的入门级虚拟现实三维投影显示系统。 优点 单通道立体投影系统是一种低成本、操作简便、占用空间较小、具有极好性能价格比的小型虚拟三维投影显示系统。 其集成的显示系统使安装、操作使用更加容易方便，被广泛应用于高等院校和科研院所的虚拟现实实验室中。

33 2. 多通道环幕立体投影显示系统 PowerWall 柱面沉浸式虚拟现实显示系统是一种沉浸式虚 拟仿真显示环境，系统采用环形的投影屏幕作为仿真应用 的投射载体，所以通常又称为多通道环幕立体投影显示系 统。 根据环形幕半径的大小，通常为120 、135、180、240、270、360度弧度不等，由于其屏幕的显示半径巨大，通常用于一些大型的虚拟仿真应用。

34 CAVE沉浸式虚拟现实显示系统是一种基于多通道视景同步 技术、三维空间整形校正算法、立体显示技术的房间式可 视协同环境。

35 球面投影显示系统也是近年来最新出现的沉浸式虚拟现实 显示方式，也是采用三维投影显示的方式予以实现。
4. 球面投影显示系统 球面投影显示系统也是近年来最新出现的沉浸式虚拟现实 显示方式，也是采用三维投影显示的方式予以实现。 特点 视野非常广阔，覆盖了观察者的所有视野，从而令使用者完全置身于飞行场景中，给人身临其境的沉浸感。

36 2.2.3 立体眼镜（鹰眼） 立体眼镜以其简单的结构、轻巧的外形和便宜的价格成为理想的选择，是目前最为流行和经济适用的虚拟现实观察设备。
特点 与HMD相比，立体眼镜结构轻巧、造价较低，而且佩戴很长时间眼镜也不至于疲劳。

37 2.2.4 立体声耳机 声音可大大增强虚拟环境的真实程度，立体声耳机使得用户在虚拟环境有一种身临其境的感觉。 在虚拟现实系统中要求：
听觉子系统提供一种可以覆盖360度球体的声音， 给虚拟环境中的用户一个真实的声音环境，用户的 头部运动时，声音要同时作相应的改变，使用户感 到声音在原处未变。

38 虚拟交互设备对使用者的健康和安全问题 在虚拟仿真过程中，交互技术、系统响应度、系统特性以及多种模态对用户可以产生直接的影响，这些影响包括了用户的健康和安全，分为直接影响和间接影响。 例如： 模拟噪声的等级太高时可能伤害用户 的视觉系统。在有三维声源的虚拟仿 真中，使用者听到的声音强度取决于 用户所处的位置； 如果触觉接口让用户使用更大的力或 者超出用户肢体结构的限制，就会给 用户带来伤害。

39 内容小结 计算机系统与虚拟环境进行的交互，这是传统方式不能实现的。而虚拟现实技术在医学领域的作用更是不可忽视。本课程主要介绍了虚拟现实系统的交互设备，包括输入设备和输出设备，并介绍了各种设备的特点及优缺点。 内容小结

40 预习 知识点 本节参考文献 课后预习 预习第3章-虚拟现实系统的相关技术，具体如下： 1. 立体显示技术； 2. 三维建模技术；
3. 真实感实时绘制技术； 4. 三维虚拟声音的实现技术； 5. 人机交互技术； 6. 碰撞检测技术。 要求： 以 “虚拟现实系统的相关技术”为主题，围绕知识点制作10分钟课堂演示幻灯片，将问题整理成课堂讨论的题目。 参考文献来源： 教科书、互联网（国内外近三年相关文献各三篇） 课后预习 本节参考文献 [1]娄岩主编.医学虚拟现实技术与应用[M].科学出版社, [2]胡小强.虚拟现实技术[M].北京：北京邮电大学出版社,2005：107. [3]曾芬芳.虚拟现实技术. 上海:上海交通大学出版社. [4]罗斌、王涌天、沈浩、吴志杰、刘越.增强现实混合跟踪技术综述.自动化学报，2013,39（8）：

41 娄 岩 中国医科大学 计算机教研室