虚拟现实与增强现实技术概论 计算机中心.

Presentation on theme: "虚拟现实与增强现实技术概论 计算机中心."— Presentation transcript:

1 虚拟现实与增强现实技术概论 计算机中心

2 第3章 虚拟现实系统的输出设备

3 导学 一、学习目标 了解图形显示设备的概念； 了解人类视觉系统原理；掌 握头盔显示器的概念和常用 头盔显示器；了解立体眼镜 的原理。 了解声音显示设备的概念； 了解人类听觉系统原理；了 解Convolvotron处理器基于 扬声器的三维声音的原理和 应用。 掌握接触反馈和力反馈的概 念与区别；了解人类触觉系 统原理；了解iMotion触觉 反馈手套的原理和应用。 二、重点、难点 1.重点：图形显示设备、声音显 示设备、接触反馈和力反馈的基 本概念和区别；常用头盔显示器 、沉浸式立体投影显示系统、立 体眼镜（鹰眼）、基于HRTF的三 维声音和基于扬声器的三维声音 的概念和原理。 2.难点：人类视觉系统原理、人 类听觉系统原理和人类触觉系统 原理。

4 3.1图 形 显 示 设 备 图形显示设备：一种计算机接口设备，它把计算机合成的 场景图像展现给虚拟世界中参与交互的用户。 人类视觉系统 人眼有 个感光器，这 些感光器不均匀地分布在视网膜 上。视网膜的中心区域（绕眼睛 视轴几十度的范围）称为中央凹， 它是高分辨率的色彩感知区域， 周围是低分辨率的感知区域。被 显示的图像中投影到中央凹的部 分代表聚焦区。 在仿真过程中，观察者的焦点是 无意识地动态变化的。如果能跟 踪到眼睛的动态变化，就可以探 测到焦点的变化。 人类立体视觉的生理模型

5 3.1图 形 显 示 设 备 人类视觉系统 人类视觉系统的另一个重要特性是 视场(Field Of View，简称FOV)。一 只眼睛的水平视场大约150°，垂直 视场大约120°；双眼的水平视场大 约180°，垂直视场大约120°。大 脑利用两只眼睛看到的图像位置的 水平位移测量深度，也就是观察者 到场景中虚拟对象的距离。 人类立体视觉的生理模型

6 3.1图 形 显 示 设 备 人类视觉系统 在视场中，眼睛定位观察者周围 的对象，例如对象A位于对象B的 后面。当目光集中在对象B的一 个特征点时，聚焦在固定点F上。 视轴和固定点的连线之间的夹角 确定了会聚角。这个角度同时也 依赖于左眼瞳孔和右眼瞳孔之间 的距离，这个距离称为内瞳距 （IPD）。IPD是人们解释真实世 界中距离对象远近的基线，IPD越 大，会聚角就越大。由于固定点F 对于两只眼睛的位置不同，因此 在左眼和右眼呈现出水平位移， 这个位移称为图像视差。 人类立体视觉的生理模型

7 3.1图 形 显 示 设 备 人类视觉系统 为了使人脑能理解虚拟世界中的深度，VR的图形显示设备 必须能产生同样的图像视差。实现立体图形显示，需要输 出两幅有轻微位移的图像。当使用两个设备时（比如头盔 显示器），每个设备都为相应的眼睛展示它生成的图像； 当使用一个显示设备时，需要按时间顺序（例如使用快门 眼镜）或空间顺序（例如自动立体图像显示）一次产生两 幅图像。 深度知觉，与大视场和高分辨率图像一起，是决定用户在 模拟世界中主观沉浸感的重要因素。设计满足所有这些需 要，同时符合人机工程学的要求，并且价格便宜的图形显 示设备，是一项非常艰难的技术任务。

8 3.1图 形 显 示 设 备 头盔显示器 头盔显示器（HMD）是常见的立体显示设备，利用头盔 显示器将人对外界的视觉、听觉封闭，引导用户产生一种 身在虚拟环境中的感觉。 1．头盔显示器原理 （1）头盔显示器把图像投影到 用户面前1-5m的位置，如右图所 示。通过放置在HMD小图像面 板和用户眼睛之间的特殊光学镜 片，能使眼睛聚焦在很近的距离 而不易感到疲劳，同时也能起到 放大小面板中图像的作用，使它 尽可能填满人眼的视场 简化的HMD光学模型

9 3.1图 形 显 示 设 备 3.1.2 头盔显示器 （2）头盔显示器的显示技术
头盔显示器 （2）头盔显示器的显示技术 普通消费级的HMD使用LCD显示器，主要是为个人观看 电视节目和视频游戏设计，而不是为VR设计的。当集成 到VR系统中时，需要把图形流输出的红绿蓝信号格式转 换成NTSC/PAL，如下图所示。 普通消费级（单视场）HMD

10 3.1图 形 显 示 设 备 3.1.2 头盔显示器 （2）头盔显示器的显示技术
头盔显示器 （2）头盔显示器的显示技术 专业级HMD设备则使用CRT的显示器，它能产生更高的 分辨率，是专门为VR交互设计的，它接受RGB视频输入 。如下图所示，在图形流中，两个RGB信号被直接发送给 HMD控制单元，用于立体观察。通过跟踪用户的头部运 动，把位置数据发送给VR引擎，用于图形计算。 专业级（立体显示）HMD

11 3.1图 形 显 示 设 备 3.1.2 头盔显示器 2．常见头盔显示器 （1）Virtual Research 1280数字头盔
头盔显示器 2．常见头盔显示器 （1）Virtual Research 1280数字头盔 Virtual Research VR1280是一款 双路输入SXGA（1280×1024） 分辨率反射FLCOS头戴式显示器， 适用于高级虚拟现实应用领域。 该产品将高亮度、高分辨率彩色 微型显示器与量身设计的光学设 备相结合，带给用户60°宽视域 的无与伦比的视觉灵敏度体验。 VR1280数字头盔

12 3.1图 形 显 示 设 备 2．常见头盔显示器 （2）eMagin数字头盔
eMagin Z800 3D Visor虚拟现实数字头盔使用户摆脱了 传统头戴式显示器的束缚，游戏用户可体验身临其境的 虚拟现实环境；PC用户则可以在不受限制的环境中工作 和体验虚拟现实环境。eMagin OLED显示器可提供绚丽 色彩且不会有屏幕闪烁或模糊的3D图像。 eMagin Z800 3D Visor

13 3.1图 形 显 示 设 备 2．常见头盔显示器 (3)Liteye单目穿透式头盔
数字头盔从外型上主要分为单目式数字头盔和双目式数 字头盔，类似“能量探测器”的就是单目式数字头盔，单 目式虽然不能产生立体效果，但是因为更加轻巧的质量 和可透视显示器常被应用于增强现实和军事领域。 例如，Liteye LE-750A VGA单目式数字头盔就是常用于 军事训练的优秀产品。 Liteye LE-750A VGA

14 3.1图 形 显 示 设 备 2．常见头盔显示器 (4)Cybermind双目式数字头盔
Cybermind hi-Res800_PC 3D是一款全彩的SVGA沉浸 式的头戴式显示器，可满足用户的不同需求，且具有超 高的性价比。它具有完全3D沉浸感，广泛地应用于娱 乐和仿真等各个领域。 Cybermind hi-Res800_PC 3D双目式HMD

15 3.1图 形 显 示 设 备 2．常见头盔显示器 (5)5DT数字头盔

16 3.1图 形 显 示 设 备 3.1.3 沉浸式立体投影系统 1．单通道立体投影系统
沉浸式立体投影系统 1．单通道立体投影系统 是一套基于高端PC虚拟现实工作站平台的入门级虚拟现实 三维投影显示系统，该系统通常以一台图形计算机为实时 驱动平台，两台叠加的立体专业LCD或DLP投影机作为投 影主体显示一幅高分辨率的立体投影影像。 与传统的投影相比，该系统最 大的优点是能够显示优质的高 分辨率三维立体投影影像，为 虚拟仿真用户提供一个有立体 感的半沉浸式虚拟三维显示和 交互环境，同时也可以显示非 立体影像。 单通道立体投影系统

17 3.1图 形 显 示 设 备 3.1.3 沉浸式立体投影系统 2．多通道环幕立体投影显示系统
沉浸式立体投影系统 2．多通道环幕立体投影显示系统 PowerWall 柱面沉浸式虚拟现实显示系统是一种沉浸式虚 拟仿真显示环境，系统采用环形的投影屏幕作为仿真应用 的投射载体，所以通常又称为多通道环幕立体投影显示系 统。 将三维图形计算机生成的三 维数字图像实时地输出并显 示在一个超大幅面的环形投 影幕墙上，并以立体成像的 方式呈现在观看者的眼前， 使观看者和参与者获得一种 身临其境的虚拟仿真视觉感 受。 多通道环幕立体投影显示系统

18 3.1图 形 显 示 设 备 3.1.3 沉浸式立体投影系统 3．CAVE沉浸式虚拟现实显示系统
沉浸式立体投影系统 3．CAVE沉浸式虚拟现实显示系统 CAVE沉浸式虚拟现实显示系统是一种基于多通道视景同 步技术、三维空间整形校正算法、立体显示技术的房间式 可视协同环境。 该系统可提供一个同房间大 小的四面（或六面）立方体 投影显示空间，供多人参与， 所有参与者均完全沉浸在一 个被三维立体投影画面包围 的高级虚拟仿真环境中。由 于投影面积能够覆盖用户的 所有视野，所以CAVE系统 能提供给使用者一种前所未 有的带有震撼性的身临其境 的沉浸感。 CAVE沉浸式虚拟现实显示系统

19 3.1图 形 显 示 设 备 3.1.3 沉浸式立体投影系统 4．球面投影显示系统
沉浸式立体投影系统 4．球面投影显示系统 球面投影显示系统也是近年来最新出现的沉浸式虚拟现实 显示方式，也是采用三维投影显示的方式予以实现，其最 大的特点是视野非常广阔，覆盖了观察者的所有视野，从 而令使用者完全置身于飞行场景中，给人身临其境的沉浸 感。 球面投影显示系统

20 3.1图 形 显 示 设 备 立体眼镜（鹰眼） 立体眼镜以其简单的结构、轻巧的外形和低廉的价格成为 理想的选择，是目前最为流行和经济适用的虚拟现实观察 设备。 它的结构原理是：经过特殊设计的虚拟现实监视器能以 120～140f/s或2倍于普通监视器的扫描频率刷新屏幕，与 其相连的计算机向监视器发送RGB信号中含有2个交互出 现的、略微有所漂移的透视图。 3D VISION2立体眼镜

21 3.2声 音 显 示 设 备 3.2.1 三维声音 声音显示设备：一类计算机接口，能给与虚拟世界交互的 用户提供合成的声音反馈。。
三维声音 立体声音与三维声音的区别如右图 所示。耳机中的立体声音听上去好 像是从用户的头里发出来的，换句 话说，它不像真实声音那样是在外 面的。当用户戴着简易的立体声耳 机时，随着用户头部的移动，小提 琴的声音变到了用户的左边。 而从同一个耳机或扬声器中放出的 三维声音则包含着重要的心理信息， 可以改变用户的感觉，使他们相信 这些录制的声音真的来自于用户周 围的环境。 立体声音与三维声音的对比

22 3.2声 音 显 示 设 备 3.2.2 人类的听觉系统 人们感知声音，是人耳探测到声源相对于头部的位置。 1．纵向-极坐标系统
人类的听觉系统 人们感知声音，是人耳探测到声源相对于头部的位置。 1．纵向-极坐标系统 用一个称为纵向极坐标系统来表示 三维声源位置。声源的位置由三个 变量惟一确定，分别称为方位角、 仰角和范围。方位角θ（±180°） 是鼻子与纵向轴z 和声源的平面之 间的夹角；声源的仰角φ（±90°） 是声源和头部中心点的连线与水平 面的夹角；范围r（大于头的半径） 是沿这条连线测量出的声源距离。 大脑根据左右耳觉察到的声音的强 度、频率和时间线索估计声源的位 置（方位角、仰角和范围）。 纵向极坐标系统

23 3.2声 音 显 示 设 备 人类的听觉系统 2．方位角线索 既然声音在空间中的传播速度是固定的，那么声音先到达距 离声源比较近的那只耳朵。如下图所示，声波稍后到达另一 只耳朵，因为声音到达另一只耳朵得多走一段距离，这段距 离可表示为aθ+ asinθ。声音到达两只耳朵的时间差称为两耳 时差（ITD)，可用下列公式来表达：ITD= 其中，a是头的半径，c是声音的传播 速度（大约343 m/s)， θ是声源的方 位角。当θ等于90°时两耳时差最大， 当声源位于头的正前方或者正后方 时，两耳时差为0。 两耳时差示意图

24 3.2声 音 显 示 设 备 人类的听觉系统 2．方位角线索 大脑估计声源方位角的第二个线索是声音到达两只耳朵的强 度，称为两耳强度差（IID)。如下图所示，声音到达比较近 的耳朵的强度比较远的耳朵强度大，这种现象称为“头部阴 影效果”。对于高频声音（大于1.5 kHz)，能够觉察到这种 现象的存在；对于频率非常低的声音（低于250 Hz)，用户是 感觉不到这种现象的。 两耳强度差示意图

25 3.2声 音 显 示 设 备 人类的听觉系统 3．仰角线索 如下图所示，来自用户头顶的声源与来自用户前方的声源有 不同的反射路径，一些频率被放大，另一些被削弱。之所以 会被削弱，是因为声音和耳廓反射声音之间有冲突。既然声 音和耳廓反射声音之间的路径差异随仰角的变化而变化，那 么耳廓提供了声源仰角的主要线索。用户的脸和肩膀的几何 结构也会影响朝外耳反射声音的路线。 声音线路变化与声源仰角

26 3.2声 音 显 示 设 备 人类的听觉系统 4．距离线索 大脑利用对给定声源的经验知识和觉察到的声音响度估计声 源和用户之间的距离。 其中一个距离线索就是运动视差，或者说是当用户平移头部 时声音方位角的变化。运动视差大，意味着声源就在附近 （近距离）。而对于距离很远的声源，当头部发生平移时， 方位角几乎没有什么变化。 另一个重要距离线索是直接来自声源的声音与经周围环境 （墙、地板或天花板等）第一次反射后的声音之比。声音的 能量以距离的平方衰减，而反射的声音不会随距离的变化发 生太大变化。

27 3.2声 音 显 示 设 备 3.2.2 人类的听觉系统 5．头部相关的传递函数
人类的听觉系统 5．头部相关的传递函数 三维声音的硬件设计假设声源是已知的，因此需要有一个相 应声音到达内耳的模型。 方法是把人放在一个有多个声源（喇叭）的圆屋顶（Dome） 下，并且在实验者的内耳放置一个微型麦克风。当喇叭依次 打开时，把麦克风的输出存储下来并且进行数字化。这样， 就可以用两个函数（分别对应一只耳朵）测量出对喇叭的响 应，称为与头部相关的脉冲响应（HRIR)。相应的傅里叶变 换称为与头部相关的传递函数（HRTF），它捕获了声音定 位中用到的所有物理线索。正如前面讨论过的，HRTF依赖 于声源的方位角、高度、距离和频率。

28 3.2声 音 显 示 设 备 基于HRTF的三维声音 一旦通过实验确定了用户的HRTF，就有可能获得任何声 音，将限脉冲响应滤波器，通过耳机给该用户回放声音。 这样，用户就会产生听到了声音的感觉，并且能感觉到这 个声音来自放置在空间中相应位置的虚拟扬声器。这种信 号处理技术称为卷积。实验表明，该技术具有非常高的识 别率，特别是当听到的声音是用自己的HRTF生成时，识 别率会更高。 一种方法是围绕一些通用的HRTF设计硬件。对包含6面墙 和4个声源的环境，其计算模型需要每秒十亿次运算，这 需要有专门的硬件才能保证获得比较好的整体系统响应。 否则CPU将过于饱和，从而会降低图形流的吞吐量。

29 3.2声 音 显 示 设 备 基于HRTF的三维声音 第一个虚拟三维音频输出设备是1988年由Crystal River Engineering为美国航空航天局签约开发的。这个实时数据 信号处理器称为Convolvotron，由旋转在分离外壳中的一 组与PC兼容的双卡组成，Convolvotron处理器结构如下图 所示。 Convolvotron处理器结构图

30 3.2声 音 显 示 设 备 基于扬声器的三维声音 最简单的多扬声器听觉系统是立体声格式的，它产生的声 音来自两个扬声器所定义的平面。这个声音显示是从喇叭 中发出的，而不是来自周围的环境，听起来像是环绕在房 间的四周。 近年来出现了新一代PC三维声卡。 这些声卡使用DSP芯片处理立体声 或5.1格式的声音，并且通过卷积输 出真实的三维声音。如右图所示， PC机的喇叭装在监视器的左右两侧， 与监视器方向一致，面向用户。知 道了用户头部的相对位置，就可以 从查找表中检索得到HRTF。这样， 就有可能创建出在用户周围有许多 扬声器的假象，并且能设置扬声器 的方位角和位置。 基于扬声器的三维声音

31 3.2声 音 显 示 设 备 基于扬声器的三维声音 近年来，许多公司已经开发出了能处理6声道数字声音的三 维声卡（例如杜比数码声卡），并用两个喇叭播放出来， 如SRS生产的TruSurround（资格虚拟环绕声）。 TruSurround声卡具有提供简化三 维声音的能力，这些功能受到视 频游戏玩家的欢迎，支持这类声 卡的游戏能让游戏玩家听到对手 是从哪个方向靠近自己的，从哪 个方向进行攻击自己的。SRS TruSurround 处理显著特点是保留 了这些生源中的原始多声道音频 信息，从而能够形成附加幻觉声 源，使聆听者感到SRS 3D更加丰 富的环绕声场效果。 TruSurround HD虚拟环绕技术

32 3.3 触 觉 反 馈 触觉反馈可以分为接触反馈和力反馈两种模态。
接触反馈传送接触表面的几何结构、虚拟对象的表面硬度、 滑动和温度等实时信息。它不会主动抵抗用户的触摸运动， 不能阻止用户穿过虚拟表面。 力反馈提供虚拟对象表面柔顺性、对象的重量和惯性等实 时信息。它主动抵抗用户的触摸运动，并能阻止该运动 （如果反馈力比较大）。

33 3.3 触 觉 反 馈 人类的触觉系统 人类的触觉系统的输入是由感知循环提供的，对环境的输出 （对触觉接口而言）是以传感器-发动机控制循环为中介的。 输入数据由众多的触觉传感器、本体感受传感器和温度传感 器收集，输出的是来自肌肉的力和扭矩。 1．触觉 皮肤中有四种触觉传感器：最主要的是触觉小体（Meissner Corpuscle），还有Merkel细胞小体（Merkel Cell）、潘申尼小体（Pacinian corpuscle）和鲁菲尼小体（Ruffini）。当受到刺激时，它们会产生很小的放电，最终被大脑感知到。 本体感受，即对自己身体位置和运动的感知。这是因为神经末稍、Pacinian小体和Ruffini小体位于骨骼关节中。 肌肉运动知觉是对本体感受的补充，它能感知肌肉的收缩和伸展。

34 3.3 触 觉 反 馈 3.3.1 人类的触觉系统 2．传感器-发动机控制
人类的触觉系统 2．传感器-发动机控制 身体的传感器-发动机控制系统使用触觉、本体感受和肌肉运动知觉来影响施加在触觉接口上的力。人类的传感器-发动机控制的关键特征是最大施力能力、持续施力、力跟踪分辨率和力控制带宽。 手指的触点压力取决于该动作是有意识的还是一种本能反应、抓握对象的方式以及用户的性别、年龄和技巧。抓握方式可以分为精确抓握和用力抓握，如右图所示。 人的抓握几何

35 3.3 触 觉 反 馈 3.3.2 触觉反馈接口 触觉反馈，就是能够模拟“感觉”的一项技术。 1．触觉鼠标
触觉反馈接口 触觉反馈，就是能够模拟“感觉”的一项技术。 1．触觉鼠标 通常在使用鼠标时用户要一直看着屏幕，以免失去控制。触觉反馈增加了响应用户动的另一条线索，从而可以对此作出适当的补偿（即使把脸转过去也能感知到）。 iFeel Mouse就是一种触觉鼠标， 如右图所示，它的外观和重量 都与普通的计算机鼠标相似， 不同的是附加的电子激励器可 以引起鼠标外壳的震动。 iFeel触觉鼠标

36 3.3 触 觉 反 馈 3.3.2 触觉反馈接口 2．iMotion触觉反馈手套
触觉反馈接口 2．iMotion触觉反馈手套 iMotion 是一款带有触觉反馈的体感控制器。iMotion 可以 提供精准的 3D 动作控制，并且横跨各大平台和诸多app。 该设备在用户面前创建了一个虚拟的触摸空间，并且拥有 触觉反馈，让用户“真实触摸”到游戏或应用中的物体。 它能够欺骗你的大脑，让你误以为你的双手正在推、拉， 或者进行其它应用（游戏）想要的动作，虚拟的触觉反馈。 iMotion触觉反馈手套 虚拟的触觉反馈

37 3.3 触 觉 反 馈 3.3.2 触觉反馈接口 2．iMotion触觉反馈手套
触觉反馈接口 2．iMotion触觉反馈手套 iMotion 内置陀螺仪、加速计，通 过表面的三个 LED 灯来判断用户 身体在 3D 空间的位置（检测 X、 Y、Z 轴的坐标和平面仰角、旋转 角度）等，iMotion 内置的陀螺仪 和加速计如右图所示。 iMotion里面四个橙色的部件用来 提供触觉反馈，如右图所示。 iMotion 的触觉反馈技术是通过蓝 牙向用户发出信息，提供 5 种不 同的反馈模式，对应不同的强度 和持续时间。

38 3.3 触 觉 反 馈 力反馈接口 1．力反馈操纵杆 比较具有代表性的例子是WingMan Force 3D操纵杆，如右图所示。它有三个自由 度，其中两个自由度具有力反馈，游戏 中使用的模拟按钮和开关也具有力反馈。 这种力反馈结构安装在操纵杆底座上， 有两个直流电子激励器，通过并行运动 机制连接到中心操作杆上。 计算机根据用户的动作改变仿真程序，如果有触觉事件就提供反馈。这些命令继而被操纵杆的模／数转换器转换成模拟信号并放大，然后发送给产生电流的直流激励器。这样就形成了闭合的控制回路，用户就可以感觉到振动和摇晃，或者感觉到由操纵杆产生的弹力。

39 3.3 触 觉 反 馈 3.3.3 力反馈接口 2．CyberGrasp力反馈手套
力反馈接口 2．CyberGrasp力反馈手套 力反馈手套是数据手套的一种，借助数据手套的触觉反馈功能，用户能够用双手亲自“触碰”虚拟世界，并在与计算机制作的三维物体进行互动的过程中真实感受到物体的振动。触觉反馈能够营造出更为逼真的使用环境，让用户真实感触到物体的移动和反应。 此外，系统也可用于数据可视化领域，能够探测与出地面密度、水含量、磁场强度、危害相似度、或光照强度相对应的振动强度。

40 3.3 触 觉 反 馈 3.3.3 力反馈接口 2．CyberGrasp力反馈手套
力反馈接口 2．CyberGrasp力反馈手套 immersion CyberGrasp是一款设计轻巧而且有力反馈功能的 装置，像是盔甲一般的附在Immersion CyberGlove上。使用 者可以通过Immersion CyberGrasp的力反馈系统去触摸电脑 内所呈现的3D虚拟影像，感觉就像触碰到真实的东西一样， 如下图所示。

41 本章小结 本章介绍了VR专用的输出设备，通过输出接口给用户产生反馈的感 觉通道，包括视觉（通过图形显示设备）、听觉（通过三维声音显示 设备）和触觉（通过触觉反馈）。 通过本章的学习掌握图形显示设备、声音显示设备、触觉反馈设备的 基本概念和区别；掌握常用头盔显示器、沉浸式立体投影显示系统、 立体眼镜（鹰眼）、基于HRTF的三维声音和基于扬声器的三维声音 与的概念和原理；了解人类视觉系统原理、人类听觉系统原理和人类 触觉系统的基本原理。