第3章 交互设备 山东大学计算机学院

主要内容 输入设备： 输出设备： 虚拟现实系统中的交互设备 文本输入设备 图像输入设备 三维图形输入设备 指点输入设备等 显示器 声音的输出 数字纸 等 虚拟现实系统中的交互设备

1. 显示设备 显示器是计算机的重要输出设备，是人机对话的重要工具。它的主要功能是接收主机发出的信息，经过一系列的变换，最后以光的形式将文字和图形显示出来。 阴极射线管显示器、液晶显示器和等离子显示器

（1）阴极射线管（CRT）显示器 构成：由阴极、电平控制器（即控制极）、聚焦系统、加速系统、偏转系统和阳极荧光粉涂层组成，这六部分都在真空管内。其中，阴极、电平控制器（即控制极）、聚焦系统、加速系统等统称为电子枪。

CRT显示器工作原理 当显像管内部的电子枪阴极发出的电子束，经强度控制、聚焦和加速后变成细小的电子流，再经过偏转线圈的作用向正确目标偏离，穿越荫罩的小孔或栅栏，轰击到荧光屏上的荧光粉发出光线。 彩色CRT光栅扫描显示器有三个电子枪，它的荧光屏上涂有三种荧光物质，分别能发红、绿、蓝三种颜色的光。

CRT显示器发展阶段 随机扫描显示器（又称矢量显示器） 存储管式显示器 光栅扫描显示器（主流） 位图与光栅显示 工作方式 电子束从左向右，从上向下扫描荧光屏，产生一幅幅光栅，每一条从左向右的直线称为扫描线，每一幅光栅称为一帧。扫描方式分逐行和隔行扫描方式。隔行扫描方式把一帧光栅分为两次扫描：先扫偶数行扫描线，再扫奇数行扫描线。逐行扫描比隔行扫描拥有更稳定显示效果。

位图与光栅显示 光栅扫描型（Raster scan）显示器，以点阵形式表示图形，采用专门的帧缓冲区存放点阵，缓冲区按照矩形网格排列，每个网格点对应显示器上的一个象素。由视频控制器负责刷新扫描，当扫描到显像管表面时，根据对应的缓冲区中的值，显示不同的灰度和颜色，此类显示技术称为位图（Bitmap）显示。

具有24位面的彩色帧缓存和10位颜色查找表的彩色显示器的结构图 屏幕的每个象素在帧缓冲器中至少有三位，分别表示RGB三种颜色，三个颜色位面的组合色为最终颜色。 对每个颜色的电子枪可以通过增加帧缓存位面来提高颜色种类的灰度等级。 如果各组位面存放的不是直接的颜色值而是颜色查找表的地址索引，那么全色帧缓存的颜色还可得到进一步的丰富。 具有24位面的彩色帧缓存和10位颜色查找表的彩色显示器的结构图

（2）液晶显示器 在充电条件下，液晶能改变分子排列，继而造成光线的扭曲或折射。 液晶显示器工作原理是通过能阻塞或传递光的液晶材料，传递来自周围的或内部光源的偏振光。以电流刺激液晶分子产生点、线、面配合背部灯管构成画面。 LCD比CRT显示器具有更好的图像清晰度，画面稳定性和更低的功率消耗，但液晶材质粘滞性比较大，图像更新需要较长响应时间，因此不适合显示动态图象。

（3）等离子显示器 等离子显示器诞生于二十世纪60年代，它采用等离子管作为发光材料，1个等离子管负责一个像素的显示：等离子管内的氖氙混合气体在高压电极的刺激下产生紫外线，紫外线照射涂有三色荧光粉的玻璃板，荧光粉受激发出可见光 。 优点：重量较轻、完全无X射线辐射，而且屏幕亮度非常均匀，不存在明显的亮区和暗区；由于各个发光单元的结构完全相同，因此不会出现CRT显示器那样存在某些区域聚焦不良或因使用时间过长出现散焦的毛病。 缺点：是价格较高，由于显示屏上的玻璃较薄使屏幕较脆弱。

显示器主要技术指标 扫描方式 刷新频率 点距 “隔行扫描”：价格低，明显闪烁，已被淘汰 “逐行扫描”：闪烁感降到最小 75Hz以上的刷新频率时可基本消除闪烁，是显示器稳定工作的最低要求。 点距 点距是同一像素中两个颜色相近的磷光体间的距离。点距越小，显示出来的图像越细腻，当然其成本也越高。

显示器主要技术指标 分辨率 带宽 亮度和对比度 尺寸：依据用户需求选择。 屏幕上水平方向和垂直方向所显示的点数，分辨率越高，图像也就越清晰，且能增加屏幕上的信息容量。 带宽 决定着一台显示器可以处理的信息范围，就是指特定电子装置能处理的频率范围，宽带越宽，能处理的频率越高，图像质量越好。 亮度和对比度 最大亮度的含义即屏幕显示白色图形时白块的最大亮度，产品制造时往往将亮度指标放有较大余量，当然，并不是越亮越好。对比度的含义是显示画面或字符(测试时用白块)与屏幕背景底色的亮度之比。对比度越大，则显示的字符或画面越清晰。 尺寸：依据用户需求选择。

夏普LB-1085 108英寸 146万

2. 打印机 打印机是目前非常通用的一种输出设备，其结构可分为机械装置和控制电路两部分。 常见的有针式、喷墨、激光打印机三类。 打印分辨率、速度、幅面、最大打印能力等是衡量打印机性能的重要指标。

针式打印机与喷墨打印机工作原理 针式打印机与喷墨打印机的工作原理基本相同 针式打印机与喷墨打印机的主要区别在于打印头的结构。 主机送来的代码，经过打印机输入接口电路的处理后送至打印机的主控电路，在主控电路控制下，产生字符或图形的编码，驱动打印头逐列进行打印；一行打印完毕后，启动走纸机构进纸，产生行距，同时打印头回车换行，打印下一行；上述过程反复进行，直到打印完毕。 针式打印机与喷墨打印机的主要区别在于打印头的结构。 针式打印机的打印头通过电路控制打印针击打色带，在纸上打出一个点的图形。 喷墨打印机的打印头由几千个直径约几微米的墨水通道组成，通过电路控制将将墨水喷出通道，在纸上产生图形。

激光打印机工作原理 激光打印机主要由感光鼓、滚筒、打底电晕丝和转移电晕丝等组成。

工作原理 激光打印机开始工作时，感光鼓旋转通过打底电晕丝，使整个感光鼓的表面带上电荷。

工作原理 打印数据从计算机传至打印机，打印机先将接收到的数据暂时存放在缓存中，当接收到一段完整的数据后再发送到打印机处理器。处理器将这些数据转换成可以驱动打印引擎动作的类似数据表的信号组，然后将其送至激光发射器。发射器发射的激光照射在多棱反射镜上，反射镜的旋转和激光的发射同时进行，依照打印数据来决定激光的发射或停止。

工作原理 每个光点打在反射镜上，随着反射镜的转动，不断变换角度，将激光点反射到感光鼓上。感光鼓上被激光照到的点将失去电荷，从而在感光鼓表面形成一幅肉眼看不到的磁化现象。感光鼓旋转到上粉盒，其表面被磁化的点将吸附碳粉，从而在感光鼓上形成将要打印的碳粉图像。

工作原理 打印纸从感光鼓和转移电晕丝之间通过，转移电晕丝将产生比感光鼓上更强的磁场，碳粉受吸引从感光鼓上脱离，向转移电晕丝方向移动，结果是在不断向前运动的打印纸上形成碳粉图像。打印纸继续向前运动，通过高温的溶凝部件，定型在打印纸上，产生永久图像。同时，感光鼓旋转至清洁器，将所有剩余在感光鼓上的碳粉清除干净，开始下一轮的工作。

3. 语音交互设备 语音作为一种重要的交互手段，日益受到人们的重视。 基本的语音交互设备 耳机 麦克风 声卡

（1）耳机 常见的耳机技术指标有：耳机结构、频响范围、灵敏度、阻抗、谐波失真等。 耳机结构可以分为封闭式、开放式、半开放式三种。

耳机分类 封闭式通过其自带的软音垫来包裹耳朵，使其被完全覆盖起来。因为有大的音垫，所以体积也较大，但可以在噪音较大的环境下使用而不受影响。 开放式耳机是目前比较流行的耳机样式，利用海绵状的微孔发泡塑料制作透声耳垫，特点是体积小巧，佩带舒适，也没有了与外界的隔绝感，但它的低频损失较大。 半开放式耳机是综合了封闭式和开放式两种耳机优点的新型耳机，采用了多振膜结构，除了一个主动有源振膜之外，还有多个从动无源振膜同时较好的保留的声音的低频和高频部分。

（2）麦克风 耳机佩戴有麦克风。 为了过滤背景杂音，达到更好的识别效果，许多麦克风采用了NCAT（Noise Canceling Amplification Technology）专利技术。 NCAT技术结合特殊机构及电子回路设计以达到消除背景噪音，强化单一方向声音的收录效果，是专为各种语音识别和语音交互软件设计的，提供精确音频输入的技术。

（3）声音合成设备 声卡是最基本的声音合成设备，是实现声波／数字信号相互转换的硬件。 一般声卡拥有4个接口：LINE OUT（或者SPK OUT）、MIC IN、LINE IN和游戏杆（外部MIDI设备接口）。其中LINE OUT用于连接音箱耳机等外部扬声设备，实现声音回放；MIC IN用于连接麦克风，实现录音功能；而LINE IN则是把外部设备的声音输入到声卡中。 采样位数、频率和声道数： 位数：8位、16位等 采样频率一般分为22.05KHz、44.1KHz、48KHz三个等级，22.05只能达到广播的声音品质，44.1KHz则是理论上的CD音质界限，48KHz则更加精确一些，对于高于48KHz的采样频率人耳已无法辨别出来了。 声道数：单、双、四声道

3.3虚拟现实系统中的交互设备 虚拟现实系统要求计算机可以实时显示一个三维场景，用户可以在其中自由的漫游，并能操纵虚拟世界中一些虚拟物体。因此，除了一些传统的控制和显示设备，虚拟现实系统还需要一些特殊的设备和交互手段，来满足虚拟系统中的显示、漫游以及物体操纵等任务。 三维空间定位设备 三维显示设备 Lecture 3

三维空间定位设备 三维交互设备最基本的特点是具有六个自由度。常见的三维输入设备主要有以下几种： 空间跟踪定位器 数据手套（Data Glove） 三维鼠标 触觉和力反馈器 Lecture 3

（1）空间跟踪定位器 空间跟踪定位器或称三维空间传感器是一种能实时地检测物体空间运动的装置，可以得到物体在六个自由度上相对于某个固定物体的位移，包括：X、Y、Z坐标上的位置值，以及围绕X、Y、Z轴的旋转值（转动，俯仰、摇摆）。 这种三维空间传感器对被检测的物体必须是无干扰的，也就是说，不论这种传感器是基于何种原理或使用何种技术，它都不应当影响被测物体的运动，因而称为“非接触式传感器”。 三维空间跟踪定位器一般与其他VR设备结合使用，如：数据头盔、立体眼镜、数据手套等。 Lecture 3

空间跟踪定位器 Lecture 3

空间跟踪定位器性能指标 空间跟踪定位器的主要的性能指标： 在虚拟现实技术中广泛使用的传感器类型： 定位精度：指传感器所测出的位置与实际位置的差异 位置修改速率：指传感器在一秒钟内所能完成的测量次数 延时：指被检测物体的某个动作与传感器测出该动作时间的间隔 如何减少颤抖、漂移、噪音是需要解决的主要问题 在虚拟现实技术中广泛使用的传感器类型： 低频磁场式 超声式 Lecture 3

Polhemus的 FASTRAK跟踪定位仪 可同时跟踪四路信号； 可以得到物体在六个自由度上相对于某个固定物体的位移，包括：X、Y、Z坐标上的位置值，以及围绕X、Y、Z轴的旋转值（转动，俯仰、摇摆）； 配置LongRanger长距离发射天线，跟踪范围可到15英尺； 低磁场式； 增加硬笔，可以成为三维数字化仪； 教育价格：约10万元人民币 Lecture 3

（2）数据手套 数据手套一般由很轻的弹性材料构成，紧贴在手上。整个系统包括位置、方向传感器和沿每个手指背部安装的一组有保护套的光纤导线，它们检测手指和手的运动。数据手套将人手的各种姿势、动作通过手套上所带的光导纤维传感器，输入计算机中进行分析。这种手势可以是一些符号表示或命令，也可以是动作。手势所表示的含义可由用户加以定义。 在虚拟环境中，操作者通过数据手套可以用手去抓或推动虚拟物体，以及做出各种手势命令。 Lecture 3

Lecture 3

（3）三维鼠标 三维鼠标能够感受用户在六个自由度的运动，包括三个平移参数和三个旋转参数。 其装置比较简单：一个盖帽放在带有一系列开关的底座上。 转动这个小球或侧方向推动这个小球时，如向上拉它、向下压它，使它向前或向后等。 三维鼠标将用户的这些动作传送给计算机，从而进一步控制虚拟环境中的物体的运动。 Lecture 3

Virtual Technology公司的触觉反馈手套 （4）触觉和力反馈器 Virtual Technology公司的触觉反馈手套 Phantom 公司的haptic device Lecture 3

触觉反馈设备重要性和主要问题 虚拟现实系统必须提供触觉反馈，以便使用户感觉到仿佛真的摸到了物体。但是由于人的触觉非常敏感，精度一般的装置根本无法满足要求。 另外，对于触觉和力反馈器，还要考虑到模拟力的真实性、施加到人手上是否安全以及装置是否便于携带并让用户感到舒适等问题。目前已经有一些关于力学反馈手套、力学反馈操纵杆、力学反馈笔、力学反馈表面等装置的研究 。 Lecture 3

触觉反馈设备技术实现 手指触觉反馈器的实现主要通过视觉、气压感、振动触觉、电子触觉和神经肌肉模拟等方法。 其中电子触觉反馈器是向皮肤反馈宽度和频率可变的电脉冲，而神经肌肉模拟反馈是直接刺激皮层，这些方法都很不安全，较安全的方法是气压式和振动触感式的反馈器。 Lecture 3

沉浸感显示设备 立体视觉 头盔式显示器 CAVE 真三维显示 Lecture 3

（1）立体视觉 由于人类从客观世界获得的信息60%以上来自视觉，因而视觉沟通就成为多感知虚拟现实系统中最重要的环节，立体视觉技术也就成为虚拟现实的一种极重要的支撑技术。 人是通过右眼和左眼所看到物体的细微差异来感知物体的深度，从而识别出立体图像的。 Lecture 3

立体影像生成技术 立体影像生成技术主要有两种 主动式模式 被动式系统 对应用户的左右眼影像将按照顺序交替显示，用户使用LCD立体眼镜保持与立体影像的同步，这种模式可以产生高质量的立体效果。 被动式系统 需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影，不同的投影分别使用不同角度的偏振光来区别左右眼影像，用户使用偏振光眼镜保持立体影像的同步。

立体眼镜 立体电影

（2）头盔式显示器 头盔式显示器（Head Mounted Display，HMD，）是一种立体图形显示设备，可单独与主机相连以接受来自主机的三维虚拟现实场景信息。 目前最常用的头盔显示器是基于液晶显示原理的，最早如美国VPL公司于1992年推出的Eyephone，它在头上装有一个分辨率为360×240象素的液晶显示器，其视野为水平100度。 Lecture 3

头盔式显示器 Lecture 3

头盔显示器分类 头盔分单通道和双通道两种: 单通道的头盔显示器上装有一个液晶显示器并显示同一幅图像； 双通道的头盔显示器上装有两个液晶显示器，左边的液晶屏显示来自主控计算机生成的左眼图像，右边的液晶显示屏显示来自主控计算机生成的右眼图像，每一幅的图像的显示刷新速度都在60Hz以上，两幅图像在两个液晶屏之间快速切换显示，根据立体成像原理，观察者就可以看到立体图像 。 Lecture 3

头盔式显示器使用方式为头戴式，辅以空间跟踪定位器可进行虚拟场景输出效果的观察，同时观察者可做空间上的移动，如自由行走、旋转等。 两个显示屏幕处于用户佩戴的头盔中，分别覆盖用户双眼的视野，使得用户只能够感知来自计算机所生成的图像，沉浸感极强。 Lecture 3

（3）洞穴式显示环境CAVE 这是一种四面的沉浸式虚拟现实环境。 系统在支持多用户的同时，给用户提供了前所未有的，带有震撼性的沉浸感 对于处在系统内的用户来说，投影屏幕将分别覆盖用户的正面、左右以及底面视野，构成一个边长为10英尺的立方体。 可以允许多人走进CAVE中，用户戴上立体眼镜便能从空间中任何方向看到立体的图像。 CAVE 实现了大视角、全景、立体、且支持5～10 人共享的一个虚拟环境。 Lecture 3

CAVE显示环境 Lecture 3

CAVE优点 它可提供180o的宽视域和2000×2000 以上的高分辨率； 它允许用户在虚拟空间中走动，而不用佩戴笨重的设备； 它允许在同一个环境中存在多个用户，而且用户间可以自然地交互； 一次能显示大型模型，如汽车、房屋等，而HMD则需要头部运动才能看到完整的模型。 Lecture 3

6个投影面的CAVE系统 能够完全覆盖用户的视野范围，使用户能够完全沉浸于所生成的虚拟环境。另外，也有投影到圆柱状或环绕投影面的系统，主要应用于虚拟剧场，提供对多用户的支持。 Lecture 3

（4）真三维显示 真三维显示是三维显示的最终目标，是一种能够实现360度视角观察的三维显示技术，是现实景物的最真实的再现。 显示技术 在真三维显示场景中，位置各异的用户无需借助其他器具，就可以围绕显示区域看到与自身位置相对应的信息，在宽广的视场和视距范围内随心所欲地边走边看，符合人类对真实场景的观看方式。 缺点：只能产生半透明的3D透视图，而无法显示不透明的三维物体。 显示技术 扫描体显示 固态体显示

真三维显示技术 扫描体显示 Felix3D：一个马达带动一个螺旋面高速旋转，然后由R/G/B三束激光会聚成一束色度光线，经过光学定位系统打在螺旋面上，产生一个彩色亮点，当旋转速度足够快时，螺旋面看上去变得透明了，而这个亮点则仿佛是悬浮在空中一样，成为了一个体象素(空间象素，Voxel)，多个这样的voxel便能构成一个体直线、体面，直到构成一个3D物体。

真三维显示技术 扫描体显示 Perspecta 采用的是一种柱面轴心旋转和空间投影的结构，其旋转结构为一个由马达带动的直立投影屏，这个屏的旋转频率可高达730rpm，它由很薄的半透明塑料做成。当需要显示一个3D物体时，Perspecta将首先通过软件生成这个物体的198张剖面图(沿Z轴旋转，平均每旋转2°不到截取一张垂直于X-Y平面的纵向剖面)，投影屏平均每旋转2°不到，Perspecta便换一张剖面图投影在屏上，当投影屏高速旋转、多个剖面被轮流高速投影到屏上时，则构成了一个可以全方位观察的3D物体。

真三维显示技术 固态体显示 DepthCube 利用层叠液晶屏幕的方式来实现三维体显示，它的外形就像一台80年代的电视机，显示介质由20个液晶屏层叠而成 在任一时刻，有19个液晶屏是透明的，只有1个屏是不透明的，呈白色的漫反射状态； DepthCube将在这20个屏上快速的切换显示3D物体截面从而产生纵深感

交互设备的整合应用 山东大学考古数字博物馆 综合利用前面介绍的各种虚拟设备，可以在此基础上完成一些较为复杂的应用。山东大学构建了一套基于桌面的虚拟现实平台，并用于山东大学考古数字博物馆 Lecture 3

数据手套 用 手 势 通道理解 位 置 漫 整合 游 跟踪器 语音命令 户 传统命令 系 统 麦克风 鼠标/键盘 立体眼镜/头盔 立体图像 音箱 手 势 位 置 语音命令 传统命令 通道理解 整合 立体图像 三维音效 麦克风 鼠标/键盘 数据手套 数字博物馆的系统架构 Lecture 3

两个跟踪器分别固定在用户的手套和身体上 固定在身体上的跟踪器跟踪用户的转动，控制用户在场景中漫游的方向； 附着在手套上的跟踪器跟踪手相对于身体的相对位置。如果手与虚拟空间中的物体发生碰撞，则利用数据手套检测用户的手势命令，判断用户是否要抓取物体。语音命令可以辅助用户在虚拟场景中进行漫游。  Lecture 3

习题 3.1 对虚拟现实交互设备进行分类归纳总结，并进行优缺点比较。 3.1 对虚拟现实交互设备进行分类归纳总结，并进行优缺点比较。 3.2 设计一个手写板绘图程序，获取用户在手写板上的输入位置和压力信息，获取基本笔划。 3.3 利用WIA，设计一个图像采集与管理程序，支持从摄像头、扫描仪和数码相机获取图像。 3.4 设计网络聊天模拟器，支持键盘、鼠标、耳麦和摄像头等设备，模拟信息输入、发送功能，以及语音、视频聊天功能等。 3.5 给出一个实际应用中交互设备整合应用的实例。