第3章 交互设备 山东大学计算机学院.

Presentation on theme: "第3章 交互设备 山东大学计算机学院."— Presentation transcript:

1 第3章 交互设备 山东大学计算机学院

2 主要内容 输入设备： 输出设备： 虚拟现实系统中的交互设备 文本输入设备 图像输入设备 三维图形输入设备 指点输入设备等 显示器 声音的输出
数字纸 等 虚拟现实系统中的交互设备

3 3.1 文本输入设备 文本输入是人与计算机交互的一个重要组成部分，同时也是一项繁重的工作。 键盘输入是最常见、最主要的文本输入方式。
手写等一些更自然的交互方式也可为文本输入提供辅助手段。

4 （1）键盘 键盘是文本输入的最重要手段，而键盘布局对于文本输入的速度和准确性至关重要。
为了提高键盘在某些场合下的使用舒适度，许多键盘在设计的过程中还加入了更多人性化的考虑。

5 键盘分类（按工作原理） 编码键盘 非编码键盘
控制电路的功能完全依靠硬件自动完成，能自动将所按下的按键的编码信息送入计算机。这种键盘响应速度快，但硬件结构复杂。 非编码键盘 控制电路功能要依靠硬件和软件共同完成。这种键盘响应速度虽然不如编码键盘快，但可通过软件为键盘的某些按键重新定义，为扩充键盘功能提供了极大的方便，因而得到了广泛的使用。 编码键盘能够由硬件自动提供与被按键对应的ascii码或其他编码。 非编码键盘仅提供行和列的矩阵，硬件逻辑和按键编码不存在严格的对应关系，而由所用的程序来确定。

6 键盘的布局 QWERTY键盘布局 19世纪70年代，Sholes发明了QWERTY键盘布局，其名称来源于该布局方式最上行前6个英文字母，最常用的几个字母安置在相反方向，最大限度放慢敲键速度以避免卡键。 这种布局方式依然是今天最为常见的排列方式，成为一种事实上的标准。

7 键盘的布局 DVORAK键盘布局 20世纪20年代的DvORAK键盘布局，据推测使用DVORAK，打字者的手指平均每日运动1英里，而QWERTY则是12到20英里。 DVORAK可以大大减少手指移动距离，从而大大提高输入速度，但由于受到传统QWERTY布局的影响，没有成为主流的键盘布局。 双手 右手 左手

8 人性化设计的键盘 –人机工程学键盘 是在标准键盘基础上将指法规定的左手键区和右手键区这两大板块左右分开，并形成一定角度，这样可使操作者不必有意识的夹紧双臂，从而保持一种比较自然的形态，这种设计的键盘被微软公司命名为自然键盘（Natural Keyboard）。

9 人体工程学键盘 固定于椅子上的键盘 固定于桌面上的键盘

10 人性化设计的键盘 –多功能集成键盘 这类键盘集成了鼠标、无线等功能，在键盘布局以及外观设计方面，针对游戏、上网浏览等常用娱乐功能做了改进。
键盘正上方设计的快捷键，包括 “IE主页”、“打开文件夹”、“查找文件”和“进入信箱”等12个，许多操作可以一键完成。键盘的无线接收器采用USB接口，安装使用也非常方便。

11 *触控屏键盘* 虚拟键盘

12 *Projection Keyboard*
韩国CELLUON 公司的无线激光投影虚拟键盘 可以配合iPad/iPhone 以及Android2.2 等移动设备和手机使用

13 （2）手写设备 手写笔板+手写笔: 是手写系统中一个很重要的部分。

14 手写笔 有线笔 无线笔 手写笔一般还带有两个或三个按键，其功能相当于鼠标按键，这样在操作时不需要在手写笔和鼠标之间来回切换。
手写笔尾部均有一根电缆与手写板相连，从手写板上输入电源 。 无线笔 借助于一些特殊技术而不需要任何电源。携带和使用起来非常方便，同时也较少出现故障。 手写笔一般还带有两个或三个按键，其功能相当于鼠标按键，这样在操作时不需要在手写笔和鼠标之间来回切换。

15 手写板 电阻式压力手写板：几乎已经被淘汰 电磁式感应手写板：目前市场主流产品
电容式触控手写板：市场的新生力量，具有耐磨损、使用简便、敏感度高等优点，是今后手写板的发展趋势。

16 电容式触控手写板工作原理 利用人体的电流感应进行工作。
电容式触控屏是一块四层复合玻璃屏，玻璃屏的内表面和夹层各涂有一层ITO(镀膜导电玻璃)，最外层是一薄层矽土玻璃保护层，ITO涂层作为工作面，四个角上引出四个电极，内层ITO为屏蔽层以保证良好的工作环境。 当手指触摸在金属层上时，人体电场、用户和触控屏表面形成一个耦合电容，对于高频电流来说，电容是直接导体，于是手指从接触点吸走一个很小的电流。这个电流分别从触控屏四角上的电极中流出，并且流经这四个电极的电流与手指到四角的距离成正比，控制器通过对这四个电流比例的精确计算，得出触摸点的位置信息。

17 .net 类库 void textbox1_StylusDown(object sender, StylusDownEventArgs e) { //在用户将手写笔的笔尖与手写板接触时发生 Stylus.Capture(textbox1); //捕获绑定到textbox1的手写笔，开始信息获取 } void textbox1_StylusMove(object sender, StylusEventArgs e) { //在手写笔与手写板接触并移动时发生 Point pos = e.GetPosition(textbox1); // 获取笔的位置 /*如果需要获取笔的压力等更多的信息，可以调用StylusEventArgs 的GetStylusPoints(IInputElement) 方法，获得StylusPoint结构*/ textbox1.AppendText("X: " + pos.X + " Y: " + pos.Y + "\n"); void textbox1_StylusUp(object sender, StylusEventArgs e) { Stylus.Capture(textbox1, CaptureMode.None); // 取消信息获取

18 手写板通用评测指标 压感级数： 精度： 书写面积： 手写板可以感应到笔在手写板上的力度的级别，最高为512级。
精度又称分辨率，指的是单位长度上所分布的感应点数，精度越高对手写的反映越灵敏，对手写板的要求也越高 书写面积： 是手写板一个很直观的指标，手写板区域越大，书写的回旋余地就越大，运笔也就更加灵活方便，输入速度往往会更快，当然其价格也相应更高。书写面板的尺寸大体有以下几种：76mm×51mm、76mm×114mm、10mm×13mm和11mm×15mm

19 手写汉字识别软件 除了硬件外，手写笔和手写板的另一项核心技术是手写汉字识别软件，目前各类手写笔的识别技术都已相当成熟，识别率和识别速度也能够满足实际应用的要求。 汉王科技股份有限公司董事长 刘迎建 1985年研发出第一个联机手写汉字识别装置。 中科院在1988年提出利用笔段为基元的 联机手写汉字识别技术。 逍遥笔

20 3.2 图像输入设备 图像输入是人与计算机交互的另外一个重要组成部分。
二维扫描仪可以快速地实现图像输入，且经过对图像的分析与识别，可以得到文字、图形等内容； 摄像头是捕捉动态场景最常用的工具。

21 （1）二维扫描仪 二维扫描仪对图像画面进行扫描时，光源将光线照射到待扫描的图像原稿上，产生反射光或透射光，然后经反光镜组反射到电荷耦合器件（Charge Coupled Device，CCD）中。CCD图像传感器根据反射光线强弱的不同转换成不同大小的电流，经模拟／数字转换处理，将电信号转换成数字信号，即产生一行图像数据。 同时，在控制电路的控制下，步进电机旋转带动驱动皮带，从而驱动光学系统和CCD扫描装置在传动导轨上与待扫原稿做相对平行移动，将待扫图像原稿逐条线扫入，最终完成全部原稿图像的扫描。对于彩色图像扫描，通常使用RGB三色滤镜，分别生成对应于红（R）、绿（G）、蓝（B）三基色的三幅单色图像，然后将这三幅图像合成。

22 二维扫描仪的性能指标（一） 分辨率: 扫描仪的分辨率决定了最高扫描精度 ;在扫描图像时，扫描分辨率设得越高，生成的图像的效果就越精细，生成的图像文件也越大。 扫描仪的分辨率等于其光学部件的分辨率加上其自身通过硬件及软件进行处理分析所得到的分辨率。 DPI是指用扫描仪输入图像时，在每英寸上得到的像素点个数。 分辨率为1200DPI的扫描仪，往往其光学部分的分辨率只占400～600DPI。扩充部分的分辨率由硬件和软件联合生成，这个过程是通过计算机对图像进行分析，对空白部分进行插值处理所产生的。

23 二维扫描仪的性能指标（二） 扫描速度: 扫描速度决定了扫描仪的工作效率
一般而言，以300DPI的分辨率扫描一幅A4幅面的黑白二值图像，时间少于10秒钟，相同情况下，扫描灰度图，约需10秒左右，而如果使用三次扫描成像的彩色扫描仪，则要2~3分钟。

24 二维扫描仪的分类 目前大部分的扫描仪都属于平板式扫描仪 手持式扫描仪和滚筒式扫描仪 手持式扫描仪与平板扫描仪都是
主要由上盖、原稿台、光学成像部分、光电转换部分、机械传动部分组成。 手持式扫描仪和滚筒式扫描仪 手持式扫描仪与平板扫描仪都是 把需要扫描的材料静止放置，通 过扫描光源的移动来完成扫描。 滚筒式扫描仪在扫描的过程中保持扫描光源静止不动，通过卷动扫描材料完成扫描。 机盖 导轨 滑杆 稿台 齿轮链条 步进电机 平板式扫描仪结构

25 （2）普通数码摄像头 数码摄像头的用途 数码摄像头可以直接捕捉影像，然后通过计算机的串口、并口或者USB接口传送到计算机里。
数码摄像头没有存储装置和其他附加控制装置，只有一个感光部件、简单的镜头和不太复杂的数据传输线路，造价低廉。

26 数码摄像头性能指标（一） 感光元器件 像素数 摄像头使用的镜头主要包括CCD和CMOS（附加金属氧化物半导体组件）两种。
像素数是影响图像质量的重要指标，也是判断摄像头性能优劣的重要条件。早期产品以10万像素的居多，目前则以500万像素为主。

27 数码摄像头性能指标（二） 解析度 视频速度 镜头
分为照像解析度和视频解析度 ：有1280×1024、1280×960、640×480、352×288、320×240、176×144、160×120 等规格 一般产品的最高解析度可以达到1280×1024 视频速度 视频速度和视频解析度是直接相关的，基本成反比关系 如640×480 解析度可达12.5帧／秒（Frames Per Second，FPS）， 352×288 的解析度可得到30 FPS，真正获取流畅的视频 镜头 镜头性能的重要条件是它的调焦范围以及灵敏性等因素 ，好的摄像头，应该有较为宽广的调焦范围和较高的灵敏性

28 （3）红外摄像机 红外夜视 数码摄像机发出人们肉眼看不到的红外光线去照亮被拍摄的物体，红外线经物体反射后进入镜头进行成像。

29 红外摄像机技术基本原理 被动红外摄像机技术 主动式
任何物质在绝对零度(-273℃)以上都有红外线辐射，物体的温度越高，辐射出的红外线越多。采用红外热成像仪探测目标物体的红外辐射，将目标物体的温度分布图像转换成视频图像。但是，这种特殊的红外摄像机造价昂贵，因此仅限于军事或特殊场合使用。 主动式 采用红外灯辐射“照明”(主要是红外光线)，红外的摄像机接收周围景物和环境反射回来的红外光实现夜视监控。主动红外摄像技术成熟，稳定，成为夜视监控的主流。

30 （4） Kinect 3D体感摄影机 微软在2009年6月2日的E3大展上正式公布的XBOX360体感周边外设。导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。

31 硬件： 中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。
左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。 底座马达会随着对焦物体移动跟着转动。 四个麦克风负责采集声音

32 Kinect系统架构 1）骨骼跟踪具有以下特点：  从Kinect Primesense芯片组获取深度数据流，通过USB 2.0端口传输。  设定人体“分类”（Classification）的特征阈值，通过约定的字节编码，为每个被追踪的玩家在深度图像中创建“分割遮罩”（Segmentation）。  将深度数据中出现的游戏玩家（用户）与背景图像分割，发现玩家。  通过机器学习的结果，快速对人体部位进行分类。  通过机器学习的结果，从人体部位进一步识别关节点三维坐标，从而进行人体骨骼三维建模。  根据Xbox 360游戏场景需要进行后续的游戏渲染工作。 2）身份识别包括动作识别和人脸识别两部分，其具有以下特点：  从Kinect彩色摄像头获得视频流信息，通过USB 2.0端口传输。  玩家面部器官被分解成几个关键性的面部标志，通过彩色视频信息的特征采样进行人脸匹配。  为了提高识别精度和效率，同时结合人的着装信息、身高等因素来进行匹配。  玩家用户信息被识别，并从关联数据库中被检索。  根据玩家的个性化信息，Xbox 360游戏进行后续的游戏渲染工作。 3）语音识别处理具有以下特点：  从Kinect麦克风阵列中获取原始音频信息，通过USB 2.0端口传输。  根据特定算法进行多通道回声消除、回声抑制，适应玩家与Kinect麦克风一定距离及室内空旷回声等情况。  通过波束成形等机制，进行声源定位。  通过噪声抑制等机制，自动过滤环境噪声。  语音命令识别。 深度数据流（depth stream）、彩色视频流（color stream）、原始音频数据（raw audio stream），同时分别对应骨骼跟踪（Skeletal Tracking）、身份识别（Identify）、语音识别（Speech Pipeline）三个处理过程。

33 1）骨骼跟踪具有以下特点： 从Kinect Primesense芯片组获取深度数据流，通过USB 2.0端口传输。
 设定人体“分类”（Classification）的特征阈值，通过约定的字节编码，为每个被追踪的玩家在深度图像中创建“分割遮罩”（Segmentation）。  将深度数据中出现的游戏玩家（用户）与背景图像分割，发现玩家。  通过机器学习的结果，快速对人体部位进行分类。  通过机器学习的结果，从人体部位进一步识别关节点三维坐标，从而进行人体骨骼三维建模。  根据Xbox 360游戏场景需要进行后续的游戏渲染工作。

34 2）身份识别包括动作识别和人脸识别两部分，其具有以下特点：
 从Kinect彩色摄像头获得视频流信息，通过USB 2.0端口传输。  玩家面部器官被分解成几个关键性的面部标志，通过彩色视频信息的特征采样进行人脸匹配。  为了提高识别精度和效率，同时结合人的着装信息、身高等因素来进行匹配。  玩家用户信息被识别，并从关联数据库中被检索。

35 3）语音识别处理具有以下特点： 从Kinect麦克风阵列中获取原始音频信息，通过USB 2.0端口传输。
 通过波束成形等机制，进行声源定位。  通过噪声抑制等机制，自动过滤环境噪声。  语音命令识别。

36 kinect应用展示： http://blog.csdn.net/zouxy09/article/details/8145592 虚拟应用
Kinect试衣镜，这款基于kinect体感技术的神奇的试衣镜，让客户可以快速的试穿衣服，提高销售效率和企业形象。 虚拟应用 Kinect自制应用3D试衣间 3D摄像机， 用两个KINECT实现3D摄像机的基本效果。 3D建模 雕塑工具，立等可取Kinect成街头快速人像雕塑工具，利用Kinect对人体进行3D建模，然后根据人体的3D信息，连接相应的塑模设备，塑造出人体塑像。 用Kinect 操控遥控直升机  机械控制 Kinect Robo，使用Kinect作为机器人的头，通过kinect检测周围环境，并进行3D建模，来指导机器人的行动。   Kinect控制高达机械人 虚拟乐器 Kinect弹奏中国古代乐器，通过手势的改变可以演奏出不同中国古代乐器的声音。 空气吉他，通过Kinect手势操作虚拟吉他弹奏音乐。 虚拟娱乐 变身奥特曼，捕捉玩家骨架数据，虚拟为奥特曼的形态与之随动，并且附加一些特技效果。 Kinect破解“初音”，将体感控制应用到漫画人物——初音上。 Kinect破解玩光剑，Kinect检测玩家的动作，虚拟出光剑的影像，与之随动。 Kinect手势操作浏览器，通过Kinect手势对浏览器进行翻页，下拉，放缩等操作。 计算机相关应用 Air Presenter，让你的演讲从此与众不同，用kinect进行演讲的软件。 Kinect体感控制看片，第四军医大学西京医院骨科的医生们将破解的kinect应用在手术室，在术中，手术者可通过体感控制查看患者的影像资料。大大方便了医生手术，减少了手术室的人员流动。 Kinect多点触摸，使用kinect实现隔空多点触摸，浏览图片、地图等。 虚拟实验 用Kinect控制闪电（特斯拉线圈） Kinect蜡笔物理，使用Kinect手势绘图，通过体感控制所绘图形，并使之具有物理特性，比如重力，吸引力等。 游戏 kinect破解玩求生之旅2 体感打僵尸 Kinect破解玩马克思佩恩 Kinect破解玩魔兽世界    Kinect破解玩街头霸王    Kinect破解玩超级马里奥兄弟  Kinect破解玩 现代战争   Kinect破解玩兵者诡道           原文及视频信息链接        一群来自卡内基梅隆的学生使用Kinect的交互特点实现了18个各种各种的有趣的想法。他们仅仅用了两周的时间，从大二学生到研究生不等。让我们来看一下他们实现的奇思妙想吧！ 2. Mario Boo       此示例主要应用了Kinect的骨架跟踪技术和玩家分段数据，将拳击和脚踢的交互通过可视的漫画效果表现出来，并且同步发出一些拟声效果。 1. Comic Kinect 3. Magrathea        当Kinect传感器检测到有人出现在视野内时，会出现一个幽灵保持在人的背后，随着人的运动而运动，并且会根据深度信息的远近而改变自身大小。        从中午舞狮中获取灵感，运用Kinect的骨架跟踪技术，两个人分别同坐自己的四肢操纵虚拟怪兽的四肢和头尾。 4. We be Monsters        Magrathea使用Kinect根据桌上的任何物体动态的产生地形图。摄像头读取桌上物体的不断变化深度信息，可以展现出类似地球地形逐渐进化的过程。        使用了Kinect/OpenNI 骨架技术，使得3张卡片组成的人体可以跟玩家随动，并且通过手的滑动更换图片。 5. Mix&Match Interaction Toy 7. roboScan        作者创建了一个微粒系统，当用户移动时，像棉絮一样的东西会随之涌动，当用户静止时，则聚集到参与者的深度区域。 6. Kinect Flock 8. Neurospasta        roboScan是一个3D模型+扫描仪，将一个Kinect设备固定在一个ABB 4400机械手上。设定好的动作和操作者同时控制机器人和摄像机的3D位置。Kinect的深度数据用来产生一个精确的外部环境的模型。       这个设计充满了神秘色彩，玩家可以控制一个发光的球体，球体根据玩家手的运动而动，根据深度信息变大或变小。 9. Will-o-the-Wisp         Neurospasta是一个需要全身投入的自由形态游戏平台。参与者可以控制他们各自基于Kinect的木偶，也可以通过功能设定控制别人的化身。 11. Hand-Tracking Visualization        通过检测手掌张开还是握紧的手势，作者开发了一个基于模拟气球飞行的简易小游戏。 10. Balloon Grab        该软件使用手势控制音频的可视化效果，结合检测到场景中手距Kinect的深度信息。参与者手的位置，速度以及其他参数被用来创建一个交互式的声音的可视化效果。

37 3.3 三维图形输入设备 在许多领域，如机器视觉、面形检测、实物仿形、自动加工、产品质量控制、生物医学等，物体的三维信息必不可少的。
三维扫描仪是实现三维信息数字化的一种极为有效的工具。 动作捕捉设备则用于捕捉用户的肢体甚至是表情动作，生成运动模型。在影视、动漫制作中已被大量应用。

38 （1）三维扫描仪 根据传感方式的不同，三维扫描仪主要分为接触式和非接触式两种。
接触式的三维扫描仪采用探测头直接接触物体表面，通过探测头反馈回来的光电信号转换为物体表面形状的数字信息。该类设备主要以三维坐标测量机为代表。 其优点是具有较高的准确性和可靠性，但也存在测量速度慢、费用较高、探头易磨损以及误差修正等缺点。 非接触式的三维扫描仪，主要有三维激光扫描仪，照相式三维扫描仪等，分别是基于激光扫描测量和结构光扫描测量等技术设计的。 这类设备的优点是扫描速度快，易于操作，且由于不需接触被测量的物体，所以对物体表面损伤少等。

39 三维激光扫描仪 照相式三维扫描仪

40 通过三维扫描仪的建模和绘制过程 Point sets Polygonal meshes Laser Scanner
Modeling and Rendering are the two most important parts in virtual reality. The figure shows the general framework for one scene’s construction and rendering system. To create a virtual site, one must accurately record in three dimensions the entire site. Over the past twenty years, special recording tools have been developed for conservation studies and preservation activities. These tools range from photography to architectural stereo photo grammetry, and more recently to digital tools such as computer 3D modeling and high resolution 3D laser scanners. The integration of these technologies can now result into solutions that address some of the above concerns. In order to satisfy the interaction requirement between user and the virtual scene, real-time rendering techniques should be used while the avatars of users roaming in the scene. So the scene is usually partitioned for visibility computing, and different level of details mesh models are generated for real-time rendering. The use of LOD models can speed up the rendering process dramatically, but the rendering quality can not be preserved. Point sets Polygonal meshes Laser Scanner

41 三维扫描仪工作原理 三维激光扫描仪通过高速激光扫描测量技术，获取被测对象表面的空间坐标数据。 时间差测量法
通过测量激光在仪器和目标物体表面的往返时间，计算仪器和点间的距离，进而可以计算扫描点的三维坐标值。

42 三维扫描仪工作原理 三角测量法 三角测量法通过光源孔发射出一束水平的激光束来扫描物体。该激光线经过旋转平面镜的作用，改变角度，使得激光线发射到物体表面。物体表面反射激光束，每一条激光线都通过CCD传感器采集成一帧数据。根据物体表面不同的形状，每条激光线反射回来的信息中所包含表面形状和颜色数据不同。

43 三角测量法

44 多幅深度图像合并

45 基于点云模型的表面重建 Points Surface

46 Related Work : Surface reconstruction
Nearest neighbor approach: Normal propagation [Hoppe et al, 1992]. Implicit surfaces [Amenta et al, 2004]. Triangulation approach: Crust, Power Crust [Amenta et al, 1998, 2001]. TightCocone [Dey et al, 2003]. We take a look now at some general concepts and methods that is applied to the area of surface reconstruction. Generally, there are two categories of approach, the first of which is by using the nearest neighborhood. A simple approach will be the normal propagation method, proposed by Hoppe in 1992. For each point, consider all the neighborhood points around it, and form a tangent plane based on the eigenvectors(特征向量) of its neighborhood. This provides a linear surface and a normal value for the point. By merging all the linear surfaces from all points, we can obtain a surface. Another approach is based on implicit surfaces, one of which is the “Point Set Surfaces by Amenta in 2004”. The MLS approach can also be categorized under this. Instead of forming a linear tangent plane, an algebraic surface is formed over the neighborhood points, which might or might not go thru all the points. Another general approach is by making use of global Delaunay triangulation. For methods such as Crust, power crust, or tightcocone, they prove that the surface is “hidden” within the 3D Delaunay triangulation and they employ techniques to remove faces which do not belong to the surface.

47 （2）动作捕捉设备 动作捕捉系统在运动物体的关键部位设置跟踪点，由系统捕捉跟踪点在三维空间中运动的轨迹，再经过计算机处理后，提供给用户物体的运动数据。在动画制作中，动画师可以将数据与动画角色合成，生成动画，然后很方便地在计算机中调整、控制运动的物体。

48 运动捕捉设备分类 机械式、电磁式、光学式捕捉设备

49 动作捕捉设备工作原理 机械式动作捕捉设备 电磁式设备 光学式运动捕捉 利用可伸缩的机械结构安装于捕捉物体上，以取得各部分的运动量。
优点是成本低廉，但这种方式限制了运动物体的自由运动，且由于机械设备的尺寸、重量等问题，因而限制了其应用范围。 电磁式设备 将若干低频磁场感应器安装在捕捉物体上，根据感应器接收到的磁场，可以计算出接收器相对于发射器的位置和方向。但其由于易受电磁干扰影响到了捕捉数据的精度和稳定性，对于作业场地的要求也非常严格。 光学式运动捕捉 利用计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部摄相机所见，则根据同一时刻两部摄相机所拍摄的图像和对应参数，就可以确定这一时刻该点在空间的位置。摄相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。光学式运动捕捉便是利用这一点通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。

50 运动捕捉在《指环王》中应用

51 NUS运动捕捉《功夫》制作现场 18 cameras

52 运动捕捉《功夫》 新加坡少林国术总会

53 运动捕捉《功夫》 Dr. Michael Brown

54 运动捕捉《功夫》 Dr. Michael Brown

55 表情追踪

56 表情追踪

57 SDU运动捕捉

58 3.4 指点输入设备 指点设备常用于完成一些定位和选择物体的交互任务。物体可能处于一维、二维、三维或更高维的空间中，而选择与定位的方式可以是直接选择，或通过操作屏幕上的光标来完成。

59 （1）鼠标 1963年，美国科学家Douglas Englebart发明了鼠标器。他最初的想法是为了让计算机输入操作变得更简单、容易。第一只鼠标器的外壳是用木头精心雕刻而成的，整个鼠标器只有一个按键，在底部安装有金属滚轮，用以控制光标的移动。 鼠标的使用使得计算机的操作更加简便，有效代替了键盘的繁琐指令。

60 鼠标的分类 1）机械式鼠标 工作原理：在机械式鼠标底部有一个可以自由滚动的球，在球的前方及右方装置两个支成90度角的编码器滚轴，移动鼠标时小球随之滚动，便会带动旁边的滚轴，前方的滚轴记录前后滑动，右方的滚轴记录左右滑动，两轴一起移动则代表非垂直及水平方向的滑动。编码器由此识别鼠标移动的距离和方位，产生相应的电信号传给电脑，以确定光标在屏幕上的正确位置。

61 鼠标的分类 2）光电式鼠标 工作原理:利用一块特制的光栅板作为位移检测元件，光栅板上方格之间的距离为0.5mm。鼠标器内部有一个发光元件和两个聚焦透镜，发射光经过透镜聚焦后从底部的小孔向下射出，照在鼠标器下面的光栅板上，再反射回鼠标器内。当在光栅板上移动鼠标器时，由于光栅板上明暗相间的条纹反射光有强弱变化，鼠标器内部将强弱变化的反射光变成电脉冲，对电脉冲进行计数即可测出鼠标器移动的距离。

62 鼠标与计算机的接口 串行接口设计(梯形9针接口)；
随着PC机器上串口设备的逐渐增多，串口鼠标逐渐被采用新技术的PS/2接口鼠标所取代(小圆形接口)； 随着即插即用概念的提出，使得采用USB接口的鼠标成为主流； 而对于一些有专业要求的用户而言，采用红外线信号来与电脑传递信息的无线鼠标也成为一种专业时尚。

63 鼠标的按键 从按键而言，依次经历了两键、三键时代。
随着INTERNET的普及，人们发现，在鼠标上加上一个小小的轮轴更便于浏览网页，这样，又出现了滚轮鼠标，目前的鼠标以三键滚轮鼠标为主。

64 新型鼠标 无线鼠标 3D振动鼠标 采用红外线信号或蓝牙信号来与电脑传递信息。
具有全方位立体控制能力，有前、后、左、右、上、下六个移动方向，而且可以组合出前右、左下等不同的移动方向；并且具有振动功能，即触觉回馈功能。

65 （2）触摸板（Touchpad） 触摸板能够在一定的区域内（通常是50~75毫米长度）感应接触，将这种接触信号转发给计算机处理。目前，触摸板已应用到笔记本电脑上，可以替代鼠标。触摸板通过电容感应来获知用户的手指移动情况，对手指热量并不敏感。 同鼠标相比，触摸板的使用更加灵活，在使用过程中，通过更多的配置，可以得到更强的功能。

66 触摸板以及触摸板的配置 可以把触摸板的四个角落定义成不同的按钮，这些特殊的角落称为“角落轻敲区”。于是，利用四个角落轻敲区和手写板的中间轻敲区，加上原来的两个按钮，就可以把触摸板变成拥有七个按钮的鼠标

67 （3）控制杆 控制杆很适宜于跟踪目的（即追随屏幕上一个移动的目标）的原因是移动对应的光标所需的位移相对较小，同时易于变换方向。
控制杆的移动导致屏幕上光标的移动。根据两者移动的关系，可以将其分为两大类：位移定位和压力定位。 对于位移定位的控制杆，屏幕上的光标依据控制杆的位移而移动，因而位移是非常重要的定位特征。而对于压力定位的控制杆，其受到的压力被转化为屏幕上光标的运动速度。

68 （4）光笔 光笔是一种较早用于绘图系统的交互输入设备，它能使用户在屏幕上指点某个点以执行选择、定位或其他任务。光笔使显示器在指定亮点上暂时“冻结”，光笔和图形软件相配合，可以在显示器上完成绘图，修改图形和变换图形等复杂功能。

69 光笔的的原理图 光笔的形状和普通钢笔相似，它由透镜、光导纤维、光电元件、放大整形电路和接触开关组成。 其工作方式包括指点和跟踪。
指点方式包括确定位置和确定对象。这个过程又称为击中。指点过程非常迅速，并可立即恢复，所以用户不会察觉显示暂停。 跟踪方式则指定屏幕上某一点，按下接触开关，经光笔程序产生的十字形光标，显示在该点上。

70 光笔的优缺点 光笔的优点 光笔的缺点 不需要特殊的显示屏幕，与触摸屏的设备相比较，价格便宜许多；
在一些不适宜使用鼠标的地方，可以起到替代作用。 光笔的缺点 手和笔迹可能将遮挡屏幕图像的一部分； 会造成手腕的疲劳； 光笔不能检测黑暗区域内的位置； 会因房间背景光的影响，光笔产生误读现象。

71 （5）触摸屏 触摸屏作为一种特殊的计算机外设，提供了一种简单、方便、自然的人机交互方式，在某些应用中，可以代替鼠标或键盘。
操作触摸屏时，需要首先用手指或其它物体触摸安装在显示器前端的触摸屏，然后系统根据手指触摸的图标或菜单位置来定位选择信息输入。

72 触摸屏的组成、分类 触摸屏由触摸检测部件和触摸屏控制器组成。触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，然后传送给触摸屏控制器。而触摸屏控制器的主要作用是处理从触摸检测部件接收到的触摸信息，并将它转换成触点坐标，再送给CPU，它同时能接收CPU发来的命令并加以执行。 可以把触摸屏分为四种： 电阻式 电容感应式 红外线式 表面声波式

73 触摸屏 应用 触摸屏目前主要应用于公共信息的查询，如电信、税务、银行、电力等部门的业务查询，城市街头的信息查询。
此外还可以应用于工业控制、军事指挥、电子游戏、点歌点菜、多媒体教学等方面。

74 多点触摸屏 Microsoft SurfaceTM Pixelsense http://www.microsoft.com/surface/
2.0Platform SDK + WPF 1 -Screen 2-Infrared1280 x 960 3-CPU 4-Projector Pixelsense 1) Screen – • There is a diffuser which turns the Surface’s acrylic tabletop into a large horizontal “multitouch” screen, which is capable of processing multiple inputs from multiple users. The Surface is so far advanced than we could imagine that it can recognize objects by their shapes or by reading coded “domino” tags when placed on the table. 2) Infrared – • Surface’s “machine vision” operates in the near-infrared spectrum, using an 850-nanometer-wavelength LED light source aimed at the screen. When objects touch the tabletop, the light reflects back and is picked up by multiple infrared cameras with a net resolution of 1280 x 960. 3) CPU – • Surface uses many of the same components found in everyday desktop computers — a Core 2 Duo processor, 2GB of RAM and a 256MB graphics card. Wireless communication with devices on the surface is handled using WiFi and Bluetooth antennas (future versions may incorporate RFID or Near Field Communications). The underlying operating system is a modified version of Microsoft Vista. 4) Projector - • Microsoft’s Surface uses the same DLP light engine found in many rear-projection HDTV’s. The footprint of the visible light screen, at 1024 x 768 pixels, is actually smaller than the invisible overlapping infrared projection to allow for better recognition at the edges of the screen.

75 多点触摸屏 PQ lab itable 产品实际体积： 1.62m（长） * 80m（宽）* 65m（高） 产品清单： 桌子和42 寸红外32 点触摸框 触摸回应时间: 7毫秒 - 12毫秒

76 多点触摸屏 PQ Labs Multi-Touch wall 尺寸: 150‘’ 响应点数: 32 点 触摸技术: 红外线
玻璃: 3 毫米厚度钢化玻璃 ( 可根据需求定制) 触摸方式: 手指、手套或其他任何物体. 触摸识 别精度：8mm. 物体形状识别 ( 手掌， 拳头识别) 触摸回应时间: 7 毫秒 - 12 毫秒 操作系统: W i n d o w s , X P , V i s t a , Windows 7, Mac OS X

77 多点触摸屏 型号 PQ Labs Multi-Touch G3 Touco DV-LCD-65 Micosoft surface 复翔科技
红外多点触摸屏 产地 美国 中国 估价 21.6万 27万 7万 屏幕尺寸 150 '' 65 '' 30 '' 100 '' 表面材质 3毫米 钢化玻璃 支持触摸点 32点 50点 响应时间 7ms - 12ms 供电方式 双头USB 供电 双USB供电 支持操作系统 Windows 2000, XP, Vista, Windows 7, Mac OS X 支持TUIO协议以及 Windows 7

78 多点触摸屏 应用

79 （6） 手写液晶屏 手写液晶屏是液晶矩阵显示技术和高灵敏度电磁压感技术的完美结合，可以在屏幕上直接用压感笔实现高精度的选取、绘图、设计制作。
液晶屏幕上除了具备一般的液晶显示屏的特征以外，在最上面还附有一层特制保护层，确保在书写过程中，屏幕保持平整不变形，液晶原来的画质毫不受损，同时具有高耐久性。

80 （7）眼动跟踪系统 眼动跟踪系统允许用户仅仅通过凝视的手段来控制计算机选择物体。目前来看，眼动跟踪系统需要利用较为复杂的硬件设备以及软件算法。

81 眼动跟踪系统工作原理 首先，用四个L形的红外线发光器，在眼睛里产生一些亮点； 然后利用一个广角摄像头获取脸部图像，快速确定眼睛的位置；
再利用一个视野较小，分辨率较高的摄像头拍摄眼睛的高分辨率图像； 最后，分析眼睛的图像，计算瞳孔中心和亮点的位置，通过计算瞳孔中心和亮点确定的矢量，确定视线方向。

82 眼动跟踪意义 通过分析眼部移动，我们能了解人们的行为。注视时间的长短通常表明了大脑处理视觉信息的过程和认知行为的发生。如，在阅读时，注视常见单词的时间通常比非常见单词时间短。

83 （8）光标键--非连续定位装置 选择菜单或者编辑文本过程中光标移动时，只需要上、下、左、右几个方向的控制，这时候仅需要简单的光标键就可以了 。 键盘上都有光标键，在windows等图形用户界面和鼠标出现之前，光标键是一般字符界面最重要的定位方式。目前，在一些应用中，特别是一些简单交互界面或一些文本编辑系统中，光标键作为一种简单、自然的方式，仍然发挥着重要的作用。

84 输入设备 之 新鲜玩意儿……

85 *脑电波输入* 汉诺威信息及通信技术博览会 2010（CeBIT 2010）上展出第一台为病人残疾人开发的人脑电脑交互系统（Brain computer interfaces） IntendiX 。12250 美元。 使用者需要将注意力集中到不断闪烁的字母矩阵中的某一个字母上，系统分析使用者的脑电图来确定你要输入的字母。当屏幕上使用者正在想的字母亮起来时，脑电波会出现一个波峰，这时候IntendiX 就会输入它。熟练掌握之候，输入一个字母大约需要 1 秒。IntendiX 除了输入字母，还能开关警报器，把文字转换为语音和发送电子邮件。其价格是 9000 欧元，相当于 美刀。

86 *投影按键输入* Skinput 技术，由微软Redmond 的研究实验室领头开发，其包含了两种最新技术，迷你投影仪 和 皮肤触摸技术(通过超低频率声响侦测来判断是否有触摸动作发生)。

87 乐谱学习笔 通过点触的方式识别乐谱。内置电子节拍器，并可以选择不同的播放速度，适用于任何乐器的训练要求。
它配备了耳机插口，您可以带上耳机收听内容。此外，它还有MP3录音功能，您可以把自己练习的曲子录下来，以便日后学习改进。

88 “阿凡达”机器人-远程模拟人类动作 “Telesar V”机器人 日本应庆大学研究院的多媒体设计专业的Susumu Tachi教授
“Telesar V”机器人 日本应庆大学研究院的多媒体设计专业的Susumu Tachi教授

89 操作者穿戴的单薄聚酯手套镶嵌有半导体和微小的电机，操作者通过半导体和电机来“感觉”机器手臂碰触到的物品，是光滑的还是凹凸不平的，同样也能感觉到物体的冷热度。
机器人的“眼睛”事实上是摄像机，捕捉图片并发送到操作者眼前的微小显示屏上，让操作者看到三维图片。 当操作者通过机器人的扬声器让周围的那些人听到他的声音的时候，机器人的麦克风也接收到其它的声音。

90 总结：输入设备 文本输入设备 图像输入设备 三维图形输入设备 指点输入设备等 键盘、手写输入 二维扫描仪、数码摄像头 三维扫描仪、运动捕捉
鼠标、光笔、控制杆、触摸板、触摸屏