LOGO 人机交互 演讲人：刘迪一 俞冲 蒋修远 2015年11月25日 人机交互 1/61

什么是人机交互？ 是关于设计、评价和实现交互式计算机系统，并对这些方面主要现象进行研究的学科。 设计：设计方法、原则、工具和描述。 人机交互（Human-Computer Interaction，HCI） 是关于设计、评价和实现交互式计算机系统，并对这些方面主要现象进行研究的学科。 设计：设计方法、原则、工具和描述。 评价：根据可用性等指标对设计结果进行评价。 实现：借助各种工具，实现交互式计算机系统的人机界面。 2015年11月25日 人机交互 2/61

什么是人机交互？ 2015年11月25日 人机交互 3/61

什么是人机交互？ 人到计算机的信息交换 借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息； 2015年11月25日 人机交互 4/61

什么是人机交互？ 2015年11月25日 人机交互 5/61

什么是人机交互？ 计算机到人的信息交换 计算机通过打印机、绘图仪、显示器、头盔式显示器（HMD）、音箱等输出或显示设备给人提供信息。 2015年11月25日 人机交互 6/61

什么是人机交互？ 人机界面（Human-Machine Interface，HMI） 人与计算机系统之间的通信方式，它是人机双向信息交换的支持软件和硬件。 2015年11月25日 人机交互 7/61

什么是人机交互？ 2015年11月25日 人机交互 8/61

什么是人机交互？ 人机交互设计（Interaction Design） 指“设计支持人们工作与生活的交互产品”，目的是增强和扩充人机通讯及交互的方式。 2015年11月25日 人机交互 9/61

人机交互与其他学科 人机交互技术的相关学科 认知心理学、人机工程学、多媒体技术、虚拟现实技术 相互关系 认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透。 2015年11月25日 人机交互 10/61

2015年11月25日 人机交互 11/61

认知心理学 2015年11月25日 人机交互 12/61

人机工程学 人机工程学 运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工作效率的新兴边缘科学。 2015年11月25日 人机交互 13/61

人机工程学 2015年11月25日 人机交互 14/61

多媒体技术 多媒体技术 多媒体技术特点 多媒体技术是指将文本、声音、图形、静止图像、动态图像等与计算集成在一起的技术。 丰富信息的表现形式，可以得到更直观的信息，简化用户的操作，扩展应用范围。 2015年11月25日 人机交互 15/61

多媒体技术 提高人对信息表现形式的选择和控制能力，提高信息表现形式与人的逻辑和创造能力的结合程度，扩展人的信息处理能力。 多媒体信息比单一媒体信息对人具有更大的吸引力，有利于人对信息的主动探索而不是被动接受。 2015年11月25日 人机交互 16/61

多媒体技术 2015年11月25日 人机交互 17/61

多媒体技术 多通道人机交互 将进一步提高计算机的信息识别、理解能力，提高人机交互的效率和用户友好性，将人机交互技术和用户界面设计引向更高境界。 在较高的层次上进行解释、分析和综合用户的原始输入，提取语义内容，达到对用户的某种理解。 从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理解和解释。 2015年11月25日 人机交互 18/61

虚拟现实技术 虚拟现实（Virtual Reality，VR） 是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。 虚拟现实技术 2015年11月25日 人机交互 19/61

虚拟现实技术 虚拟现实 2015年11月25日 人机交互 20/61

LOGO 人机交互的研究内容

研究内容 人机交互界面表示模型与设计方法 可用性分析与评估 认知与智能用户界面 移动界面设计

(Model and Methodology) 1.人机交互界面表示模型与设计方法 (Model and Methodology) 一个交互界面的好坏，直接影响到软件开发的成败。 好的人机交互界面开发离不开好的交互模型与设计方法。 因此，研究人机交互界面的表示模型与设计方法，是人机交互的重要研究内容之一。

人机交互界面表示模型与设计方法 1 行为模型 2 结构模型 有哪些呢？ 3 事件-对象模型

模型 操作 遵守规则 用户 任务 目标 方法

行为模型 结构模型 事件-对象模型 - 主要有GOMS，UAN以及LOTOS模型 主要以系统的角度来表示人机交互界面 状态转换网络 面向对象的表示模型，将人机交互活动归结为时间与对象的相互作用

GOMS 1983年由Card, Morgan和Newell 提出的。 通过目标 (Goal)、操作 (Operator)、方法 (Method) 以及选择规则 (Selection) 四个元素来描述用户的行为。 GOMS是在交互系统中用来分析建立用户行为的模型。它采用“分而治之”的思想，将一个任务进行多层次的细化。

GOMS应用 作为一种人机交互界面表示的理论模型，GOMS是人机交互研究领域内少有的几个广为人知的模型之一，并被称为最成熟的工程典范，该模型在计算机系统的评估方面也有广泛的应用。 GOMS can save money! 美国电话公司NYNEX利用GOMS分析一套即将被采用的新的计算机系统的应用效果，结果发现效果不理想，放弃了使用新系统，为公司节约了数百万的资金。

LOTOS算符 T1 ||| T2（交替Interleaving） T1和T2两个任务相互独立执行，可按任意顺序执行，但永远不会同步。 T1 [] T2（选择Choice） 需要在T1，T2中选择一个执行，一旦选择某一个后，必须执行它直到结束，在这中间另一个再无执行机会。 T1 | [a1,...,an] | T2（同步Synchronization） 任务T1，T2必须在动作（a1,……，an）处保持同步 T1 [> T2（禁止Deactivation） 一旦T2任务被执行，T1便无效（不活动） T1 >> T2（允许Enabling） 当T1成功结束后才允许T2执行

LOTOS实例

中国象棋的LOTOS任务分解实例

可用性分析与评估 可用性: 人机交互系统易于使用的程度。 主要内容： 支持可用性的设计原则 可用性的评估方法 可用性测试： 测试者邀请用户使用设计原型或产品完成操作任务，通过观察、记录和分析用户行为和相关数据，对界面的可用性进行评估。

栗子：

认知与智能用户界面 智能用户界面的目标是使人机交互和人－人交互一样自然、方便。 界面认知用户的方法 上下文感知 眼动跟踪 手势识别 三维输入 语音识别 表情识别 手写识别 自然语言理解

智能用户界面 多通道输入 多通道输出 基于智能体的交互 交互管理和交互模型 智能环境 

多通道输入的必要性 传统的用户界面支持顺序和无二义性的精确输入， 如键盘或指点设备等。 而智能的多通道输入，则没有上述的限制。它允许输入设备有一定的非精确性，允许几个设备同时输入。 例如，说话输入、视线（眼动）输入、头动输入或三维姿势输入等。它们的共同特点是输入的异步性、二义性和非精确性。

多通道输出 例如在车上查询到达目的地的最佳路径时，系统一方面在汽车的图形显示屏上给出加亮的路由标志，同时可根据汽车当前的位置和道路的拥挤情况，不断用语言提示驾驶员各种可选路线。由于新技术的进展，目前已可使用多通道的立体声输出、三维立体显示、TTS (text to speech)、力反馈设备、动画影视等各种输出。

智能环境 智能环境是指用户界面宿主系统所处的环境应该是智能的。 目前， 已有许多单位开发了“Smart X” 的项目，如智能办公室，智能教室等。智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在。

智能环境

移动界面设计 移动界面设计（Mobile and Ubicomp） 移动计算（Mobile Computing）、普适计算（Ubiquitous Computing）等对人机交互技术提出了更高的要求，面向移动应用的界面设计问题已成为人机交互技术研究的一个重要应用领域。 移动设备的便携性、位置不固定性和计算能力有限性以及无线网络的低带宽高延迟等诸多的限制，研究移动界面的设计方法，移动界面可用性与评估原则，移动界面导航技术，以及移动界面的实现技术和开发工具，是当前的人机交互技术的研究热点之一。

LOGO 发展历史及趋势

发展历史及趋势 1.4.1 人机交互的发展历史 1． 语言命令交互阶段 命令语言:通过语言中的输入输出功能完成。 机器语言指令 批处理作业语言或交互命令语言 命令行界面（Command Line Interface，CLI） 46

图1-3 命令行界面概念模型 发展历史及趋势

发展历史及趋势 2. 图形用户界面（GUI）交互阶段 主要特点: 桌面隐喻 WIMP(Windows、Icon、Menu、Pointing Device)技术 直接操纵 所见即所得(WYSIWYG) GUI技术起源 60年代美国麻省理工学院的Sutherland(计算机图形学奠基人)的工作。其发明的Sketchpad首次引入了菜单、不可重叠的瓦片式窗口、图标，并采用光笔进行绘图操作。 48

发展历史及趋势 图1-4 WIMP界面概念模型 49

鼠标器 发展历史及趋势 1964年美国科学家道格拉斯·恩格尔巴特（Douglas Englebart）在加利福尼亚制作了第一只鼠标器 一个按键，外壳用木头精心雕刻而成，底部有金属滚轮，当时并不被重视。 直到1979年12月，施乐PRAC研究中心的科学家拉瑞·泰斯勒（L.Tesler）演示了窗口、图标、菜单，随鼠标器移动的光标，鼠标的重大历史意义在这一刻才真正得到显示。 70年代施乐公司在Alto计算机开发了位映像图形显示技术，为开发可重叠窗口、弹出式菜单、菜单条等提供了可能。 奠定了目前图形用户界面的基础，形成了以窗口（Windows）、图标（Icon）、菜单（Menu）和指点装置（Pointing Device）为基础的第二代人机界面，即WIMP界面。 50

发展历史及趋势 图形用户界面的优缺点 人机交互自然和效率较高。 易于初学者使用 重复性的菜单选择会给有经验的用户造成不方便 输入信息时用户只能使用手这一种输入通道 图形用户界面需要占用较多的屏幕空间 难以表达非空间性抽象信息的交互 51

发展历史及趋势 3 自然和谐的人机交互阶段 主要特点 基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互. 目的 使人能以声音、动作、表情等自然方式进行交互操作。 自然和谐的人机交互的内容 研究开发友好的逼真的三维用户界面 基于声音、动作、表情等多种通道的自然交互方式 新交互设备 如美国麻省理工学院的Sutherland在1968年开发了头盔式立体显示器，成为现代虚拟现实技术的重要基础。 52

发展历史及趋势 图1-5 多通道人机界面概念模型 53

发展历史及趋势 多通道交互设备 1982美国加州VPL公司开发出了第一副数据手套，用于指示等简单手势的输入；该公司在1992年还推出了 Eyephone液晶显示器；同样在1992年，Defanti等提出了一种四面的沉浸式虚拟现实环境——CAVE系统等。 目前，对于人类重要的自然交互方式—语音和笔的交互技术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水（Digital Ink）等，其发展已经有了很大的成效，如中国科学院自动化研究所开发了“汉王笔”手写汉字识别系统；微软亚洲研究院发明了数字墨水技术；中国科学院人机交互技术与智能信息处理实验室研制的笔式交互软件开发平台等工作；IBM公司的Via Voice，把语音技术应用到PDA、智能汽车上。 54

发展历史及趋势 多通道交互设备 微软也把语音识别技术集成到了多个领军产品中，包括Office和Windows XP，其最新的语音识别服务器软件Speech Server准备在2004年上半年发布。其中不少已经商品化，市场前景广阔。另外，20世纪90年代，美国麻省理工学院Negroponte(尼葛洛庞蒂)领导的媒体实验室在新一代多通道用户界面方面做了大量开创性的工作。 55

发展历史及趋势 1.4.2 发展趋势 1.集成化 2. 网络化 3. 智能化 4. 标准化

发展历史及趋势 1.集成化 人机交互将呈现出多样化、多通道交互的特点。 桌面和非桌面界面 可见和不可见界面 二维与三维输入 直接与间接操纵 语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉 键盘、鼠标等 交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。 57

发展历史及趋势 2002年2月，W3C（World Wide Web Consortium）国际组织成立了“多通道交互”工作小组（Multimodal Interaction Working Group），开发W3C新的一类支持移动设备MMI的协议标准。 目前已有42家大型IT企业或单位参加该小组，参与制定“多通道交互”的相关协议标准。该小组成员覆盖了几乎所有计算机软硬件、移动通信、家电的大型厂商。 58

发展历史及趋势    2. 网络化 新的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持通过跨地域的网络用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。 59

发展历史及趋势  3.智能化 目前的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。 在人机交互中，使计算机自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人－机之间的交互像人－人交互一样自然、方便，是计算机科学家正在积极探索的新一代交互技术的重要内容。 60

发展历史及趋势 4. 标准化 目前，在人机交互领域，ISO已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。 4.  标准化 目前，在人机交互领域，ISO已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。 但人机交互标准的设定是一项长期而艰巨的任务，并随着社会需求的变化而不断变化。 61

谢谢观看