人机交互技术 第0章 概述 袁涌 湖北理工学院计算机学院

提纲 一 概述 二 回顾 三 进展 四 挑战 五 结论

一 概述

人机交互与用户界面 人机交互（Human-Computer Interaction, HCI): 是研究人、计算机以及它们间相互影响的技术 用户界面: 是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分 人机交互与用户界面是两个有着紧密联系而又不尽相同的概念 人机交互强调的是技术和模型，用户界面是计算机的关键组成部分

人机交互技术与计算机始终相伴发展 计算机的发展历史，不仅是处理器速度、存储器容量飞速提高的历史，也是不断改善人机交互技术的历史。 人机交互技术, 如鼠标器、窗口系统、超文本、浏览器等等，已对计算机的发展产生了了巨大的影响，而且还将继续影响整个人类的生活。 人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术。

人机交互技术的目标 人机交互和信息管理 软件 可伸缩信息基础设施 高端计算 美国总统信息技术顾问委员会的“21世纪的信息技术报告”中列出了新世纪四项重点发展的信息技术 研制能听、能说、能理解人类语言的计算机 使计算机更易于使用，操作起来更愉快，从而提高使用者的生产率 人机交互和信息管理 软件 可伸缩信息基础设施 高端计算

计算机的三个作用 模拟; 帮助人们进行通信; 互动：与实际世界的交流” ACM图灵奖1992年获得者、微软研究院软件总工程师Butler Lampson在题为“二十一世纪的计算研究”报告中指出“计算机有三个作用： 模拟; 帮助人们进行通信; 互动：与实际世界的交流” “人们希望计算机能够看、听、讲，甚至比人做得更好，并能够进行实时处理。”

两个重要的应用趋势 计算机系统的拟人化 以虚拟现实为代表 计算机的微型化、随身化和嵌入化 以手持电脑、智能手机为代表 　以虚拟现实为代表 计算机的微型化、随身化和嵌入化 　以手持电脑、智能手机为代表 人机交互技术是面临这种趋势的瓶颈技术。 以人为中心、自然、高效将是新一代人机交互的主要目标。

二 回顾

人机交互的历史 人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史 人机交互的发展经历了几个阶段： 早期的手工作业阶段 作业控制语言及交互命令语言阶段 图形用户界面（GUI）阶段 网络用户界面的出现 多通道、多媒体的智能人机交互阶段 1、手工操作 世界上第一台数字计算机ENIAC采用外接式的程序，它通过读卡孔机、打卡孔机、以及打字机来进行输入输出。穿孔卡应该算是最早的人机交互 2、命令行界面 进入作业控制语言及交互命令语言阶段，计算机可以由程序员操作，采用批处理操作语言或者交互命令语言的方式与计算机打交道 3、图形用户界面 二十世纪六十年代，鼠标和图形用户界面 (Graphy User Interface)出现，彻底改变了计算机的历史，GUI的主要特点是桌面隐喻、WIMP（窗口、图标、菜单和指点设备，Window/Icon/Menu/Pointing Device）技术、直接操纵和所见即所得 4、网络用户界面 二十世纪九十年代，网络用户界面的出现，超文本标记语言（HTML）及超文本传输协议（HTTP）为主要基础的网络浏览器，是网络用户界面的代表，这类人机交互技术的特点是发展快，新的技术不断出现，如搜索引擎、多媒体动画、聊天工具等 5、多通道用户界面 使用多个信息交互通道如语音、手势、身体语言与计算机进行通信的用户界面。

6、虚拟现实和三维交互 以虚拟现实为代表的计算机系统的拟人化为交互提供了新的交互方式。 7、计算机支持的协同工作 CSW标志着计算机从支持个体工作像支持躯体工作的方向发展。 （1）协作的用户界面 （2）协作过程中的冲突与协调 （3）标准与规范

Douglas C. Engelbart 什么造就了计算机辉煌历史? National Medal of Technology , 2000 IEEE, John Von Neumann Medal Award , 1999 ACM, A. M. Turing Award , 1997 影响几代人，创造计算机的历史 恩格尔巴特是最早认识到基于计算机和通信的工作环境对于人类文明和社会进步的极大重要性的少数先知先觉的学者之一。早在20世纪60年代初，他就发表了一篇名为“放大人类智力”(Augmenting the Human Intellect)的论文，提出了计算机是人类智力的“放大器”的观点。为此，他认为必须改善人机交互方式，发展交互式计算技术。1964年，他发明鼠标器成为代替键盘操纵计算机的方便工具，为交互式计算奠定了基础，因此被IEEE列为计算机诞生50年来最重大的事件之一。 Douglas C. Engelbart

最有影响的事件和成果 1963年发明鼠标器的美国斯坦福研究所的 D.Engelbart，他预言鼠标器比其他输入设备都好，并在超文本系统、导航工具方面做了杰出的成果(Augmented Human Intellect project )，而获1997年ACM图灵奖。10年后鼠标器经不断改进，成为影响当代计算机使用的最重要成果。

计算机是什么?无处不在的计算 Pocket PC Tablet PC Phone PC Desktop PC Wrist PC 无线连接

与桌面PC相连的Tablet交互设备（Wacom公司产品）[Wacom] (a)：Wacom Intuos (b)：Wacom Cintiq PL550 与桌面PC相连的Tablet交互设备（Wacom公司产品）[Wacom]

计算机是什么?Roomware （a）交互墙DynaWall （b）交互椅CommChair （c）交互桌InteracTable 由GMD IPSI设计的Roomware

计算机是什么?计算的三次革命 (计算空间、角色、界面) 1950年， 大型机计算时代 多人一机 1975年， PC计算时代 信息交流 一人一机 2000年， 普适计算时代 服务 一人多机 字符用户界面 键盘 图形用户界面 鼠标，GUI，WIMP 新世纪用户界面(???) 笔、语音(???)

计算机是什么?计算的三次革命

计算机能做什么?不能做什么? 一只眼睛 十 一个指头

计算机计算模式 人 活动 环境 Mainframe Desktop 无处不在的计算

用户界面的发展历史 大型机 键盘 科学计算 台式机 鼠标 办公自动化 三维空间 Post desktop 移动环境 ????? 人机环境 文本命令 键盘 科学计算 台式机 GUI 命令 / WIMP 鼠标 办公自动化 三维空间 Post desktop 移动环境 ????? Non WIMP?? Post WIMP Non WIMP?? 人机环境 无处不在的计算 AR 虚拟现实 VR

人机交互和用户界面----计算机应用的主要障碍 硬件：摩尔定律(18个月翻一倍) 软件：每五年升一代 界面：15-20年换一代 60年代一70年代：键盘，字符界面 80年代一90年代：鼠标，图形界面 21世纪: 新一代界面

“凡有助于缩小人机隔阂，建立和谐人机环境的 理论、方法、技术和产品都具有强大的生命力” 什么是今后计算机应用的障碍? “凡有助于缩小人机隔阂，建立和谐人机环境的 理论、方法、技术和产品都具有强大的生命力” 一 计算机硬件技术已不是阻碍 人机交互和用户界面----计算机应用的主要障碍 人机交互技术一21世纪重大信息技术 计算机研究发展的主干: 计算如硬件技术，计算机软件技术，智能接口技术 -863计划计算机发战研讨会 2002.1.18

普适计算的认识(1) Ubiquitous Computing(ubicopm) Mark Weiser 1991 A vision: (人+环境)*计算资源 基础设施 ( Net) + Devices at varying scales 任何时间任何地点提供信息和服务 A new paradigms of interaction

普适计算的认识(2) Ubiquitous Computing 多人可以使用的计算，计算环境 如交互墙(会议室)、电子白板(教室) 普遍、到处 无处不在的计算 Pervasive Computing(Computing pervasive) 个人所拥有的计算，日用品 如可穿戴计算设备 扩散、渗透

普适计算的认识(3)人机融合过程 人适应计算机 人 计算机 主机时代 PC时代 计算机适应人 普适时代

普适计算中人机交互的三个主题 自然界面(natural interfaces ) 上下文感知应用(context-aware ) 基于物理和计算环境感知到的信息的行为。 简单的上下文、重用性、和复杂的上下文 自动捕捉及访问 (automated capture and access) 无处不在计算的应用试图自动捕捉生活经历, 提供以后对这些经历的灵活访问

普适计算中人机交互的三个特征 人性化 自然化 智能化 显式感知(符号、动作、表象、情感) 多通道 隐式感知---用户意图捕捉 模糊 非结构 连续 人性化 显式感知(符号、动作、表象、情感) 隐式感知---用户意图捕捉 智能化 学习能力 数据挖掘

普适计算的理解(1) 三个层次 计算 信息交流 服务 为基础层次，提供必要的软硬件技术 计算机科学 计算设备之间的交流：计算机网络 普适计算的理解(1) 三个层次 计算 为基础层次，提供必要的软硬件技术 计算机科学 信息交流 计算设备之间的交流：计算机网络 人机交流：人机界面 计算机科学、心理学等学科… 服务 没有感觉计算的存在，却无处不在的享受着服务。计算主要以服务的形态提供人们，并自然地融入社会 计算机科学、社会科学…

普适计算的用户界面 从社会科学的角度出发 使得计算机“Invisible” 多种多样的服务形式，更为自然信息获取 从根本上彻底改造技术以适应人 目标是使人获得真正的效率 使得计算机“Invisible” “最好的仆人是看不见的仆人” 多种多样的服务形式，更为自然信息获取

普适计算的用户界面 充分利用人们在现实生活中获得的生活体验，易学习 自然直观的用户界面 直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程

信息技术的尴尬(HUI的动机) 传统的计算工具 现在的数字技术 结绳记事 沙漏计时 算盘 简单，可触摸，易学习 触觉和肌肉运动知觉 功能强大，学习门槛高 人们必须不断学习适应其发展 原因：生活经验毫无用处，界面本身就是新生事物 人们在现实生活中和物体，环境打交道时基本上不用什么认知负担(因为有丰富的感知器官和生活经验)就能够理解其中的信息流动，而在现在的计算机技术下，情况却大相径庭：和以前完全不一样了！人们要想和信息打交道，必须先过界面这道关，而界面本身就是一种新生事物，虽然说Gui的出现使计算机的易操作性大大提高，但距离自然的，人们容易接受的操作方式还有很大的距离。在GUI中，我们的生活经验毫无用处，

信息空间和物理空间(Bits & Atoms ) 我们生活在两个世界里：现实的物理世界和虚拟的信息世界 两种身份之间却缺少一种无缝的、自然的转换和交互方式 人们和信息空间的交互被局限于传统的图形用户界面(GUI)中 实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。

人机交互技术的进展 自然、高效的多通道交互 虚拟现实和三维交互 可穿戴计算机和移动手持设备的人机交互 智能空间及智能用户界面 物理界面TUI

自然、高效的多通道交互

通道与多通道交互 多通道交互(Multi-Modal Interaction)：一种使用多种通道与计算机通信的人机交互方式。采用这种方式的计算机用户界面称为“多通道用户界面”。 通道(Modality)：源于心理学的概念，涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。

多通道交互 多通道交互是近年来迅速发展的一种人机交互技术，它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业（包括移动计算，移动通信、网络服务器等）的快速发展。 多通道交互的各类通道（界面）技术中，有不少已经实用化、产品化、商品化。其中我国科技人员做出了不少优异的工作。

视线跟踪（眼动）技术 视线跟踪（眼动）技术由于其可能代替键盘输入、鼠标移动的功能，可能达到“所视即所得”(What You Look at is What You Get),因而对残疾人和飞行员等使用有极大的吸引力。 视线跟踪技术，一是研究高质量的眼动跟踪设备，二是如何构造易于操作的用户界面。 眼动跟踪设备有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分 。 眼动跟踪设备的精度和对用户的限制和干扰是一对尖锐的矛盾。

视线跟踪（眼动）技术 目前一类产品是采用头戴微型摄像头的设备，它用来获取两眼瞳孔（或角膜）中视点。其采样率、精度高，可靠。 另一类是在PC机前装了两个微型摄像头的设备，精度不高，适合残疾人操作计算机使用。

眼球运动控制电脑 根据人眼眼球运动的特点和形式。在人眼解剖学和生理学研究的基础上，根据控制眼球运动的神经回路，建立了可实现人眼功能的仿生型机器人眼三维眼球运动控制系统的数学模型。

“注视用户界面(Attentive User Interfaces, AUI) ”

触觉通道的力反馈装置 新一代力反馈感应技术主要有TouchSense触觉感应技术和G-Force Tilte动作感应技术两种。TouchSense触觉感应技术主要用在鼠标/轨迹球等产品中，而动作感应技术(G-Force Tilte)则主要用在动感游戏控制器中。 用在非游戏的高精度触觉反馈装置中，最著名的是由MIT人工智能实验室Massie and Salisbury开发、美国SensAble Technologies 公司生产的Phantom触觉反馈（6自由度）设备和 Ghost软件开发包。由于高精度，它已广泛用于军事、医学、机器人、教学、虚拟现实等各类应用中。

触觉通道的力反馈装置 这个触觉设备仅在一个接触点而不是许多不同接触点上模拟触觉信号。它通过连接在机械臂上的触针来实现这一目的。三个小型发动机在触针上施加压力，从而将力度反馈给使用者。因此，使用者可以感受到虚拟气球的弹性，或是砖墙的坚硬。他也可以感受到这些物体的材质、温度和重量。

生物特征识别技术 生物特征识别技术(Biometrics)是受到广泛关注的一类新兴识别技术。 早期通过对人的指纹识别来确定人的身份，因而指纹识别被广泛应用于安全、公安等部门。 随着反恐斗争的日显重要，各国正在对其他人体特征进行广泛研究，希望尽快找到快速、准确、方便、廉价的身份识别方法。眼睛虹膜、掌纹、笔迹、步态、语音、人脸、DNA等的人类特征研究和开发正引起政府、企业、研究单位的广泛注意。

掌形识别

人脸识别 XID 人脸识别技术可重构3D画面

中科院人脸识别技术成功用于奥运会开幕式

虹膜识别 虹膜是人体中一个最具有独特性的特征器官。虹膜独特的图样在人出生后的10个月时间内便完全形成，并且一生中都将保持不变。而且由于虹膜的复杂，想要找到两个特征相同的虹膜基本上是不可能的。在这一点上，虹膜识别的安全性远高于指纹识别

唇读、人脸表情识别 唇读、人脸表情识别是又一个人机交互技术的热点。 唇读将人们说话的语音和嘴唇变化的形态结合起来，以便更准确地获取人们表达的意图、感情和愿望等。 人脸表情识别的模型和方法也在不断改进。

英国研制出可以分辨不同语言的唇读计算机 ，通过对23位掌握两种或三种语言的人的唇部动作进行统计建模而开发的。识别单个讲话者所说的语言，很高的准确性。

人脸表情识别 人脸跟踪与表情识别系统 中国科学院自动化研究所模式识别国家重点实验室

自然语言理解 自然语言理解始终是自然人机交互的最重要目标，虽然目前在语言模型、语料库、受限领域应用等方面均有进展外，由于它的难度（自然语言的不规范性等），自然语言理解仍是计算机科学家和语言学家的一个长项研究目标。

多通道的整合问题 多通道的整合问题是多通道交互的一个核心研究内容。 1995年由北京大学、杭州大学、中科院软件所承担的自然基金重点项目“多通道用户界面研究”是当时我国最大的HCI项目，探索了多通道用户界面的模型、设计、实现、评估和应用，取得了重要的成果。

多通道交互的标准工作 2002年2月W3C国际组织成立了“多通道交互”工作小组（Multimodal Interaction Working Group），它开发W3C新的一类支持移动设备多通道交互的协议标准。 目前它已开展了五项标准的制订，并已在互联网上发布不同阶段的正式草稿，供补充、完善。 多通道交互框架（Multimodal Interaction Framework） 多通道交互需求（Multimodal Interaction Requirements） 多通道交互用例（Multimodal Interaction Use Cases） 可扩展多通道注释语言需求（EMMA--Extensible MultiModal Annotation language Requirements） 数字墨水需求（Ink Requirements）

虚拟现实和三维交互

虚拟现实和三维交互设备 立体眼镜 头盔式显示器（HMD） 双目全方位监视器（BOOM） 墙式显示屏的自动声像虚拟环境（CAVE） 三维鼠标 三维跟踪球 三维游戏杆 头动位置检测器 数据手套 数据衣服 三维显示设备 三维输入设备 位置跟踪设备

虚拟现实和三维交互设备 三维扫描设备：有接触式和非接触式、手持和固定、不同精度之分，可按不同应用环境和精度要求来选取。为使用方便，非接触式三维手持激光扫描仪很受一般用户青睐。 触觉和力反馈装置：触觉和力反馈装置已经有大批不同价位的产品出现在市场，成为军事、医学、游戏等应用领域的新型交互设备。

三维扫描仪

真”三维Volumetric显示器

虚拟现实和三维交互设备 三维显示界面：多伦多大学和Alias Wavefront公司合作研究的新三维显示界面，采用了新型的“真”三维Volumetric显示器。它不需要戴立体眼镜或戴上装有显示器的头盔，而是直接用肉眼看到真三维效果。

名为HOLOCUBE的公司发布了一款桌面全息三维显示器。它利用先进的的全息投影技术在一个“小盒子”里面投影出三维影像，从而为人们提供最为真实的三维视频。

IO2的气体投影系统，可以在空气中投影出三维画面。

虚拟现实和三维交互设备 无障碍虚拟现实环境：由于数字摄像技术在价格和精度方面的快速发展，同时由于各种识别技术的进展，目前采用多方位、多角度、多台数字摄像机构建的无障碍虚拟现实环境（智能空间，Smart X），已广泛用于室内条件下的虚拟现实系统（如；智能办公室，智能教室等）。 各类三维交互设备仍有相当的发展空间，尤其是在可靠性、价格、性能等方面需不断改进。 非强制、无障碍、高精度、低价格是今后交互设备的发展趋势。

虚拟现实和三维交互设备 北京航空航天大学等六单位联合承担的“分布式虚拟现实应用系统开发与支撑环境”是我国第一个大型虚拟现实研究项目，取得了优异的成果。 浙江大学CAD图形学国家重点实验室在CAVE设备上，做了许多创新的研究工作。

CAVE虚拟现实环境 CAVE设备

可穿戴计算机和移动手持设备的人机交互

可穿戴计算机 可穿戴计算机可广泛应用于在野外的作业。它设计的主要问题是，如何在有限的工作空间内提供各种信息工具的无缝集成。为了达到这个目的，系统必须通过一种自然、非强制的方法来提供功能，以便让用户的注意力集中在手上的任务，而不是被系统所分心。 在可穿戴计算机的人机交互中，应特别重视自然的多通道界面（如语音、视线跟踪、手势等）、上下文感知应用（如位置、环境条件、身份等传感器）、经验的自动捕捉及访问（如采用增强现实—AR的see-through头盔显示来交流信息）。 在我国，哈尔滨工业大学、重庆大学等单位已成立了研究组织，进行可穿戴计算新技术和产品的研究开发。

中国电子科技大学的工作人员在展示可穿戴计算机的目镜显示器和多功能摄像头。这套可穿戴计算机由便携主机、目镜显示器、多功能摄像头、单握式键盘等部分组成，总重量不超过1500克

移动手持设备的交互 移动手持计算设备是指具有计算功能的PDA、掌上电脑、智能手机这类小型设备。将计算功能嵌入手机、通信功能加入掌上电脑已成潮流。 移动计算环境下的人机交互的特点： 必须自然交互，自然感知。 应充分利用上下文感知的特点，自动简化信息的复杂性。 重视不同设备、不同网络、不同平台之间的无缝过度和可扩展性。

移动手持设备的交互 北京大学人机交互和多媒体研究室，开发了移动导游系统TGH，对移动设备多通道交互框架、上下文感知的设计实现、移动互联网上Client/Server结构对语音和笔通道整合的处理等进行广泛的研究，并取得了一定的成果。

智能空间及智能用户界面

智能空间及智能用户界面 智能空间（Smart Space）是指一个嵌入了计算、信息设备和多通道传感器的工作空间。 由于在智能空间里，用户能方便地访问信息和获得计算机的服务，因而可高效地单独工作或与他人协同工作。

智能空间及智能用户界面 国际上已开展了许多智能空间的项目 MIT Intelligent Room Stanford Interactive Workspace Georgia Tech. Aware Home UIUC Active Space Microsoft EasyLiving IBM Blue Space GMD iLand 清华大学 智能教室

MIT Intelligent Room

清华大学 智能教室

智能空间及智能用户界面 将智能技术结合到用户界面中，而构成“智能用户界面（Intelligent User Interface, IUI）”。智能技术是它的核心。智能用户界面的最终目标是使人机交互成为和人-人交互一样自然、方便。 智能环境是指用户界面的宿主系统所处的环境应该是智能的。智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在。智能空间是“智能环境”的一种。

智能空间及智能用户界面 上下文(Context)是指计算系统运行环境中的一组状态或变量，其中的某些状态和变量可以直接改变系统的行为，而另一些则可能引起用户兴趣从而通过用户影响系统行为。 上下文感知计算是指系统自动的对上下文、上下文变化以及上下文历史进行感知和应用，根据它调整自身的行为。 上下文感知是提高计算智能性的重要途径。

智能空间及智能用户界面 Agent是一个计算性的独立系统，它具有以下特征： 智能体(agents)在智能技术中具有极其重要的作用。 SRI提出的开放智能体结构(Open Agent Architecture，OAA)和OGI提出的AAA(adaptive agent architecture)是当今开发多agent系统使用得比较广泛的两个通用框架。 具有感知外界环境的能力 具有对环境有自动采取行动的能力 具有成功（最优）地达到目的的能力 具有有关于周围环境的一部分知识

“Star”是第一个采用“WIMP”界面 从桌面环境到物理世界GUI到TUI 实物操作界面就是这种交互范型的一种尝试。为了使计算无处不在和不可见，这种界面力图把数字信息和我们生活的物理世界有机的融合在一起。在这种界面中，物理世界本身就是界面 1991年，Mark Weiser提出了“普适计算”：计算是无处不在的，是不可见的 物理世界本身就是界面 1981年，施乐公司提出了GUI概念 “Star”是第一个采用“WIMP”界面

TUI的目标 实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。 三个关键的概念： 交互式表面 信息和物体的链接 环境反馈

和TUI 相关的工作 1. Ubiquitous Computing（普适计算） 二者差别： 计算无处不在 计算之间，设备之间的通讯是“透明” 的 例子：会议桌、便签条 二者差别： 普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中 的各种交互设备中，GUI的拓展（适应） TUI界面则试图摒弃GUI界面范式，力图使物理环境成为界面本身，更多的借鉴了在计算机出现以前的人们的交互方式（回归）。

人机交互模型和设计方法 模型在人机交互领域中十分重要，用得很多，类型也很多。 一类是从系统的结构出发，讨论界面在系统中的地位和分解，我们称它为“界面结构模型”。其典型的例子是将界面分成三部分（表示部件、对话控制、应用接口）的Seeheim模型。 另一类是从系统设计的角度来了解用户的“用户特性模型”。它分析不同用户的特点，以提高系统的针对性和适应性，增强界面个性化和提高效率。其典型例子是按照用户对系统、领域的知识、经验、技能的不同，将用户分为偶然、生疏、熟练、专家型等四类用户。

行为模型的一种 用户任务分析模型GOMS 从认知科学出发，分析用户如何和计算机互动的“人机交互模型”，即行为模型。 GOMS(Goal, Operator, Methods, Selection rule)模型 这个模型的理论基础是认知心理学家创立的问题解决理论 。

CPM-GOMS模型 1996年美国卡内奇-梅隆大学的B. John 等又在GOMS模型的基础上进一步提出了CPM(Cognitive Perceptual Motor)-GOMS模型。 这是一个并行处理的多层次模型,它也称作“关键路径方法”。CPM-GOMS模型从人的因素处理器各个层面上提供感知、认知和运动的操作功能，它可以在任务的要求下进行并行操作，可以同时执行多个活动目标。

以用户为中心的设计方法 “以用户为中心的设计”(User Centred Design, UCD)方法近年来已被国际上广泛采用。 主要特征： 主要设计活动： 用户的积极参与，对用户及其任务要求的清楚了解 在用户和技术之间适当分配功能 反复设计解决方案 多学科设计 了解并确定使用背景 确定用户和组织要求 提出设计解决方案 根据要求评价设计

基于剧情的设计方法 J. Carroll的“基于剧情的设计方法”（Scenario-Based Design）目前在具体交互设计中被广泛使用 。 该方法从用户的观点详细地给出： 由于该方法符合人的认知过程，在较高层次上描述了用户的意图，又便于实现，因而在大量交互系统设计中被采用。 交互过程的全部角色（人、设备、数据源、系统等） 各种场景的假设 剧情的描述 某种形式（如用事件表来刻画用户动作、设备响应、事件叙述、事件处理、动作结果等）的人机对话逐步分解 其他各种条件（如：协议，同步，例外事件等）

基于知识的概念模型 近年来采用上下文、基于知识的概念模型逐渐受人重视。 这种建模方法吸取了“以用户为中心的设计”方法和“基于剧情的设计方法”的一些特点，期望在更高层次上建模。

标准化及其它 在人机交互领域ISO已正式发布了许多的国际标准： 我们国家标准化管理委员会已经或正在制订相应的国家标准，以便推动我国的标准化工作，为我国经济发展服务。 ISO 10075:1991 人类工效学与心理负荷相关的术语 ISO 6385:1981 工作系统设计的人类工效学原则 ISO/IEC 10741:1995 信息技术—系统用户界面—交互对话 ISO/IEC 11581:2000 信息技术—系统用户界面—图标符号及功能 ISO 13406:(1999-2001) 使用平板视觉显示器工作的人类工效学要求 ISO 9241:(1992-2000) 使用视觉显示终端办公的人类工效学要求 ISO 13407:1999 以人为中心的交互系统设计过程 ．．．．．． ．．．．．．

标准化及其它 在工业设计中运用可用性工程是近年来为国际上所公认。 所谓“可用性”是指“某产品在特定使用背景下，为特定用户、用于特定目的时，所具有的有效性、效率和满意度。在ISO 9241-11可用性指南中对如何实施“可用性”给出了原则和指南。

四 挑战

挑战 1。无所不在的计算 2。虚拟现实和科学计算可视化 3。图形用户界面 4。Moore定律 5。眼花缭乱的新名词

1。无所不在的计算 无所不在的计算（Ubiquitous Computing, UbiComp) 当人类对某些事物掌握得足够好的时候，这些事物就会和我们生活不可分，我们就会慢慢不觉得它的存在。 将来计算机会看不见，而计算会无所不在，不可见的人机交互也会无所不在的。就像我们时刻呼吸着的氧气一样，我们看不见却可以体验到。

1。无所不在的计算 五个”any” 无所不在的计算强调把计算机嵌入到环境或日常工具中去，而将人们的注意中心集中在任务本身。 access Any body Any thing Any-where at Any time via Any device

2。虚拟现实和科学计算可视化 大型虚拟环境和科学可视化系统，均需构造三维交互环境，但目前的手段还是头盔加手套，十分不便。 当多人协同或远距离操作时，有相当多的问题需要解决。 有实用前景的增强现实(Augmented Reality, AR)也有许多问题（如被动观察、简单浏览、同步配合等）要解决 。

3。图形用户界面 图形用户界面不会被替代，而是会被增强 图形用户界面将在以下几方面继续发展： 从直接控制到非直接控制（smart X, agents, 前面提到的SUI） 从二维到三维视感 更准确的语音、手势识别 高质量的触觉反馈设备 更方便的界面开发工具 增强“智能代理”功能 用视频摄像来识别用户的身份、位置、眼动和姿势。

4。Moore定律 计算机的运算速度、存储能力、以至整体计算能力一直在按照Moore定律成倍翻新。 另一方面，人的认知能力（包括记忆、理解能力）是不随时间成倍增长的。因此人和计算机的交互就会存在严重的不平衡 。 人机交互技术，从本质上讲，是为了减轻人的认知负荷，增强人类的感觉通道和动作通道的能力。

结论 1. 以WIMP为代表的图形用户界面将继续使用和发展，尤其是在办公室、家庭中广泛应用。 2.人机交互将呈现出多样化的特点。桌面和非桌面界面、可见和不可见界面将同时共存。网络和计算将进入家庭和生活，人们可用多种简单的自然方式进行人机交互。 3.以不可见、可移动为特征的无所不在计算和以三维、沉浸为特征的虚拟现实环境，将是人机交互面临的重大挑战和研究目标。

结论 4.人机交互是一门综合学科，它的发展需要计算机硬件、软件、网络、认知心理学、人类工效学等多学科共同努力。 5.当前人机交互的研究热点： 自然、高效、无障碍的多通道交互技术； 新的交互设备、智能技术、交互软件和平台； 无缝的不同网络互联； 以认知科学为基础的交互模型和设计方法； 上下文感知的计算模型；

课下作业 以下列有关多媒体技术的相关领域为主题，通过知网，百度学术搜索10篇相关论文，完成一篇3000字综述。 多媒体人机交互技术 学号：1-25 虚拟现实技术 学号：26-50