虚拟现实与人机交互团队 《建设项目计划任务书》论证 汇报人：冯志全 2014年12月10日 Copyright 2013,SDPKL-NBIC

汇报提纲 团队基本情况 团队建设目标 支撑条件、环境建设与措施 Copyright 2011,Sunshine Company

1 团队基本情况 学术带头人：冯志全 研究方向 人机交互，虚拟现实 学术任职 代表性论文 山东省网络环境智能计算技术重点实验室常务副主任 《航空学报》《计算机应用》《中国图形图像学报》等期刊审稿人 国际期刊《The Open Virtual Reality Journal》与《工程图学学报》编委 四川省绵阳师范学院客座教授 ACM SIGCHI专委会成员，计算机图学专委会委员 代表性论文 Features Extraction from Hand Images Based on New Detection Operators. Pattern Recognition,2011. SCI Real-time Oriented Behavior-driven 3D Freehand Tracking for Direct Interaction. Pattern Recognition,2013. SCI Key factor-based initialization for 3D hand tracking. Chinese Journal of Electronics, 2013. SCI 3D Freehand Tracking Based on Relevancy among Local Motion Models. Chinese Journal of Electronics, 2013. SCI 基于自然手势跟踪的直接操作型三维人机交互范式. 计算机学报, 2014. 基于用户行为分析的手势跟踪方法. 软件学报, 2013.

1 团队基本情况 学术带头人：冯志全 专著 专利与获奖 基金项目 《三维自然手势跟踪的理论与方法》, 清华大学出版社, 2013. 《面向三维手势跟踪和交互研究的科学问题与研究设想》, 电子科技大学出版社, 2013. 专利与获奖 一种三维手势模型的初始化方法及系统.发明专利, 2011. 基于曲线逼近机理的图像特征之表达、分类、提取和应用.山东高等学校优秀科研成果二等奖, 2012. 基金项目 面向人手三维跟踪的粒子滤波器中的实时性和鲁棒性问题研究(60973093), 国家自然科学基金. 基于认知机理和手势动画的三维人机交互界面研究(61173079), 国家自然科学基金. 面向自然人手跟踪的3D人机交互界面中的关键问题研究(ZR2011FZ003), 山东省自然科学基金重点项目. 手势交互关键技术及其在智能电视中的应用, 海信集团有限公司

2 团队基本情况 团队成员基本情况 姓名 出生年月 学位 专业技术 职务 研究方向 工作单位 唐好魁 1972.2 硕士 副教授 人机交互与虚拟现实 信息学院 尹建芹 1978.11 博士 图像处理、机器学习以及模式识别 韩延彬 1979.5 模式识别与图像处理 徐涛 讲师 图像处理与计算机视觉 吕娜 1979.2 计算机图形学与计算机动画 蒋彦 1977.9 图像处理与人机交互 Copyright 2011,Sunshine Company

Chinese Journal of Electronics 团队基本情况 3 团队前期科研基础 发表论文 01 2011.1-2014.6期间，团队在SCI、EI以及领域内核心期刊上发表学术论文100余篇，其中发表在学校界定的顶级期刊上论文2篇，并出版学术专著2本。 序号 论文名称 作者 发表时间 发表刊物 检索 1 Features Extraction from Hand Images Based on New Detection Operators. zhiquan Feng, Bo Yang, Yuehui Chen, Yanwei Zheng, Tao Xu, Yi Li, Ting Xu, Deliang Zhu 2011 Pattern Recognition SCI 2 Real-time Oriented Behavior-driven 3D Freehand Tracking for Direct Interaction Zhiquan Feng, Bo Yang, Yi Li,Yanwei Zheng, Xiuyang Zhao, Qingfang Meng. 2013 3 Key factor-based initialization for 3D hand tracking FENG Zhiquan, YANG Bo, XU Tao, ZHENG Yanwei, GAO Jian. Chinese Journal of Electronics 4 3D Freehand Tracking Based on Relevancy among Local Motion Models Zhiquan Feng, Bo Yang, Yanwei Zheng, Xianhui Song, Yi Li. 5 IGA based point cloud fitting by B-spline surfaces for reverse engineering Zhao Xiuyang，Zhang Caiming, Yang Bo, Feng Zhiquan, Xu Li. Information Sciences

Computer Animation and Virtual Words. 团队基本情况 3 团队前期科研基础 发表论文 01 2011.1-2014.6期间，团队在SCI、EI以及领域内核心期刊上发表学术论文100余篇，其中发表在学校界定的顶级期刊上论文3篇，并出版学术专著2本。 序号 论文名称 作者 发表时间 发表刊物 检索 6 基于自然手势跟踪的直接操作型三维人机交互范式 冯志全, 杨波, 徐涛, 唐好魁, 吕娜. 2014 计算机学报 EI 7 基于用户行为分析的手势跟踪方法 冯志全, 杨波, 郑艳伟, 徐涛. 软件学报 8 与颜色空间选择无关的肤色检测方法 徐涛，冯志全，吴鹏 2013 计算机辅助设计与图形学学报 9 A genetic algorithm approach to human motion capture data segmentation 吕娜，黄艳，冯志全，彭京亮 Computer Animation and Virtual Words. SCI 10 基于局域相关向量机回归模型的小尺度网络流量的非线性预测 孟庆芳, 陈月辉, 冯志全, 王枫林, 陈珊珊. 物理学报

团队基本情况 3 团队前期科研基础 承担项目 02 2011.1-2014.6期间，承担国家自然科学基金项目3项，承担山东省自然科学基金重点项目1项，横向项目1项，济南大学科研基金2项，总经费147万。 序号 项目名称 项目类别 28 负责人 项目经费 1 面向人手三维跟踪的粒子滤波器中的实时性和鲁棒性问题研究 (60973093) 国家自然科学基金 2010.1-2012.1 冯志全 30 2 基于认知机理和手势动画的三维人机交互界面研究 (61173079) 2012.1-2015.12 56 3 融合尺度行为模式与环境上下文的家庭服务模式获取研究 2012.01-2015.12 尹建芹 4 面向自然人手跟踪的3D人机交互界面中的关键问题研究(ZR2011FZ003) 山东省自然科学基金重点项目 2012.01-2014.12 12 5 手势交互关键技术及其在智能电视中的应用 海信集团有限公司 2013.10-2014.10 20 6 基于肤色模型的人手跟踪算法的研究 济南大学科研基金 2009.12-2012.12 徐涛 0.5 7 人脸运动捕获数据压缩 2011.12-2014.12 吕娜

3 团队基本情况 团队前期科研基础 科研奖励与专利 03 2011.1-2014.6期间，获得山东省高校优秀科研成果二等奖1项，获得发明专利1项。 序号 名称 成果说明 1 基于曲线逼近机理的图像特征之表达、分类、提取和应用 山东高等学校优秀科研成果二等奖 2 一种三维手势模型的初始化方法及系统. (专利号：200910015471.9). 发明专利

4 团队基本情况 团队的研究特色和优势 研究方向 优势 本方向以基于自然人手的人机交互理论和应用研究为主要研究方向，在基于图像的三维重构、粒子滤波、图像特征提取等相关理论和应用研究中作了大量基础研究工作，取得了一系列创新理论成果和应用成果。为进一步研究基于自然人手的跟踪、识别和交互，进而研究自然、直接、和谐的人机交互理论和方法及其在虚拟现实系统中的应用，勾画出研究的战略框架。 优势 率先用认知理论指导手势跟踪研究，并提出了多个认知行为模型和注意关注模型，并实现了相关算法，从而完成了关键性基础理论的积累； 形成了行为模型数据库、手势库等多个数据库，从而完成了关键数据的积累； 完成了多个虚拟装配平台的开发，尤其是通过与海信集团的合作，基本完成了交互式智能数字电视关键算法的研究和实现，从而实现了重要的实验平台； 在高水平论文、专利、专著、知识产权等方面凸显研究水平的优势； 本团队目前有4名年轻老师正在攻读博士学位，具有潜在的人才优势。

4 团队基本情况 团队的研究特色和优势 方向特色 本方向的基本特色： 面向三维（3D）交互情景，以3D手势作为交互通道，以虚拟装配及交互式数字电视交互界面为应用背景； 对基于手势等体感交互中的跟踪、识别和界面范式等中的基础性、关键性、前沿性学术问题进行研究； 在切入点、研究内容、研究方法、关键问题以及应用支撑等方面，相对于中科院和浙江大学更具特色； 团队在该领域连续获得4项国家自然科学基金项目以及山东省自然科学基金重点项目的资助。

01 02 4 团队基本情况 研究内容 认知机理和行为特征研究 人机交互协作机理研究 研究虚拟界面的透明感知技术的认知机理和行为特征，揭示虚拟界面中功能块的分布与用户行为模型和体验愉悦感之间的关系，为虚拟界面的设计提供理论支撑 02 人机交互协作机理研究 以透明性操作的愉悦体验度和认知操作负荷为线索，研究人-机之间透明协作的机理，构建迎合性计算模型并研究其相关算法，为透明性界面设计提供智能化内核

03 04 4 团队基本情况 研究内容 用户手势到操作手势映射研究 人机自然交互界面范式研究 揭示用户在语义选择过程中的认知机理和行为特征，突破‘用户记手势命令难’的问题，实现由用户手势到操作手势的透明映射 04 人机自然交互界面范式研究 融合‘虚拟界面’的透明性、‘三空间’之间映射关系的透明性、透明性迎合、以及透明‘监控与纠错’等关键环节，实现一个自然手势驱动的直接操纵3D透明人机自然交互界面范式。

团队建设目标 经过三年建设（2014.9-2017.9），努力打造一支高水平科研团队，拥有省内外有一定影响力的学科带头人和优秀中青年学术骨干。 与上一个阶段的建设成果相比较，争取取得更多的标志性成果，在提升成果数量的前提下，重点发表高水平论文、著作和专利。 团队建设总体目标 团队所属研究方向在省内具有鲜明特色和一定优势，整体科研水平在山东省属高校处于领先地位，率先在智能电视和智能手机上取得应用突破。 培养的研究生学术水平高，学术活动活跃，同国内外同行建立良好的学术交流和合作关系。

团队建设目标 发表高水平论文60篇以上，人均发表论文9篇， 其中SCI索引论文10篇以上，学校认定的顶级论文2篇以上， 出版专著一部， 论文著作与专利 发表高水平论文60篇以上，人均发表论文9篇， 其中SCI索引论文10篇以上，学校认定的顶级论文2篇以上， 出版专著一部， 申请发明专利10项，取得发明专利授权至少2项。

团队建设目标 获得国家自然科学基金面上项目立项2项， 国家自然科学项目青年基金立项1项， 山东省自然科学基金项目立项1项， 科研项目与获奖 获得国家自然科学基金面上项目立项2项， 国家自然科学项目青年基金立项1项， 山东省自然科学基金项目立项1项， 到账经费总数达到150万元以上， 获得厅级以上科研奖励2项。

团队建设目标 培养硕士研究生9-10人， 指导研究生发表高水平论文10篇以上，或指导学生获得山东省优秀硕士学位论文1篇以上。 人才培养能力和水平 培养硕士研究生9-10人， 指导研究生发表高水平论文10篇以上，或指导学生获得山东省优秀硕士学位论文1篇以上。

团队建设目标 学术队伍建设 引进和培养具有博士学位的中青年学术骨干4-5人， 经过三年建设，力争进入省级科研创新团队行列。

团队建设目标 举办小型学术研讨会2-3次， 每年邀请国内外知名专家学者来校交流访问3人次以上， 参加国内外学术会议40人次， 学术交流 举办小型学术研讨会2-3次， 每年邀请国内外知名专家学者来校交流访问3人次以上， 参加国内外学术会议40人次， 青年骨干人员短期国内外交流2人次以上。

团队建设目标 建设指标 建设目标 发表高水平论文30篇，SCI收录论文4篇。出版专著一部，申请专利5项，知识产权登记20项。 团队负责人任期目标 建设指标 建设目标 论文（篇数、收录情况、影响因子等）、著作、专利情况 发表高水平论文30篇，SCI收录论文4篇。出版专著一部，申请专利5项，知识产权登记20项。 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 获得国家自然科学基金项目面上项目1项，到账经费80万以上。获得厅级以上奖励2项以上。 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导研究生发表高水平论文10篇，获得山东省优秀硕士学位论文1篇。 学术地位与影响 在基于手势的自然交互研究领域，在国内有较大影响力和知名度。与中科院、浙江大学、山东大学、山东科技大学、青岛海信集团等加强交流与联合，增强影响。

团队建设目标 建设指标 建设目标 发表高水平论文5篇，申请专利或软件著作权3项 论文（篇数、收录情况、影响因子等）、著作、专利情况 团队骨干唐好魁目标 建设指标 建设目标 论文（篇数、收录情况、影响因子等）、著作、专利情况 发表高水平论文5篇，申请专利或软件著作权3项 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 承担厅局级项目1-2项，经费5万元以上 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导研究生2名

团队建设目标 建设指标 建设目标 发表高水平论文10篇，SCI论文2篇以上。 论文（篇数、收录情况、影响因子等）、著作、专利情况 团队骨干尹建芹目标 建设指标 建设目标 论文（篇数、收录情况、影响因子等）、著作、专利情况 发表高水平论文10篇，SCI论文2篇以上。 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 承担国家自然科学基金面上项目1项，到账经费70万元 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导研究生5名

团队建设目标 建设指标 建设目标 发表高水平论文5篇 论文（篇数、收录情况、影响因子等）、著作、专利情况 团队骨干韩延彬目标 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 承担厅局级项目1-2项，经费5万元以上 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导研究生2名

团队建设目标 建设指标 建设目标 发表CCF推荐期刊SCI检索论文2篇以上，高水平论文6篇，申请专利1项以上。 团队骨干徐涛目标 建设指标 建设目标 论文（篇数、收录情况、影响因子等）、著作、专利情况 发表CCF推荐期刊SCI检索论文2篇以上，高水平论文6篇，申请专利1项以上。 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 申请山东省自然科学基金项目1项，到账经费15万元 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 开设《机器学习》或《计算机视觉》研究生课程，指导研究生2名

团队建设目标 建设指标 建设目标 发表高水平论文6篇，SCI论文2篇 论文（篇数、收录情况、影响因子等）、著作、专利情况 团队骨干吕娜目标 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 申请国家自然科学基金项目1项，到账经费28万元 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导1-2名研究生

团队建设目标 建设指标 建设目标 发表高水平论文3篇 论文（篇数、收录情况、影响因子等）、著作、专利情况 团队骨干蒋彦目标 厅局级项目1项 承担科研项目及获奖情况（项目类型、到账经费；获奖等级及位次要求） 厅局级项目1项 教学与人才培养能力和水平 （指导学生发表论文及获奖情况） 指导1-2名研究生

支撑条件、环境建设与建设措施 学校按照校级学科方向团队管理办法，对团队工作进行监督和管理，学校每年投入一定经费（连续三年）用于团队建设。 学院和重点实验室为团队建设提供必要的研究场所和设施。

支撑条件、环境建设与建设措施 支撑条件 环境建设 建设措施 实验室目前拥有先进的实验设备如数字手套，位置跟踪器，力反馈器等，将进一步加强硬件投入，并优化环境建设，为团队成员提供良好的科研环境，方便团队成员定期开展学术研讨和交流。 加大投入打造硬件环境，建立一个国内一流的虚拟现实研究平台，并以此为平台加强同兄弟院校科研院所的学术交流，进一步提升学术影响力。

支撑条件、环境建设与建设措施 支撑条件 环境建设 建设措施 学校政策支持，学院和重点实验室为团队工作提供便利； 加强团队组织管理，研讨定期化、常态化； 围绕科研项目展开研究，确保科研工作齐头并进； 定期邀请知名专家来校交流，掌握最新研究动态； 定期派出团队成员进行短期交流访问和参加学术会议，开阔视野，提升能力，扩大影响； 每半年进行工作总结，并为下一步的科研工作做好规划； 建立科研绩效机制，对积极参与团队工作取得优秀科研成果的成员在经费使用额度上适当倾斜。

敬请各位专家批评指正