王晨 指导教师：张军平副教授 复旦大学计算机科学技术学院 上海市智能信息处理重点实验室 基于时空模板的步态识别的研究 王晨 指导教师：张军平副教授 复旦大学计算机科学技术学院 上海市智能信息处理重点实验室

报告概述 课题背景介绍 课题研究现状 我们的工作：Chorno-Gait Image 课题研究感想

课题背景介绍 生物认证：通过人类生物特征进行身份识别的一种 技术 DNA 指纹 静脉 虹膜 人脸 笔迹 语音

课题背景介绍 步态识别就是利用人的行走姿态对人进行身份认证 的技术 一些步态示例[Wang 03]

课题背景介绍 步态识别的优点 步态识别的应用 步态识别的难点 步态数据的获取是非接触，非侵入的，并且隐蔽性高，以 及难以被隐藏 相比于所有其他已知生物认证技术，步态识别是唯一能够 在远距离进行识别的技术[Zhang 10] 步态识别的应用 门禁监控，证据采集等 步态识别的难点 易受多种外在因素干扰，如视角，鞋，衣服，背包，行走 平面等 采集数据是视频序列，处理起来时空开销大

课题研究现状 训练 标注数据 获取 特征提取 分类器 训练 分类器 识别 非标注数据 获取 特征提取 识别 步态识别基本流程

课题研究现状 训练 标注数据 获取 特征提取 分类器 训练 分类器 识别 非标注数据 获取 特征提取 识别 步态识别基本流程

课题研究现状 特征提取 步态识别 基于模型 模型无关 基于序列 基于模板

不同方法优劣的比较 计算性能 鲁棒性 可理解性 空间信息 时间信息 基于模型 基于序列 基于模板

步态能量图(GEI) 步态能量图(Gait Energy Image)[Han 06]

我们的工作：Chrono-Gait Image[Wang 10] 目标： 设计一种新的步态模板 保留GEI简单易懂，算法时空复杂度性能好的优点 在生成的模板中保持步态序列的时间信息 Key Idea： 利用颜色来保持时间信息！

我们的工作：Chrono-Gait Image[Wang 10] 颜色映射过程

我们的工作：Chrono-Gait Image[Wang 10]

实验及分析 USF Data Set[Sarkar 05] 122个人，12组针对不同的影响因素设计的实验

实验及分析 对比试验示例[Wang 10]

实验及分析

实验及分析 USF数据集Rank1结果[Wang 10]

小结 步态识别是生物认证中的重要分析，具有很高的实 际意义 我们提出了一种新型步态模板，在具有原来步态能 量图的所有优点的同时能够保持时间信息 计算性能 鲁棒性 可理解性 空间信息 时间信息 基于模型 基于序列 步态能量图 彩色步态图

课题研究成果 论文: Wang, C., Zhang, J.P., Pu, J., Yuan, X.R., Wang, L. Chrono-Gait Image: A Novel Temporal Template for Gait Recognition. Computer Vision-ECCV 2010 (2010) 257-270 Wang, C., Zhang, J.P., Wang, L., Pu, J., Yuan, X.R. Human Identification Using Temporal Information Preserving Gait Template. Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), under major revision.

课题研究成果 报告: 2010年欧洲计算机视觉会议 (ECCV’10) 2010年全国机器学习及其应用研讨会暨机器学习及其应用 学生研讨会(MLA’10 & SSMLA’10) 2011年U21本科生科研会议(U21 Undergraduate Research Conference) 2011年上海市大学生创新论坛（优秀项目）

研究心得与收获 使我完整地感受到了科研的完整流程 本科生也能在科研上做出优秀的工作 本科生应该被鼓励走出书本，走出课堂 莙政基金为我们提供了一个很好的平台

致谢 感谢我的导师张军平老师给与的指导 感谢袁晓茹老师和王亮老师在项目研究与论文撰写 的过程中提出的宝贵建议 感谢上海市智能信息重点实验室机器学习兴趣小组 的所有同学的帮助与建议 感谢李政道先生和秦惠莙女生为中国大学生创建的 学术研究平台 感谢复旦大学本科生学术研究资助计划（FDUROP） 给予的支持

参考文献 [Wang 10] Wang, C., Zhang, J.P., Pu, J., Yuan, X.R., Wang, L. Chrono-Gait Image: A Novel Temporal Template for Gait Recognition. Computer Vision-ECCV 2010 (2010) 257-270 [Wang 03] Wang, L., Tan, T.N., Ning, H.Z., Hu, W.M.: Silhouette Analysis Based Gait Recognition for Human Identi_cation. TPAMI 12 (2003) 1505-1518 [Zhang 10] Zhang, J.P., Pu, J. and Chen, C.Y., Fleischer, R.: Low-resolution gait recognition. TSMCB(2010) 986-996

参考文献 [Yam 09] Yam, C.Y., Nixon, M.S.: Model-based Gait Recognition. In: Encyclopedia of Biometrics, Springer (2009) 633-639 [Bouchrika 07] Bouchrika, I., Nixon, M.S.: Model-based Feature Extraction for Gait Analysis and Recognition. In: MIRAGE, Springer-Verlag Berlin Heidelberg (2007) [Sundaresan 03] Sundaresan, A., Roy-Chowdhury, A., Chellappa, R.: A Hidden Markov Model Based Framework for Recognition of Humans from Gait Sequences. In: ICIP. Volume 2. (2003) 93-96 [Boulgouris04] Boulgouris, N.V., Plataniotis, K.N., Hatzinakos, D.: Gait Recognition Using Dynamic Time Warping. In: IEEE 6th Workshop on Multimedia Signal Processing (2004) 263-266

参考文献 [Han 06] Han, J., Bhanu, B.: Individual Recognition using Gait Energy Image. TPAMI 28 (2006) 316-322 [Xu 11] Xu, D., Huang, Y., Zeng, Z., Xu, X.: Human Gait Recognition using Patch Distribution Feature and Locality- constrained Group Sparse Representation. Accepted by TIP (2011). [Chen 10] Chen, C.Y., Zhang, J.P., Fleischer, R.: Distance Approximating Dimension Reduction of Riemannian Manifolds. TSMCB 40 (2010) 208-217 [Sarkar 05] Sarkar, S., Phillips, P.J., Liu, Z., Vega, I.R., Grother, P., Bowyer, K.W.: The Humanid Gait Challenge Problem: Data Sets, Performance, and Analysis. TPAMI 27 (2005) 162-177

谢谢大家！ Q&A

基于模型的特征提取 优点： 缺点： 可理解性好 能够解决遮挡与自遮挡的问题 获取结构模型困难，通常只适用于理想环境 识别性能严重依赖于模型获取，鲁棒性不强 需要对某些特定领域（如人体关节结构，人体运动学等） 有深入理解

基于序列匹配的方法 优点： 缺点： 不依赖与人体结构模型与运动模型的建立，鲁棒性好 分类模型复杂，需要大训练集训练以保证学习出的分类器 的性能 基于整个视频序列，无论计算时间开销还是存储空间开销 都比较大，很难做到实时处理

基于模板的特征提取 优点： 方法简单有效 算法时间，空间复杂度低 具有较好的鲁棒性 缺点： 在生成模板的过程中损失一部分时空信息

小结 彩色步态图(CGI)的优点： 彩色步态图(CGI)的缺点： 思想直观简单，易于理解，便于实现 算法时空效率高，能够实时处理（每秒30帧以上） 具有较好的鲁棒性 在识别率上与现在已知的最好的方法有着可以比较，甚至 更好的性能 在某些复杂的环境中，彩色步态图能够获得更好的识别性 能 彩色步态图(CGI)的缺点： 与步态能量图(GEI)相比，彩色步态图(CGI)需要更多的训练 数据

我们的工作：Chrono-Gait Image[Wang 10] 周期检测 计算腿部区域局部宽度

我们的工作：Chrono-Gait Image[Wang 10] 与原有周期检测算法比较

我们的工作：Chrono-Gait Image[Wang 10] 利用局部熵提取侧面轮廓的边缘 颜色映射 对每个1/4周期中的所有图片进行饱和叠加运算，生成代表这个1/4周期的模板

我们的工作：Chrono-Gait Image[Wang 10]