作者 ：Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell

Presentation on theme: "作者 ：Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell"— Presentation transcript:

1 Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About
作者 ：Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell 讲解人：緱丹 2018年11月28日

2 文章信息 发表刊物：Proceedings of the IEEE 发表时间：2006 引用次数：34 2018年11月28日

3 First Author Pawan Sinha：Associate Professor of Vision and Computational Neuroscience, Department of Brain and Cognitive Science, MIT Education: M.S., PhD. Dept. of Computer Sciences, MIT B.S. degree, Dept. of Computer Sciences, IIT publication： 2018年11月28日

4 First Author Sinha lab homepage：
Publication： Role of learning in three-dimensional form perception, Nature, 1996, 引用次数60 I think I know that face, Nature, 1996, 引用次数52 Recognizing complex patterns, Nature, 2002, 引用次数26 2018年11月28日

5 Second Author Benjamin Balas: Post-Doctoral Research Fellow, Laboratories of Cognitive Neurosciences Children's Hospital Boston & Harvard Medical School Education: PhD. Dept. of Brain and Cognitive Sciences, MIT (GPA: 5.0/5.0) S.B. Dept. of Brain and Cognitive Sciences, MIT (GPA: 4.9/5.0) 个人主页： 2018年11月28日

6 Third Author Yuri Ostrovsky： PhD candidate in Vision and Computational Neuroscience, Department of Brain and Cognitive Sciences, MIT 个人主页： 2018年11月28日

7 Fourth Author Richard Russell: Post-Doctoral Research Fellow，Department of Psychology Harvard University 个人主页： 2018年11月28日

8 文章摘要 计算机视觉一个重要的目标是要制造出一个自动的人脸识别系统，使得它的性能可以与人类的能力媲美，甚至超越人类。为了达到这个目标，对于计算机视觉的研究者们而言，了解那些通过对人类识别能力的实验分析所得的关键结论非常重要。这些结论揭示了人类视觉系统的出色性能所依赖的机制，并为人工系统超越人类的能力提供了基础条件。在这篇文章中，我们 2018年11月28日

9 文章摘要 给出了我们所认为最基本的19个结论，以及它们对设计智能系统的影响。我们对每一个结论都进行了简短的陈述，并提供了适当的提示，以便人们对任意一个结论进行进一步的研究。 2018年11月28日

10 Abstract A key goal of computer vision researchers is to create automated face recognition systems that can equal, and eventually surpass, human performance. To this end, it is imperative that computational researchers know of the key findings from experimental studies of face recognition by humans. These findings provide insights into the nature of cues that the human visual system relies upon for Achieving its cues that the human visual system relies upon for achieving its impressive performance 2018年11月28日

11 Abstract and serve as the building blocks for efforts to artificially emulate these abilities. In this paper, we present what we believe are 19 basic results, with implications for the design of computational systems. Each result is described briefly and appropriate pointers are provided to permit an in-depth study of any particular result. 2018年11月28日

12 提纲 Motivation 19 results Discussion 2018年11月28日

13 Motivation 我们希望计算机智能系统能赶上并超过人类能力。只有了解人类认知的工作机理，我们才能做的更好。 知己知彼，百战不殆
2018年11月28日

14 提纲 Motivation 19 results Discussion 2018年11月28日

15 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~5 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2018年11月28日

16 1/19 结论1 即使在很低的分辨率下，人类依然能够认出熟悉的面孔。 实验数据： 19×27 pixels 最好识别率
16×16 blocks 高识别率 7×10 pixels >50% 推论：好的人脸识别率并不需要精细的面部细节 2018年11月28日

17 1/19 人物依次为: Michael Jordan, Woody Allen, Goldie Hawn, Bill Clinton, Tom Hanks, Saddam Hussein, Elvis Presley, Jay Leno, Dustin Hoffman, Prince Charles ,Cher, Richard Nixon 2018年11月28日

18 2/19 结论2 抵抗退化图片的能力随着熟悉度的降低而降低 实验： 推论：以人类对熟悉人脸的识别能力作为基准来评估智能识别系统性能比较合适
人类对低质量监控录像的识别率与对识别对象的熟悉程度有关 相比身体结构和步态信息，面部信息更重要 推论：以人类对熟悉人脸的识别能力作为基准来评估智能识别系统性能比较合适 2018年11月28日

19 2/19 在低分辨率监控录像中，对熟悉个体的识别，主要基于面部特征 2018年11月28日

20 3/19 结论3 只用图片中的高频信息（图像的边缘信息）并不能得到高的人脸识别率
实验：只包含轮廓信息的图片很难识别，识别率 47%（轮廓信息）VS. 90%(原始图像) 2018年11月28日

21 3/19 Jim Carry Kevin Costner 2018年11月28日

22 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2018年11月28日

23 4/19 结论4 脸部特征是作为整体被进行处理的 实验： 推论：全局信息很重要
尽管对一个个体而言，某些时候，单独的某一个特征（eg. 眼睛）已足够识别该个体 各个特征间的几何关系以及脸部的其他区域，比特征信息更为重要 推论：全局信息很重要 2018年11月28日

24 4/19 合成的图像影响我们正确判断两个个体，因为它影响力我们利用全局信息来识别人脸 2018年11月28日

25 5/19 结论5 各种人脸特征中，眉毛对识别的作用最大 实验：按重要性递减的顺序 眉毛 眼睛 嘴巴 鼻子 原因分析： 对表达感情很重要
眉毛 眼睛 嘴巴 鼻子 原因分析： 对表达感情很重要 在各种干扰因素的影响下，眉毛最稳定 变化最少 2018年11月28日

26 5/19 上排为 President Richard M. Nixon 下排为actor Winona Ryder 2018年11月28日

27 6/19 结论6 图像结构信息独立于高度和宽度维 实验：人类视觉系统并不严格依赖于眼间距离、嘴巴宽度等空间结构信息
结论6 图像结构信息独立于高度和宽度维 实验：人类视觉系统并不严格依赖于眼间距离、嘴巴宽度等空间结构信息 推论：也许人类视觉系统有iso-dimension ratio编码的能力，来抵抗图像在宽度和高度维上的变化 2018年11月28日

28 6/19 我们可轻松辨认出这些变形的人脸 2018年11月28日

29 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2018年11月28日

30 7/19 结论7 脸型(Face-Shape)是以稍微夸张的方式进行编码的
实验：对于脸型，或者脸型+pigmentation, 稍微偏离真实图像对人脸识别更有效。 推论：建立一个正态分布(norm-based)的人脸子空间或者会提高识别率 2018年11月28日

31 7/19 A 平均女性人脸 B 待识别人脸真实图像 C 合成的稍夸张的待识别人脸 相比图像B,图像C更容易被识别正确 2018年11月28日

32 8/19 结论8 长时间的看一张人脸会引起高程度的后效性 实验：
人脸后效性对旋转和尺度具有鲁棒性 也许人类用不同的神经来处理不同的性别 推论：人类对人脸的感知能力是一个高度可塑的过程，对于周围的不同人脸，能自适应调整自己 2018年11月28日

33 8/19 2018年11月28日

34 9/19 结论9 pigmentation 信息至少和人脸的形状信息一样重要
Pigmentation = surface appearance，与texture和color的区别？ 推论：综合利用形状和pigmentation两种信息，智能系统能取得更好的效果 2018年11月28日

35 9/19 上排：不同形状的相同人脸， 中间：不同pigmentation的相同人脸 下排：形状、pigmentation均不同
2018年11月28日

36 10/19 结论10 当形状信息退化时，颜色信息起到很重要的重要 可能的原因： 颜色提供一个区分不同个体的特异信息
结论10 当形状信息退化时，颜色信息起到很重要的重要 可能的原因： 颜色提供一个区分不同个体的特异信息 颜色便于对低质量图像进行分析 2018年11月28日

37 10/19 a) 与使用光照信息（中图）相比，色调分布（右图）使得我们更易估计出人眼的形状和大小，左图为原始图像 b) 顺序与a）类似
c）被替换过色调的图像（左图），依然能很好的帮助人类进行识别 2018年11月28日

38 11/19 结论11 经反色转换过的图片（eg. 照片底片）极大的削弱了人脸识别性能
推论：pigmentation和阴影信息对人类识别人脸起到很大的作用 2018年11月28日

39 11/19 歌曲“we are the world”照片之反片 2018年11月28日

40 11/19 歌曲“we are the world”照片之原始图像 2018年11月28日

41 12/19 结论12 光照变化影响推广型(Illumination Changes Influence Generalization)
实验： 人类能对新的光照条件下出现的识别对像进行正确识别 人脸对光照变化的推广能力不是完美的 2018年11月28日

42 12/19 给实验对象看左图后，实验对象识别右图的准确率远远高于随机猜的概率 2018年11月28日

43 13/19 结论13 视角推广性(View-Generalization)似乎来源于时序关联性(Temporal Association)
实验： 时序关联性将同一个体不同的图像关联为一个有用的整体 将不同个体不同视角的图像进行时序关联将会对人脸识别起到迷惑作用 2018年11月28日

44 13/19 同一序列中混合不同个体的图片将会削弱人脸识别能力 2018年11月28日

45 14/19 结论14 脸部的运动似乎对随后的识别更有利 实验：
结论14 脸部的运动似乎对随后的识别更有利 实验： Rigid motion，例如通过将摄像机围绕一个不变的头部进行拍摄所得，对识别帮助很小 nonrigid motion，即待识别对象有表情变化或者做说话动作，对识别有很大的帮助 2018年11月28日

46 14/19 将Lester的nonrigid 的运动加到Stefan的图像中，将导致把Stefan误认为Lester 2018年11月28日

47 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2018年11月28日

48 15/19 结论15 视觉系统起始于一个初始的类人脸的模板 实验：左图比右图更能吸引初生婴儿的注意力 推论：类人脸模板可用于人脸检测中
2018年11月28日

49 15/19 新生儿更喜欢上部偏重(top-heaviness)的图形，即上排的图形 2018年11月28日

50 16/19 结论16 在人的儿童时期，视觉系统从基于局部进行识别逐渐过渡到基于整体。 实验：识别倒置图像和正常图像
结论16 在人的儿童时期，视觉系统从基于局部进行识别逐渐过渡到基于整体。 实验：识别倒置图像和正常图像 随着年龄增长，识别正常图像的能力明显提高 同样条件下，识别倒置图像的能力几乎不变 推论：这是基于整体结构信息进行鲁棒人脸识别间接证据 2018年11月28日

51 16/19 6岁、8岁、10岁儿童对正放和 倒放人脸图像的识别率 2018年11月28日

52 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2018年11月28日

53 17/19 结论17 人类似乎有专门负责人脸识别的神经组织 实验： 识别倒置图像，对于人脸图像和其他物体的图像，识别率不同。
结论17 人类似乎有专门负责人脸识别的神经组织 实验： 识别倒置图像，对于人脸图像和其他物体的图像，识别率不同。 大脑FFA区域，看到人脸时，反应最强 2018年11月28日

54 17/19 人们对人脸图像和其他物体图像的识别率对比 2018年11月28日

55 18/19 结论18 下颞叶皮质(inferotemporal) 对人脸的反应时间大概是120ms，说明人脸识别很大程度上是一个前向计算的过程 实验： 反向传导和不断迭代计算不是主要方式 严重退化的图像需要不断的迭代计算 推论：智能系统应该在第一时间从图像中提取足够的信息，因为初始的计算结果很难被更新 2018年11月28日

56 18/19 IT区域对退化的猴子脸以及人脸都有很强的反应，但对手掌的反应很小 2018年11月28日

57 19/19 结论19 面部特征和表情可能是被分开处理的 实验： 对识别对象的熟悉程度对表情识别无帮助
结论19 面部特征和表情可能是被分开处理的 实验： 对识别对象的熟悉程度对表情识别无帮助 Functional brain imaging识别出负责面部特征和表情的各自的脑部区域 脑损伤的患者在面部特征和表情识别上表现出选择性的功能缺失 两个区域有少量的交叉 2018年11月28日

58 提纲 Motivation 19 results Discussion 2018年11月28日

59 Discussion 探讨人类认知的工作机理对人脸识别研究是否有用？ 心理学、行为学结论的可信度？ 19个结论中可以给我们启示的结论？
2018年11月28日