Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人：杨涛 2009.6.5 2018/11/12.

Presentation on theme: "Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人：杨涛 2009.6.5 2018/11/12."— Presentation transcript:

1 Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人：杨涛 2018/11/12

2 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

3 作者信息（1/3） Dashan Gao Education Research interest
received Ph.D. degree in Department of Electrical and Computer Engineering , University of California, San Diego (UCSD), in 2008, M.S. and B.S. degrees in Department of Automation, Tsinghua University, Beijing, China, in 2002 and 1999. Research interest computer vision, statistical learning, and computational models of visual attention. His current research topics focus on statistical modeling of video signals for aerial and ground surveillance applications. 2018/11/12

4 作者信息（2/3） Publication： Discriminant Saliency for Visual Recognition from Cluttered Scenes(NIPS04) Integrated learning of saliency, complex features, and objection detectors from cluttered scenes(CVPR05) Discriminant Interest Points are Stable(CVPR07) Bottom-up saliency is a discriminant process(ICCV07) Decision-theoretic saliency: computational principles, biological plausibility, and implications for neurophysiology and psychophysics(Neural Computation09) Discriminant saliency, the detection of suspicious coincidences, and applications to visual recognition(PAMI09) 2018/11/12

5 作者信息（3/3） Nuno Vasconcelos Position Research interest Awards
Associate Professor at UCSD,heading the Statistical Visual Computing Laboratory Research interest computer vision, statistical signal processing, machine learning, and multimedia. Awards Hellman Fellowship, 2005 NSF CAREER award, 2005 Graduate Fellowship, Junta Nacional para a Investigacao Cientifica e Tecnologica, Graduate Fellowship, Luso-American Foundation, 2018/11/12

6 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

7 显著性检测简介（1/5） 人类视觉系统的注意选择机制 能够对有限的信息加工资源进行分配，使感知具备选择能力。原因：
1.可用资源的限制（人脑计算资源有限），要实时处理全部视觉信息是不可能的。 2.由于外界环境信息并不同样重要，处理所有输入信息也是没有必要的。 2018/11/12

8 显著性检测简介（2/5） 如果能够将这种视觉注意机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的图像区域，那么必将极大地提高现有图像分析方法的工作效率。显著性检测正是在这种思想的基础上提出并发展起来的。 2018/11/12

9 显著性检测简介（3/5） 视觉显著性定义：可以是一个物体、一个人或一个像素，总而言之是一种与周围物体相比较的突出的状态。 视觉显著性的例子
2018/11/12

10 显著性检测简介（4/5） 视觉心理学研究表明，人类视觉系统选择性注意机制主要包括两个子过程：
快速的、采用bottom-up控制策略的预注意机制，该机制是基于输入景象的显著性计算的，属于低级的认知过程（主要在V1区实现）。 慢速的、采用top-down控制策略的注意机制，它通过调整选择准则，以适应外界命令的要求，从而达到将注意力集中于特定目标的目的，属于高级的认知过程。 目前对前者的认识比对后者的深入。 2018/11/12

11 显著性检测简介（5/5） 最有影响力的显著性检测模型结构 Itti98PAMI 2018/11/12

12 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

13 Abstract The saliency of the visual features at a given location of the visual field is defined as the power of those features to discriminate between the stimulus at the location and a null hypothesis. For bottom-up saliency, this is the set of visual features that surround the location under consideration. Discrimination is defined in an information-theoretic sense and the optimal saliency detector derived for a class of stimuli that complies with known statistical properties of natural images. It is shown that under the assumption that saliency is driven by linear filtering, the optimal detector consists of what is usually referred to as the standard architecture of V1.The optimal detector is also shown to replicate the fundamental properties of the psychophysics of saliency: stimulus pop-out, saliency asymmetries for stimulus presence versus absence, disregard of feature conjunctions, and Weber’s law. 2018/11/12

14 摘要 视觉场景中给定位置处的视觉特征显著性定义成这些特征的判别能力。将显著性检测看成一个判别过程。
对于自底向上的显著性，判别能力根据信息理论定义。最优显著性检测器从一类视觉刺激导出，这些视觉刺激符合已知自然图像的统计特性。 结果显示，在检测器由线性滤波器驱动的假设下，最优检测器跟标准的V1（初级视皮层）结构一致。并且这种检测器能反应心理物理学的基本性质：刺激跳出，显著性非对称，韦伯定律。 2018/11/12

15 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

16 Introduction 基于中央周边差机制，将显著性看作一个判别过程，提出在决策论意义上最优的检测器。
利用自然图像的统计模型，广义高斯分布（Generalized Gaussian Distribution），达到简化计算的目的。 在计算简约性约束条件下，判别显著性显示出生物学合理性（Biologically plausible） 2018/11/12

17 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

18 Discriminant Saliency
判别显著性源于知觉的决策论解释。 知觉系统进化的目的是产生对周围环境状态的判断，该判断是在决策论意义上最优的。 目标是通过计算简约性实现的：知觉机制应当尽可能高效。 2018/11/12

19 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

20 The Discriminant Hypothesis
首先假设刺激物是不显著的，它们的服从一定的分布，把这个称为零假设。经过参数估计得到这个零假设的具体分布形式后，就可以在最小期望差错意义上进行分类了。 定义一个二值分类问题 找到对于分类问题最有判别力的特征 将显著性等价于这些特征的判别能力 2018/11/12

21 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

22 Discriminant Bottom-Up Saliency（1/5）
决策论显著性。输入图像被投影到特征图。然后分析每个位置上中央和周边窗口，以推断该位置处每一个特征的判别能力。特征显著性定义成判别中央和周边窗口的能力。总的显著性定义成整个特征集的判别能力，并且可以由所有特征显著性取和近似。 2018/11/12

23 Discriminant Bottom-Up Saliency（2/5）
视觉刺激（输入图像）首先线性分解成一系列特征响应。 2018/11/12

24 Discriminant Bottom-Up Saliency（3/5）
四个颜色通道合并成两个颜色通道 代表红/绿通道， 代表蓝/黄通道 将以上2个通道连同亮度图与3个LoG (Laplacian of Gaussian)滤波器做卷积，产生9个特征通道。再加上亮度图的Gabor分解，组成特征空间X。 2018/11/12

25 Discriminant Bottom-Up Saliency（4/5）
通过引入两个窗口测量判别能力 中央窗口 周边窗口 2018/11/12

26 Discriminant Bottom-Up Saliency（5/5）
位置j处的特征向量表示成 l处的显著性量化成观测特征向量的判别能力。判别能力由特征与类别标签之间的互信息度量： 2018/11/12

27 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

28 Computational Parsimony（1/4）
要精确地最大化上式需要估计高维特征空间的概率密度，因而在计算上是不可行的。 为了提高效率，要寻找一种近似。这可以通过利用带通自然图像的统计特性来实现。 2018/11/12

29 Computational Parsimony（2/4）
自然图像的统计特性 2018/11/12

30 Computational Parsimony（3/4）
定理：设 是特征的集合， 是类标签 如果满足下式 其中 则有 2018/11/12

31 Computational Parsimony（4/4）
显著图（saliency map）由上式得到 决策最优和计算简约之间的合理折中这一近似不意味着特征是独立分布的，而是它们的依赖性对类的判别几乎不提供信息。 2018/11/12

32 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

33 Exploiting the Marginal Statistics of Natural Images（1/4）
对于 计算需要互信息 的经验估计，而这又需要对特征进行边缘密度估计和条件密度估计。 大量自然图像的统计表明对于带通特征，概率密度可以用广义高斯分布（GGD）来近似 其中 是尺度参数， 是形状参数。又假定 是已知的，这就要估计 。 2018/11/12

34 Exploiting the Marginal Statistics of Natural Images（2/4）
对于从 中独立观察的样本 ， 的MAP(Maximum a posteriori)是： 2018/11/12

35 Exploiting the Marginal Statistics of Natural Images（3/4）
　　　　　　的计算 是sigmoid函数 2018/11/12

36 Exploiting the Marginal Statistics of Natural Images（4/4）
将窗口中的期望用均值代替得 2018/11/12

37 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

38 Neurophysiological Plausibility（1/4）
2018/11/12

39 Neurophysiological Plausibility（2/4）
可以写成 其中 2018/11/12

40 Neurophysiological Plausibility（3/4）
2018/11/12

41 Neurophysiological Plausibility（4/4）
2018/11/12

42 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

43 Consistency with Psychophysics（1/2）
目标中含有干扰物中所没有的特征时，容易“pop-out”，反之不然 2018/11/12

44 Consistency with Psychophysics（2/2）
韦伯定律:即感觉的差别阈限随原来刺激量的变化而变化，而且表现为一定的规律性，用公式来表示，就是△Φ/Φ=C，其中Φ为原刺激量，△Φ为此时的差别阈限，C为常数 验证韦伯定律 2018/11/12

45 提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency
The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

46 Discussion（1/2） Connections to Previous Work
本文工作受Barlow假设的启发，该假设认为经过进化，神经元最优调节自身，达到与自然刺激的统计特性相符合。 不同的是Barlow的最优化目的是编码的有效性，或者说稀疏编码，也就是尽可能多地去除冗余。 尽管稀疏编码是有效表示的很好的约束，但是大脑的目的是做出决策。 本文以上讨论显示，统计调节到决策最优性可能在V1区就出现了 2018/11/12

47 Discussion（2/2） Comparison to Previous Bottom-Up Saliency Models
除了少数例外，先前的模型没有证明是否达到形式化上的最优性。 先前模型没有从神经组织的一般原理出发。 与应用最广的Itti et al模型相比： Itti模型把显著性定义成简单特征相减，难以解释视觉搜索中的非对称性。 本文没有考虑“抑制返回策略”。 2018/11/12

48 Thanks! 2018/11/12