Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人:杨涛 2009.6.5 2018/11/12.

Slides:



Advertisements
Similar presentations
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
Advertisements

冀教版四年级数学上册 本节课我们主要来学习 2 、 3 、 5 的倍数特征,同学们要注意观察 和总结规律,掌握 2 、 3 、 5 的倍 数分别有什么特点,并且能够按 要求找出符合条件的数。
研究生院 Graduate School Of Beijing Normal University “ 十 · 五 ” 重点课题结题报告 课题名称: 硕士研究生课程改革与建设探索 负 责 人: 李建会 成 员: 李建会、李庆康、吴家国、马晓芸、展广、 翟东升、程学竹、王远、刘晓力、刘孝廷 完成单位:
信号与系统 第三章 傅里叶变换 东北大学 2017/2/27.
2007年8月龙星课程 周源源老师课程体会 包云岗 中科院计算所
“飞跃重洋” 天道留学系列讲座——中科大站
專題報告製作 胡舉軍 助理教授 資訊管理學系 樹德科技大學
感知学习 ——可视化学习平台.
專業成長計畫 教師專業發展評鑑 初階評鑑人員實體研習 蔡惠青 新北市瑞芳高工 (臺北市立麗山國中) 資料來源:
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
2-7、函数的微分 教学要求 教学要点.
班级小插曲.
libD3C: 一种免参数的、支持不平衡分类的二类分类器
Unit 3 Time for Class.
Introduction To Mean Shift
Applications of Digital Signal Processing
汇报人:王晓东 单 位:信息科学与工程学院 日 期:2016年9月
Manifold Learning Kai Yang
Department of Computer Science & Information Engineering
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
指導老師 : 黃三益教授 M 徐慎宜 D 林皇吉 D 唐 筠
研究、論文、計畫與生活之平衡 演講人:謝君偉 元智大學電機系 2018年11月22日.
IET Digital Library 電子電機電通全文資料庫
作者 :Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell
Department of Computer Science & Information Engineering
Mobile Communications Networking Lab. 行動通訊網路實驗室
Histogram-based Interest Point Detectors
Hong Kong Library Education and Career Forum 2009
基于全方位视觉的多人体运动检测跟踪 利用全方位摄像机获取360˚ 的环境信息,在室内对多个人体目标进行实时运动检测。
Overview of image quality assessment
Introduction to AI and ML
Online job scheduling in Distributed Machine Learning Clusters
What have we learned?.
VISP+MS 国际高校访问学生 及统计理学硕士项目
第十章 方差分析.
计算机视觉 Computer Vision 北京理工大学 计算机科学与工程系 2006年3月9日 Computer Vision
若2002年我国国民生产总值为 亿元,如果 ,那么经过多少年国民生产总值 每年平均增长 是2002年时的2倍? 解:设经过 年国民生产总值为2002年时的2倍, 根据题意有 , 即.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
解决变化问题的自底向上 流程建模方法 严志民 徐玮.
ACM Turing 50th China (ACM TURC 2017) May 12-14, 2017 (Fri.-Sun.)
抽样和抽样分布 基本计算 Sampling & Sampling distribution
表情识别研究 Sources of facial expressions
清華大學 青少年科技文化夏令營 迎生聚會 2006年7月7日 香港教育工作者聯會會所.
模型分类问题 Presented by 刘婷婷 苏琬琳.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
WPT MRC. WPT MRC 由题目引出的几个问题 1.做MRC-WPT的多了,与其他文章的区别是什么? 2.Charging Control的手段是什么? 3.Power Reigon是什么东西?
复习.
Organizational learning theory Single-Loop and Double-Loop Models in Research on Decision Making Author(s): Chris Argyris Source: Administrative Science.
聚类 IRLAB.
均質化計畫形成 與 撰寫及執行經驗分享 光隆家商 楊瑞明
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
正切函数的图象和性质 周期函数定义: 一般地,对于函数 (x),如果存在一个非零常数T,使得当x取定义域内的每一个值时,都有
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
数据集的抽取式摘要 程龚, 徐丹云.
基于最大margin的决策树归纳 李 宁.
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
大學部學生專題研究 指導計畫說明 鄭士康 台大電機系.
An Quick Introduction to R and its Application for Bioinformatics
蔡世民 合作者:禚钊,傅忠谦,张捷 电子科学与技术系 中国科学技术大学 2011/4/29
高效洁净机械制造实验室是 2009 年教育部批准立项建设的重点实验室。实验室秉承“突出特色、创新发展“的宗旨,以求真务实的态度认真做好各项工作。 实验室主任为黄传真教授,实验室副主任为刘战强教授和李方义教授。学术委员会主任为中国工程院院士卢秉恒教授。实验室固定人员中,有中国工程院院士艾兴教授,教育部.
§2 方阵的特征值与特征向量.
數位家庭中的人機介面研究.
同位语从句.
基于列存储的RDF数据管理 朱敏
受限超对称模型中Higgs粒子性质研究 曹 俊 杰 河南师范大学 北京大学高能中心 重庆,海峡两岸会议,2012年5月 基于工作:
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
DDoS A note given in BCC class on May 15, 2013 Kun-Mao Chao (趙坤茂)
香港城市大学 导师: 布礼文教授( Dr. L M Po ) 学生: 徐叙远 ( Xu Xuyuan )
張德健校友 校友獎項分類:學術卓越類 畢業系別:數學系 入學年度:1975年 推薦單位:數學系.
Gaussian Process Ruohua Shi Meeting
Presentation transcript:

Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人:杨涛 2009.6.5 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

作者信息(1/3) Dashan Gao Education Research interest received Ph.D. degree in Department of Electrical and Computer Engineering , University of California, San Diego (UCSD), in 2008, M.S. and B.S. degrees in Department of Automation, Tsinghua University, Beijing, China, in 2002 and 1999. Research interest computer vision, statistical learning, and computational models of visual attention. His current research topics focus on statistical modeling of video signals for aerial and ground surveillance applications. 2018/11/12

作者信息(2/3) Publication: Discriminant Saliency for Visual Recognition from Cluttered Scenes(NIPS04) Integrated learning of saliency, complex features, and objection detectors from cluttered scenes(CVPR05) Discriminant Interest Points are Stable(CVPR07) Bottom-up saliency is a discriminant process(ICCV07) Decision-theoretic saliency: computational principles, biological plausibility, and implications for neurophysiology and psychophysics(Neural Computation09) Discriminant saliency, the detection of suspicious coincidences, and applications to visual recognition(PAMI09) 2018/11/12

作者信息(3/3) Nuno Vasconcelos Position Research interest Awards Associate Professor at UCSD,heading the Statistical Visual Computing Laboratory Research interest computer vision, statistical signal processing, machine learning, and multimedia. Awards Hellman Fellowship, 2005 NSF CAREER award, 2005 Graduate Fellowship, Junta Nacional para a Investigacao Cientifica e Tecnologica, 1993 -1997 Graduate Fellowship, Luso-American Foundation, 1991 - 1993 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

显著性检测简介(1/5) 人类视觉系统的注意选择机制 能够对有限的信息加工资源进行分配,使感知具备选择能力。原因: 1.可用资源的限制(人脑计算资源有限),要实时处理全部视觉信息是不可能的。 2.由于外界环境信息并不同样重要,处理所有输入信息也是没有必要的。 2018/11/12

显著性检测简介(2/5) 如果能够将这种视觉注意机制引入图像分析领域,将计算资源优先分配给那些容易引起观察者注意的图像区域,那么必将极大地提高现有图像分析方法的工作效率。显著性检测正是在这种思想的基础上提出并发展起来的。 2018/11/12

显著性检测简介(3/5) 视觉显著性定义:可以是一个物体、一个人或一个像素,总而言之是一种与周围物体相比较的突出的状态。 视觉显著性的例子 2018/11/12

显著性检测简介(4/5) 视觉心理学研究表明,人类视觉系统选择性注意机制主要包括两个子过程: 快速的、采用bottom-up控制策略的预注意机制,该机制是基于输入景象的显著性计算的,属于低级的认知过程(主要在V1区实现)。 慢速的、采用top-down控制策略的注意机制,它通过调整选择准则,以适应外界命令的要求,从而达到将注意力集中于特定目标的目的,属于高级的认知过程。 目前对前者的认识比对后者的深入。 2018/11/12

显著性检测简介(5/5) 最有影响力的显著性检测模型结构 Itti98PAMI 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Abstract The saliency of the visual features at a given location of the visual field is defined as the power of those features to discriminate between the stimulus at the location and a null hypothesis. For bottom-up saliency, this is the set of visual features that surround the location under consideration. Discrimination is defined in an information-theoretic sense and the optimal saliency detector derived for a class of stimuli that complies with known statistical properties of natural images. It is shown that under the assumption that saliency is driven by linear filtering, the optimal detector consists of what is usually referred to as the standard architecture of V1.The optimal detector is also shown to replicate the fundamental properties of the psychophysics of saliency: stimulus pop-out, saliency asymmetries for stimulus presence versus absence, disregard of feature conjunctions, and Weber’s law. 2018/11/12

摘要 视觉场景中给定位置处的视觉特征显著性定义成这些特征的判别能力。将显著性检测看成一个判别过程。 对于自底向上的显著性,判别能力根据信息理论定义。最优显著性检测器从一类视觉刺激导出,这些视觉刺激符合已知自然图像的统计特性。 结果显示,在检测器由线性滤波器驱动的假设下,最优检测器跟标准的V1(初级视皮层)结构一致。并且这种检测器能反应心理物理学的基本性质:刺激跳出,显著性非对称,韦伯定律。 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Introduction 基于中央周边差机制,将显著性看作一个判别过程,提出在决策论意义上最优的检测器。 利用自然图像的统计模型,广义高斯分布(Generalized Gaussian Distribution),达到简化计算的目的。 在计算简约性约束条件下,判别显著性显示出生物学合理性(Biologically plausible) 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Discriminant Saliency 判别显著性源于知觉的决策论解释。 知觉系统进化的目的是产生对周围环境状态的判断,该判断是在决策论意义上最优的。 目标是通过计算简约性实现的:知觉机制应当尽可能高效。 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

The Discriminant Hypothesis 首先假设刺激物是不显著的,它们的服从一定的分布,把这个称为零假设。经过参数估计得到这个零假设的具体分布形式后,就可以在最小期望差错意义上进行分类了。 定义一个二值分类问题 找到对于分类问题最有判别力的特征 将显著性等价于这些特征的判别能力 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Discriminant Bottom-Up Saliency(1/5) 决策论显著性。输入图像被投影到特征图。然后分析每个位置上中央和周边窗口,以推断该位置处每一个特征的判别能力。特征显著性定义成判别中央和周边窗口的能力。总的显著性定义成整个特征集的判别能力,并且可以由所有特征显著性取和近似。 2018/11/12

Discriminant Bottom-Up Saliency(2/5) 视觉刺激(输入图像)首先线性分解成一系列特征响应。 2018/11/12

Discriminant Bottom-Up Saliency(3/5) 四个颜色通道合并成两个颜色通道 代表红/绿通道, 代表蓝/黄通道 将以上2个通道连同亮度图与3个LoG (Laplacian of Gaussian)滤波器做卷积,产生9个特征通道。再加上亮度图的Gabor分解,组成特征空间X。 2018/11/12

Discriminant Bottom-Up Saliency(4/5) 通过引入两个窗口测量判别能力 中央窗口 周边窗口 2018/11/12

Discriminant Bottom-Up Saliency(5/5) 位置j处的特征向量表示成 l处的显著性量化成观测特征向量的判别能力。判别能力由特征与类别标签之间的互信息度量: 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Computational Parsimony(1/4) 要精确地最大化上式需要估计高维特征空间的概率密度,因而在计算上是不可行的。 为了提高效率,要寻找一种近似。这可以通过利用带通自然图像的统计特性来实现。 2018/11/12

Computational Parsimony(2/4) 自然图像的统计特性 2018/11/12

Computational Parsimony(3/4) 定理:设 是特征的集合, 是类标签 如果满足下式 其中 则有 2018/11/12

Computational Parsimony(4/4) 显著图(saliency map)由上式得到 决策最优和计算简约之间的合理折中这一近似不意味着特征是独立分布的,而是它们的依赖性对类的判别几乎不提供信息。 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Exploiting the Marginal Statistics of Natural Images(1/4) 对于 计算需要互信息 的经验估计,而这又需要对特征进行边缘密度估计和条件密度估计。 大量自然图像的统计表明对于带通特征,概率密度可以用广义高斯分布(GGD)来近似 其中 是尺度参数, 是形状参数。又假定 是已知的,这就要估计 。 2018/11/12

Exploiting the Marginal Statistics of Natural Images(2/4) 对于从 中独立观察的样本 , 的MAP(Maximum a posteriori)是: 2018/11/12

Exploiting the Marginal Statistics of Natural Images(3/4)       的计算 是sigmoid函数 2018/11/12

Exploiting the Marginal Statistics of Natural Images(4/4) 将窗口中的期望用均值代替得 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Neurophysiological Plausibility(1/4) 2018/11/12

Neurophysiological Plausibility(2/4) 可以写成 其中 2018/11/12

Neurophysiological Plausibility(3/4) 2018/11/12

Neurophysiological Plausibility(4/4) 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Consistency with Psychophysics(1/2) 目标中含有干扰物中所没有的特征时,容易“pop-out”,反之不然 2018/11/12

Consistency with Psychophysics(2/2) 韦伯定律:即感觉的差别阈限随原来刺激量的变化而变化,而且表现为一定的规律性,用公式来表示,就是△Φ/Φ=C,其中Φ为原刺激量,△Φ为此时的差别阈限,C为常数 验证韦伯定律 2018/11/12

提纲 作者信息 显著性检测简介 Abstract Introduction Discriminant Saliency The Discriminant Hypothesis Discriminant Bottom-Up Saliency Computational Parsimony Exploiting the Marginal Statistics of Natural Images Plausibility of Discriminant Saliency Neurophysiological Plausibility Consistency with Psychophysics Discussion 2018/11/12

Discussion(1/2) Connections to Previous Work 本文工作受Barlow假设的启发,该假设认为经过进化,神经元最优调节自身,达到与自然刺激的统计特性相符合。 不同的是Barlow的最优化目的是编码的有效性,或者说稀疏编码,也就是尽可能多地去除冗余。 尽管稀疏编码是有效表示的很好的约束,但是大脑的目的是做出决策。 本文以上讨论显示,统计调节到决策最优性可能在V1区就出现了 2018/11/12

Discussion(2/2) Comparison to Previous Bottom-Up Saliency Models 除了少数例外,先前的模型没有证明是否达到形式化上的最优性。 先前模型没有从神经组织的一般原理出发。 与应用最广的Itti et al模型相比: Itti模型把显著性定义成简单特征相减,难以解释视觉搜索中的非对称性。 本文没有考虑“抑制返回策略”。 2018/11/12

Thanks! 2018/11/12