卢湖川 lhchuan@dlut.edu.cn 大连理工大学 http://ice.dlut.edu.cn/lu/index.html 基于稠密和稀疏重构的图像显著性检测算法 Xiaohui Li, Huchuan Lu, Lihe Zhang, Xiang Ruan, Minghsuan Yang, Saliency Detection via Dense and Sparse Reconstruction, ICCV2013, P2976-2983 卢湖川 lhchuan@dlut.edu.cn 大连理工大学 http://ice.dlut.edu.cn/lu/index.html

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

视觉显著性 视觉显著性 (Visual Saliency) 的定义： 显著性检测 (Saliency Detection) 的目标： 课题背景 视觉显著性 视觉显著性 (Visual Saliency) 的定义： 描述一个物体在一幅场景中的特殊性或吸引视觉注意的能力，这种 能力源自该事物与周围事物的迥异性，或由观察者的主观经验引起。 显著性检测 (Saliency Detection) 的目标： 使计算机视觉通过模拟人类的视觉注意机制，检测图像中的显著目 标，滤除冗余的背景信息，从而只关注人类视觉感兴趣的图像区域。 原始图像 显著图 真值图

显著性检测的应用 …… 课题背景 图像显著性检测在降低图像内容理解或场景分析复杂度方面的优势， 使其在计算机视觉领域得到了广泛应用，包括： 图像/视频分割 图像/视频压缩 目标识别 图像缩放 感兴趣区域检测 图像拼接 ……

课题背景 显著性检测的应用——图像分割 输入图像 真值图 显著图 分割结果

课题背景 显著性检测的应用——图像拼接 由不同显著性检测模型产生的显著图得到的图像拼接结果对比。

显著性检测的应用——非真实感渲染 课题背景 美术家们常常把一幅画中的不重要部分进行非真实感的渲染处理，在达到艺术效果的同时又能强调重要区域。 显著图 显著图 美术家们常常把一幅画中的不重要部分进行非真实感的渲染处理，在达到艺术效果的同时又能强调重要区域。 以不同的显著性检测结果图为参考，将产生不同的非真实感渲染结果。

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

基于背景先验的显著性检测 相关研究及存在问题 图像四周，被证明包含对于显著性检测非常有效的背景视觉信息。 背景模板 …. 背景字典 超像素分割图 基于图像四周背景先验的测地线显著性 [1] 文献 [1] 将图像四周区域视作背景先验，定义了一种测地线显著性，但该方法产生的显著图仍包含较多的背景噪声。 为了更好地利用四周背景先验，不同于文献 [1]，本文提取四周图像块的特征做背景模板，并由此构建一个背景字典，作为后续图像重构的基底。 [1] Y. C. Wei, F. Wen, W. J. Zhu, and J. Sun. Geodesic saliency using background priors. In ECCV, 2012, pp. 29–42.

基于稀疏表示的显著性检测 相关研究及存在问题 由大量自然图像块学习字典， 对待测图像进行稀疏表示 由背景模板构建字典， [2] A. Borji and L. Itti, “Exploiting local and global patch rarities for saliency detection,” in CVPR, 2012, pp. 478–485. [3] W. Wang, Y. Wang, Q. Huang, and W. Gao, “Measuring visual saliency by site entropy rate,” in CVPR, 2010, pp. 2368–2375. 由大量自然图像块学习字典， 对待测图像进行稀疏表示 由背景模板构建字典， 对待测图像进行稀疏重构 通常，稀疏表示在显著性检测中只是简单地用来实现图像表示 [2, 3]，即通过从大量自然图像块中训练出来的字典对图像特征进行重新描述，再进行后续的显著度运算。 这种做法在字典构建和数据重构的过程中，都没有合理有效地运用到待测图像本身的视觉信息。 本文提取待测图像四周各个背景模板的图像特征作为背景字典元素，将各个图像块投影在该字典上进行稀疏重构，最终用图像块的重构误差来描述显著度。 这种基于单幅图像背景字典的重构误差，有效运用了图像本身的信息，能够产生更精准的显著图。 基于特征相似度或对比度的显著度运算

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

基于稠密和稀疏重构的显著性 算法框架 (a) 背景模板 (b) 基于重构误差的显著性 (c) 贝叶斯融合

基于稠密和稀疏重构的显著性 算法框架 (a) 背景模板 (b) 基于重构误差的显著性 (c) 贝叶斯融合

背景模板 基于稠密和稀疏重构的显著性 (a) 输入图像 (b) (c) (d) (a) 输入图像 (b) 超像素分割 (SLIC: Simple Linear Iterative Clustering)： 每个图像块特征由所包含像素的平均 CIELab 和 RGB 颜色特征及位置坐标构成，即 (c) 背景模板： 提取图像四周超像素的 D 维特征 (D=8)，组成背景模板 (d) 真值图

算法框架 基于稠密和稀疏重构的显著性 重构误差 重构误差传播机制 像素级重构误差 (a) 背景模板 (b) 基于重构误差的显著性 (c) 贝叶斯融合 重构误差 重构误差传播机制 像素级重构误差

基于重构误差的显著性——重构误差 1) 稠密重构误差： 基于稠密和稀疏重构的显著性 在背景模板 的基础上，稠密重构模型用主成分分析 在背景模板 的基础上，稠密重构模型用主成分分析 PCA (Principal Component Analysis) 来实现。 首先，计算背景模板 B 的协方差矩阵，对其特征值分解以后，选取最大的前 个特征值对应的一组特征向量，表示为 作为背景模板的 PCA 基底。 然后，由 PCA 基底计算稠密表示系数 进而得到稠密重构误差： 我们假设以背景模板做基底或字典时，重构误差

基于重构误差的显著性——重构误差 2) 稀疏重构误差： 基于稠密和稀疏重构的显著性 在背景模板 的基础上，稀疏重构模型用稀疏表示 在背景模板 的基础上，稀疏重构模型用稀疏表示 (Sparse Representation) 来实现。 首先，将背景模板 B 作为稀疏表示的字典或基函数，计算稀疏系数： 然后，由该系数计算待测图像块在背景字典上的稀疏重构误差：

基于重构误差的显著性——重构误差 基于稠密和稀疏重构的显著性 稠密重构模型 稀疏重构模型 互补关系 当背景杂乱时 当背景模板中 (a) 原图 (b) 稠密误差 (c) 稀疏误差 (d) 真值图 互补关系 稠密重构模型 稀疏重构模型 当背景杂乱时 抑制背景能力较弱 抑制背景能力较强 当背景模板中 含有前景元素时 对前景噪声不敏感 对前景噪声较敏感 原因分析 假设样本符合 多维高斯分布 字典元素本身的 重构误差趋近于0

基于重构误差的显著性——重构误差传播机制 基于稠密和稀疏重构的显著性 基于重构误差的显著性——重构误差传播机制 基于图像块的显著性检测模型，一般都存在显著目标的显著值不连续问题。这是因为当进行图像分割时，即使最好的分割算法也不可避免地会将一个完整的目标区域均匀地分割成多个更小的图像块。 误差传播机制： 首先，利用 K-means 聚类算法，根据图像块的 D 维特征向量，将原始图像的 N 个图像块划分为 K 类。 假设待测图像块 i 属于第 k (k = 1, 2, ..., K) 个聚类，那么根据第 k 类内的其他图像块的重构误差，本文将图像块 i 的传播后误差定义为：

基于重构误差的显著性——重构误差传播机制 基于稠密和稀疏重构的显著性 基于重构误差的显著性——重构误差传播机制 (a) 原图 (b) 真值图 (c) 传播前后的稠密重构误差 (d) 传播前后的稀疏重构误差

基于重构误差的显著性——像素级重构误差 1) 多尺度重构误差融合： 基于稠密和稀疏重构的显著性 为了得到全分辨率的像素级显著图，本文采用多尺度重构误差的融合机制，并利用高斯模型进行后续的显著图平滑处理。 1) 多尺度重构误差融合： 不同图像的显著目标尺度是不一致的，且单一尺度的超像素分割结果不一定准确。因此，本文首先将待测图像按照 Ns 个不同尺度进行 SLIC 超像素分割。然后在每个尺度下计算图像块的重构误差。将多个尺度的重构误差进行加权平均，从而获得像素级的重构误差值，如下： 其中，fz 表示像素点 z 的 D 维特征向量， 表示在超像素尺度 s 下包含像素点 z 的图像块标号。

基于重构误差的显著性——像素级重构误差 基于稠密和稀疏重构的显著性 (a) 原图 (b) 真值图 (c) 多尺度融合前后的稠密重构误差 (d) 多尺度融合前后的稀疏重构误差

基于重构误差的显著性——像素级重构误差 2) 目标偏置的高斯平滑： 基于稠密和稀疏重构的显著性 传统的用于显著性检测的高斯模型，其位置均值通常为图像的物理中心，这在目标不在图像中心的情况下是不合理的。本文用重构误差对位置进行加权平均，从而求得显著目标中心，以此得到目标偏置的高斯模型： 最终的像素级显著值，由目标偏置的高斯模型与像素级重构误差的乘积得到： 传统的用于显著性检测的高斯模型的位置均值通常为图像的物理中心，这在目标不在图像中心的情况下是不合理的。本文用像素级重构误差对位置进行加权平均，从而求得显著目标中心，以此得到目标偏置的高斯模型，与重构误差的乘积作为最终的像素级显著值。

基于重构误差的显著性——像素级重构误差 基于稠密和稀疏重构的显著性 可以看到，当目标不在图像中心时，由重构误差计算出的目标偏置的高斯模型，比中心偏置的高斯模型更精确，相应的平滑结果也包含更少的噪声。 比较中心偏置的高斯模型(Gc) 与目标偏置的高斯模型(Go) 在平滑显著图时的表现。

基于稠密和稀疏重构的显著性 算法框架 (a) 背景模板 (b) 基于重构误差的显著性 (c) 贝叶斯融合

贝叶斯融合——基于贝叶斯的显著性公式 基于稠密和稀疏重构的显著性 基于贝叶斯模型的显著性检测算法，都是通过贝叶斯的先验和似然概率计算得到的后验概率来描述显著度的，计算公式如下： 观测似然概率是在 CIELab 空间中通过像素点 z 的颜色信息及前景背景的颜色统计直方图来计算的，计算公式如下： 其中， 和 分别表示前景 (Foreground) 和背景 (Background) 区域中的像素点个数。 表示的是颜色特征落在前景颜色统计直方图中包含特征 r(z) 的位中的像素点个数。相应地， 则表示背景颜色统计直方图的类似含义。

贝叶斯融合——由显著图计算的似然概率 基于稠密和稀疏重构的显著性 先验概率: 常数 [4] 或一幅显著图 [5] 似然概率: CIELab 颜色空间 先验概率: 一幅显著图 似然概率: 另一幅显著图 由颜色特征计算似然概率时，并非更好的先验结果就一定可以得到更好的后验结果。这是因为颜色空间中的部分噪声已在先验图的计算中被抑制掉了，仍在颜色空间上计算似然概率可能再次引入噪声，有时甚至导致后验概率的检测结果比先验概率还要差。 为了防止似然概率的计算再次引入颜色噪声，本文假设当用一幅显著图代替颜色特征计算观测似然概率时，将得到更加准确的后验概率显著性。 [4] E. Rahtu, J. Kannala, M. Salo, and J. Heikkilä, “Segmenting salient objects from images and videos,” in ECCV, 2010, pp. 366–379. [5] Y. Xie and H. Lu, “Visual saliency detection based on bayesian model,” in ICIP, 2011, pp. 645–648.

贝叶斯融合——比较两种后验概率显著图 基于稠密和稀疏重构的显著性 比较由颜色特征和由显著图计算似然概率时产生的两种贝叶斯后验概率显著图。 (a) 原图 (b) 后验概率显著图 (c) 后验概率显著图 (d) 真值图 稠密—颜色 稠密—稀疏 稀疏—颜色 稀疏—稠密 比较由颜色特征和由显著图计算似然概率时产生的两种贝叶斯后验概率显著图。

贝叶斯融合——两种显著图的贝叶斯融合公式 基于稠密和稀疏重构的显著性 贝叶斯融合——两种显著图的贝叶斯融合公式 稠密和稀疏重构误差产生的两种显著图是互补的。本文另二者互为贝叶斯先验和似然概率，提出了一种基于贝叶斯模型的显著图融合方法。

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

实验结果及其分析 实验说明 数据库 评测标准 (a) 原图 (b) 真值图 (c) 显著图 (d) 某阈值下的二值图 在显著性检测的三个标准公开数据库上对本文算法进行评估，包括：ASD, MSRA 和 SOD，分别包含1000, 5000, 300 幅图像。 准确率(Precision) ： 分割后二值图和真值图目标重叠区域的面积与二值图目标面积的比值。 召回率(Recall) ： 重叠区域的面积与真值图目标面积的比值。 F-measure： 综合评估准确率和召回率。

实验说明 实验内容 在数据库 ASD 上对本文算法的各个独立机制进行评估： 评估方法 在三个数据库上与17种经典算法定量、定性比较 实验结果及其分析 实验说明 实验内容 评估方法 在数据库 ASD 上对本文算法的各个独立机制进行评估： -重构误差传播机制 -多尺度误差融合机制 -目标偏置的高斯平滑机制 -基于贝叶斯的显著图融合机制 在三个数据库上与17种经典算法定量、定性比较 渐变阈值分割实验 ( 阈值范围[0, 255] )： -准确率-召回率曲线 - F-measure曲线 固定阈值分割实验 (自适应阈值)： -准确率-召回率-F-measure柱状图

评估重构误差传播机制 实验结果及其分析 准确率-召回率曲线 DE: 稠密重构误差; DEP: 传播后的稠密重构误差; SE: 稀疏重构误差; SEP: 传播后的稀疏重构误差; RC11: [6] 准确率-召回率曲线 [6] M.-M. Cheng, G.-X. Zhang, N. J. Mitra, X. Huang, and S.-M. Hu. Global contrast based salient region detection. In CVPR, pages 409–416, 2011.

评估多尺度误差融合机制 实验结果及其分析 准确率-召回率曲线 DEP: 传播后的稠密重构误差; MDEP: 多尺度融合后的稠密重构误差; SEP: 传播后的稀疏重构误差; MSEP: 多尺度融合后的稀疏重构误差; RC11: [6] 准确率-召回率曲线

评估目标偏置的高斯平滑机制 实验结果及其分析 准确率-召回率曲线 MDEP: 稠密重构误差; MDEPG: 高斯滤波的稠密重构误差; MSEP: 稀疏重构误差; MSEPG: 高斯滤波的稀疏重构误差; RC11: [6] 准确率-召回率曲线

评估基于贝叶斯的显著图融合机制 实验结果及其分析 传统的显著图融合方法以显著图的直接相加、相乘及指数或对数函数的加和平均为主，融合公式如下： 上述传统的显著图融合机制对所有待结合显著图一视同仁，认为它们的重要性或贡献是完全相等的，然而这种假设是有失合理性的。实际上，某个显著性检测模型在不同图像上的检测结果不尽相同，与其他模型的性能比较也并不稳定。 在评估实验中，将上述四种传统的融合方法分别标记为 identity, exp, log 和 mult。

评估基于贝叶斯的显著图融合机制 实验结果及其分析 比较贝叶斯融合机制与传统融合方法产生结果的 F-measure 曲线。 MDEPG: 基于稠密重构误差的显著性; MSEPG: 基于稀疏重构误差的显著性; identity, exp, log 和 mult 表示四种传统的融合机制。 比较贝叶斯融合机制与传统融合方法产生结果的 F-measure 曲线。 本文将稠密和稀疏重构误差产生的两种显著图用不同的方法融合，并比较各融合结果。

评估基于贝叶斯的显著图融合机制 实验结果及其分析 基于贝叶斯融合机制的显著图示例。(a) 原始图像。(d) 显著图(b) 和(c) 的贝叶斯融合结果。(e) 真值图。RC, SVO, CB 和 GS 表示四种现有经典算法的显著图检测结果。容易发现，贝叶斯融合后的显著图在保证准确率的同时大大提高了召回率，从而解释了 F-measure 的提高。

评估基于贝叶斯的显著图融合机制 实验结果及其分析 对其他经典算法的贝叶斯融合结果的定量评估。 (a) 准确率-召回率曲线 (b) F-measure 曲线 对其他经典算法的贝叶斯融合结果的定量评估。 四种其他经典算法的贝叶斯融合结果的准确率-召回率曲线。 SF 和 GS 的传统融合结果和贝叶斯融合结果的 F-measure 曲线。

实验结果及其分析 与经典算法的定量比较——数据库ASD 准确率-召回率曲线

实验结果及其分析 与经典算法的定量比较——数据库ASD 准确率-召回率-F-measure 柱状图

实验结果及其分析 与经典算法的定量比较——数据库MSRA (a) 准确率-召回率曲线 (b) 准确率-召回率-F-measure 柱状图

实验结果及其分析 与经典算法的定量比较——数据库SOD (a) 准确率-召回率曲线 (b) 准确率-召回率-F-measure 柱状图

实验结果及其分析 与经典算法的定性比较 (a) 原图 (b) RC (c) DW (d) SVO (e) CB (f) LR (g) XL (h) DR (i) SR (j) 本文算法 (k) 分割图 (l) 真值图

内容提要 内容提要 课题背景 1 相关研究及存在问题 2 基于稠密和稀疏重构的显著性 3 实验结果及其分析 4 本文工作总结 5

本文工作总结 重构误差显著性： 显著性传播机制： 显著图的贝叶斯融合： 本文提出了一种新颖的由重构误差定义的显著度概念，即基于为单幅图像构建的背景字典，获取待测图像的表达系数，并用相应的重构误差来描述图像显著性。这种基于稠密和稀疏重构误差的显著性，更加有效地表达了自底向上的对比度。 显著性传播机制： 本文还为基于图像区域对比度的一类显著性检测模型提出了一种基于上下文的显著度传播机制，使相似的区域具有相近的显著度，以此获得更加均匀平滑的显著图。 显著图的贝叶斯融合： 本文还提出一种基于贝叶斯公式的显著图融合方法，这不同于以往传统的直接相加或相乘的方式，能够更均匀地凸显前景目标，同时更有效地抑制背景噪声，产生更准确的融合结果。

谢谢！