关于自底向上的显著性方法的综述 报告人：周静波 2012年08月30日

报告提纲 研究现状 算法模型介绍 实验结果及分析 结论

研究现状

研究现状 基于视觉注意的显著性区域检测对于图像分析过程有着非常重要的意义。注意是人类信息加工过程中的一项重要的心理调节机制，它能够对有限的信息加工资源进行分配，使感知具备选择能力。如果能够将这种机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的区域，这样必将极大的提高现有的图像处理分析方法的工作效率。显著性区域检测正是在这个基础上提出并发展起来的。

研究现状 显著性检测一般分为两类 自下而上基于数据驱动的显著性区域突现 自上而下任务驱动的目标突现 本报告只关注自下而上的显著性检测算法

研究现状 Achanta 将这些算法分成三类 基于低层视觉特征，代表性算法是文献[1]中提出的模拟生物体视觉注意机制的选择性注意算法(Itti 算法) 没有基于任何生物视觉原理的纯数学计算方法，如Achanta 等[4] 提出的全分辨率算法(AC 算法) 和Hou 等[5] 提出的基于空间频域分析的剩余谱算法(Spectralresidual approach, SR) 将前两种进行融合的方法，代表性算法是Harel 等[6] 提出的基于图论的算法(Graph-based visual saliency，GBVS)

研究现状 Goferman将显著性分析算法分成以下三类 考虑局部特征的，如Itti 算法和GBVS 算法 考虑整体性的，如SR 算法和Achanta 等[3] 提出的算法(IG 算法) 局部与整体结合的，如Goferman等[7]和Liu 等提出的算法

算法模型介绍

Itti模型 Itti 模型中, 显著值是像素点在颜色、亮度、方向方面与周边背景的对比值。该模型包括两个步骤: 特征提取 显著图生成

AIM模型 AIM（Attention-based on Information Maximization）模型利用香农的自信息度量，将图像的特征平面变换到对应于视觉显著性的维度上。 AIM假设：一个视觉特征的显著性就是该特征相对于它周围其他特征提供的信息的差别度。 根据香农定理，图像特征对应的自信息通过下面的公式进行计算 为特征的概率密度函数。

GBVS模型 GBVS（Graph-Based Visual Saliency）模型是在Itti的模型基础之上运用马尔可夫随机场的特点构建二维图像的马尔可夫链，通过求其平衡分布而得到显著图 算法步骤： 特征的提取：与Itti 算法类似 显著图生成 ：马尔可夫链方法

FTS模型 FTS（Frequency-Tuned Saliency）模型是由Achanta等人提出的一种自底向上的显著性检测方法，通过局部颜色和亮度特征的对比多尺度方法求像素点显著值。 将原始图像由SRGB颜色空间转化成CIE颜色空间，然后显著性映射定义为 其中 为图像特征的几何平均向量， 为对原始图像的高斯模糊，采用 的二项式核。 为 范数， 为像素点坐标 。

SR模型 SR（Spectral Residual）模型是由Hou等人提出来的，基于空间频域分析的算法之一，显著图通过对剩余谱 做傅里叶逆变换得到。 剩余谱 定义为 其中， 为原图二维傅里叶变换得到的频域空间， 为局部平均滤波器（一般n取3）

PQFT模型 PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是由Guo等人在Spectral Residual基础之上提出的，该方法通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。 事实上，图像的相位谱即图像中的显著性目标。图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。 PQFT模型独立于先验信息，不需要参数，计算高效，适合于实时显著性检测

PQFT模型 假设 表示时间t时刻的输入图像， ， 为所有图像帧的总数。 分为红、绿、蓝三个颜色通道，表示为 ，那么，可以将三个颜色通道扩展为四个广义的颜色通道：

PQFT模型 类似于人类视觉系统，对立颜色通道定义为 亮度通道和运动通道定义为 其中 为使用者设定的延迟因子。

PQFT模型 四元组图像可以表示为下列形式 其中 ，满足 ， 可以写成如下形式

PQFT模型 将图像中每一个像素点表示为 ， 为空间坐标， 为时间坐标。四元傅里叶图像变化写成 将图像中每一个像素点表示为 ， 为空间坐标， 为时间坐标。四元傅里叶图像变化写成 表示频域坐标， 表示图像维度。四元逆傅里叶变化为

PQFT模型 可将 表示为 的极坐标形式 其中 为 的相位谱。设定 ，则只剩下相位信息 。计算逆相位信息 可得到 时空显著性映射为 可将 表示为 的极坐标形式 其中 为 的相位谱。设定 ，则只剩下相位信息 。计算逆相位信息 可得到 时空显著性映射为 其中g表示二维高斯平滑滤波。当输入为静态图像时， 。

SDSR模型 SDSR（Saliency Detection by Self-Resemblance）模型由Seo等人提出的，通过计算感兴趣像素点的特征矩阵与其相邻的像素点的特征矩阵之间的相似性，来确定像素点的显著性映射。 每一个像素点的局部图像结构表示成一个局部描述子（局部回归核）矩阵；然后，利用矩阵余弦相似计算量化每一个像素点和它相邻的像素点对应的局部描述子矩阵之间的相似性。

SDSR模型 对于像素点i，与之对应的特征矩阵 ，给定像素点i周围相邻的像素点特征矩阵 ，显著性映射为 其中 为矩阵 和 的余弦相似性， 为局部权重参数。局部特征矩阵的列表示局部指导核的输出

SDSR模型

SUN模型 SUN（Saliency Using Natural Statistics）模型由Zhang等人提出的，模仿视觉系统检测潜在的目标。 假设z代表视觉区域中的一个点。二值随机变量C代表该点是否属于目标，L表示该点的坐标位置，F表示该点的视觉特征。 定义为 ， 分别表示点z的特征和坐标。根据贝叶斯定理

SUN模型 假设特征和坐标相互独立，那么 对上式两边同时取对数，由于对数函数是单调增加的，因此不会影响各点的显著值排列

SUN模型 只依赖于点z的视觉特征，独立于任何先验信息。在信息论中，该项实际上求随机变量F取值为时的 自信息。 体现了目标的先验信息。比如，当知道目标物体为绿色时，那么该项的值在遇到绿色点时比遇到蓝色点要大。 独立于视觉特征，反映了目标物体位置的先验信息。一般情况下，我们并不知道目标的位置信息和目标的视觉特征，于是我们省略后两项，只剩下自信息这一项

GCS模型 GCS（Global Contrast based Saliency）模型是由程明明等人基于输入图像的颜色统计特征提出的基于直方图对比度的图像显著性值检测方法。具体的说，一个像素的显著性值用它和图像中其他像素颜色的对比度来定义。 图像 中像素点 的显著性定义为 其中 为像素在Lab空间的颜色距离度量。如果忽略空间关系，使得具有相同颜色的像素归到一起，得到每一个颜色的显著性值

GCS模型 为了加入空间关系，首先利用基于图的图像分割方法将输入图像分割成若干个区域。然后对每一个区域建立颜色直方图。对每一个区域 ，通过测量它与图像其他区域的颜色对比度来计算它的显著值 为区域 的权值， 为两个区域的颜色距离度量。对于区域 和 ，他们之间的颜色距离度量定义为 为第i个颜色 在第k个区域 的所有 种颜色中出现的概率。

GCS模型 为了增加区域的空间影响效果，基于空间加权区域对比度的显著性定义为： 为区域 和 的空间距离， 控制空间权值强度。

PBS模型 PBS（Patch-based Saliency）模型都是先将图像分割为一系列大小一致的图像块，再根据不同的特征提取方式，对图像块进行特征提取。 下面介绍PBS算法的一般步骤 对于维数为 的图像 ，将其分解为一系列大小为 的图像片。为简便起见，我们不考虑图像片的重叠问题。图像片的总数为 。对于任一图像片 ，将其表示成向量形式 ，最终得到一个表示图像片的矩阵

PBS模型 使用PCA抽取特征。对图像片矩阵 ，计算 对应的协方差矩阵为： 对A进行特征值分解，选择前d个最大特征值对应的特征向量 。其中U的维度为 。

PBS模型 给定图像片 和 ，它们之间的不一致性为： 其中， 为绝对值函数。

PBS模型 图像片 的显著性计算方法为： 其中 为图像片总数。

实验结果与分析

实验结果与分析 我们在Achanta等人提供的公开测试数据集上面测试了上述所有方法。据我们所知，此数据集是此类数据最大的测试集，并且有人工精确标注了显著性区域。 将所有方法都在1000张图片上进行计算得到显著图。

实验结果与分析

实验结果与分析

实验结果与分析

实验结果与分析 根据不同模型中提到的方法对显著图进行二值化，并且与实际分割图进行比较，得到查准率(precision)和查全率(recall)以及F三个指标值。 其中，我们设置 ，得到的查准率(precision)和查全率(recall)以及F指标如表1所示

实验结果与分析 算法/指标 precision recall F-measure Itti 0.62 0.23 0.45 AIM 0.81 0.64 0.76 GBVS 0.84 0.63 0.78 FTS 0.88 0.77 0.85 SR 0.71 0.28 0.52 PQFT 0.75 0.33 0.58 SDSR 0.83 0.8 SUN 0.72 GCS（RC） 0.9 PBS 0.86

结束语

结束语 从上述10类自底向上的显著性检测模型中，所有算法都容易受到背景中噪声的影响。这是因为，自底向上的算法采用的特征都是一些底层的特征，如颜色，亮度，方向和空间位置信息。在未来工作中，我们希望能够研究包含空间关系且保留详细细节的全局显著性图像的高效计算算法，并且希望研究能够处理具有复杂纹理背景图像的检测算法 另外，我们还希望在显著性检测过程中增加一些特征，比如人脸，对称性等，进一步增加检测算法的鲁棒性.

谢谢！ 报告人：姓 名 2009年XX月XX日