显著物体分割 探秘与思考 Yin Li, Georgia Tech 显著物体分割 探秘与思考 Yin Li, Georgia Tech Yin Li*, Xiaodi Hou*, Christof Koch, James M. Rehg, Alan L. Yuille. The Secrets of Salient Object Segmentation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2014
眼动预测与显著物体分割 视觉显著性的两种定义
眼动预测 使用眼动数据作为真值 评价方法：Shuffled Area-Under-the-Curve (sAUC) 眼动在2维图像平面上稀疏 眼动数据集中在图像中心 （center-bias） sAUC提供了一种去除center-bias的方法
显著物体分割 使用人工标注的物体轮廓 作为真值 （精确到像素） 物体可以占据图像主要部分 评价方法：Precision- Recall (PR) 曲线的F- measure 物体集中在图像中心 （center-bias） PR曲线未考虑center-bias
显著性的两种“定义” 眼动预测 显著物体分割 现有方法 主要的数据集 现有方法 主要的数据集 ITTI [Itti et al. PAMI 98] AIM [Bruce et al. NIPS 06] GBVS [Harel et al. NIPS 07] DVA [Hou et al. NIPS 08] SUN [Zhang et al. NIPS 08] SIG [Hou et al. PAMI 12] 主要的数据集 Bruce, Judd 显著物体分割 现有方法 FT [Achanta et al. CVPR 09] GC [Cheng et al. CVPR 11] SF [Perazzi et al. CVPR 12] PCA-S [Margolin et al. CVPR 13] 主要的数据集 FT
从眼动预测到显著物体分割 PASCAL-S 数据集
眼动预测与显著物体分割 图像来源：PASCAL VOC数据集 眼动数据 + 显著物体标注 眼动追踪实验 眼动数据 人工图像标注 显著物体轮廓
眼动预测与显著物体分割 眼动数据 显著物体标注 PASCAL-VOC是目前物体 检测中最公正的数据集 8 个被试对象 每人每张图采集2秒数据 自由浏览条件下追踪眼动 显著物体标注 12 个被试对象 利用图像分割结果点选显著 物体轮廓 PASCAL-VOC是目前物体 检测中最公正的数据集 [Unbiased look at dataset bias] CVPR 10
数据之旅 数据集评测与分析
眼动数据 （PASCAL-S） 现有方法在PASCAL-S上的性能与其他数据集基本持平
显著物体分割（PASCAL-S） FT 是目前显著物体分割的主流的数据集 (5年～700次引用) 不同被试之间具有高 度一致性 但算法性能明显下降！
数据集的偏差 FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体，背景单一 PASCAL-S FT FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体，背景单一
显著物体分割 = 眼动预测 + 图像分割 从眼动预测到显著物体分割
眼动预测直接用于显著物体分割？ FT数据集：结果明显差于显著物体分割算法 PASCAL-S数据集：结果与显著物体分割算法持平 眼动预测无法给出物体的准确边界 PCAS 目前最新的 显著物体分割算法 AWS, GBVS, AIM, SIG 4中主流的眼动 预测算法
眼动预测 -> 显著物体
PASCAL-S数据集结果 与现有算法相比，我们的方法性能提高了11% 我们可以继续提高性能（理论上限） +3% （真实眼动数据 + CPMC） +14% （CPMC 最优分割） +19% （手工分割 + 真实眼动数据）
FT数据集结果 与现有算法相比，我们的方法性能提高了3% 理论上限 3% （CPMC 最优分割）
小结与展望 显著物体是图像的内蕴属性，其定义在不同被试 对象之间高度一致 FT 数据集过分强调了视觉显著性，具有较强的数据偏差 勇于迎接新的挑战！ 眼动数据与显著物体具有强相关性，故而可以被用于显著物体分割 基于眼动预测的显著物体分割