Download presentation
Presentation is loading. Please wait.
1
显著物体分割 探秘与思考 Yin Li, Georgia Tech
显著物体分割 探秘与思考 Yin Li, Georgia Tech Yin Li*, Xiaodi Hou*, Christof Koch, James M. Rehg, Alan L. Yuille. The Secrets of Salient Object Segmentation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2014
2
眼动预测与显著物体分割 视觉显著性的两种定义
3
眼动预测 使用眼动数据作为真值 评价方法:Shuffled Area-Under-the-Curve (sAUC) 眼动在2维图像平面上稀疏
眼动数据集中在图像中心 (center-bias) sAUC提供了一种去除center-bias的方法
4
显著物体分割 使用人工标注的物体轮廓 作为真值 (精确到像素)
物体可以占据图像主要部分 评价方法:Precision- Recall (PR) 曲线的F- measure 物体集中在图像中心 (center-bias) PR曲线未考虑center-bias
5
显著性的两种“定义” 眼动预测 显著物体分割 现有方法 主要的数据集 现有方法 主要的数据集
ITTI [Itti et al. PAMI 98] AIM [Bruce et al. NIPS 06] GBVS [Harel et al. NIPS 07] DVA [Hou et al. NIPS 08] SUN [Zhang et al. NIPS 08] SIG [Hou et al. PAMI 12] 主要的数据集 Bruce, Judd 显著物体分割 现有方法 FT [Achanta et al. CVPR 09] GC [Cheng et al. CVPR 11] SF [Perazzi et al. CVPR 12] PCA-S [Margolin et al. CVPR 13] 主要的数据集 FT
6
从眼动预测到显著物体分割 PASCAL-S 数据集
7
眼动预测与显著物体分割 图像来源:PASCAL VOC数据集 眼动数据 + 显著物体标注 眼动追踪实验 眼动数据
人工图像标注 显著物体轮廓
8
眼动预测与显著物体分割 眼动数据 显著物体标注 PASCAL-VOC是目前物体 检测中最公正的数据集
8 个被试对象 每人每张图采集2秒数据 自由浏览条件下追踪眼动 显著物体标注 12 个被试对象 利用图像分割结果点选显著 物体轮廓 PASCAL-VOC是目前物体 检测中最公正的数据集 [Unbiased look at dataset bias] CVPR 10
9
数据之旅 数据集评测与分析
10
眼动数据 (PASCAL-S) 现有方法在PASCAL-S上的性能与其他数据集基本持平
11
显著物体分割(PASCAL-S) FT 是目前显著物体分割的主流的数据集 (5年~700次引用) 不同被试之间具有高 度一致性
但算法性能明显下降!
12
数据集的偏差 FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体,背景单一
PASCAL-S FT FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体,背景单一
13
显著物体分割 = 眼动预测 + 图像分割 从眼动预测到显著物体分割
14
眼动预测直接用于显著物体分割? FT数据集:结果明显差于显著物体分割算法 PASCAL-S数据集:结果与显著物体分割算法持平
眼动预测无法给出物体的准确边界 PCAS 目前最新的 显著物体分割算法 AWS, GBVS, AIM, SIG 4中主流的眼动 预测算法
15
眼动预测 -> 显著物体
16
PASCAL-S数据集结果 与现有算法相比,我们的方法性能提高了11% 我们可以继续提高性能(理论上限)
+3% (真实眼动数据 + CPMC) +14% (CPMC 最优分割) +19% (手工分割 + 真实眼动数据)
17
FT数据集结果 与现有算法相比,我们的方法性能提高了3% 理论上限 3% (CPMC 最优分割)
18
小结与展望 显著物体是图像的内蕴属性,其定义在不同被试 对象之间高度一致 FT 数据集过分强调了视觉显著性,具有较强的数据偏差
勇于迎接新的挑战! 眼动数据与显著物体具有强相关性,故而可以被用于显著物体分割 基于眼动预测的显著物体分割
Similar presentations