Presentation is loading. Please wait.

Presentation is loading. Please wait.

显著物体分割 探秘与思考 Yin Li, Georgia Tech

Similar presentations


Presentation on theme: "显著物体分割 探秘与思考 Yin Li, Georgia Tech"— Presentation transcript:

1 显著物体分割 探秘与思考 Yin Li, Georgia Tech
显著物体分割 探秘与思考 Yin Li, Georgia Tech Yin Li*, Xiaodi Hou*, Christof Koch, James M. Rehg, Alan L. Yuille. The Secrets of Salient Object Segmentation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2014

2 眼动预测与显著物体分割 视觉显著性的两种定义

3 眼动预测 使用眼动数据作为真值 评价方法:Shuffled Area-Under-the-Curve (sAUC) 眼动在2维图像平面上稀疏
眼动数据集中在图像中心 (center-bias) sAUC提供了一种去除center-bias的方法

4 显著物体分割 使用人工标注的物体轮廓 作为真值 (精确到像素)
物体可以占据图像主要部分 评价方法:Precision- Recall (PR) 曲线的F- measure 物体集中在图像中心 (center-bias) PR曲线未考虑center-bias

5 显著性的两种“定义” 眼动预测 显著物体分割 现有方法 主要的数据集 现有方法 主要的数据集
ITTI [Itti et al. PAMI 98] AIM [Bruce et al. NIPS 06] GBVS [Harel et al. NIPS 07] DVA [Hou et al. NIPS 08] SUN [Zhang et al. NIPS 08] SIG [Hou et al. PAMI 12] 主要的数据集 Bruce, Judd 显著物体分割 现有方法 FT [Achanta et al. CVPR 09] GC [Cheng et al. CVPR 11] SF [Perazzi et al. CVPR 12] PCA-S [Margolin et al. CVPR 13] 主要的数据集 FT

6 从眼动预测到显著物体分割 PASCAL-S 数据集

7 眼动预测与显著物体分割 图像来源:PASCAL VOC数据集 眼动数据 + 显著物体标注 眼动追踪实验 眼动数据
人工图像标注 显著物体轮廓

8 眼动预测与显著物体分割 眼动数据 显著物体标注 PASCAL-VOC是目前物体 检测中最公正的数据集
8 个被试对象 每人每张图采集2秒数据 自由浏览条件下追踪眼动 显著物体标注 12 个被试对象 利用图像分割结果点选显著 物体轮廓 PASCAL-VOC是目前物体 检测中最公正的数据集 [Unbiased look at dataset bias] CVPR 10

9 数据之旅 数据集评测与分析

10 眼动数据 (PASCAL-S) 现有方法在PASCAL-S上的性能与其他数据集基本持平

11 显著物体分割(PASCAL-S) FT 是目前显著物体分割的主流的数据集 (5年~700次引用) 不同被试之间具有高 度一致性
但算法性能明显下降!

12 数据集的偏差 FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体,背景单一
PASCAL-S FT FT 数据集过度强调了视觉显著性的概念 显著物体位于图像中心附近 显著物体具有清晰的边缘 单个显著物体,背景单一

13 显著物体分割 = 眼动预测 + 图像分割 从眼动预测到显著物体分割

14 眼动预测直接用于显著物体分割? FT数据集:结果明显差于显著物体分割算法 PASCAL-S数据集:结果与显著物体分割算法持平
眼动预测无法给出物体的准确边界  PCAS 目前最新的 显著物体分割算法 AWS, GBVS, AIM, SIG 4中主流的眼动 预测算法

15 眼动预测 -> 显著物体

16 PASCAL-S数据集结果 与现有算法相比,我们的方法性能提高了11% 我们可以继续提高性能(理论上限)
+3% (真实眼动数据 + CPMC) +14% (CPMC 最优分割) +19% (手工分割 + 真实眼动数据)

17 FT数据集结果 与现有算法相比,我们的方法性能提高了3% 理论上限 3% (CPMC 最优分割)

18 小结与展望 显著物体是图像的内蕴属性,其定义在不同被试 对象之间高度一致 FT 数据集过分强调了视觉显著性,具有较强的数据偏差
勇于迎接新的挑战! 眼动数据与显著物体具有强相关性,故而可以被用于显著物体分割 基于眼动预测的显著物体分割


Download ppt "显著物体分割 探秘与思考 Yin Li, Georgia Tech"

Similar presentations


Ads by Google