Histogram-based Interest Point Detectors

Presentation on theme: "Histogram-based Interest Point Detectors"— Presentation transcript:

1 Histogram-based Interest Point Detectors
杨涛

2 作者信息 Wei-Ting Lee 李威霆 Hwann-Tzong Chen Assistant Professor
Department of Computer Science National Tsing Hua University Research Interests Computer Vision, Image Processing, Machine Learning

3 摘要 本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的对图像亮度逐点测量差异不同，本方法包括基于直方图的表示，因而能找到在邻域中不同分布的图像区域。提出的检测器能够获得大尺度结构和不同纹理模式，并显示出对旋转、亮度变化、模糊的不变性。 实验结果证明本方法模糊和亮度变化情况下的纹理匹配任务中表现得特别好。 扩展本方法到空时感兴趣点检测可用于动作分类。

4 基于直方图的感兴趣点检测 对于任意给定图像块中的像素，可以将其量化成几个离散的值。假定有 阶，那么
对于任意给定图像块中的像素，可以将其量化成几个离散的值。假定有 阶，那么 在每个像素位置 ，加权直方图 的第k个分量由下式计算得到： 其中 集合 定义围绕 的邻域窗口 是使得 的正规化因子 (1)

5 基于直方图的感兴趣点检测 给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性：
给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性： 二阶泰勒展开式的结果：

6 基于直方图的感兴趣点检测 其中 将（1）式代入得 其中

7 基于直方图的感兴趣点检测 矩阵获得像素 周围邻域的直方图结构。如果的两个特征值都很大，那么一个很小的平移，将会导致Bhattacharyya Coefficient的急剧下降，因而直方图 与直方图 非常不相似。将这样的像素称为感兴趣点。 所以问题转化为与局部Bhattacharyya Coefficient相应的Hessian Matrix的特征值问题。 无需显式计算特征值，可以用行列式与迹的响应函数来模拟：

8 提取局部不变区域用于匹配 基于直方图的图像表示 颜色直方图 方向梯度直方图 尺度选择

9 实验 图像匹配

10 实验 图像匹配

11 实验 时空感兴趣点检测

12 Random Walks on Graphs to Model Saliency in Image

13 作者信息（1） Viswanath Gopalakrishnan Yiqun Hu Degree Registered : Ph.D
Supervisor : Asst Prof Deepu Rajan Research Title : Visual Attention Yiqun Hu Ph.D candidate Supervisor : Asst Prof Deepu Rajan and Chia Liang Tien Research Interests: Computer Vision Network Technology Artificial Intelligence Human Computer Interaction

14 作者信息（2） Deepu Rajan Assistant Professor Research Interests:
Division of Computing Systems School of Computer Engineering College of Engineering Nanyang Technological University Research Interests: Image and video processing computer vision multimedia signal processing

15 摘要 将显著性区域检测公式化成马尔可夫随机游走问题。 通过全图随机游走提取图像全局属性，通过k-regular图随机游走提取局部属性。
最显著的节点是全局最孤立且落在局部最紧凑的区域。 背景节点是与最显著节点“距离”最远的节点。 通过最显著节点与背景节点得到显著区域。

16 各态历经马尔可夫链 从任意状态出发可以到达任意状态的马尔可夫链称为各态历经马尔可夫链。 1 6 2 5 3 4

17 各态历经马尔可夫链 假设有N个状态 平稳条件： ：转移矩阵 ：状态i到j的转移概率
是1×N的行向量，为N个状态的马尔可夫平稳分布，可以由 计算得到。

18 各态历经马尔可夫链 基本矩阵Z定义成 其中I是单位阵 是当n趋于无穷大时 的极限

19 各态历经马尔可夫链 表示从t=0时刻出发，从状态i出发返回到状态i的期望步数。 表示从t=0时刻出发，从状态i出发返回到状态j的期望步数。

20 图表示 将一幅图像划分成若干个8×8的小块，每一个小块表示成一个节点（顶点），各小块之间的相似性程度是连接节点的边。 8×8图像块块
节点之间的连接 基于两节点的特征集相似性的边的权重

21 图表示 计算局部块的方向直方图，块的复杂度由直方图的熵得到： 在YCbCr域中得到Cb和Cr。 在尺度空间中得到五个尺度下的直方图的熵。
这样得到特征向量为： 是相应于方向 的第i个bin的直方图的值

22 图表示 由得到的各顶点的特征向量计算权重： N×N仿射矩阵 获得图像特征的全局方面： 所有连向节点i的权重之和： 全连接的转移矩阵计算如下：
可以得到：

23 图表示 N×N仿射矩阵 获得图像特征的局部方面： 表示节点i的空间邻域节点 同理得到：

24 节点选择 最显著节点 在complete graph上，其他所有节点到最显著节点的步数的期望和 应当尽可能大。
在k-regular graph上，邻域节点到到最显著节点的步数的期望和 应当尽可能小。 任意节点的显著性值由下式定义： 最显著节点：

25 节点选择 图中红色区域代表最显著节点

26 节点选择 背景节点 第一个背景节点： 第n个背景节点： 显然第一个背景节点选择那些本身显著值低且与最显著节点最不相似的节点。
这样选择节点的目的是保证背景节点尽可能inhomogenous

27 节点选择 图中绿色区域代表背景节点

28 显著性区域检测 如果一个节点到最显著节点的期望步数与到所有背景节点的期望步数之和小，那么该节点就被认为是显著区域的一部分。继续这一步骤，找到所有这样的节点，形成的区域就是显著区域。 右图白色部分是检测出的显著性区域。

29 与其他方法的比较 未经二值化的结果 二值化后的结果

30 Saliency-based Discriminant Tracking

31 作者信息（1） Vijay Mahadevan Education Publication
2006-present : Ph.D (EE) UCSD, La Jolla, CA. GPA:4.0. : M.S (EE) Rensselaer Polytechnic Institute, Troy, NY, Dec GPA:3.89. : B.Tech (EE) Indian Institute of Technology, Madras. GPA: 8.73/10.00. Publication 'The discriminant center-surround hypothesis for bottom-up saliency', D. Gao, V. Mahadevan and N. Vasconcelos, Neural Information Processing Systems (NIPS),Vancouver, Canada, 2007. 'Background Subtraction in Highly Dynamic Scenes', V. Mahadevan and N. Vasconcelos, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, June 2008.

32 作者信息（2） Nuno Vasconcelos Position Research interest Awards
Associate Professor at UCSD,heading the Statistical Visual Computing Laboratory Research interest computer vision, statistical signal processing, machine learning, and multimedia. Awards Hellman Fellowship, 2005 NSF CAREER award, 2005 Graduate Fellowship, Junta Nacional para a Investigacao Cientifica e Tecnologica, Graduate Fellowship, Luso-American Foundation,

33 摘要 本文提出基于判别显著性的视觉跟踪框架 对于每一帧，将目标与背景的判别看成二值分类问题
利用最大化边缘差异的原则选出对目标与背景分类起最大作用的特征 通过这些特征，使用Top-down显著性检测下一帧目标的位置，完成跟踪算法的一次迭代 扩展该框架，加入Bottom-up显著性模式下的运动特征能鲁棒地检测显著运动物体并且自动初始化跟踪器。

34 问题起源 当前比较流行的基于表观的物体跟踪方法通过学习目标表观模型，确定目标位置。 为解决此问题，判别跟踪方法被提了出来。
缺点是未能引入背景信息。这样当背景凌乱或者目标发生形变时就制约了跟踪精度。 为解决此问题，判别跟踪方法被提了出来。 基本思想：物体跟踪伴随检测过程，将问题转化为持续的目标—背景分类。

35 问题起源 判别跟踪器设计的三个问题 目标初始化 特征选择 目标检测

36 利用判别显著性的跟踪 判别显著性将显著性问题看作感兴趣刺激与背景两类的最优决策问题。
每一位置的显著性等价于该位置处特征的判别力。这样判别的结果具有最低期望差错概率。

37 利用判别显著性的跟踪 判别显著性 l位置处的显著性定义为特征响应与类的互信息 又可以写成 其中

38 利用判别显著性的跟踪 学习显著特征 对目标与背景有最优判别能力的特征是那些与类别标签有最大互信息的特征。 互信息的计算 其中
表示第k个特征与前k-1个特征之间由于特征相关含有的判别信息

39 利用判别显著性的跟踪 学习显著特征 由于特征相关性对类的判别提供的信息很小，故 显著特征选择 对N个特征按降序排列互信息
选择前K个特征作为显著特征

40 利用判别显著性的跟踪 显著特征选择过程

41 利用判别显著性的跟踪 目标跟踪 t时刻的显著特征得到以后，下一步检测t+1时刻的目标位置。 包含通过似然比被分成目标类的点集

42 利用判别显著性的跟踪 目标跟踪 K个特征响应y的Confidence之和为 t+1时刻具有最大显著值点位置就是新的目标点的位置。

43 检测器自动初始化 初始化过程图示

44 实验结果 目标初始位置已知（4帧） 红框表示本文方法的结果 跟踪演示

45 实验结果 目标初始位置已知（6帧） 红框表示本文方法的结果

46 实验结果 量化结果 跟踪误差定义成groundtruth bounding box与跟踪器得到的bounding box内的平均像素差。可以看出本文方法（DST）误差最小。

47 实验结果 目标初始位置未知 利用Bottom-Up的显著性判别获得目标初始位置

48 Thanks!