Histogram-based Interest Point Detectors

Slides:



Advertisements
Similar presentations
1. 甚麼是人工智能 ? 甚麼是人工智能 ? 2. 強人工智能 - 弱人工智能 強人工智能 - 弱人工智能 3. 實現人工智能的必要條件 實現人工智能的必要條件 4. 人工智能的例子 人工智能的例子 5. 虛擬真實 虛擬真實 6. 感想 感想.
Advertisements

2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
大學教育的理念與價值 J. H. Wang Sep. 27, 大學是什麼 ? 大學法第一條 : – 大學以研究學術,培育人才,提升文化,服務 社會,促進國家發展為宗旨 。 – 大學應受學術自由之保障,並在法律規定範圍 內,享有自治權。
§3.4 空间直线的方程.
《解析几何》 -Chapter 3 §7 空间两直线的相关位置.
3.4 空间直线的方程.
95年度工程教育認證 淡江大學資訊工程學系 整體概況簡報
信息技术与旅游的交叉研究进展 北京联合大学旅游学院 黎巎 张凌云 2012年4月21日.
图书馆订购的纸质外文期刊目录 F:经济 H:语言、文字 I:文学 O:数理科学和化学 Z:综合性图书 T:工业技术 TB:一般工业技术
王晨 指导教师:张军平副教授 复旦大学计算机科学技术学院 上海市智能信息处理重点实验室
吳肇卿 特聘教授 學位 M.D. 醫學士- Taipei Medical College, Ph.D. 醫學博士- Institute of Clinical Medicine, National Yang-Ming Medical College,
一、现状与问题 整体竞争能力不强 服务品质不高 市场秩序失范 管理效率低下 旅游旺季人满为患 资源和环境保护不力 欺客宰客的现象时有发生
2010级 年级大会 出国、免研、就业、毕业.
不确定度的传递与合成 间接测量结果不确定度的评估
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
2-7、函数的微分 教学要求 教学要点.
第八章 第一节 日本 邹旭丹 滨河中学初中部 湘教版地理初一年级.
汇报人:王晓东 单 位:信息科学与工程学院 日 期:2016年9月
Decision-Theoretic Saliency: Computational Principles,Biological Plausibility, and Implications for Neurophysiology and Psychophysics 讲解人:杨涛 /11/12.
College of Science National Tsing Hua University
StonyBrook U
研究、論文、計畫與生活之平衡 演講人:謝君偉 元智大學電機系 2018年11月22日.
IET Digital Library 電子電機電通全文資料庫
强连通分量 无向图 1、任意两顶点连通称该图为连通图 2、否则将其中的极大连通子图称为连通分量 A D C B E 有向图
「嗨!老同學…」 S. Chen & F. Chen.
作者 :Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell
Department of Computer Science & Information Engineering
Image Segmentation with A Bounding Box Prior
吳羽婷 森林系.
物体识别 3D建图 semantic mapping
LOM-領隊導向多人連線遊戲自動匹配演算法
Mobile Communications Networking Lab. 行動通訊網路實驗室
Associate Dean’s Office
基于全方位视觉的多人体运动检测跟踪 利用全方位摄像机获取360˚ 的环境信息,在室内对多个人体目标进行实时运动检测。
VISP+MS 国际高校访问学生 及统计理学硕士项目
动态规划(Dynamic Programming)
SaaS流程模型的自动演化 Research Group for Cooperative Information Systems
计算机视觉 Computer Vision 北京理工大学 计算机科学与工程系 2006年3月9日 Computer Vision
第8章 静电场 图为1930年E.O.劳伦斯制成的世界上第一台回旋加速器.
使用矩阵表示 最小生成树算法.
工业机器人技术基础及应用 主讲人:顾老师
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
清華大學 青少年科技文化夏令營 迎生聚會 2006年7月7日 香港教育工作者聯會會所.
3.8.1 代数法计算终点误差 终点误差公式和终点误差图及其应用 3.8 酸碱滴定的终点误差
模型分类问题 Presented by 刘婷婷 苏琬琳.
Three stability circuits analysis with TINA-TI
三角函数诱导公式(1) 江苏省高淳高级中学 祝 辉.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
Institute of Medicine, Chung Shan Medical University
IEEE Computer Society 長亨文化事業有限公司.
聚类 IRLAB.
实体描述呈现方法的研究 实验评估 2019/5/1.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
清華大學理學院 願景、現況、規劃 College of Science, NTHU Vision, Status and Planning
多层循环 Private Sub Command1_Click() Dim i As Integer, j As Integer
中国科技大学计算机科学与技术学院 School of Computer Science & Technology
第七、八次实验要求.
Open to the public – all are welcome!
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
大學部學生專題研究 指導計畫說明 鄭士康 台大電機系.
高效洁净机械制造实验室是 2009 年教育部批准立项建设的重点实验室。实验室秉承“突出特色、创新发展“的宗旨,以求真务实的态度认真做好各项工作。 实验室主任为黄传真教授,实验室副主任为刘战强教授和李方义教授。学术委员会主任为中国工程院院士卢秉恒教授。实验室固定人员中,有中国工程院院士艾兴教授,教育部.
國立清華大學 腦科學研究中心 Brain Research Center 系統神經科學研究所 Institute of Systems Neuroscience NATIONAL TSING HUA UNIVERSITY Special Seminar Speaker: Dr. Tim Tully.
第二节 函数的极限 一、函数极限的定义 二、函数极限的性质 三、小结 思考题.
大 綱 科技管理學院介紹 經濟系V.S. 其它商管學系 系所發展三部曲與特色 現況與教學師資分配 學生課程與學習資源 系友畢業後概況
§2 方阵的特征值与特征向量.
欢迎大家来到我们的课堂 §3.1.1两角差的余弦公式 广州市西关外国语学校 高一(5)班 教师:王琦.
3.2 平面向量基本定理.
线性规划 Linear Programming
关于研究的若干问题 陈熙霖.
最小生成树 最优二叉树.
Presentation transcript:

Histogram-based Interest Point Detectors 杨涛

作者信息 Wei-Ting Lee 李威霆 Hwann-Tzong Chen Assistant Professor Department of Computer Science National Tsing Hua University Research Interests Computer Vision, Image Processing, Machine Learning

摘要 本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的对图像亮度逐点测量差异不同,本方法包括基于直方图的表示,因而能找到在邻域中不同分布的图像区域。提出的检测器能够获得大尺度结构和不同纹理模式,并显示出对旋转、亮度变化、模糊的不变性。 实验结果证明本方法模糊和亮度变化情况下的纹理匹配任务中表现得特别好。 扩展本方法到空时感兴趣点检测可用于动作分类。

基于直方图的感兴趣点检测 对于任意给定图像块中的像素,可以将其量化成几个离散的值。假定有 阶,那么 对于任意给定图像块中的像素,可以将其量化成几个离散的值。假定有 阶,那么 在每个像素位置 ,加权直方图 的第k个分量由下式计算得到: 其中 集合 定义围绕 的邻域窗口 是使得 的正规化因子 (1)

基于直方图的感兴趣点检测 给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性: 给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性: 二阶泰勒展开式的结果:

基于直方图的感兴趣点检测 其中 将(1)式代入得 其中

基于直方图的感兴趣点检测 矩阵获得像素 周围邻域的直方图结构。如果的两个特征值都很大,那么一个很小的平移,将会导致Bhattacharyya Coefficient的急剧下降,因而直方图 与直方图 非常不相似。将这样的像素称为感兴趣点。 所以问题转化为与局部Bhattacharyya Coefficient相应的Hessian Matrix的特征值问题。 无需显式计算特征值,可以用行列式与迹的响应函数来模拟:

提取局部不变区域用于匹配 基于直方图的图像表示 颜色直方图 方向梯度直方图 尺度选择

实验 图像匹配

实验 图像匹配

实验 时空感兴趣点检测

Random Walks on Graphs to Model Saliency in Image

作者信息(1) Viswanath Gopalakrishnan Yiqun Hu Degree Registered : Ph.D Supervisor : Asst Prof Deepu Rajan Research Title : Visual Attention Yiqun Hu Ph.D candidate Supervisor : Asst Prof Deepu Rajan and Chia Liang Tien Research Interests: Computer Vision Network Technology Artificial Intelligence Human Computer Interaction

作者信息(2) Deepu Rajan Assistant Professor Research Interests: Division of Computing Systems School of Computer Engineering College of Engineering Nanyang Technological University Research Interests: Image and video processing computer vision multimedia signal processing

摘要 将显著性区域检测公式化成马尔可夫随机游走问题。 通过全图随机游走提取图像全局属性,通过k-regular图随机游走提取局部属性。 最显著的节点是全局最孤立且落在局部最紧凑的区域。 背景节点是与最显著节点“距离”最远的节点。 通过最显著节点与背景节点得到显著区域。

各态历经马尔可夫链 从任意状态出发可以到达任意状态的马尔可夫链称为各态历经马尔可夫链。 1 6 2 5 3 4

各态历经马尔可夫链 假设有N个状态 平稳条件: :转移矩阵 :状态i到j的转移概率 是1×N的行向量,为N个状态的马尔可夫平稳分布,可以由 计算得到。

各态历经马尔可夫链 基本矩阵Z定义成 其中I是单位阵 是当n趋于无穷大时 的极限

各态历经马尔可夫链 表示从t=0时刻出发,从状态i出发返回到状态i的期望步数。 表示从t=0时刻出发,从状态i出发返回到状态j的期望步数。

图表示 将一幅图像划分成若干个8×8的小块,每一个小块表示成一个节点(顶点),各小块之间的相似性程度是连接节点的边。 8×8图像块块 节点之间的连接 基于两节点的特征集相似性的边的权重

图表示 计算局部块的方向直方图,块的复杂度由直方图的熵得到: 在YCbCr域中得到Cb和Cr。 在尺度空间中得到五个尺度下的直方图的熵。 这样得到特征向量为: 是相应于方向 的第i个bin的直方图的值

图表示 由得到的各顶点的特征向量计算权重: N×N仿射矩阵 获得图像特征的全局方面: 所有连向节点i的权重之和: 全连接的转移矩阵计算如下: 可以得到:

图表示 N×N仿射矩阵 获得图像特征的局部方面: 表示节点i的空间邻域节点 同理得到:

节点选择 最显著节点 在complete graph上,其他所有节点到最显著节点的步数的期望和 应当尽可能大。 在k-regular graph上,邻域节点到到最显著节点的步数的期望和 应当尽可能小。 任意节点的显著性值由下式定义: 最显著节点:

节点选择 图中红色区域代表最显著节点

节点选择 背景节点 第一个背景节点: 第n个背景节点: 显然第一个背景节点选择那些本身显著值低且与最显著节点最不相似的节点。 这样选择节点的目的是保证背景节点尽可能inhomogenous

节点选择 图中绿色区域代表背景节点

显著性区域检测 如果一个节点到最显著节点的期望步数与到所有背景节点的期望步数之和小,那么该节点就被认为是显著区域的一部分。继续这一步骤,找到所有这样的节点,形成的区域就是显著区域。 右图白色部分是检测出的显著性区域。

与其他方法的比较 未经二值化的结果 二值化后的结果

Saliency-based Discriminant Tracking

作者信息(1) Vijay Mahadevan Education Publication 2006-present : Ph.D (EE) UCSD, La Jolla, CA. GPA:4.0. 2002-2003 : M.S (EE) Rensselaer Polytechnic Institute, Troy, NY, Dec. 2003. GPA:3.89. 1998-2002 : B.Tech (EE) Indian Institute of Technology, Madras. GPA: 8.73/10.00. Publication 'The discriminant center-surround hypothesis for bottom-up saliency', D. Gao, V. Mahadevan and N. Vasconcelos, Neural Information Processing Systems (NIPS),Vancouver, Canada, 2007. 'Background Subtraction in Highly Dynamic Scenes', V. Mahadevan and N. Vasconcelos, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, June 2008.

作者信息(2) Nuno Vasconcelos Position Research interest Awards Associate Professor at UCSD,heading the Statistical Visual Computing Laboratory Research interest computer vision, statistical signal processing, machine learning, and multimedia. Awards Hellman Fellowship, 2005 NSF CAREER award, 2005 Graduate Fellowship, Junta Nacional para a Investigacao Cientifica e Tecnologica, 1993 -1997 Graduate Fellowship, Luso-American Foundation, 1991 - 1993

摘要 本文提出基于判别显著性的视觉跟踪框架 对于每一帧,将目标与背景的判别看成二值分类问题 利用最大化边缘差异的原则选出对目标与背景分类起最大作用的特征 通过这些特征,使用Top-down显著性检测下一帧目标的位置,完成跟踪算法的一次迭代 扩展该框架,加入Bottom-up显著性模式下的运动特征能鲁棒地检测显著运动物体并且自动初始化跟踪器。

问题起源 当前比较流行的基于表观的物体跟踪方法通过学习目标表观模型,确定目标位置。 为解决此问题,判别跟踪方法被提了出来。 缺点是未能引入背景信息。这样当背景凌乱或者目标发生形变时就制约了跟踪精度。 为解决此问题,判别跟踪方法被提了出来。 基本思想:物体跟踪伴随检测过程,将问题转化为持续的目标—背景分类。

问题起源 判别跟踪器设计的三个问题 目标初始化 特征选择 目标检测

利用判别显著性的跟踪 判别显著性将显著性问题看作感兴趣刺激与背景两类的最优决策问题。 每一位置的显著性等价于该位置处特征的判别力。这样判别的结果具有最低期望差错概率。

利用判别显著性的跟踪 判别显著性 l位置处的显著性定义为特征响应与类的互信息 又可以写成 其中

利用判别显著性的跟踪 学习显著特征 对目标与背景有最优判别能力的特征是那些与类别标签有最大互信息的特征。 互信息的计算 其中 表示第k个特征与前k-1个特征之间由于特征相关含有的判别信息

利用判别显著性的跟踪 学习显著特征 由于特征相关性对类的判别提供的信息很小,故 显著特征选择 对N个特征按降序排列互信息 选择前K个特征作为显著特征

利用判别显著性的跟踪 显著特征选择过程

利用判别显著性的跟踪 目标跟踪 t时刻的显著特征得到以后,下一步检测t+1时刻的目标位置。 包含通过似然比被分成目标类的点集

利用判别显著性的跟踪 目标跟踪 K个特征响应y的Confidence之和为 t+1时刻具有最大显著值点位置就是新的目标点的位置。

检测器自动初始化 初始化过程图示

实验结果 目标初始位置已知(4帧) 红框表示本文方法的结果 跟踪演示

实验结果 目标初始位置已知(6帧) 红框表示本文方法的结果

实验结果 量化结果 跟踪误差定义成groundtruth bounding box与跟踪器得到的bounding box内的平均像素差。可以看出本文方法(DST)误差最小。

实验结果 目标初始位置未知 利用Bottom-Up的显著性判别获得目标初始位置

Thanks!