Multi-Cue Onboard Pedestrian Detection Haoyu Ren 2009.5.22 2018/9/17

Overview Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Author information(1/4) Christian Wojek Education M.Sc in Computer Science, University of Karlsruhe, Germany, 2000-2006 Visiting Student at McGill University, Montreal, Canada, 2004-2005 2006-, PhD Candidate in Computer Science, TUD Research Interest Object Recognition, Scene Understanding, Activity Recognition and Person Tracking Papers 1 ECCV’08, 2 CVPR’09 2018/9/17

Author information(2/4) Stefan Walk Education Diploma in Physics, Technische Universität Darmstadt, Germany 2007 2007-, PhD Candidate in Computer Science, TUD Research Interest People detection, Detecting from video data (utilizing motion information) Papers 1 CVPR’09 2018/9/17

Author information(3/4) Bernt Schiele Education PhD: Docteur de l'Institut Polytechnique de Grenoble, France, 1997 MSc's: Diplom-Informatiker, University of Karlsruhe, Germany, 1994, DEA de l'informatique de l'ENSIMAG, France, 1993 Experience Assistant Professor, ETH Zurich, Switzerland, 1999-2004 Postdoctoral Associate and Visiting Assistant Professor, MIT and Cambridge, MA, USA, 1997-2000 Visiting researcher at CMU, 1994 2018/9/17

Author information(4/4) Bernt Schiele Research Interest Perceptual computing, human-computer interfaces External Activities Associate Editor of PAMI, IJCV and IEEE Pervasive ECCV’08, CVPR’09, ICCV’09, Area Chair ICCV 2011, Program CoChair Papers 2 CVPR’09, 2 CVPR’08, 2 ECCV’08, 1 IJCV’08 2018/9/17

Overview Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Abstract This paper systematically evaluates different features and classifiers in a sliding-window framework. Our experiments indicate that incorporating motion information improves detection performance significantly. The combination of multiple and complementary feature types can also help improve performance. The choice of the classifier-feature combination and several implementation details are crucial to reach best performance. In contrast to many recent papers experimental results are reported for four different datasets rather than using a single one. 2018/9/17

提纲 Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Introduction of SVM(1/7) 最优线性分类面 线性可分样本集合，线性分类面一般形式为 最优分类面要求，距离分类面最近的样本距离(margin)尽可能大 2018/9/17

Introduction of SVM(2/7) 最优线性分类面 直观解释，给定一个训练样本，那些相同标签的测试样本可以认为分布在这个训练样本周围的超球内。如果分类超平面离样本越远，检测样本被误分的可能性就会越小 推导 样本点(xi, yi), yi = {-1,+1}, 则有 通过对w与b的放缩，我们可以在不改变分类面的情况下得到 定义两个与分类面平行平且过离分类面最近样本的“支持平面” 2018/9/17

Introduction of SVM(3/7) 最优线性分类面 Margin等于这两个支持平面距离的一半，也就等于原点距离这两个支持平面的距离差的一半 2018/9/17

Introduction of SVM(4/7) 最优线性分类面 计算原点到 距离 代入 得到 再代回求得 于是原点到 距离为 2018/9/17

Introduction of SVM(5/7) 最优线性分类面 同理计算原点到 距离为 所以分类超平面到最近样本点距离为 ，问题转化为求 的最小值 构造拉格朗日函数 对w, b求偏导 根据Karush Kuhn Tucker条件 2018/9/17

Introduction of SVM(6/7) 最优线性分类面 最优分类面的权系数是训练样本的线性组合 多数样本的λ将为0，那些不为0的样本被称作是支持向量(support vector)，只占整体样本很少的一部分 b可以由任一支持向量求得 分类函数 2018/9/17

Introduction of SVM(7/7) Kernel trick 解决非线性分类边界问题 基本思想是通过一个非线性变换将输入空间变换到一个高维空间, 然后在新空间求最优线性分类面。这种非线性变换是通过定义适当的内积函数来实现的 使用核函数代替线性分类面中的点积 分类函数 2018/9/17

Introduction of AdaBoost(1/6) AdaBoost通过对一些弱分类器(weak classifier)的组合来形成一个强分类器(strong classifier), “提升(boost)”弱分类器得到一个分类性能好的强分类器 每一个弱分类器都对前一个分类器错误分类的样本给与更多的重视 2018/9/17

Introduction of AdaBoost(2/6) 其中，h表示弱分类器的响应值，θ为正例反例判别阈值，f表示特征响应值 Positive Negative 2018/9/17

Introduction of AdaBoost(3/6) 输入 样本集合 (x1,y1), (x2,y2), ..., (xn,yn) 训练参数：样本权值wi、分类器层数T等等 输出 一个由很多弱分类器线性组合得到的强分类器 2018/9/17

Introduction of AdaBoost(4/6) 分类错误率是否达到？ 是 输出强分类器 遍历所有特征，分别计算以每个特征 作为弱分类器的分类错误率 否 选择错误率最小的弱分类器 更新强分类器 样本权值更新，分类正确的样本权值减小 2018/9/17

Introduction of AdaBoost(5/6) For t=1,...,T 1. 归一化权重，使得wt为一个概率分布： 2. 对每个特征j, 训练一个弱分类器hj, 计算其带权重的错误率 3. 选择误差最小的弱分类器ht加入强分类器 4. 更新每个样本的权重 2018/9/17

Introduction of AdaBoost(6/6) 2018/9/17

Overview Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Paper Content Features Classifiers Learning and Testing Haar, HOG, Oriented Histograms of Flow 对单个的特征向量做L2-norm然后连接起来作为组合特征 Classifiers SVM: Linear SVM, IK-SVM Boosting: AdaBoost, MPLBoost Learning and Testing 2018/9/17

Haar-like Feature(1/2) Haar-like feature 白色矩形像素和减去黑色矩形像素和 2018/9/17

Haar-like Feature(2/2) Haar-like feature 计算矩形内部像素灰度值的和 定义积分图 计算D内部像素灰度和 4 + 1 - 2 - 3 2018/9/17

HOG feature(1/9) HOG feature Histogram of Oriented Gradient, 人体检测领域应用最广的特征 多种变种，Multi Size HOG，Pyramid HOG… 适合多种分类器，Linear SVM, Kernel SVM (RBF, IK, Quadratic…), LDA + AdaBoost, SVM + AdaBoost, Logistic Boost, Vector Boost… 2018/9/17

HOG feature(2/9) HOG feature extraction 对三个通道分别均方压缩 R,G,B = sqrt(R,G,B) 使用[-1,0,1] 模版计算3个通道的梯度 梯度高斯加权，使用3线形插值加权计算cell梯度直方图 对每个block(2x2cells)进行归一化 对于一个区域，输出一个梯度直方图向量作为该区域的HOG特征 2018/9/17

HOG feature(3/9) HOG feature extraction … … Cell … … … Blocks with overlap in the Scan Window Cell One Block consists of 2 ×2 Cells (one HOG feature) 2018/9/17

HOG feature(4/9) 普通加权 线形插值加权 考察样本距离哪个区间中心最近 使用样本到各个区间中心的距离加权 normal voting 5 15 25 (1) 9 interpolated voting 5 15 25 (0.6) (0.4) 2018/9/17

HOG feature(5/9) normal voting C1 Cell C0 C2 C3 HOG histogram 2018/9/17

HOG feature(6/9) interpolated voting C1 Cell C0 C2 C3 HOG histogram 2018/9/17

HOG feature(7/9) 三线形插值 9 orientation bins for each cell HOG histogram of block Cell C0 C1 C2 C3 dx 1-dx dy 1-dy Cell C0 C1 C2 C3 2018/9/17

HOG feature(8/9) HOG特征快速计算方法 对输入图像计算梯度图像，然后计算9个梯度方向的梯度加权的积分图 计算速度大大加快，所有使用Boosting分类的HOG分类器必follow 2018/9/17

HOG feature(9/9) 一些HOG特征的变种 C-HOG Multi-size HOG Pyramid HOG cell排列圆形的HOG特征，性能无明显提升 Multi-size HOG cell的长宽比可调节，大小可调节，位置可调节 使用Boosting框架进行特征选择 Pyramid HOG 将图像作尺度变化，对不同尺度稠密采样提取HOG 增强了HOG的判别力，与IK-SVM结合性能优秀 2018/9/17

Orient Histograms of Flow(1/2) 光流(optical flow) 物体运动时图像上对应点亮度模式的表观运动(apparent motion)称作光流 光流表达了图像的变化，它包含了目标运动的信息，因此可被用来确定目标的运动情况 2018/9/17

Orient Histograms of Flow(2/2) 考查光流变化的方向，而不是空间梯度方向 3x3cell组合一个block，考查中心cell与周围8个cells的光流变化，统计光流梯度直方图 给予不同的cell不同的权值—— IMHwd (internal motion histogram using Haar wavelet like operators) 2018/9/17

SVM classifiers(1/5) SVM classifiers Linear SVM RBF Kernel SVM Intersection Kernel SVM Kernel SVM高计算复杂度，m支持向量n维特征，计算复杂度至少O(mn) 2018/9/17

SVM classifiers(2/5) Intersection Kernel SVM快速计算 令i固定， 表示 升序排列，r是满足 的最大整数，得到 2018/9/17

SVM classifiers(3/5) Intersection Kernel SVM快速计算 A与B均独立于输入样本，只与支持向量有关 如果我们预先计算了所有的 ，对于任何一个输入样本，只需要先利用二分法查找到r，然后利用线形插值就可以得到结果。复杂度下降到了O(nlogm) 使用分段线形函数去近似h可以使速度得到进一步提升 2018/9/17

SVM classifiers(4/5) IK-SVM分类面 2018/9/17

+ - + - - + SVM classifiers(5/5) SVM分类面对比 RBF kernel SVM Liner SVM 支持向量 - IK-SVM - + +表示与支持向量相似的区域 2018/9/17

Boosting classifiers(1/2) AdaBoost classifiers The cascade framework 2018/9/17

Boosting classifiers(2/2) MPLBoost: Multiple Pose Boosting 同时训练K个强分类器，分类器输出值是这个分类器响应值的最大值 对于一个扫描窗口，如果有一个强分类器认为是positive就是positive，如果所有强分类器认为是negative才是negative 训练过程中，只有被所有强分类器错分的样本权值保持不变 类似于Cluster Boosted Tree，不同的是样本权值的更新策略 2018/9/17

Overview Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Experimental Result(1/6) Training 1776 annotated pedestrians pairs (patch) 192 images pairs (large image) Testing ETH-01, ETH-02, ETH-03, TUD-Brussels Evaluation protocol 1-Precision – Recall curve 2018/9/17

Experimental Result(2/6) Experiment on ETH-02 2018/9/17

Experimental Result(3/6) Experimental result on ETH 2018/9/17

Experimental Result(4/6) Experiment on TUD-Brussel 2018/9/17

Experimental Result(5/6) Experimental result on TUD-Brussel 2018/9/17

Experimental Result(6/6) Analysis 对于人体检测SVM分类器，Haar特征由于判别能力太弱并不合适 HOG特征的弱泛化能力导致并不适合直接用于AdaBoost，与Haar特征组合会有一定程度改善 增加动作特征IMHwd对SVM与Boosting系统都有明显改善 MPLBoost优于AdaBoost IK-SVM优于Linear SVM 最好的组合HOG + IMHwd + HIKSVM 2018/9/17

Overview Author information Abstract Related algorithm introduction Paper content Experimental Result Conclusion 2018/9/17

Conclusion 本文评测了不同特征与不同分类器的组合的窗口扫描人体检测系统的性能； 引入motion信息会显著提升检测系统的性能，不同类型特征组合也会带来一定程度的性能提升； 我们在4个不同的数据集上做了大量实验，实验表明特征-分类器组合的选择对于检测性能至关重要。其中HOG + IMKwd + IK-SVM的表现最为出色； 2018/9/17

谢谢大家！ 2018/9/17