人脸识别--LBP 周稻祥
Contents iiec.cqu.edu.cn 简介 原始的LBP算法 改进的LBP算法 实验、评估结果 参考文献
简介&研究现状 LBP是英文 Local Binary Pattern，即局部二进制模式。 iiec.cqu.edu.cn LBP是英文 Local Binary Pattern，即局部二进制模式。 此算法是比较简单的，却又是十分高效的图片特征分析算法。 具有如下特性： （1）对单调的灰度变换具有不变性 （2）对光照不敏感 （3）计算时间短 （4）非常高的判别率
简介&研究现状 LBP研究趋势 年度命中数 广泛应用于： （1）纹理分类、分割、恢复、合成、检索 （3）工业检测，如金属表面检测 www.themegallery.com LBP研究趋势 年度命中数 万方数据知识服务平台 广泛应用于： （1）纹理分类、分割、恢复、合成、检索 （3）工业检测，如金属表面检测 （3）场景分析 （4）人脸图像分析 等等
Contents iiec.cqu.edu.cn 简介 原始的LBP算法 改进的LBP算法 实验、评估结果 参考文献
原始LBP 纹理是图像分析中常用的概念，它是由于物体表面物理属性不同所引起的能表示某个特定表面特征的灰度或者颜色信息。 iiec.cqu.edu.cn 纹理是图像分析中常用的概念，它是由于物体表面物理属性不同所引起的能表示某个特定表面特征的灰度或者颜色信息。 一般来说可以认为纹理是由许多相互接近的、相互编制的元素构成，所以直观来说纹理描述可提供图像区域的平滑、稀疏、规则性等特性。 1996 反映在图像上，纹理表现为亮度、颜色的变化。与图像其他特征(颜色，形状，空间结构等)相比，纹理反映了图像灰度模式的空间分布，包含了图像的表面信息以及与周围环境的关系，更好地兼顾了图像的宏观信息和微观结构。 6
原始LBP iiec.cqu.edu.cn 1996 7
原始LBP 基本定义： 一个局部区域的纹理分布可假设为局部区域内像素灰度的联合分布： iiec.cqu.edu.cn 基本定义： 一个局部区域的纹理分布可假设为局部区域内像素灰度的联合分布： 在不损失信息的前提下，如果将中心点 的值从邻与像素的灰度 中减去 则局部纹理可用中心点和中心点与周围像素的差的联合分布表示： 若假设 与 独立： 1996 8
原始LBP 差值的分布具有灰度平移不变性，即所以像素加上某个值其表征的纹理不变 iiec.cqu.edu.cn 差值的分布具有灰度平移不变性，即所以像素加上某个值其表征的纹理不变 但是当所有像素值同时放大倍速时，纹理有变化，故只考虑差值的符号： 得到一个8位二进制数，进行加权求和，得到一个值，这个值描述了以为 中心的局部区域纹理： 1996 局部区域得灰度分布或纹理可以用LBP模式近似得描述为： 从上述定义可以看出LBP算子对于任何单调的灰度变化具有鲁棒性，只要像素的位置不变 则LBP算子所得值就会不变。 9
原始LBP iiec.cqu.edu.cn (LBP算子) 1996 10
原始LBP iiec.cqu.edu.cn LBP算子
原始LBP iiec.cqu.edu.cn 直方图(Histogram): 1996 12
原始LBP 缺点： 与邻域像素的关联度不够全面，只覆盖了8个邻域像素 这样小范围的区域，不能全面精确抓住主要的特征。 iiec.cqu.edu.cn 缺点： 与邻域像素的关联度不够全面，只覆盖了8个邻域像素 这样小范围的区域，不能全面精确抓住主要的特征。
Contents iiec.cqu.edu.cn 简介 原始的LBP算法 改进的LBP算法 实验、评估结果 参考文献
改进LBP iiec.cqu.edu.cn Multi-Scale LBP： 双线性插值 2002 2^P种模式 15
改进LBP 均匀(Uniform) LBP： 二进制码，0、1变化少于等于两次的二进制码称为是一个 uniform LBP iiec.cqu.edu.cn 均匀(Uniform) LBP： 二进制码，0、1变化少于等于两次的二进制码称为是一个 uniform LBP 比如说图中的11000011，0、1变化次数是两次。就是一个uniform LBP 2002 00000000 (0 transitions), 01110000 (2 transitions) 11001111 (2 transitions) are uniform whereas the patterns 11001001 (4 transitions) , 01010011 (6 transitions) are not. 16
改进LBP Timo Ojala等研究发现均匀模式占整个模式的很大的比例 约90%(8,1),70%(16,2) iiec.cqu.edu.cn Timo Ojala等研究发现均匀模式占整个模式的很大的比例 约90%(8,1),70%(16,2) 在图(a),(b),(c)中均匀模式占总模式的百分比分别为88%，93%和76% 均匀模式代表了图像的边缘等关键模式，利用这些均匀模式和混合模式的直方图，可提取更能代表图像的本质特征。 2002 （1）通过低通滤波的方法可以提高均匀模式在占的比例 （2) 通过高斯滤波后，再计算LBP，均匀模式在占的比例可达90% (3) 减少高频噪声带来的影响 17
改进LBP iiec.cqu.edu.cn 模式种类由 2^P种降到了 P(P-1)+2+1 2002 18
改进LBP iiec.cqu.edu.cn 旋转不变LBP(Rotation I)：
改进LBP 当P=8时，仅有36种旋转不变模式 8 9 10 11 12 13 …. 36 60 108 188 352 632 …. iiec.cqu.edu.cn 当P=8时，仅有36种旋转不变模式 8 9 10 11 12 13 …. 36 60 108 188 352 632 ….
改进LBP iiec.cqu.edu.cn 255 95 190,125,250,245,235,215,175, 23 46,92,184,113,226,197,139, 11 22,44,88,176,97,194,133, 127 191,223,239,247,251,254,253 111 222,189,123,246,237,219,183, 39 78,156,57,114,228,201,147, 19 38,76,152,49,98,196,137, 63 126,252,243,249,231,207,159 119 238,221,187, 29 142,71,58,116,232,209,163, 25 70,140,35,50,100,200,145, 31 62,124,248,241, 227,199,143 47 94,188,121,242,229,203,151, 27 54,108,216,177,99,198,141, 13 134,67,26,52,104,208,161, 15 30,60,120,240, 225,195,135 61 158,79,122,244,233,211,167, 43 86,172,89,178,101,202,149, 21 42,84,168,81,162,69,138, 7 14,28,56,112, 224,193,131 55 110,220,185,115,230,205,155, 45 150,75,90,180,105,210,165, 37 74,148,41,82,164,73,146, 3 6,12,24,48, 96,192,129, 87 174,93,186,117,234,213,171, 51 102,204,153, 5 10,20,40,80,160,65,130, 1 2,4,8,16, 32,64,128 59 206,157,103,118,236,217,179, 53 166,77,154,83,106,212,169, 9 18,36,72,144,33,66,132, 91 182,109,218,181,107,214,173, 85 170, 17 34,68,136,
改进LBP iiec.cqu.edu.cn riU2 LBP： P+2种模式
Contents iiec.cqu.edu.cn 简介 原始的LBP算法 改进的LBP算法 实验、评估结果 参考文献
人脸识别 iiec.cqu.edu.cn
人脸识别 iiec.cqu.edu.cn
人脸识别 全局的LBP之所以能够成功的被应用到纹理分析是因为： 相对而言，标准的纹理图像变化少（光照，角度等） iiec.cqu.edu.cn 全局的LBP之所以能够成功的被应用到纹理分析是因为： 相对而言，标准的纹理图像变化少（光照，角度等） 所以全局LBP直方图更加的稳定 而人脸图像的变化就比较的大。所以全局LBP不太适合直接用于人脸图像的分析。 2004年Timo Ahonen在Computer Vision-ECCV2004(495)Face recognition with local binary patterns把LBP引入了人脸识别的研究 将人脸分为不同的几个区域：
人脸识别 iiec.cqu.edu.cn 直方图连结：
人脸识别 iiec.cqu.edu.cn
人脸识别 iiec.cqu.edu.cn 从图中可以看出在小区域内图像的变化要比整个图像要小，直方图的起伏也不是很大，趋于均匀。
人脸识别 iiec.cqu.edu.cn 空间关系
人脸识别 iiec.cqu.edu.cn
人脸识别 iiec.cqu.edu.cn
人脸识别 iiec.cqu.edu.cn 可以看出空间关系的一定保持对于人脸图像识别还是必须的
度量方法 相似性度量方法： 当样本点大时，对数似然统计法取得良好的效果，但是当样本点较小时，直方图相交和卡方概率统计更有效、稳定： iiec.cqu.edu.cn 相似性度量方法： 当样本点大时，对数似然统计法取得良好的效果，但是当样本点较小时，直方图相交和卡方概率统计更有效、稳定：
人脸识别 iiec.cqu.edu.cn To find the weights W j for the weighted χ2 statistic a training set was classified using only one of the windows at a time. The recognition rates of corresponding windows on the left and right half of the face were averaged. Then ： windows whose rate lay below the 0.2 percentile of the rates got weight 0 windows whose rate lay above the 0.8 and 0.9 percentile got weights 2.0 and 4.0 The other windows got weight 1.0.
度量方法 iiec.cqu.edu.cn
实验效果 iiec.cqu.edu.cn
实验效果 iiec.cqu.edu.cn
实验效果 iiec.cqu.edu.cn fb,fc,d1,d2
实验 iiec.cqu.edu.cn fb,fc,d1,d2
FR iiec.cqu.edu.cn
FR iiec.cqu.edu.cn
参考文献 iiec.cqu.edu.cn [1] A comparative study of texture measures with classification based on featured distributions[1996 PR] [2] Multi resolution gray-scale and rotation Invariant Texture Classification with Local Binary Patterns[2002 PAMI] [3] Computer Vision-ECCV2004(495)Face recognition with local binary patterns [4] Face description with local binary patterns Application to face recognition[2006 PAMI] [5] Rotation-Invariant Image and Video Description With Local Binary Pattern Features[2011 ITIP] [6] On the recent use of local binary patterns for face authentication[2006 IJIVP SIFIP] [7] A comparative study on local binary pattern LBP based FR LBP histogram versus LBP Image[2013 Neurocomputing] [8] Local binary patterns and its application to facial image analysis a survey[2011 ITSMC Part C] [9] 基于LBP的特征提取研究，王玲，北京交通大学 [10] 基于LBP的人脸识别研究，黄非非，重庆大学 [11] 基于局部二值模式的人脸识别方法研究，周凯，中南大学
Thank You !