第10周 周二 实验四 图像压缩编码 周五 运动会,不上课 第11周 周二 上课(复习) 周五 五一放假 第12周 周二 实验五 手写体邮政编码识别 周五 (5月8日)考试:13:15 - 15:15 三教107
纹理: 把图象的局部不规则而宏观有规律的特性称之为纹理。 7-2 纹理特征提取 纹理: 把图象的局部不规则而宏观有规律的特性称之为纹理。 纹理区域:以纹理特性为主导的图像区域。 虽然图像的纹理特征在局部区域内可能没有规则 ,但在整体上却往往呈现出一定的规律性 。 Texture Characteristic Abstracting Texture is the description of the image pixels gray-scale distribution mode in space, reflecting the quality of material of the articles, like roughness, smoothness, granularity, randomness and criterion and so on. When appearing the same or the similar basic image element (pattern) in the image massively , the texture analysis is one of the most important means in researching this kind image.
纹理是对图象的象素灰度级在空间上的分布模式的描述,反映物品的质地,如粗糙度、光滑性、颗粒度、随机性和规范性等。 它们反映了物体表面颜色和灰度的某种变化。这些变化与物体本身的属性相关。 当图象中大量出现同样的或差不多的基本图象元素(模式)时,纹理分析是研究这类图象的最重要的手段之一。
自然纹理:具有重复性排列现象的自然景象,无规则; 人工纹理:是由自然背景上的符号排列组成、有规则的。 纹理特征提取 自然纹理:具有重复性排列现象的自然景象,无规则; 人工纹理:是由自然背景上的符号排列组成、有规则的。 描述一块图象区域的纹理有三种主要的方法,统计分析方法、结构分析方法和频谱分析方法。 为了定量描述纹理,多年来人们建立了许多纹理算法以测量纹理特性。这些方法大体可以分为两大类:统计分析法和结构分析法。前者从图像有关属性的统计分析出发;后者则着力找出纹理基元,然后从结构组成上探索纹理的规律。也有直接去探求纹理构成的结构规律的。 Texture Characteristics Abstracting There are three major methods in describing the texture of an image area, statistical analysis method, structure analysis method and spectral analysis method.
统计方法 Statistical approach 纹理特征提取 统计方法 Statistical approach 有基于图像灰度直方图的矩分析法、 灰度共生矩阵法、灰度行程和自回归 模型。 统计方法将纹理描述为光滑、粗糙、 粒状等等。 适用于不规则物体 行程长度统计法
结构方法 Structural approach 纹理特征提取 结构方法 Structural approach 研究基元及其空间关系。基元一般定义为具有某种属性而彼此相连的单元的集合,属性包括灰度、连通区域的形状、局部一致性等。空间关系包括基元的相邻性、在一定角度范围内的最近距离等等。根据基元间的空间联系,纹理可以分为弱纹理或强纹理。进一步细分,可以根据基元的空间共生概率来划分,也可以根据单位面积内的边缘数来区别。 适用于布料等纹理基员元排列较规则的物体。 认为纹理是由结构基元按某种规则重复分布所构成的模式。需要提取结构基元,并描述其特性和分布规则。
频谱方法 Spectral approach 纹理特征提取 频谱方法 Spectral approach 根据傅立叶频谱,根据峰值所占的能量比例将图象分类。包括计算峰值处的面积、峰值处的相位、峰值与原点的距离平方、两个峰值间的相角差等手段。 Texture Characteristics Abstracting Spectral Measures Based on the Fourier spectrum, classifying the image according to the energy proportions of the peak values in the spectrum. Including computing the areas of the peak values , the phase of the peaks, the squares of the distances between peaks and origin, the phase angle differences between two peaks, and so on.
常用的几种纹理特征分析方法 灰度直方图分析法 为了研究两种纹理区域的灰度直方图的相似性,可以比较累积灰度直方图分布,计算直方图的均值或方差。 灰度直方图分析法 为了研究两种纹理区域的灰度直方图的相似性,可以比较累积灰度直方图分布,计算直方图的均值或方差。 但是灰度直方图不能得到纹理的二维灰度变化。如下图中两种纹理具有相同的直方图,只靠直方图就不能区别这两种纹理。 如果限定对象,则采用这样简单的方法也能够识别纹理。
灰度共生矩阵法 The Gray-level Co-occurrence Matrix 共生矩阵用两个位置的象素的联合概率密度来定义,它不仅反映亮度的分布特性,也反映具有同样亮度或接近亮度的象素之间的位置分布特性,是有关图象亮度变化的二阶统计特征。它是定义一组纹理特征的基础。 灰度直方图不能得到纹理的二维灰度变化,没能利用像素相对位置的空间信息,即使作为一般性的纹理识别法,其能力是很低的。 在三维空间中,相隔某一距离的两个像素,它们具有相同的灰度级,或者具有不同的灰度级,若能找出这样两个像素的联合分布的统计形式,对于图像的纹理分析将是很有意义的。
The Gray-level Co-occurrence Matrix 定义:位置算子 δ10 δ01 δ11 Δy Δx The Gray-tone Co-occurrence Matrices Defining the Position Arithmetic Operators
The Gray-level Co-occurrence Matrix 假设给定如下的仅具有3个灰度级的图象区域,分别记数符合上述位置算子的象素空间组合的数目形成频度矩阵,再将其归一化,即除以符合位置关系的总数就得到共生矩阵。共生矩阵的阶数与图象的灰度级别数相等。 2 1 The Gray-tone Co-occurrence Matrices Assumed the given image region as follows just with three gray levels , registering the quantity of the pixels spatial sets which comfort to the above position arithmetic operators and forming the frequency-tone matrix, then normalizing it,that is, dividing the total number which accord with position relations, we can get the co-occurrence matrices. The order of co-occurrence matrices are equal to the gray levels of the image.
The Gray-level Co-occurrence Matrix [定义] 设S为目标区域R中具有特定空间联系的象素对的集合,则共生矩阵P 可定义为 上式等号右边的分子是具有某种空间关系、灰度值分别为g1和g2的象素对的个数,分母为象素对的总和个数(#代表数量)。这样得到的P是归一化的。 The Gray-tone Co-occurrence Matrices The numerator at the right side of the above formula is the number of the pixels with some kind of spatial relations and their gray-scale values are g1 and g2 separately, the denominator is the summation number of the pixel pairs( # represents the quantity). The received P in this way is normalized.
The Gray-level Co-occurrence Matrix 2 1 The Gray-level Co-occurrence Matrix 频度矩阵 δ δ δ The Gray-tone Co-occurrence Matrices The Frequency-tone Matrices
The Gray-level Co-occurrence Matrix é 6 4 ù 1 d d ê ú 位置算子 , 的共生矩阵: 4 3 10 01 ê ú 20 ê 3 ú ë û é 3 7 ù 1 ê ú d 5 的共生矩阵: ê ú 11 16 ê ú ë 1 û The Gray-tone Co-occurrence Matrices The co-occurrence matrix of the position arithmetic operators a10, a01 is : The co-occurrence matrix of a11 is: [Definition] S is the set of the pixel pairs with particular spatial relations in the target domain R, then the co-occurrence matrices can definite as
例 1 2 3 1 2 3 纹理B 纹理A 西北到东南方向(δ11) 水平向右方向(δ10)
1 2 3 1 2 3 纹理A 纹理B 东北到西南方向(δ-11 ) 垂直向下方向(δ01)
主对角线元素的作用: 由于沿纹理方向上相近象素的灰度基本相同, 垂直纹理方向上相近象素间有较大灰度差, 因此主对角线元素的大小有助于判别纹理的方向和粗细,对纹理分析起着重要作用。
(1)方向判断:纹理A为90 o方向,纹理B为45o方向。因纹理A的垂直方向的共生矩阵和纹理B的45o方向的共生矩阵的主对角线元素值很大,其他元素值全为0,正说明沿着纹理方向上没有灰度变化。 2 1 3 纹理B 东北到西南方向(δ-11 ) 纹理A 3 2 1 垂直向下方向(δ01)
(2)粗细判断:纹理A纹理较粗,纹理B较细。 观察纹理A的水平方向的共生矩阵和纹理B的135o方向的共生矩阵可知,纹理B主对角线元素全为0,说明在垂直纹理方向上灰度变化频繁,故纹理细;而纹理A主对角线元素不为0,说明相邻象素的灰度变化缓慢,故纹理粗。 2 1 3 纹理B 西北到东南方向(δ11) 纹理A 3 2 1 水平向右方向(δ10)
灰度共生矩阵中元素相对于主对角线的分布------离散性;反映纹理的粗细 NO18.2 元素值的离散性分析: 灰度共生矩阵中元素相对于主对角线的分布------离散性;反映纹理的粗细 (1)离散性大:离开主对角线的元素的归一化值高,说明图中垂直于该方向的纹理较细。 2 1 3 纹理B 西北到东南方向(δ11)
灰度共生矩阵中元素相对于主对角线的分布------离散性;反映纹理的粗细 元素值的离散性分析: 灰度共生矩阵中元素相对于主对角线的分布------离散性;反映纹理的粗细 (2)离散性小:离开主对角线的元素的归一化值低,说明图中垂直于该方向的纹理较粗。 1 2 3 纹理A 水平向右方向(δ10)
如果一幅图象主要包含细的纹理, 其灰度共生矩阵中的数值则散布在远离对角线处, 例如图1. 例:图象和其灰度共生矩阵 Fig. 1 Coarse texture image and its co-occurrence matrix Fig. 2 Fine texture image and its co-occurrence matrix 如果一幅图象主要包含细的纹理, 其灰度共生矩阵中的数值则散布在远离对角线处, 例如图1. 而如果一幅图象主要包含粗的纹理, 其灰度共生矩阵中的数值较集中于主对角线附近, 例如图2. 可看出,共生矩阵确实可以反映不同像素相对位置的空间信息.
纹理的统计特征 基于共生矩阵的纹理特征 对灰度共生矩阵的各种统计量可作为纹理特性的度量。 共生矩阵,然后可以计算如下的 纹理描述特征: 选择合适的位置算子,计算出 共生矩阵,然后可以计算如下的 纹理描述特征: 参见<综合利用颜色和纹理特征的图像检索> 灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息,它可作为分析图像基元和排列结构的信息。 作为纹理分析的特征量,往往不是直接应用计算的灰度共生矩阵,而是在灰度共生矩阵的基础上再提取纹理特征量,称为二次统计量。一幅图像的灰度级数一般是256,这样计算的灰度共生矩阵太大。为了解决这一问题,在求灰度共生矩阵之前,常压缩为16级。 The Statistical Characteristics of Texture The texture characteristics based on co-occurrence matrices Choosing the appropriate position arithmetic operator, computing the co-occurrence matrix, then, we can compute the texture description characteristic as follows: 1 Consistency ; 2 Entropy: 3 The maximum probability: 4 Contrast gradient 5 逆矩差 pp.153-155
①.二阶矩 The second moment: 二阶矩是图象灰度分布均匀性的度量。 当图象灰度分布均匀时,纹理较粗,由于p的数值较集中于主对角线附近, 相应的二阶矩值较大; 反之值则较小。 理解为粗纹理含较多能量,细纹理含较少能量,故二阶矩又称能量 p为灰度共生矩阵的元素
②. 熵: 此处熵是图象所具有的纹理信息量的度量。 若图象充满细纹理,则p的数值近似相 等,图象的熵值很大;若分布着较少的纹 理,则p的数值差别较大,熵值较小。
纹理分析的自相关函数法 w , h 分别为窗口的宽和高;x, y 分别为横、纵方向的偏移量。 设图像为f(i,j),则该图像的自相关函数定义为: w , h 分别为窗口的宽和高;x, y 分别为横、纵方向的偏移量。 它是对窗口内的每一像元与偏移量为(x,y)的像元之间相关性的一个度量.
当(x,y)固定不变时,粗纹理的ρ比细纹理的ρ大。当x=y=0时, ρ达到最大值。
傅立叶频谱法—将二维频谱转化为一维图像 Sθ(r) Fourier 系数图像 原图 Sr(θ) 按角度 划分区域 按半径划分区域 FFT2D +FFTSHIFT Sr(θ) 按半径划分区域 将每个区域像素求和 全局纹理模式在空域中很难检测出来,但转换到频域中很容易分辨,因此频域纹理对区分周期模式及两周期模式之间的不同十分有效. r是频率,θ是方向。S(r)和S (θ)都是全局描述 将每个区域像素求和
傅立叶频谱法 Original image 2D Spectrum (Fourier Tr.) S(r) S(q) Another 45 90 135 S(θ)明显与图中纹理内容的周期性对应. 全局纹理模式对应于傅立叶谱中(S(θ))峰值突起处 Another image Another S(q) 90
7-3 颜色特征提取 引言 人眼对彩色的分辨率大大高于对黑白图像的分辨率。彩色图像所带的信息,远远大于灰度图像。因此,在计算机图像处理中,颜色的特征提取占有很重要的地位。 The Color Characteristics Abstracting Introduction The human eyes to the colored resolution is far higher than the black-and-white image resolution. The information of the color image are more far greater than the gray-scale image.So ,the color characteristics abstracting plays an important role in the computer image processing,
颜色特征提取 为减少真实彩色所带来的海量数据,前人提出采用R、G、B (三基色波长(CIE)Blue: 435.8nm, Green: 546.1nm, Red: 700nm)相加法实现自然色彩的表示、传输与还原。 The Color Characteristics Abstracting To reduce the large numbers of the data brought by the real color, the predecessor proposed using R, G, B (three basic color wavelength (CIE)Blue: 435.8nm, Green: 546.1nm, Red: 700nm)additive method to realize the description,transmission and returning to original .of the nature color.
颜色特征提取 颜色表示系统 虽然RGB系统广泛应用于电视传输、彩色成象,但RGB系统与人眼对颜色的识别方式还是有一定的差距的。常用的彩色表示系统还有HSV、YCrCb、YUV、YES等。 The Color Characteristics Abstracting The color representation system Although the RGB system widely applies in the television transmission, the colored imaging , but there is the certain disparity between the RGB system and the human eyes in the color recognition ways. The commonly used color expression system also has RGB, HSV, YCrCb, YUV, YES ,and so on.
颜色特征提取 HSV颜色模型 根据人眼对颜色感知的视觉特性,RGB颜色空间可以变换到HSV(Hue, Saturation, Value)色彩空间,即在此空间一点的颜色可以由色度、饱和度和亮度值来表示。HSV空间可以用一个锥体表示 . The Color Characteristics Abstracting HSV Color Model Based on the visual characteristic of the human eyes appreciating the color, the RGB color space may transform to the HSV color space(Hue, Saturation, Value), the HSI (Hue, Saturation, Intensity) color space, namely the color of a point may be represented by the hue, the saturation and the brightness value in this space. The HSV space may use a cone to represent.
颜色特征提取 从RGB空间到HSV空间的转换关系如下 The Color Characteristics Abstracting The transformation relation from RGB space to HSV space as follows:
颜色特征提取 由HSI变换为RGB坐标的公式如下 The Color Characteristics Abstracting The formula which transforms the HSI to the RGB coordinates is as follows :
颜色特征提取 应用:人脸识别中的人脸分割 通过对实验室的环境下人脸肤色块图像的统计,得到人脸肤色在不同的颜色空间分布如下: The Color Characteristics Abstracting Application: The human face segments in the face Recognition Through making the statistic to the human face complexion block images in the lab condition, obtaining the distribution of the human face complexion in different color spatial as follows: The complexion pixels; (a) the distributing in RGB space (b) The distribution 归一化RGB space 肤色像素 在RGB空间分布
肤色像素 (a) 在HS平面分布 (b) 在HSV空间分布 颜色特征提取 (a) (b) 肤色像素 (a) 在HS平面分布 (b) 在HSV空间分布 The Color Characteristics Abstracting The complexion pixels: (a) Distributing in HS plane (b) Distributing in HVS space
颜色特征提取 用肤色模型进行人脸分割及实验结果 HSV颜色空间比RGB空间更加接近人眼睛对颜色的感知机理,它分离了颜色的亮度和色度信息,因此选择HSV颜色模型作为肤色模型空间。 通过实验选择HSV肤色模型的参数如下: H[0, 0.139][0.944, 1],S[0.15, 0.68] 利用此参数对一张在实验室照的照片进行肤色区域的分割,对分割的结果应用高斯低通滤波器消除一些面积很小的连通区域。分割结果如图(b)所示,滤波和填充连通区域后的结果如图(c)所示: The Color Characteristics Abstracting Segmenting human face by complexion model and the experiment results The HSV color space even more approaching to the color sensation mechanism of the human eyes than the RGB space, it separates the color lightness and the hue information, so choosing the HSV color model as the complexion model space. The variety confines of the hue H shows the angle information of the color, it represents the pure color’ variety confines, The colors change from red, after yellow, green, blueness, blue and purple finally return to red. The choosing HSV complexion model parameters through the experiment as follows : H [ 0, 0.139 ] [ 0.944, 1 ]. Using this parameters to carry on the complexion region segmentation to the picture which is photographed in the laboratory, using the Gauss low pass filter to eliminate some very small connected domains of the segmentation result. The segmentation result as chart (b) shows, the result after the filtering and the filling connected domains as chart (c) shows:
(a)原始图像 (b)分割图像 (c)滤波填充后图像 颜色特征提取 (a) (b) The Color Characteristics Abstracting The original image The segmented image The image after filtering and filling (c) (a)原始图像 (b)分割图像 (c)滤波填充后图像
形态学运算是针对二值图象依据数学形态学的集合论方法发展起来的图象处理方法,它以形态为基础对图像进行分析。 7-4 形态学图像处理方法简介 Morphological Image Processing 形态学运算是针对二值图象依据数学形态学的集合论方法发展起来的图象处理方法,它以形态为基础对图像进行分析。 数学形态学起源于岩相学对岩石结构的定量描述工作。
原理:用具有一定形态的结构元素(SE)去量度和提取图象中的对应形状,以达到对图象分析和识别的目的。 应用:简化图象数据并保持图象基本形状特性,同时除去不相干的结构。在数字图象处理和机器视觉领域中得到了广泛的应用,形成了一种独特的数字图象分析方法和理论。
扩张(膨胀) 侵蚀(腐蚀) 开启(opening) 闭合(closing) 数学形态学的四个最重要的算符是:
一、扩张(膨胀dilation) 扩张的算符: 设X为数据集,B为结构元素,X被B扩张定义为: 上式表示:B的反射进行平移与X的交集不为空集 扩张的实质:一个由所有平移量Z组成的集合。
∴X被按B的形态扩大了一定的范围 注意:扩张算符不具有同前性
扩张(膨胀)可将与物体接触的所有背景点合并到该物体中,使边界向外部扩张。可以用来填补物体中的空洞。 扩张应用举例: 连接文字裂缝 优点:在一幅二值图像中直接得到结果, 扩张(膨胀)可将与物体接触的所有背景点合并到该物体中,使边界向外部扩张。可以用来填补物体中的空洞。
二、侵蚀(erosion) 侵蚀的算符: X被B腐蚀定义为: 上式含义:数据集X用结构元素B来侵蚀得到的集合是B完全包含在X中时B的原点位置的集合。
侵蚀可消除边界点,使边界向内部收缩的过程。可以用来消除小且无意义的物体。 注意:侵蚀算符不具有同前性
四、开启(opening)和闭合(closing) 数据集X和结构元素B的开启运算可表达为 开启操作的作用: 使图像的轮廓变得光滑,断开狭窄的间断和消除细的突出物。 开启:含义:先用B对X腐蚀,然后用B对结果膨胀
同样使图像的轮廓变得光滑,但与开操作相反,它能消除小的孔洞,填平狭窄的断裂和长细的鸿沟,并填补轮廓线中的裂痕。 数据集X和结构元素B的闭合运算可表达为 闭合操作的作用: 同样使图像的轮廓变得光滑,但与开操作相反,它能消除小的孔洞,填平狭窄的断裂和长细的鸿沟,并填补轮廓线中的裂痕。 闭和:含义:先用B对A膨胀,然后用B对结果腐蚀 注意:开启和闭合操作具有同前性
例 开启 运算 开启运算起分离作用,比结构元素小的孤立部分(小分支)都将被过滤掉,而X的主要情节保持不变
闭合运算起着连通补缺的作用,其主要情节不变 例 闭合 运算
开启举例 结构元 使图像的轮廓变得光滑,断开狭窄的间断和消除细的突出物。
Bw=bwmorph(bw1,operation,n) 形态学处理函数 Matlab IM1= imdilate (IM,SE) IM1= imerode (IM,SE) IM1= imopen (IM,SE) IM1= imclose (IM,SE) Bw=bwmorph(bw1,operation,n) 形态学处理函数
I=imread(‘circles.tif’); imshow(I); Se=strel(‘disk’, 8 , 8); %生成圆形结构元素 Example: I=imread(‘circles.tif’); imshow(I); Se=strel(‘disk’, 8 , 8); %生成圆形结构元素 I1=imdilate(I, Se); imshow(I1); I2=imerode(I,Se); imshow(I2); Strel: structuring element
例:边界提取 原图 边界 I=imread('1.jpg'); imshow(I); I=rgb2gray(I); I=im2double(I); figure Se=strel('square',3); I2=imerode(I,Se); BW=I-I2; imshow(BW);
四种结构元素 开启举例 处理目的: 选取出四种取向的椭圆体 ∴开启运算起了很好的形状提取作用
形态学操作举例 指纹增强 即 先开启再闭合
作业: 作业3:某图像纹理如下所示,式计算该纹理δ10、 δ01、 δ11 三个方向的灰度共生矩阵。 1 2 3 Assignments 作业3:某图像纹理如下所示,式计算该纹理δ10、 δ01、 δ11 三个方向的灰度共生矩阵。 1 2 3 Assignments The texture of an image as following , trying to compute the gray-tone co-occurrence matrices in three directions of the texture. Designing a program to judge the convexity-concavity of an object.
实验五 手写体邮政编码识别 第一步: 图象分割 实验五 手写体邮政编码识别 第一步: 图象分割 白信封和红信封的处理方法不同,白的以V分量设域值0.7分割,而红的以H分量设域值0.55分割,见程序segment.m, 所以首先要判断是红还是白信封(用程序color1.m统计信封的色度) zip=imread('zip5.tif'); hue = color1(zip); hsv = rgb2hsv(zip); subplot(121),imshow(hsv(:,:,1)) subplot(122),imhist(hsv(:,:,1)) figure subplot(121),imshow(hsv(:,:,2)) subplot(122),imhist(hsv(:,:,2)) if hue > 0.1 blk = hsv(:,:,3)<0.7; else blk = hsv(:,:,1)> 0.55;% special for zip1.tif,zip3.tif,zip4.tif, end imshow(blk)
zip=imread('zip5.tif'); hue = color(zip); %自编 hsv = rgb2hsv(zip); if hue > *** blk = hsv(:,:,?)<?; else …… % special for zip1.tif,zip3.tif,zip4.tif, end
取出六个数,结果如: function [bw1,next] = crop(bw)
Crop子程序中的形态学命令: blk = imclose(blk,se); blk = bwmorph(blk,'clean',1); blk = bwmorph(blk, 'thin', inf); ∴第一步得到六个数字图片,每个数字处理为单像素连通的形式。 Spur:Remove end points of lines without removing small objects completely.只去除端点处外侧的一个像素 Thin与skel比对:With N = Inf, remove pixels so that an object without holes shrinks to a minimally connected stroke。
对书写体数字的识别* (zip0) 0 1 2 3 4 5 6 7 8 9 第二步: 特征提取和识别 1. 计算欧拉数; 0 1 2 3 4 5 6 7 8 9 第二步: 特征提取和识别 1. 计算欧拉数; eul = bweuler (bw, n) euler=0, 可能的数有0,4,6,9 euler= -1, 8 n can have a value of either 4 or 8, where 4 specifies 4-connected objects and 8 specifies 8-connected objects; if the argument is omitted, it defaults to 8. euler=1,可能的数有1, 2 ,3,5,7
如:euler=0时, 可能的数有0,4,6,9 Endpoint数=1: 6 9; 2.找端点: function g=endpoints(f) (自编) g返回的是端点图: (数字4) 如:euler=0时, 可能的数有0,4,6,9 Endpoint数=1: 6 9; Endpoint数=0: 0; Endpoint数≥2: 4,8*; 再根据端点的位置区分: 6和9
区分: 1 2 3 5 7 (Euler=1) Endpoint=2: 1 2 5 7 Endpoint=3: 3
function[orient,n]= connex (bw,r,c) (自编) 3.根据端点方向数来区分: 1 2 5 7 orient=1: 1 2 orient=4: 5 orient=0: 7 1 4 6 7 2 3 5 function[orient,n]= connex (bw,r,c) (自编)