第四章 图像信号数字化 第一节 图像信号及质量评价 第二节 图像信号的数字化 第三节 数字图像编码及几种常见的编码方法 第一节 图像信号及质量评价 第二节 图像信号的数字化 第三节 数字图像编码及几种常见的编码方法 第四节 数字图像压缩编码的主要国际标准

第一节 图像信号及质量评价 一、 景象、图像和数字图像 I=f(x,y,λ,t) 一幅平面运动图像所包括的信息首先表现为光的强度I（Idensity），它是随空间坐标（x，y）、光线的波长(λ)和时间(t)而变化的，因此，图像函数可以写成： I=f(x,y,λ,t)

I=｛fr(x,y,t),fg(x,y,t),fb(x,y,t)｝ 若只是考虑光的能量而不考虑光的波长时，在视觉效果上只有黑白深浅之分，而无色彩变化，此时的图像称为黑白活动图像，可以表示为： I=f(x,y,t) 作为彩色活动图像，就要考虑不同光的波长，根据三基色原理，任何一种彩色可以分解为红、绿、蓝三种基色。所以，彩色图像可以表示为： I=｛fr(x,y,t),fg(x,y,t),fb(x,y,t)｝

I=f(x,y) 0≤x≤Lx；0≤y≤Ly 当图像内容不随时间变化时，我们称之为静止图像。对黑白静止图像而言，图像函数为： 通常我们将图像定义为矩形，这是由于人眼的视野是有界的，因此图像在空间上是有界的，其界限范围为： 0≤x≤Lx；0≤y≤Ly

0≤f(x,y)≤Bm 通常约定：图像的灰度值大，表示亮，反之则表示暗，即 数字图像具有如下特点： (1) 信息量大。如一幅256×256低分辨率黑白图像，其数据量达到64kbit；对高分辨率彩色512×512图像，数据量则达786kbit；对24 bit真彩色静止图像，若分辨率为1000×1000则会产生3Mbit的数据量。

(2) 占用频带较宽。与语音信息相比，占用的频带要大几个数量级。 (3) 图像中各个像素是不独立的，其相关性大。就电视画面而言，同一行中相邻两个像素或相邻两行间的像素，其相关系数可以达到0.9，而相邻两帧之间的相关性比帧内的相关性还要大一些。 (4) 处理后的数字图像需要人来进行观察和评价，因此受人的因素影响较大。

二、 常用术语 1. 信息 “信息”是我们经常听到的一个词，有些类似于“消息”。其实，“信息”与“消息”是很不同的两个概念。消息是由符号、数字、文字或语音组成的表达一定含义的一个序列。

2. 熵 信息是对事件不确定性的一种描述，显然存在一个如何定量测量信息的问题。消息中所含信息量的多少显然与消息不确定性的程度有关。 H=－log2p

3. 平均码字长度 4. 编码效率 5. 冗余度 6. 压缩比

三、 图像质量评价概述 图像质量的含义可以包括两个方面，一是图像的逼真度（Fidelity），另一个是图像的可懂度（Intelligibility)。图像的逼真度用来描述被评价图像与标准图像的偏离程度；而图像的可懂度则是用来表示图像能向人或机器提供信息的能力。

图4.1 图像通信和图像质量关系模型图

四、 图像质量的主观评价 1. 一般图像质量的主观评价 图像质量的主观评价就是以人作为图像的观察者，对图像的优劣作出的主观评定。 选择主观评价的观察者应考虑这样两类人：一类人是未经过任何训练的所谓“外行”观察者；另一类是训练有素的所谓“内行”观察者。

图像质量的主观评价一般可以分为两种类型：绝对评价和相对评价。绝对评价是由观察者根据一些事先规定的评价尺度或自己的经验，对被评价的图像提出的质量判断。

QTV=f(X1，X2，X3，X4，X5，Xi，Xj，Xk) 2. 电视图像质量的主观评价 QTV=f(X1，X2，X3，X4，X5，Xi，Xj，Xk) 在上式中，X1、X2、X3、X4、X5分别是与杂波、回波、清晰度、对比度、亮度相对应的变量。Xi、Xj、Xk分别是与观察者类型、试验图像类型、观察条件相对应的变量。

第二节 图像信号的数字化 一、 概述 一幅黑白静止平面图像，比如照片，其中各点的灰度值可以用其位置坐标(x,y)的函数f(x,y)来描述。 第二节 图像信号的数字化 一、 概述 一幅黑白静止平面图像，比如照片，其中各点的灰度值可以用其位置坐标(x,y)的函数f(x,y)来描述。 模拟图像数字化的基本过程包括两个方面：采样和量化。

二、 采样 采样的实现只是完成了图像空间位置的离散化，这时所得的信号还不是离散信号，还需要将样点值的取值进行离散化。 采样的主要问题是：图像f(x,y)的采样密度选为多大，才不至于丢失原图像的信息。 所谓理想采样是指原图像信号与理想抽样函数相乘所得的采样函数，这里的理想抽样函数是一理想单位冲击脉冲阵列。

图4.2 二维采样

(1) 折叠噪声 为满足抽样定理的要求，要求抽样频率fs大于二倍信号最大频率fc。为严格限制信号带宽，在采样前一般要加前置滤波器。 (2) 孔径效应 在实际应用中的采样信号并不是理想的冲击函数，实际的脉冲都是有一定宽度的，这就会引入高频失真。这就是所谓的孔径效应。

(3) 插入噪声 在恢复成原图像信号时，要用到接收滤波器，由于在实际中不可能有理想滤波器，在恢复图像信号时必将产生某种程度的噪声，这种噪声称为插入噪声。 (4) 抖动噪声 对图像信号的采样是在固定的时间周期内进行的，抽样脉冲的间隔周期是由时钟信号来控制的。

三、 量化 1. 均匀量化 均匀量化是一种最简单的量化。均匀量化的量化区间是均匀化分的。经过采样的图像，只是使其成为在空间上离散的像素阵列，而每一个像素的亮度值还是在某一个范围内的连续量，必须将它转化为有限个离散值并用不同的码字来代替才能成为数字图像。

2. 非均匀量化 从量化值的选取来看，qi是某一小区间所有取值的代表值，是一个确定值。量化间隔取得越大，引入量化误差越大。所以，当概率密度p(z)较小时，所选取的量化区间的长度可以大一些；若在某一段区间内概率密度p(z)大则所选取的量化区间就应小一些。用这种方法来达到统计意义上每个像素平均量化误差最小的目的。也就是说，当p(z)不是常数时，量化区间的选取长度是不一样的，这就是非均匀量化。

第三节 数字图像编码及几种常见的编码方法 一、 图像压缩编码的必要性和可能性 1. 空间冗余 第三节 数字图像编码及几种常见的编码方法 一、 图像压缩编码的必要性和可能性 1. 空间冗余 一幅拍摄于教室的照片，其背景是一堵墙，那么图像的某些区域是均匀着色的，或称为高度相关的，对图像中书桌也是一样。这种情况称为空间相关或空间冗余。

2. 时间冗余 设想拍摄于教室的视频录像，可以注意到各帧之间的差别很小，因为在工作时人移动较少。这种情况称为时间相关或时间冗余。 3. 信息熵冗余 信息熵冗余也称为编码冗余。 4. 知识冗余 图像中所包含的某些信息与人们的一些先验知识有关

5. 视觉冗余 在多数应用场合中，人眼常常就是图像信息的最终接收者，如果能够充分的利用人眼的视觉特性，就可以在保证所要求的图像主观质量的前提下实现较高的压缩比，这就是利用了视觉冗余度。 6. 结构冗余 在有些图像的部分区域内存在着非常强的纹理结构，或者在图像的各个部分之间有某种关系，如相似等。这就是结构冗余。

二、 图像压缩编码的分类和图像压缩编码的原理框图 无损信息编码能够精确地重建原始图像，而有损信息编码则会引入失真。另一种分类方法是基于编码方法的应用范围：如以适当的方式综合各像素值的方法被称为空间法，利用一组变换系数的方法被称为变换法，混合法是既利用空间域又利用变换域的编码方法。

1. 信息保持编码 2. 保真度编码 这一类图像编码技术主要应用在图像的数字存储方面。 这种编码技术大多应用在数字电视技术和静止图像通信、工业、贸易和娱乐等方面。

3. 特征提取 可以只对人们关心的一些特征信息进行编码。这样就可以大大地压缩图像的数据量。很显然，这是一种非信息保持编码。 图4.3 图像压缩编码系统的原理框图

三、 数字图像编码的常用方法 1. 预测编码 预测编码(Predictive Coding)是数据压缩技术的一个主要分支，其理论是建立在现代统计学和控制论基础上的。 因为是对差值进行编码，所以把这种方法称为差值脉冲编码调制（DPCM）。

图4.4 DPCM框图

(1) 斜率过载； (2) 颗粒噪声； (3) 边缘繁忙； (4) 伪轮廓。 在DPCM中，由于量化会引起图像质量的下降，这种下降主要有以下几种： (1) 斜率过载； (2) 颗粒噪声； (3) 边缘繁忙； (4) 伪轮廓。 由对人眼所作的视觉特性实验表明，在亮度变化大的地方量化误差大一些也不会被人眼察觉。这种效应称为掩盖效应。

图4.5 视觉阈值曲线

预测编码的特点： a.简单、经济、易于实现，并可实现信息保持编码； b.由于误差会传播，故易受信道误码影响； c.压缩比低时图像质量高，但压缩比不高； d.量化噪声有平坦区的颗粒噪声、突变处的过载噪声、缓变区的伪轮廓以及边缘和交织区的边沿忙乱四种。

2. 离散余弦编码（DCT） 离散余弦编码属于图像变换编码的内容，在近年来这种编码方法发展较快。 变换编码的特点： (1) 所需的存储量大、结构复杂但压缩比高时图像质量好（相对于DPCM而言），但一般做不到信息保持编码；

(2) 区域取样时可将误码影响限制在一个方块内，且其影响也小于DPCM编码。 (3) 对图像统计特性的变化不那么敏感； (4) 量化噪声有平坦的凹凸噪声、缓变区的伪轮廓、突变处的分量过载以及因噪声平均值非零时而产生的条带状噪声四种。

正交变换有如下一些非常有用的性质： (1) 熵保持：通过正交变换本身并不丢失信息，可以用传送变换系数来达到传输信息的目的。 (2) 能量保持：变换域中的信号能量与原来空间域中的信号能量相等。

(3) 去相关：正交变换可以使相关的空间样值变为不相关的或相关性很弱的变换系数，换句话说，正交变换有可能使相关的空间域变为不相关的变换域，这就使存在于相关性之中的多余度得以去除。 (4) 能量重新分配与集中：这是正交变换最重要的优点，也是利用它能实现数据压缩的物理本质。此性质DPCM方法并不具备。

图4.6 变换编码原理框图

3. 变字长编码 实现霍夫曼编码的基本步骤如下： (1) 将信源符号出现的概率按由大到小的顺序进行排列； 实现霍夫曼编码的基本步骤如下： (1) 将信源符号出现的概率按由大到小的顺序进行排列； (2) 将两个最小的信源概率进行比较，将上边的信源概率定为1，将下边的信源概率定为0（或相反）；

(3) 将两个最小的概率进行组合相加，再与其它信源符号概率进行比较，始终将较高的概率分支放在上部，直到概率达到1.0为止； (4) 在新的信源概率符号排列中继续将两个最小的概率进行比较，将上边的信源概率定为1，将下边的信源概率定为0（或者相反）；

(5) 画出由每个信源符号到达概率为1.0处的路径，记下沿路径所遇到的每个1和0； (6) 对于每个信源符号都写出1和0的序列，则最后就得到了霍夫曼码。

图4.7 霍夫曼编码实例

图4. 8 霍夫曼树

4. 子带编码 子带编码的基本思想就是将信号的频带化分成为不同的子带，针对不同的子带选用适合其本身统计特性的编码器。子带编码在图像编码中的应用是由Wood和O'Neil在1986年进行的。 语音信号的子带分解是一维的，也就是将语音信号在“时间”频率域上分成不同的段即子带。子带的分解是用一组带通滤波器来实现的。

一个子带编码子系统主要由两部分组成：一部分是编码子系统，这一部分主要进行子带信号的编码和译码；另一部分是子带的分解/合成子系统，这一部分主要进行分解、合成滤波器组及降采样和插值操作，以完成对原始信号的滤波。

5. 小波变换编码 小波变换（Wavelet Transform，简写WT）是由法国地理学家Morlet和数学家Growwmann提出的。 小波变换也称为子波变换。顾名思义，小波就是小的波形。所谓“小”是说它具有衰减性；所谓“波”是说它具有波动形式，即其振幅正负相间的振荡形式。

小波变换（WT）具有十分优异的性能，例如： (2) 小波分析相当于一个具有放大、缩小和平移等功能的数学显微镜，通过检查不同放大倍数下信号的变化来研究其动态特性；

(3) WT不一定要求是正交的，小波基不唯一。小波函数系（即通过一基本小波函数在不同尺度下的平移和伸缩而构成的一族函数，用以表示或逼近一个信号或一个函数）的时宽-带宽积很小，且在时间和频率轴上都很集中，也就是说展开系数的能量较为集中；

(4) WT巧妙地利用了非均匀分布的分辨率，较好地解决了时间和频率分辨率的矛盾：在低频段用高的频率分辨率和低的时间分辨率（宽的分析窗口），而在高频段用低的频率分辨率和高的时间分辨率（窄的分析窗口），这与时变信号的特性一致；

(5) WT将信号分解为在对数坐标中具有相同大小频带的集合，这种以非线性的对数方式而不是以线性方式处理频率的方法对时变信号具有明显的优越性； (6) 利用二维离散小波正交基，可以将原始图像在独立的频带与不同的空间方向上加以分解，便于利用HVS在相应频带与空间方向上有不同敏感性的特点；

(7) 小波函数介于空间域和时间域之间，此时若小波函数是正交的，则没有冗余信息； (8) 具有基于卷积和QMF的塔型快速算法，该算法在小波分析中的地位相当于FFT在经典傅立叶分析中的地位； (9) 为多分辨率分析、时-频分析和子带编码建立了统一的分析方法。

第四节 数字图像压缩编码的主要国际标准 针对静止图像压缩编码制定的国际标准H.261在1990年12月获得通过；针对应用于数字存储媒体(DSM)的国际标准MPEG-1在1993年通过；为适应甚低码率（低于64kbit/s）的可视电话系统的需要，在H.261基础上改进的H.263国际标准在1995年7月提出。

一、 H.261建议 世界上的彩色电视制式有PAL、NTSC和SECAM三种不同的制式。 CIF和QCIF的数据结构分为四个层次，即： 图像层（P）：由图像头和块组（GOB）数据组成。图像头由一个20bit 的图像起始码、视频格式、时间参数（帧数）等标志信息组成。

块组层（GOB）：由块组头和宏块数据组成。块组头由16bit的块组起始码、块组编号、量化步长等组成。 宏块层(MB)：由宏块头和块数据组成。宏块头由宏块地址、宏块类型、量化步长等组成。 块层(B)：由变换系数和块结束符等组成。

归纳起来，H.261的混合编码方式通过多种手段来压缩图像序列中的相关信息，即： (1) 利用二维DCT来减少图像的空间域冗余度； (2) 利用运动补偿预测减少图像的时间域冗余度； (3) 利用视觉加权量化来减少图像的灰度域冗余度； (4) 利用熵编码来减少图像的频率域冗余度。 采用这些方式，从而使电视图像的码率得到了较大的压缩。

二、 H.263建议 三、 静止图像压缩编码技术标准JPEG  H.263是以H.261为基础的进一步的扩展，以混合编码为核心。 JPEG(Joint Photographic Experts Group)是由国际标准化组织提出的，面向静止图像的编码标准。

JPEG标准适用于各种分辨率与格式的彩色和灰度图像，但对二值图像则不适宜。它建议的压缩算法的要点如下： (1) 基本系统提供顺序扫描重建图像，实现信息有丢失的图像压缩，图像主观质量能达到不易察觉到有图像损伤。它采用8×8分块DCT变换编码算法，根据视觉特性设计的自适应量化器，用霍夫曼码作变字长熵编码。通常谈到JPEG标准，一般指的就是基本系统。

(2) 扩展系统中可以选用算术码作熵编码；还可以选用“逐渐浮现”重建方式由“粗而细”地显示图像。扩展系统是基本系统的扩展或增强，扩展系统必须包括基本系统。 (3) 独立的信息保持型压缩，采用预测法以及霍夫曼编码或算术编码，可保证重建数据与原始数据完全相等，其均方误差等于零。

四、 MPEG-1标准 五、 MPEG-2标准 MPEG-2最主要的应用是通过卫星、电缆和地面频道进行视频和音频数字传输。为满足这些要求，MPEG-2 建立了自身特有的二元结构：节目流（Program Stream）和传送流(Transport Stream)结构。

六、 MPEG-4(Video)： 用于多媒体信息中的视频描述标准 基于内容的交互性 压缩 通用存取性