信号与图像处理基础 Image Compression 中国科技大学 自动化系 曹 洋.

Presentation on theme: "信号与图像处理基础 Image Compression 中国科技大学 自动化系 曹 洋."— Presentation transcript:

1 信号与图像处理基础 Image Compression 中国科技大学 自动化系 曹 洋

2 图像压缩编码 数据压缩与信息论基础 图像压缩编码 图像压缩编码主要国际标准 图像压缩与编码基本概念 信息论基础 无损压缩 有损压缩
静止图像压缩编码标准-JPEG

3 一.图像压缩与编码基本概念 为什么要进行图像压缩 图像数据压缩的可能性 数据冗余 图像压缩的目的 图像数据压缩技术的重要指标
图像数据压缩的应用领域 图像编码中的保真度准则 信息论基础 图像压缩模型

4 1.为什么要进行图像压缩？ 数字图像通常要求很大的比特数，这给图像的传输和存储带来相当大的困难。要占用很多的资源，花很高的费用。
如一幅512*512的灰度图象的比特数为 *512*8=256k 再如一部90分钟的彩色电影，每秒放映24帧。把它数字化，每帧512*512象素，每象素的R、G、B三分量分别占8 bit，总比特数为 0*60*24*3*512*512*8bit=97,200M。

5 2.图像数据压缩的可能性 一般原始图像中存在很大的冗余度。 用户通常允许图像失真。
当信道的分辨率不及原始图像的分辨率时，降低输入的原始图像的分辨率对输出图像分辨率影响不大。 用户对原始图像的信号不全都感兴趣，可用特征提取和图像识别的方法，丢掉大量无用的信息。提取有用的信息，使必须传输和存储的图像数据大大减少。

6 3. 数据冗余 1）数据冗余的基本概念 设：n1和n2是在两个表达相同信息的数据集中，所携带的单位信息量。 压缩率：——描述压缩算法性能
描述信源的数据是信息量（信源熵）和信息冗余量之和。 设：n1和n2是在两个表达相同信息的数据集中，所携带的单位信息量。 压缩率：——描述压缩算法性能 CR = n1 / n2 其中，n1是压缩前的数据量，n2是压缩后的数据量 相对数据冗余： RD = 1 – 1/CR 例：CR=20; RD = 19/20

7 3. 数据冗余 2）常见的数据冗余 A. 编码冗余： 在数字图像压缩中，常有3种基本的数据冗余：编码冗余、像素间的冗余以及心理视觉冗余
为表达图像数据需要用一系列符号，用这些符号根据一定的规则来表达图像就是对图像编码。 对每个信息或事件所赋的符号序列称为码字，而每个码字里的符号个数称为码字的长度。

8 3. 数据冗余 设定义在[0,1]区间的离散随机变量sk代表图像的灰度值，每个sk以概率ps(sk)出现
Ps(sk)=nk/n k=0,1,2,…,L-1 其中L为灰度级数，nk是第k个灰度级出现的次数，n是图像中像素总个数。设用来表示sk的每个数值的比特数是 ，那么为表示每个像素所需的平均比特数就是 编码所用的符号构成的集合称为码本。

9 3. 数据冗余 等长码：对于一个消息集合中的不同消息，用相同长度的不同码字表示，编解码简单，编码效率不高。
变长码：与等长码相对应，对于一个消息集合中的不同消息，也可以用不同长度的码字表示，编码效率高，编码解码复杂。

10 3. 数据冗余 如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余。
例：如果用8位表示该图像的像素，我们就说该图像存在着编码冗余，因为该图像的像素只有两个灰度，用一位即可表示。

11 3. 数据冗余 B.像素冗余： 由于任何给定的像素值，原理上都可以通过它的邻居预测到，单个像素携带的信息相对是小的。
对于一个图像，很多单个像素对视觉的贡献是冗余的。这是建立在对邻居值预测的基础上。 原始图像越有规则，各像素之间的相关性越强，它可能压缩的数据就越多。 例：原图像数据： 压缩后数据：

12 3. 数据冗余 相同的目标 相同的直方图 像素间的相关性不同

13 3. 数据冗余 类似还有： 图像彩色光谱空间的冗余； 视频图像信号在时间上的冗余；

14 3. 数据冗余 视觉心理冗余： 一些信息在一般视觉处理中比其它信息的相对重要程度要小，这种信息就被称为视觉心理冗余。 33K 15K

15 4.图像压缩的目的 图像数据压缩的目的是在满足一定图像质量 条件下，用尽可能少的比特数来表示原始图像，
以提高图像传输的效率和减少图像存储的容量。 在信息论中称为信源编码。 图像从结构上大体上可分为两大类，一类是具有一定图形特征的结构，另一类是具有一定概率统计特性的结构。 基于不同的图像结构特性，应采用不同的压缩编码方法。

16 5.图像数据压缩技术的重要指标 （1）压缩比：图像压缩前后所需的信息存储量之比，压缩比越大越好。
（2）压缩算法：利用不同的编码方式，实现对图像的数据压缩。 （3）失真性：压缩前后图像存在的误差大小。

17 5.图像数据压缩技术的重要指标 全面评价一种编码方法的优劣，除了看它的编码效率、实时性和失真度以外，还要看它的设备复杂程度，是否经济与实用。
常采用混合编码的方案，以求在性能和经济上取得折衷。 随着计算方法的发展，使许多高效而又比较复杂的编码方法在工程上有实现的可能。

18 6.图像编码中的保真度准则 图像信号在编码和传输过程中会产生误差， 尤其是在有损压缩编码中，产生的误差应在
允许的范围之内。在这种情况下，保真度准 则可以用来衡量编码方法或系统质量的优劣。 通常，这种衡量的尺度可分为客观保真度准 则和主观保真度准则。

19 6.图像编码中的保真度准则 (1) 客观保真度准则
通常使用的客观保真度准则有输入图像和输出图像的均方根误差；输入图像和输出图像的均方根信噪比两种。 均方根误差: 设输入图像是由N×N个像素组成，令其为f (x ,y)，其中x ,y=0,1,2,…,N-1。这样一幅图像经过压缩编码处理后，送至受信端，再经译码处理，重建原来图像，这里令重建图像为g (x ,y)。它同样包含N×N个像素，并且x ,y=0,1,2,…,N-1。

20 6.图像编码中的保真度准则 在0,1,2,…,N-1范围内x,y的任意值，输入像素和对应的输出图像之间的误差可用下式表示：
而包含N×N像素的图像之均方误差为: 由式可得到均方根误差为

21 6.图像编码中的保真度准则 如果把输入、输出图像间的误差看作是噪声，那么，重建图像g(x,y)可由下式表示：
在这种情况下，另一个客观保真度准则——重建图像的均方信噪比如下式表示：

22 6.图像编码中的保真度准则 (2) 主观保真度准则
图像处理的结果,大多是给人观看，由研究人员来解释的，因此，图像质量的好坏，既与图像本身的客观质量有关，也与视觉系统的特性有关。 有时候，客观保真度完全一样的两幅图像可能会有完全不相同的视觉质量，所以又规定了主观保真度准则，这种方法是把图像显示给观察者，然后把评价结果加以平均，以此来评价一幅图像的主观质量。

23 是可供观赏的高质量的图像，干扰并不令人讨厌
6.图像编码中的保真度准则 表6.1 电视图像质量评价尺度 评分 评价 说明 1 优秀的 优秀的具有极高质量的图像 2 好的 是可供观赏的高质量的图像，干扰并不令人讨厌 3 可通过的 图像质量可以接受，干扰不讨厌 4 边缘的 图像质量较低，希望能加以改善，干扰有些讨厌 5 劣等的 图像质量很差，尚能观看，干扰显著地令人讨厌 6 不能用 图像质量非常之差，无法观看

24 7.信息论 （一）、信源空间概述 1、信息：事物运动状态或存在方式的不确定性的描述； 2、信源空间：随机符号及其出现概率的空间； 3、信源的分类： （1）连续信源—离散信源—混合信源； （2）无记忆信源—有记忆信源（相关信源）—有限长度记忆信源（Markov信源）

25 7.信息论 （二）、信息的度量 1、信息公理 （1）信息由不确定性程度进行度量； 确定事件的信息量为零。 （2）不确定性程度越高信息量越大； （3）相互独立性与信息量可加性； 独立事件的联合信息等于两个独立事件的信息总和。 满足上述公理的函数为：

26 7.信息论 2、离散无记忆信源（DNMS）的信息量度量： （1）信源符号 的自信息量定义为： (a)非负性； (b)信息量的单位：
底为2时——单位为：比特（bit） 底为e时——单位为：奈特（Nat） 底为10时——单位为：哈特

27 7.信息论 （2）、信源平均自信息量（信息熵） 离散无记忆信源A的平均自信息量（信息熵）定义为：

28 7.信息论 例 :设8个随机变量具有同等概率为1／8，计算信息熵H。
解 : H=8*[-1/8*(log2(1/8))=8*[-1/8*(-3)]=3 图像熵指该图像的平均信息量，即表示图像中各个灰度级比特数的统计平均值，等概率事件的熵最大。

29 二.常用的图像压缩编码方法 预测编码 图像编码 无损压缩编码 有损压缩编码 哈夫曼编码 行程编码 算术编码 频率域方法 其他编码方法

30 1.无损压缩编码 ※ 无损压缩算法中删除的仅仅是图像数据中冗余的信息，因此在解压缩时能精确恢复原图像，无损压缩的压缩比很少有能超过3：1的,常用于要求高的场合。

31 2.有损压缩编码 ※有损压缩是通过牺牲图像的准确率以实现较大的压缩率，如果容许解压图像有一定的误差，则压缩率可显著提高。有损压缩在压缩比大于30：1时仍然可重构图像，而如果压缩比为10:1到20:1，则重构的图像与原图几乎没有差别

32 3.哈夫曼编码 等长码：对于一个消息集合中的不同消息，用相同长度的不同码字表示，编解码简单，编码效率不高。 变长码：与等长码相对应，对于一个消息集合中的不同消息，也可以用不同长度的码字表示，编码效率高，编码解码复杂。 哈夫曼编码是一种利用信息符号概率分布特性的变字长的编码方法。对于出现概率大的信息符号编以短字长的码，对于出现概率小的信息符号编以长字长的码。

33 3.哈夫曼编码 将信源符号按出现概率从大到小排成一列，然后把最末两个符号的概率相加，合成一个概率。
把这个符号的概率与其余符号的概率按从大到小排列，然后再把最末两个符号的概率加起来，合成一个概率。 重复上述做法，直到最后剩下两个概率为止。 从最后一步剩下的两个概率开始逐步向前进行编码。每步只需对两个分支各赋予一个二进制码，如对概率大的赋予码0，对概率小的赋予码1。

34 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04

35 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3

36 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1

37 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3

38 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4

39 Huffman编码 例 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1

40 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S1=1

41 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S2=00

42 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S3=011

43 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S4=0100

44 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S5=01010

45 3.哈夫曼编码 输入 S1 S2 S3 S4 S5 S6 输入概率 0.4 0.3 0.1 0.06 0.04 第一步 0.4 0.3
第二步 0.4 0.3 0.2 0.1 第三步 0.4 0.3 第四步 0.6 0.4 1 1 1 1 1 S6=01011

46 3.哈夫曼编码 哈夫曼编码效率 信源熵为： H=-∑Pilog2Pi =-(0.4log20.4+0.3log20.3
+2*0.1log log log20.04) =2.14比特/符号

47 编码举例 e a b c d f f=00 e=10 a=11 b=010 c=0110 d=0111 7/22 5/22 1 9/22
f e 5/22 9/22 1 22/22 a 4/22 1 13/22 b 3/22 1 6/22 c 2/22 3/22 1 d 1/22 1 f=00 e=10 a=11 b= c= d=0111

48 4. 算术编码 从理论上分析，采用哈夫曼编码可以获得最佳信源字符编码效果;
实际应用中，由于信源字符出现的概率并非满足2的负幂次方，因此往往无法达到理论上的编码效率和信息压缩比;

49 4. 算术编码 以信源字符序列{x，y}为例 设字符序列{x，y}对应的概率为{1/3，2/3}，Nx和Ny分别表示字符x和y的最佳码长，则根据信息论有：

50 4. 算术编码 字符x、y的最佳码长分别为1.58bit和0.588bi;
这表明，要获得最佳编码效果，需要采用小数码字长度,这是不可能实现的; 即采用哈夫曼方法对{x，y}的码字分别为0和1，也就是两个符号信息的编码长度都为1。对于出现概率大的字符y并未能赋予较短的码字; 实际编码效果往往不能达到理论效率; 为提高编码效率，Elias等人提出了算术编码算法。

51 4. 算术编码

52 5. 行程编码 RLE 编码——Run Length Encoding 概念： 行程：具有相同灰度值的像素序列。 编码思想：去除像素冗余。
用行程的灰度和行程的长度代替行程本身。

53 5. 行程编码 1的游程： （2,2）（6,3）（13,6）（20,1） （4,6）（11,10） （1,5 ）（11，1）（17，4）
1和0的游程长度： 0，1, 2，2，3，4，6， 1，1 0，3，6，1，10 1, 5，5，1，5，4

54 5. 行程编码 分析： 对于有大面积色块的图像，压缩效果很好 直观，经济,是一种无损压缩
对于纷杂的图像，压缩效果不好，最坏情况下，会加倍图像

55 6. 无损预测编码 无损预测编码 1.编码思想 1)去除像素冗余。 2)认为相邻像素的信息有冗余。当前像素值可以用以前的像素值来获得。
3)当前像素值fn，通过预测器得到一个预测值 ，对当前值和预测值求差，对残差编码，作为压缩数据流中的下一个元素。由于残差比原数据要小，因而编码要小，可用变长编码。大多数情况下，fn 的预测是通过m个以前像素的线性组合来生成的。 fn

56 6. 无损预测编码 无损预测编码步骤 第一步：压缩头处理 第二步：对每一个符号 ，通过预测器求出预测值 第三步：求出预测误差
第二步：对每一个符号 ，通过预测器求出预测值 第三步：求出预测误差 第四步：对误差e(x,y)编码，作为压缩值。 重复二、三、四步

57 6. 无损预测编码 无损预测编码流程示意图

58 7. 有损预测编码 有损预测编码流程示意图

59 7. 有损预测编码 Δ调制

60 7. 有损预测编码 熵调制

61 三.静止图像压缩编码标准－JPEG 图像标准的制定： ISO和CCITT（国际电报电话咨询委员会）联合制定 标准的类型： 连续图像压缩标准：
连续帧黑白、彩色压缩：(2)面向连续的视频影像－MPEG

62 JPEG标准简述 由ISO/IEC与CCITT联合发起的联合图像专家组，在过去十几年图像编码研究成果的基础上于20世纪90年代初制定了静止图像(包括8bit/像素的灰度图像与24bit/像素的彩色图像)的编码标准。 JPEG标准在较低的计算复杂度下，能提供较高的压缩比与保真度。在视觉效果不受到严重损失的前提下，算法可以达到15到20的压缩比。如果在图像质量上稍微牺牲一点的话，可以达到40:1或更高的压缩比。

63 JPEG标准简述 为什么要进行分块变换编码？
JPEG定义了一个基本系统，一个符合JPEG标准的编解码器至少要满足基本系统的技术指标。JPEG基本系统其核心属于分块变换编码。JPFG编码时，对原始图像的每一个分量首先分割成互不重叠的8×8像素块，然后对每个像素块的编码过程可分为二维DCT变换。 为什么要进行分块变换编码？

64 JPEG标准简述 JPEG定义了一个基本系统，一个符合JPEG标准的编解码器至少要满足基本系统的技术指标。JPEG基本系统其核心属于分块变换编码。JPFG编码时，对原始图像的每一个分量首先分割成互不重叠的8×8像素块，然后对每个像素块的编码过程可分为二维DCT变换。 分块变换编码的优势： （1）使得图像信号的能量更加集中； （2）利用了人类视觉心理冗余性 （3）分块变换使得图像的artifact不会扩展到整幅图像，保证了图像编码质量。

65 分块变换编码通用框架

66 变换编码

67 变换编码 Other basis sets:

68 离散余弦变换

69 离散余弦变换

70 离散余弦变换

71 JPEG

72 JPEG 编码流程

73 JPEG Baseline Process

74 标准测试图像

75 颜色转换 RGB → YCbCr

76 颜色通道下采样

77 各个通道分割成8×8 小块

78 为离散余弦变换进行预处理

79 离散余弦变换

80 离散余弦变换的基函数

81 离散余弦变换

82 离散余弦变换

83 离散余弦变换

84 离散余弦变换

85 例子：离散余弦变换的量化表

86 离散余弦变换的量化

87 图像直流成分(8×8 constant blocks)

88 直流成分编码(DPCM差分脉冲编码调制)

89 直流成分编码(DPCM差分脉冲编码调制)

90 交流成分熵编码

91 交流成分熵编码

92 交流成分熵编码

93 效果展示