1 第一章：绪论 什么是信源编码？ 为什么要信源编码 / 数据压缩？ 为什么可以信源编码 / 数据压缩？ 怎样进行信源编码？

2 数字通信系统

3 调制 物理信道需要电信号、无线电信号或光信号 调制器接收信道编码器的输出，并输出适合物理 信道的信号

4 信道编码 由于在传输过程中噪声和干扰在所难免，在信道 编码器中引入一定冗余，在信道解码端利用此冗 余来尽可能地重建输入序列 可靠性：增加冗余

5 信源编码 对信源进行压缩、扰乱和加密，用最少的码字最 安全地传输最大的信息量 有效性：去除冗余 数据压缩：用紧致的方式表示信息的技术或科学 物理世界的类比：装包

6 为什么需要压缩？ 对物理世界：没有足够的空间 对数字世界： Q: 带宽 / 存储会指数增长 —— 为什么还要压缩呢？ A: 数据产生增长得更快！ 例： 1 秒钟的 CDDA 音频： 个样本 x 2 个通道 x 16 个比特 / 样本 = 1,411,200 比特 1 秒钟的 CCIR 601 视频： 720 x 576 像素 / 帧 x 2 通道 x 8 比特 / 像素 x 25 帧 / 秒 = 166Mb/s 2 个通道：亮度＋ 色度（ 4:2:2 ）

7 为什么需要压缩？ (2) 更多例子： 数字音频格式 频带范围 （ Hz ） 取样频率 （ kHz ） 样本精度 （ bit ） 声道数 原始码率 （ Kb/s ） 电话300~ 调幅（ AM ）广播 50~ 调频（ FM ）广播 20~ 激光唱盘（ CD ） 20~ 数字录音带（ DAT ） 20~ 数字视频格式每秒帧数 图像分辨率（像 素） 样本精度 （ bit ） 亮度信号原始码率 （ Mb/s ） CIF 格式的亮度信号 x CCIR 601 的亮度信号 30/ x HDTV 亮度信号 x

8 为什么需要压缩？ (3) 如果没有压缩 很多应用 / 服务不可行 如视频流服务 很多其他应用 / 服务更贵 如模拟移动电话 vs. 数字移动电话 为什么不是所有的情况都用压缩形式呢？ 数据产生 / 使用采用非压缩形式更方便，而不考虑存储

9 为什么可以压缩？ 自然界中的大多数数据都是冗余的：任何非随机选择的数 据都有一定结构，可利用这种结构得到数据的更紧致表示 统计冗余：大多数常见的压缩算法都利用了该冗余 字母冗余：英文中字母 E 最常出现，而 Z 很少出现 文本冗余：字母 Q 后常跟有字母 U 图像冗余：自然图像中相邻像素的颜色往往比较相近 … 数据的物理产生过程 如利用人类的发声系统，设计语音压缩算法 可用在军事、移动通信和玩具中的语音合成中 数据的应用：感知冗余 听觉冗余：如 mp3 音频编码 视觉冗余

10 例：空间冗余 图像中存在大面积部分相似或完全一样的像素 水平相邻像素的联合直方图 pmf

11 例：时间冗余 视频图像前后几帧的内容变化不大（位置可能不同，可用 运动估计方法找到对应位置）

12 例：结构冗余 图像中物体表面纹理等结构存在冗余

13 基本术语 无损编码： x = x’ 亦称为熵编码（ entropy coding ）或可逆编码 （ reversible coding ） 有损编码： x  x’ 亦称为不可逆编码（ irreversible coding ） 编码器解码器 xy x’ 信源码流解压缩后的表示

14 基本术语 (2) 压缩率： |x|/|y| |x| 表示编码 x 需要的比特数目 如 |x| = 65,536, |y| = 16384, 压缩率 = 4:1 即数据的容量减少了 (|x|-|y|)/|y| = 75% 其他表示编码性能的度量 码率：比特 / 样本 如 ASCII: 8 比特 / 字符， RGB: 24/48/72 比特 / 像素 质量：对有损编码而言 人类感知到的 x 与 x’ 之间的差异或在数学上 x 与 x’ 之间的差异 复杂度 算法的运算量和存储量 编码器和解码器的复杂度：对称 / 非对称 时延

15 建模 & 编码 怎样开发压缩算法？ 第一阶段：建模 提取冗余信息 冗余  可预测性 第二阶段：编码 用二进制表示模型与观测数据之间的差异 亦称为残差（ residual ）

16 例 1 ：全局预测模型 考虑输入序列： S n = 9, 11, 11, 11, 14, 13, 15, 17, 16, 17, 20, 21 二进制表示需要 5 比特 / 样本 考虑模型： Ŝ n = n + 8: 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20 残差为： e n = S n - Ŝ n : 0, 1, 0, -1, 1, -1, 0, 1, -1, -1, 1, 1 编码： 2 比特 / 样本 编码机制 == 模型 + 残差 注意模型也需要编码 ( 通常在算法中体现 )

17 例 2 ：局部预测模型 考虑输入序列： S n = 27, 28, 29, 30, 30, 32, 31, 31, 29, 28, 27 考虑模型： Ŝ 1 = 0; Ŝ n = S n-1 for n > 1 0, 27, 28, 29, 30, 30, 32, 31, 31, 29, 28 残差： {e n }= 27, 1, 1, 1, 0, 2, -1, 0, -2, -1, -1 可以用少得多的比特编码 预测编码 利用前面的样本来预测之后的样本 对利用时间冗余很有用 如在音频和视频中

18 编码实例：盲文 由路易 · 布莱尔（ Louis Braille ）发明： 3 x 2 凸印点阵 26 个盲文字母 一些盲文字和字符串 例： “Be nice to others”

19 编码实例： Morse 码 19 世纪中叶，由 Samuel Morse 发明 每个字符用 “. –” 表示

20 编码实例： Morse 码 (2) Morse 码与字母频率： 基本原则： 用较短的码字表示出现频率高的字符，较长的码字表示出现频率 低的字符 但也不是 100% 满足（如 l vs. m ） 这就是利用统计冗余编码的基本思想

21 怎样选择编码技术 编码技术的性能在很大程度上取决于信源的性质 （数据内在的冗余） 对文本编码效果很好的编码技术可能在图像压缩上表 现欠佳 课程将讲述与文本、图像、语音、音频和视频信源相 关的编码技术 人们对技术的熟悉程度： hammer 是技术，也是艺术

22 相关会议、刊物 会议 Data Compression Conference (DCC) SPIE conf. Video communication and Image Processing (VCIP) IEEE conf. Image Processing (ICIP) IEEE symp. Circuits and Systems (ISCAS) IEEE conf. Multimedia and Expo (ICME) Picture Coding Symposium (PCS) Pacific-Rim Conference on Multimedia (PCM) IEEE conf. Acoustics, Speech, and Signal Processing (ICASSP) 刊物 IEEE Trans. Circuits and Systems for Video Technology IEEE Trans. Information Theory IEEE Trans. Image Processing IEEE Trans. Signal Processing …

23 一些有用的链接

24 总结 数据压缩的定义（非正式地） 无损编码 有损编码 压缩算法的基本方式： 建模 + 编码 国际上一些早期编码标准的例子 Braille, Morse

25 下节课内容 第二章：无损编码的数学基础 阅读教材 第 1 章内容：本节课内容 第 2 章内容：下节课内容 《信息论》中熵、信源编码理论基础部分