第一章 引论

课程概况 目的： 特点： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主 结合通信系统实际应用

参考书目 Cover, Elements of Information Theory McElice, The Theory of Information &Coding Proakis, Digital Communication 林舒，差错控制编码，第二版

其它有关事项 讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算。 微课：分组进行微课制作，上传至网络，评分 联系方式： email: rsun@mail.xidian.edu.cn 欢迎提出各种问题、意见和建议

第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展

1.1 通信系统模型

通信系统模型 信源 编码器 信道 译码器 信宿 干扰源

通信系统模型进一步细分 信源 编码器 信道 调制器 信 道 干扰源 解调器 译码器 信宿 等效离散信源 信道编码器 等效信宿 信道译码器 等效离散信道

各部件功能 信源 编码器 产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。 研究的主要问题是消息的统计特性和产生信息的速率 编码器 信源编码器：对信源输出进行变换，求得有效性 信道编码器：对信源编码输出变换，提高抗干扰性 调制器：将信道编码输出变成适合信道传输的方式

各部件功能 信道 干扰源 信号从发端传到接收端的介质 系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性 信道的中心问题是研究信道的统计特性和传信能力，即信道容量

各部件功能 译码器 编码器的逆变换 中心问题是研究各种可实现的解调和译码方法 信宿 信息的接收者

信息、消息和信号 信息 消息 信号 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等

1.2 信息论研究的中心问题和发展

Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息

信息论的研究内容 狭义信息论（经典信息论） 一般信息论 广义信息论 研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学

狭义信息论体系结构 Shannon信息论 压缩理论 传输理论 无失真编码 有失真编码 信道编码定理 网络信息理论 等长编码 定理 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 率失真理论 Shannon Gallager Berger 纠错码 编码调制理论 网络最佳码 压缩编码 JPEG MPEG Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)

信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代

信息论发展简史 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统

信息论发展简史 1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法

信息论发展简史 1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。

信源编码 1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM, DM, DPCM; 语音参量编码; 图象编码：DCT, 帧间预测插值, 运动补偿 数据压缩编码 语音编码标准 图象编码标准

Claude E. Shannon 著名信息论和编码学者 Dr. Richard Blahut 在 Shannon塑像的落成典 C. E. Shannon