第一章 引论

课程概况 目的： 特点： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主 结合通信系统实际应用

参考书目 Cover, Elements of Information Theory McElice, The Theory of Information &Coding Proakis, Digital Communication 林舒，差错控制编码，第二版

其它有关事项 讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算。 微课：分组进行微课制作，上传至网络，评分 联系方式： email: rsun@mail.xidian.edu.cn 欢迎提出各种问题、意见和建议

第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展

1.1 通信系统模型

通信系统模型 信源 编码器 信道 译码器 信宿 干扰源

通信系统模型进一步细分 信源 编码器 信道 调制器 信 道 干扰源 解调器 译码器 信宿 等效离散信源 信道编码器 等效信宿 信道译码器 等效离散信道

各部件功能 信源 编码器 产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。 研究的主要问题是消息的统计特性和产生信息的速率 编码器 信源编码器：对信源输出进行变换，求得有效性 信道编码器：对信源编码输出变换，提高抗干扰性 调制器：将信道编码输出变成适合信道传输的方式

各部件功能 信道 干扰源 信号从发端传到接收端的介质 系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性 信道的中心问题是研究信道的统计特性和传信能力，即信道容量

各部件功能 译码器 编码器的逆变换 中心问题是研究各种可实现的解调和译码方法 信宿 信息的接收者

信息、信息科学与信息论 什么是信息？ Inform—information “某人被通知或告知的内容、情报、消息” －－牛津英文字典 广义的信息———信息的形式、内容－－最广泛意义 技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义 统计信息－－信息表达形式中统计方面的性质－－明确定义的科学名词 －－与内容无关、独立于形式 什么是信息？

信息、信息科学与信息论 什么是信息技术？ IT --- 计算机所涉及的各种各样的技术 －－优点：笼统、不明确 适应－种类繁多、不断发展 统一的、全面的、高层次的

信息、信息科学与信息论 什么是信息科学？ 出现于图书馆学－－研究图书文献的检索 计算机出现后－－新的含义 不同国家－－含义不尽相同 发展和长远的观点－－能与信息技术相对应的基础科学

信息、信息科学与信息论 什么是信息理论？ 信息论－统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 统计信息理论局限性－－不能解决一些问题 如：人工智能中启发式 搜索和学习 发展的观点－－信息科学所不可缺少的理论 基石

信息、信息科学与信息论 通信中的信息含义？ 在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：是信息的载体，相对具体的概念，如语言，文字，数字，图像 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。可以定量的描述。信息、物质和能量是构成一切系统的三大要素。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。

1.2 信息论研究的中心问题和发展

Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息

信息论的研究内容 狭义信息论（经典信息论） 一般信息论 广义信息论 研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学

信息论的研究内容 统计信息论—Shannon信息论—本课程的主要内容 1) 信源的描述，信息的定量度量、分析与计算。 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统 理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。 研究内容： 1)    信源的描述，信息的定量度量、分析与计算。 2)    信道的描述，信道传输的定量度量、分析与计算。 3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。 ——Shannon的三个编码定理。 信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。

信息论的研究内容 工程信息论 检测、估值、滤波理论 均衡、模式识别、人工智能、随机控制 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。 研究内容主要包括： 信源编、译码理论及其设计构造方法； 信道编、译码理论及其设计构造方法； 最佳调制与解调理论与实现； 最佳检测、估值与最佳接收理论与实现； 检测、估值、滤波理论 最佳信息处理理论、方法与算法； 均衡、模式识别、人工智能、随机控制 ……

狭义信息论体系结构 Shannon信息论 压缩理论 传输理论 无失真编码 有失真编码 信道编码定理 网络信息理论 等长编码 定理 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 率失真理论 Shannon Gallager Berger 纠错码 编码调制理论 网络最佳码 压缩编码 JPEG MPEG Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)

信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代

信息论发展简史 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统

信息论发展简史 Claude. E. Shannon的两篇论文– Shannon 信息论 1948年----信息时代的里程碑! “A Mathematical Theory in Communication” –Shannon第一、二定理 1959年“Coding theorems for a discrete source with a fidelity criterion”. – Shannon第三定理

信息论发展简史 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法

信息论发展简史 1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。

信源编码 1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM, DM, DPCM; 语音参量编码; 图象编码：DCT, 帧间预测插值, 运动补偿 数据压缩编码 语音编码标准 图象编码标准

信息论发展简史与现状－－ 信息论方法的应用及其取得的成果 语音信号压缩： 64Kbps----100bps----(极限） 降低信息传输所需的功率

Claude E. Shannon 著名信息论和编码学者 Dr. Richard Blahut 在 Shannon塑像的落成典 C. E. Shannon

欢迎提出各种问题、意见和建议 是否学过信息论、信源编码或信道编码，程度如何？ 希望重点讲什么？ 希望哪些可以简略？ 希望增加哪些内容？ 对授课方式有什么意见和建议？