信息论 教师：李琼 哈尔滨工业大学

自我介绍 姓名：李 琼 单位：哈工大. 计算机学院. 信息对抗技术研究所 联系方式： 办公室：科学园2A-1525 姓名：李 琼 单位：哈工大. 计算机学院. 信息对抗技术研究所 联系方式： 86402861-868 (O) 13684601868 (cell) qiongli@hit.edu.cn 办公室：科学园2A-1525 2017/3/1 计算机科学与技术学院

课程介绍 课程类型：专业必修课 学时：32 上课时间、地点：1-8周 周三3-4节 正心楼316 ；周五3-4节 正心楼316 考 核: 课程类型：专业必修课 学时：32 上课时间、地点：1-8周 周三3-4节 正心楼316 ；周五3-4节 正心楼316 考 核: 最终成绩 = 期末考试*70% + 平时成绩*30% 考试时间：10周 周四 15:45-17:45 考试方式： 闭卷 一点要求：不缺席、不迟到 、不早退、关手机 2017/3/1 计算机科学与技术学院

课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 2017/3/1 计算机科学与技术学院

课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 周荫清老师，北航教授博导，中国电子学会会士，中国航空学会电子专业委员会副主任，中国通信学会通信理论委员会委员，中国宇航学会《宇航学报》编委，《遥测遥控》学报编委； 近年来公开发表专、译著8本，撰写100余篇; 该书为北京高等教育精品教材。 2017/3/1 计算机科学与技术学院

课程介绍 教 材： 参考书： 傅祖芸老师，中科院教授； 撰写了20篇技术论文，翻译审校了十余本计算机应用软件书籍; 该书为全国高校电子类专业基础课第二、三轮统编教材，曾获机电部电子类专业优秀教材一等奖。 教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 2017/3/1 计算机科学与技术学院

课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 ThomasM.Cover博士是美国斯坦福大学电子工程与数理统计学系的教授； 1991年获得IEEE颁发的香农奖； 曾是IEEE信息论学会的主席，IEEE Fellow，美国工程学会和AAAS的成员； 撰写了100多篇技术论文，并担任《Open Problems in Communication and Computation》的编辑。 2017/3/1 计算机科学与技术学院

课程介绍 第1章 绪论 第2章 信息的统计度量 第3章 离散信源 第4章 离散信道及其容量 第5章 无失真信源编码 第6章 有噪信道编码 第1章 绪论 第2章 信息的统计度量 第3章 离散信源 第4章 离散信道及其容量 第5章 无失真信源编码 第6章 有噪信道编码 第7章 限失真信源编码 保密系统的基本信息理论 2017/3/1 计算机科学与技术学院

第一章：绪论

主要内容 信息论又称为通信的数学理论 1.1 信息 1.2 通信系统模型 1.3 信息论的形成和发展 2017/3/1 计算机科学与技术学院

1.1 信息 客观世界三大基本要素： 物质——材料科学 能量——能源科学 信息——信息科学 1.1 信息 客观世界三大基本要素： 物质——材料科学 能量——能源科学 信息——信息科学 Without material nothing exists, without energy nothing happens, without information nothing makes sense. 2017/3/1 计算机科学与技术学院

1.1 信息 现代化学者认为，人类文明经历了四次意义深远的革命： 时间 意义 工具的制造 约250万年前 人类区别于动物 农业革命 1.1 信息 现代化学者认为，人类文明经历了四次意义深远的革命： 时间 意义 工具的制造 约250万年前 人类区别于动物 农业革命 约1万年前 原始社会——农业社会 工业革命 约200年前 农业社会——工业社会 信息革命 约20多年前 工业社会——信息社会 2017/3/1 计算机科学与技术学院

1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 2017/3/1 计算机科学与技术学院 1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是指消息中包含的内容，它是通过消息来表达的，消息是信息的载体。 　　如教师在课堂上讲课，具体讲授的内容即为信息，而所要传授的内容是通过语言(话)表达的，语言(消息)即为信息的载体。 消息可分为离散消息和连续消息。 离散消息:离散消息中元素之间的差异明显、并且有界可数。 主要特点是状态离散。 例如:文字、符号和数字。 连续消息:连续消息中消息的数目无穷多个，相邻元素的差异很小。 例如:语音、连续图像。 信号是指随时间变化的物理量。因为消息不适合于在信道中直接传输，需将其调制成适合在信道中传输的信号。 　　信号可以分为连续时间信号和离散时间信号: 2017/3/1 计算机科学与技术学院

1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是消息中包含的有意义的内容 1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是消息中包含的有意义的内容 同一消息对不同的接收者来说，可以包含不同的信息； 同一信息，可以用不同形式的消息来载荷 2017/3/1 计算机科学与技术学院

1.1 信息——信息 、消息、信号 信号是消息的物理表现形式，如声波、光波、电磁波等 消息是信号的具体内容 。 消息 信号 信息 1.1 信息——信息 、消息、信号 信号是消息的物理表现形式，如声波、光波、电磁波等 消息是信号的具体内容 。 消息 信号 信息是指消息中包含的有意义的内容，它是通过消息来表达的，消息是信息的载体。 　　如教师在课堂上讲课，具体讲授的内容即为信息，而所要传授的内容是通过语言(话)表达的，语言(消息)即为信息的载体。 消息可分为离散消息和连续消息。 离散消息:离散消息中元素之间的差异明显、并且有界可数。 主要特点是状态离散。 例如:文字、符号和数字。 连续消息:连续消息中消息的数目无穷多个，相邻元素的差异很小。 例如:语音、连续图像。 信号是指随时间变化的物理量。因为消息不适合于在信道中直接传输，需将其调制成适合在信道中传输的信号。 　　信号可以分为连续时间信号和离散时间信号: 信息 2017/3/1 计算机科学与技术学院

1.1 信息——信息的特性 信息是无形的 信息是可共享的 信息是无限的 信息是可度量的 是一种取之不尽、用之不竭的资源 1.1 信息——信息的特性 信息是无形的 信息是可共享的 信息是无限的 是一种取之不尽、用之不竭的资源 时空上的可扩展：具有时效性；前后信息相连，会提供新信息。 信息是可度量的 信息的度量是信息论的重要研究内容之一 2017/3/1 计算机科学与技术学院

1.1 信息 概念一——通俗概念 “信息=消息” 这种概念虽然直观通俗、容易理解，但是并不准确。 电话 报纸 电视 网络 地球绕着太阳转 1.1 信息 概念一——通俗概念 “信息=消息” 这种概念虽然直观通俗、容易理解，但是并不准确。 电话 报纸 电视 网络 地球绕着太阳转 消息 这是众所周知的事情，信息量约为0

“信息是对物质存在和运动形式的一般描述” 1.1 信息 概念二——广义概念 “信息是对物质存在和运动形式的一般描述” “信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式” 这个概念不容易定量描述，更接近于一个哲学概念。

1.1 信息 1.1 信息 概念三——概率信息，又称为狭义信息 “信息是用来消除不确定性的东西” 1.1 信息 1.1 信息 概念三——概率信息，又称为狭义信息 “信息是用来消除不确定性的东西” 由美国数学家香农(Claude Elwood Shannon，1916-2001)提出来的，故又称香农信息。 用事件发生的概率衡量它的信息量 事件发生的概率越大，它提供的信息量就越小。 事件“中国足球队0:1负于韩国足球队” 事件发生的概率越小，一旦该事件发生，它发生后提供的信息量越大 事件“中国足球队5:0力克韩国足球队” 本课程研究概率信息，简称信息。

1.2 通信系统模型 信息论是通信的数学理论 研究对象：通用通信系统 通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。

1.2 通信系统模型 通信系统模型 消息 信号 信 源 编码器 信 道 噪声 干 扰 源 信 宿 消息 译码器 信号+噪声 2017/3/1 1.2 通信系统模型 消息 信号 信 源 编码器 信 道 噪声 干 扰 源 信 宿 消息 译码器 信号+噪声 通信系统模型 2017/3/1 计算机科学与技术学院

1.2 通信系统模型 信源：产生消息的源泉 信宿：信息的接受者 编码器：将消息变换成适合于信道传输的形式 译码器：编码的逆变换 1.2 通信系统模型 信源：产生消息的源泉 信宿：信息的接受者 编码器：将消息变换成适合于信道传输的形式 信源编码：压缩 信道编码：纠错 保密编码：保证信息的安全性 调制：将消息变换成适合信道传输的信号形式（物理的方法） 译码器：编码的逆变换 信道：将信号从发射端传到接受端的通道 干扰源（噪声源）：信道中的噪声 2017/3/1 计算机科学与技术学院

⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

1.2 通信系统模型——信源编码的主要目的 过不去！ 信 道 2017/3/1 计算机科学与技术学院

1.2 通信系统模型——信源编码的主要目的 压缩！使信号能够更加有效地传输信息！ 呵呵，这样就能过去啦！ 信 道 2017/3/1 1.2 通信系统模型——信源编码的主要目的 呵呵，这样就能过去啦！ 信 道 压缩！使信号能够更加有效地传输信息！ 2017/3/1 计算机科学与技术学院

⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

1.2 通信系统模型——信道编码的主要目的 纠错！使信号能够更加可靠地传输信息！ 信 道 “今天12点见面！” “明天12点见面！” 1.2 通信系统模型——信道编码的主要目的 信 道 “今天12点见面！” “明天12点见面！” 纠错！使信号能够更加可靠地传输信息！ 2017/3/1 计算机科学与技术学院

⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

1.2 通信系统模型——调制的主要目的 使信号更加适合在信道中传输！ 调幅示意图 调制信号 载波信号 已调制信号 2017/3/1 1.2 通信系统模型——调制的主要目的 使信号更加适合在信道中传输！ 调制信号 载波信号 已调制信号 调幅示意图 2017/3/1 计算机科学与技术学院

1.2 通信系统模型——调制的主要目的 调制示意图 2017/3/1 计算机科学与技术学院

⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 香农第一定理——为了无失真地传输信源信息，信源编码的极限是什么？ 1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 香农第一定理——为了无失真地传输信源信息，信源编码的极限是什么？ 香农第二定理——在有噪信道中无失真地通信，信道编码的极限是多少？ 香农第三定理——如果允许一定量的失真，信源编码的极限是什么？ 细化的通信系统模型 2017/3/1 计算机科学与技术学院

信息论的研究目标：以通用的通信系统为研究对象，找到信息传输过程的共同规律，以提高信息传输的 有效性、可靠性、安全性 数字通信的三项基本技术：数据压缩、数据纠错、数据加密 数据 香农奠定了这三项技术的理论基础！

1.3 信息论的形成和发展 工程技术背景： 1948年时的通信技术已有较大发展，主要有： 电报（Morse，1830’s） 电话（Bell，1876） AM无线电（1900’s 早期） 电视（1925-1927） FM无线电（Armstrong，1936） 声码器（Dudley，1936） …… 2017/3/1 计算机科学与技术学院

1.3 信息论的形成和发展 理论背景： 1924 H.Nyquist开始分析电报信号传输中，脉冲速率与信道带宽的关系 1928 R.V.L.Hartley 提出信息应该由随机事件样本空间中元素的个数的对数值来衡量（信息量 H = N logs） 1948 C.E.Shannon在《贝尔系统技术杂志》发表了《通信中的数学原理》 2017/3/1 计算机科学与技术学院

1.3 信息论的形成和发展 一些重要事件： 1949 C.E.Shannon 在《贝尔系统技术杂志》发表了《保密通信的数学理论》 1952 D.A.Huffman 提出了Huffman编码 1954 P.Elias 提出了卷积码 1959 S.K.Kullback 提出了鉴别信息的概念 1961 C.E.Shannon 发表了《双路通信信道》，提出了多用户信息论 1963 A.N.Kolmogorov 提出了通用编码 1982 G.Ungerboeck 实现了网络编码调制 1993 Turbo码的性能已经非常接近于理论极限 2017/3/1 计算机科学与技术学院

1.3 信息论的形成和发展——应用 在通信领域中的应用 压缩 语音压缩（G.711, …） 音频压缩（MP3…） 图像压缩（JPEG，JPEG2000…） 视频压缩（MPEG-1，MPEG-2，MPEG-4…） 计算机文件压缩（zip,winrar…） ….. 2017/3/1 计算机科学与技术学院

1.3 信息论的形成和发展——应用 在密码学与密码分析学中的应用 金融领域、生物医学、逻辑学、心理学、语言学、生物学、管理科学……. 纠错编码 汉明码 RS码…… 在密码学与密码分析学中的应用 金融领域、生物医学、逻辑学、心理学、语言学、生物学、管理科学……. 凡是可以抽象为通信过程，并用概率描述的领域都可以用信息论作指导 2017/3/1 计算机科学与技术学院

附 录

希腊字母表 2017/3/1 计算机科学与技术学院

香农生平简介 1916年4月30日出生于美国密执安州的加 洛德一个商人和教师的家庭。 1936年获得了密西根州大学的数学和电气 工程学学士学位。 1937年获MIT电气工程系硕士学位。 1940年获得MIT数学博士学位。 1941年至1972年间，在贝尔实验室工作。 1958~1978年，在MIT任教。 2001年2月24日在马萨诸塞州的Medford 因老年痴呆症与世长辞，享年84岁。 2017/3/1 计算机科学与技术学院

香农的主要学术贡献 硕士论文《A Symbolic Analysis of Relay and Switching circuits》(继电器和开关电路的符号分析)研究了布尔代数用于交换理论中的问题，被认为是20世纪最重要、最著名的一篇硕士论文。 二战时对保密通信兴趣浓厚，他的工作对罗斯福总统和邱吉尔首相的保密语音通信意义重大。 1948年，发表构思了八年的《A Mathematical Theory of Communication》，标志着现代信息论诞生。 1949年，发表了《 Communication Theory of Secrecy System 》，奠定了现代密码学的基础。 1959年，发表《Coding Theorem for a Discrete Source with a Fidelity Criterion》，推动了信息率失真理论研究。 1961年，发表《Two-Way Communication Channels》，开拓了多用户信息理论研究。 2017/3/1 计算机科学与技术学院

香农的特点 理工融合于一身 大数学家Kolmogrov：“在我们的时代，当人的知识越来越专业化的时候，香农是科学家的一个卓越典范。他能把深奥而抽象的数学思想和对关键技术问题的概括的、具体的理解结合起来。他被认为是最近几十年最伟大的工程师之一，同样也被认为是最伟大的数学家之一。” 沉迷于研究本身的乐趣，兴趣广泛 象棋程序、机器老鼠、无数自造的玩具：独轮车、织布机等。发明了俄罗斯轮盘赌博程序，但是不屑赖此发财。研究股票，投资非常成功。 勤于思考、善于思考 2017/3/1 计算机科学与技术学院

Thank You !