信息论 教师：李琼 哈尔滨工业大学.

Presentation on theme: "信息论 教师：李琼 哈尔滨工业大学."— Presentation transcript:

1 信息论 教师：李琼 哈尔滨工业大学

2 自我介绍 姓名：李 琼 单位：哈工大. 计算机学院. 信息对抗技术研究所 联系方式： 办公室：科学园2A-1525
姓名：李 琼 单位：哈工大. 计算机学院. 信息对抗技术研究所 联系方式： (O) (cell) 办公室：科学园2A-1525 2017/3/1 计算机科学与技术学院

3 课程介绍 课程类型：专业必修课 学时：32 上课时间、地点：1-8周 周三3-4节 正心楼316 ；周五3-4节 正心楼316 考 核:
课程类型：专业必修课 学时：32 上课时间、地点：1-8周 周三3-4节 正心楼316 ；周五3-4节 正心楼316 考 核: 最终成绩 = 期末考试*70% + 平时成绩*30% 考试时间：10周 周四 :45-17:45 考试方式： 闭卷 一点要求：不缺席、不迟到 、不早退、关手机 2017/3/1 计算机科学与技术学院

4 课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社
教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 2017/3/1 计算机科学与技术学院

5 课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社
教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 周荫清老师，北航教授博导，中国电子学会会士，中国航空学会电子专业委员会副主任，中国通信学会通信理论委员会委员，中国宇航学会《宇航学报》编委，《遥测遥控》学报编委； 近年来公开发表专、译著8本，撰写100余篇; 该书为北京高等教育精品教材。 2017/3/1 计算机科学与技术学院

6 课程介绍 教 材： 参考书： 傅祖芸老师，中科院教授； 撰写了20篇技术论文，翻译审校了十余本计算机应用软件书籍;
该书为全国高校电子类专业基础课第二、三轮统编教材，曾获机电部电子类专业优秀教材一等奖。 教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 2017/3/1 计算机科学与技术学院

7 课程介绍 教 材： 参考书： 《信息理论基础》，周荫清. 北京航空航天大学出版社 《信息论——基础理论与应用》，傅祖芸，电子工业出版社
教 材： 《信息理论基础》，周荫清. 北京航空航天大学出版社 参考书： 《信息论——基础理论与应用》，傅祖芸，电子工业出版社 《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 《信息论基础》， Thomas M.Cover等著，阮吉寿等译. 机械工业出版社 ThomasM.Cover博士是美国斯坦福大学电子工程与数理统计学系的教授； 1991年获得IEEE颁发的香农奖； 曾是IEEE信息论学会的主席，IEEE Fellow，美国工程学会和AAAS的成员； 撰写了100多篇技术论文，并担任《Open Problems in Communication and Computation》的编辑。 2017/3/1 计算机科学与技术学院

8 课程介绍 第1章 绪论 第2章 信息的统计度量 第3章 离散信源 第4章 离散信道及其容量 第5章 无失真信源编码 第6章 有噪信道编码
第1章 绪论 第2章 信息的统计度量 第3章 离散信源 第4章 离散信道及其容量 第5章 无失真信源编码 第6章 有噪信道编码 第7章 限失真信源编码 保密系统的基本信息理论 2017/3/1 计算机科学与技术学院

9 第一章：绪论

10 主要内容 信息论又称为通信的数学理论 1.1 信息 1.2 通信系统模型 1.3 信息论的形成和发展 2017/3/1 计算机科学与技术学院

11 1.1 信息 客观世界三大基本要素： 物质——材料科学 能量——能源科学 信息——信息科学
1.1 信息 客观世界三大基本要素： 物质——材料科学 能量——能源科学 信息——信息科学 Without material nothing exists, without energy nothing happens, without information nothing makes sense. 2017/3/1 计算机科学与技术学院

12 1.1 信息 现代化学者认为，人类文明经历了四次意义深远的革命： 时间 意义 工具的制造 约250万年前 人类区别于动物 农业革命
1.1 信息 现代化学者认为，人类文明经历了四次意义深远的革命： 时间 意义 工具的制造 约250万年前 人类区别于动物 农业革命 约1万年前 原始社会——农业社会 工业革命 约200年前 农业社会——工业社会 信息革命 约20多年前 工业社会——信息社会 2017/3/1 计算机科学与技术学院

13 1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 2017/3/1 计算机科学与技术学院
1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是指消息中包含的内容，它是通过消息来表达的，消息是信息的载体。 　　如教师在课堂上讲课，具体讲授的内容即为信息，而所要传授的内容是通过语言(话)表达的，语言(消息)即为信息的载体。 消息可分为离散消息和连续消息。 离散消息:离散消息中元素之间的差异明显、并且有界可数。 主要特点是状态离散。 例如:文字、符号和数字。 连续消息:连续消息中消息的数目无穷多个，相邻元素的差异很小。 例如:语音、连续图像。 信号是指随时间变化的物理量。因为消息不适合于在信道中直接传输，需将其调制成适合在信道中传输的信号。 　　信号可以分为连续时间信号和离散时间信号: 2017/3/1 计算机科学与技术学院

14 1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是消息中包含的有意义的内容
1.1 信息——信息 、消息、信号 消息是信息的载体和具体表现形式(如文字、图片、电影等) 信息是消息中包含的有意义的内容 同一消息对不同的接收者来说，可以包含不同的信息； 同一信息，可以用不同形式的消息来载荷 2017/3/1 计算机科学与技术学院

15 1.1 信息——信息 、消息、信号 信号是消息的物理表现形式，如声波、光波、电磁波等 消息是信号的具体内容 。 消息 信号 信息
1.1 信息——信息 、消息、信号 信号是消息的物理表现形式，如声波、光波、电磁波等 消息是信号的具体内容 。 消息 信号 信息是指消息中包含的有意义的内容，它是通过消息来表达的，消息是信息的载体。 　　如教师在课堂上讲课，具体讲授的内容即为信息，而所要传授的内容是通过语言(话)表达的，语言(消息)即为信息的载体。 消息可分为离散消息和连续消息。 离散消息:离散消息中元素之间的差异明显、并且有界可数。 主要特点是状态离散。 例如:文字、符号和数字。 连续消息:连续消息中消息的数目无穷多个，相邻元素的差异很小。 例如:语音、连续图像。 信号是指随时间变化的物理量。因为消息不适合于在信道中直接传输，需将其调制成适合在信道中传输的信号。 　　信号可以分为连续时间信号和离散时间信号: 信息 2017/3/1 计算机科学与技术学院

16 1.1 信息——信息的特性 信息是无形的 信息是可共享的 信息是无限的 信息是可度量的 是一种取之不尽、用之不竭的资源
1.1 信息——信息的特性 信息是无形的 信息是可共享的 信息是无限的 是一种取之不尽、用之不竭的资源 时空上的可扩展：具有时效性；前后信息相连，会提供新信息。 信息是可度量的 信息的度量是信息论的重要研究内容之一 2017/3/1 计算机科学与技术学院

17 1.1 信息 概念一——通俗概念 “信息=消息” 这种概念虽然直观通俗、容易理解，但是并不准确。 电话 报纸 电视 网络 地球绕着太阳转
1.1 信息 概念一——通俗概念 “信息=消息” 这种概念虽然直观通俗、容易理解，但是并不准确。 电话 报纸 电视 网络 地球绕着太阳转 消息 这是众所周知的事情，信息量约为0

18 “信息是对物质存在和运动形式的一般描述”
1.1 信息 概念二——广义概念 “信息是对物质存在和运动形式的一般描述” “信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式” 这个概念不容易定量描述，更接近于一个哲学概念。

19 1.1 信息 1.1 信息 概念三——概率信息，又称为狭义信息 “信息是用来消除不确定性的东西”
1.1 信息 1.1 信息 概念三——概率信息，又称为狭义信息 “信息是用来消除不确定性的东西” 由美国数学家香农(Claude Elwood Shannon， )提出来的，故又称香农信息。 用事件发生的概率衡量它的信息量 事件发生的概率越大，它提供的信息量就越小。 事件“中国足球队0:1负于韩国足球队” 事件发生的概率越小，一旦该事件发生，它发生后提供的信息量越大 事件“中国足球队5:0力克韩国足球队” 本课程研究概率信息，简称信息。

20 1.2 通信系统模型 信息论是通信的数学理论 研究对象：通用通信系统 通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。

21 1.2 通信系统模型 通信系统模型 消息 信号 信 源 编码器 信 道 噪声 干 扰 源 信 宿 消息 译码器 信号+噪声 2017/3/1
1.2 通信系统模型 消息 信号 信 源 编码器 信 道 噪声 干 扰 源 信 宿 消息 译码器 信号+噪声 通信系统模型 2017/3/1 计算机科学与技术学院

22 1.2 通信系统模型 信源：产生消息的源泉 信宿：信息的接受者 编码器：将消息变换成适合于信道传输的形式 译码器：编码的逆变换
1.2 通信系统模型 信源：产生消息的源泉 信宿：信息的接受者 编码器：将消息变换成适合于信道传输的形式 信源编码：压缩 信道编码：纠错 保密编码：保证信息的安全性 调制：将消息变换成适合信道传输的信号形式（物理的方法） 译码器：编码的逆变换 信道：将信号从发射端传到接受端的通道 干扰源（噪声源）：信道中的噪声 2017/3/1 计算机科学与技术学院

23 ⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器
1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

24 ⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器
1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

25 1.2 通信系统模型——信源编码的主要目的 过不去！ 信 道 2017/3/1 计算机科学与技术学院

26 1.2 通信系统模型——信源编码的主要目的 压缩！使信号能够更加有效地传输信息！ 呵呵，这样就能过去啦！ 信 道 2017/3/1
1.2 通信系统模型——信源编码的主要目的 呵呵，这样就能过去啦！ 信 道 压缩！使信号能够更加有效地传输信息！ 2017/3/1 计算机科学与技术学院

27 ⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器
1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

28 1.2 通信系统模型——信道编码的主要目的 纠错！使信号能够更加可靠地传输信息！ 信 道 “今天12点见面！” “明天12点见面！”
1.2 通信系统模型——信道编码的主要目的 信 道 “今天12点见面！” “明天12点见面！” 纠错！使信号能够更加可靠地传输信息！ 2017/3/1 计算机科学与技术学院

29 ⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器
1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 细化的通信系统模型 2017/3/1 计算机科学与技术学院

30 1.2 通信系统模型——调制的主要目的 使信号更加适合在信道中传输！ 调幅示意图 调制信号 载波信号 已调制信号 2017/3/1
1.2 通信系统模型——调制的主要目的 使信号更加适合在信道中传输！ 调制信号 载波信号 已调制信号 调幅示意图 2017/3/1 计算机科学与技术学院

31 1.2 通信系统模型——调制的主要目的 调制示意图 2017/3/1 计算机科学与技术学院

32 ⊕ ⊕ 1.2 通信系统模型 细化的通信系统模型 香农第一定理——为了无失真地传输信源信息，信源编码的极限是什么？
1.2 通信系统模型 信 源 信 源 编 码 器 信 道 编 码 器 调 制 器 解 调 器 信 道 译 码 器 信 源 译 码 器 信 宿 ⊕ ⊕ 信道 保 密 编 码 器 解 密 译 码 器 干 扰 源 香农第一定理——为了无失真地传输信源信息，信源编码的极限是什么？ 香农第二定理——在有噪信道中无失真地通信，信道编码的极限是多少？ 香农第三定理——如果允许一定量的失真，信源编码的极限是什么？ 细化的通信系统模型 2017/3/1 计算机科学与技术学院

33 信息论的研究目标：以通用的通信系统为研究对象，找到信息传输过程的共同规律，以提高信息传输的
有效性、可靠性、安全性 数字通信的三项基本技术：数据压缩、数据纠错、数据加密 数据 香农奠定了这三项技术的理论基础！

34 1.3 信息论的形成和发展 工程技术背景： 1948年时的通信技术已有较大发展，主要有： 电报（Morse，1830’s）
电话（Bell，1876） AM无线电（1900’s 早期） 电视（ ） FM无线电（Armstrong，1936） 声码器（Dudley，1936） …… 2017/3/1 计算机科学与技术学院

35 1.3 信息论的形成和发展 理论背景： 1924 H.Nyquist开始分析电报信号传输中，脉冲速率与信道带宽的关系
1928 R.V.L.Hartley 提出信息应该由随机事件样本空间中元素的个数的对数值来衡量（信息量 H = N logs） 1948 C.E.Shannon在《贝尔系统技术杂志》发表了《通信中的数学原理》 2017/3/1 计算机科学与技术学院

36 1.3 信息论的形成和发展 一些重要事件： 1949 C.E.Shannon 在《贝尔系统技术杂志》发表了《保密通信的数学理论》
1952 D.A.Huffman 提出了Huffman编码 1954 P.Elias 提出了卷积码 1959 S.K.Kullback 提出了鉴别信息的概念 1961 C.E.Shannon 发表了《双路通信信道》，提出了多用户信息论 1963 A.N.Kolmogorov 提出了通用编码 1982 G.Ungerboeck 实现了网络编码调制 1993 Turbo码的性能已经非常接近于理论极限 2017/3/1 计算机科学与技术学院

37 1.3 信息论的形成和发展——应用 在通信领域中的应用 压缩 语音压缩（G.711, …） 音频压缩（MP3…）
图像压缩（JPEG，JPEG2000…） 视频压缩（MPEG-1，MPEG-2，MPEG-4…） 计算机文件压缩（zip,winrar…） ….. 2017/3/1 计算机科学与技术学院

38 1.3 信息论的形成和发展——应用 在密码学与密码分析学中的应用 金融领域、生物医学、逻辑学、心理学、语言学、生物学、管理科学…….
纠错编码 汉明码 RS码…… 在密码学与密码分析学中的应用 金融领域、生物医学、逻辑学、心理学、语言学、生物学、管理科学……. 凡是可以抽象为通信过程，并用概率描述的领域都可以用信息论作指导 2017/3/1 计算机科学与技术学院

39 附 录

40 希腊字母表 2017/3/1 计算机科学与技术学院

41 香农生平简介 1916年4月30日出生于美国密执安州的加 洛德一个商人和教师的家庭。 1936年获得了密西根州大学的数学和电气
工程学学士学位。 1937年获MIT电气工程系硕士学位。 1940年获得MIT数学博士学位。 1941年至1972年间，在贝尔实验室工作。 1958~1978年，在MIT任教。 2001年2月24日在马萨诸塞州的Medford 因老年痴呆症与世长辞，享年84岁。 2017/3/1 计算机科学与技术学院

42 香农的主要学术贡献 硕士论文《A Symbolic Analysis of Relay and Switching circuits》(继电器和开关电路的符号分析)研究了布尔代数用于交换理论中的问题，被认为是20世纪最重要、最著名的一篇硕士论文。 二战时对保密通信兴趣浓厚，他的工作对罗斯福总统和邱吉尔首相的保密语音通信意义重大。 1948年，发表构思了八年的《A Mathematical Theory of Communication》，标志着现代信息论诞生。 1949年，发表了《 Communication Theory of Secrecy System 》，奠定了现代密码学的基础。 1959年，发表《Coding Theorem for a Discrete Source with a Fidelity Criterion》，推动了信息率失真理论研究。 1961年，发表《Two-Way Communication Channels》，开拓了多用户信息理论研究。 2017/3/1 计算机科学与技术学院

43 香农的特点 理工融合于一身 大数学家Kolmogrov：“在我们的时代，当人的知识越来越专业化的时候，香农是科学家的一个卓越典范。他能把深奥而抽象的数学思想和对关键技术问题的概括的、具体的理解结合起来。他被认为是最近几十年最伟大的工程师之一，同样也被认为是最伟大的数学家之一。” 沉迷于研究本身的乐趣，兴趣广泛 象棋程序、机器老鼠、无数自造的玩具：独轮车、织布机等。发明了俄罗斯轮盘赌博程序，但是不屑赖此发财。研究股票，投资非常成功。 勤于思考、善于思考 2017/3/1 计算机科学与技术学院

44 Thank You !