信息论 复习.

Presentation on theme: "信息论 复习."— Presentation transcript:

1 信息论 复习

2 要点 信息论概论 信息量 信源编码 信道编码

3 信息的基本概念 香农信息：由美国数学家C. E. Shannon (香农)从不确定性(随机性)和概率测度的角度定义信息的概念

4 通信系统基本模型 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息 信源 编码 信 源 信道 道 译码 宿 u x y y' x'
v 干扰源 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息

5 通信系统模型 通信系统三项性能指标： 有效性 (无失真信源编码定理和限失真信源编码定理) 可靠性 (信道编码定理)
安全性 (保密系统的信息理论)

6 要点 信息论概论 信息量 信源编码 信道编码

7 信息量 信息熵 联合熵 条件熵 互信息 熵和互信息的性质 熵和互信息的关系

8 信息熵 定义：离散信源X的熵为自信息的平均值，记为 H(X) 联合集 XY 上，对联合自信息I (xi yj )的统计平均称 为联合熵：
定义：联合集 XY 上，对条件自信息量 I (yj| xi )的统计平均称为条件熵：

9 熵的基本性质 对称性 非负性 确定性 上凸性 极值性 扩展性 可加性 0.5 1 H(p)

10 条件熵性质 定理2.2.2 联合熵与条件熵的关系可表述为： H(XY) = H(Y)+H(X|Y) =H(X)+H(Y|X)
推论2.2.1 对于任何两个随机变量X和Y，总有H(XY) H(X)成立，且等号成立的充分必要条件为Y是X的函数

11 条件熵与联合熵的关系 定理2.2.3 设 是n个具有联合分布 的随机变量，则

12 互信息 集合X、Y之间的平均互信息定义为： 设联合集XYZ，Z条件下，X与Y之间的平均互信息定义为：

13 互信息性质 1. 对称性 2. 非负性 3. 极值性 4.互信息I(X;Y)是 的下凸函数;是 的上凸函数

14 各类熵的关系 H(XY)=H(X)+H(Y|X) H(XY)=H(Y)+H(X|Y) I(X;Y)=H(X)-H(X|Y)
I(X;Y)=H(Y)-H(Y|X) I(X;Y)=H(X)+H(Y)-H(XY) H(XY) H(Y) H(X) H(Y|X) H(X|Y) I(X;Y)

15 条件互信息性质 定理2.4.2 如果(X1 ,X2 , … ,Xn)，Y是一组随机变量，那么它们的互信息关系是： 因此
等号成立的充分必要条件是：X，Y，Z是一个 马尔科夫链

16 要点 信息论概论 信息量 信源编码 信道编码

17 信源编码器模型 信源符号 A={x1 , x2, …, xq} 信源 编码器 码字 C={c1 ,c2, …, cq} 码符号 U={u1 , u2, …, ur} 编码器把每个信源符号编成一个码字。信源符号集X={x1 , x2, …, xq} ，码符号集为U={u1 , u2, …, ur}，码字集为C={c1 ,c2, …, cq} ，其中符号xi 编成码字ci

18 信源编码分类

19 定义 定义：如果[X, p (x)] 是一个信源，f 是一个变长编码，那么对任何 ，f (x)是U*中的一个向量，我们记 是 f (x)的向量长度，那么定义 为变长编码 f 的平均码长

20 单符号变长编码定理 定理3.3.2 对于已给信源[X, p (x)] ，它的r元最优变长即时码 f0 必有 成立

21 离散无记忆信源变长编码定理 定理3.3.3 如果[X(n), p (x(n))]是由[X, p (x)]确定的无记忆信源，信道输入符号数为 r 个，那么最优变长即时码 的码长为

22 要点 信息论概论 信息量 信源编码 信道编码

23 信道容量的计算 信道容量是互信息的最大值，所以计算信道容量C，要满足约束条件，由拉氏法求极值。

24 连续随机变量熵 平均自信息量(信息熵) 相对熵(微分熵)

25 其他连续型随机变量的信息量 联合熵和条件熵

26 Hc(XN)=Hc (X1) + Hc (X2|X1) + Hc (XN|XN-1 … X1)
连续随机变量熵 1. 与离散熵的类似性 计算表达式类似。 将离散概率变成概率密度，将离散求和变成 积分 具有可加性 连续上保持离散熵的可加性。设N维高斯随 机变量集合XN=X1 X2 …XN Hc(XN)=Hc (X1) + Hc (X2|X1) + Hc (XN|XN-1 … X1)

27 连续随机变量熵 2. 与离散熵的差别 相对熵不能作为信源平均不确定性的绝对度量，但可以作为相对度量；
相对熵不具有非负性，因为概率密度的值若小于1，则计算出的相对熵的值就小于零 在一一对应变换的条件下，相对熵可能发生变化

28 连续随机变量最大熵定理 定理2.7.1 对连续随机变量分别在约束条件A-1、A-2和A-3下的最大熵分别为均匀分布、指数分布和正态分布。

29 连续随机变量互信息 定义 性质 与离散互信息相同

30 可加高斯(Gaussian)信道 定义4.7.1 对连续型信道的定义：
(1) 如果信道输入U和输出V是连续型集合，如U=V=R是全体的实数集合，则称该信道[U, p(v|u), U]为连续信道； (2) 在连续信道中，如果存在一个随机变量N，与任何输入信号U的取值无关，且输出信号总有V=U+N成立，那么称这个信道为客家噪声信道，成N为噪声随即变量； (3) 在可加噪声信道中，如果噪声随机变量是一个均值为零的正态随机变量，那么称这个信道为可加高斯信道。

31 I(U;V)=HC(V)-HC(V | U)

32