信息论 复习

要点 信息论概论 信息量 信源编码 信道编码

信息的基本概念 香农信息：由美国数学家C. E. Shannon (香农)从不确定性(随机性)和概率测度的角度定义信息的概念

通信系统基本模型 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息 信源 编码 信 源 信道 道 译码 宿 u x y y' x' v 干扰源 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息

通信系统模型 通信系统三项性能指标： 有效性 (无失真信源编码定理和限失真信源编码定理) 可靠性 (信道编码定理) 安全性 (保密系统的信息理论)

要点 信息论概论 信息量 信源编码 信道编码

信息量 信息熵 联合熵 条件熵 互信息 熵和互信息的性质 熵和互信息的关系

信息熵 定义：离散信源X的熵为自信息的平均值，记为 H(X) 联合集 XY 上，对联合自信息I (xi yj )的统计平均称 为联合熵： 定义：联合集 XY 上，对条件自信息量 I (yj| xi )的统计平均称为条件熵：

熵的基本性质 对称性 非负性 确定性 上凸性 极值性 扩展性 可加性 0.5 1 H(p)

条件熵性质 定理2.2.2 联合熵与条件熵的关系可表述为： H(XY) = H(Y)+H(X|Y) =H(X)+H(Y|X) 推论2.2.1 对于任何两个随机变量X和Y，总有H(XY) H(X)成立，且等号成立的充分必要条件为Y是X的函数

条件熵与联合熵的关系 定理2.2.3 设 是n个具有联合分布 的随机变量，则

互信息 集合X、Y之间的平均互信息定义为： 设联合集XYZ，Z条件下，X与Y之间的平均互信息定义为：

互信息性质 1. 对称性 2. 非负性 3. 极值性 4.互信息I(X;Y)是 的下凸函数;是 的上凸函数

各类熵的关系 H(XY)=H(X)+H(Y|X) H(XY)=H(Y)+H(X|Y) I(X;Y)=H(X)-H(X|Y) I(X;Y)=H(Y)-H(Y|X) I(X;Y)=H(X)+H(Y)-H(XY) H(XY) H(Y) H(X) H(Y|X) H(X|Y) I(X;Y)

条件互信息性质 定理2.4.2 如果(X1 ,X2 , … ,Xn)，Y是一组随机变量，那么它们的互信息关系是： 因此 等号成立的充分必要条件是：X，Y，Z是一个 马尔科夫链

要点 信息论概论 信息量 信源编码 信道编码

信源编码器模型 信源符号 A={x1 , x2, …, xq} 信源 编码器 码字 C={c1 ,c2, …, cq} 码符号 U={u1 , u2, …, ur} 编码器把每个信源符号编成一个码字。信源符号集X={x1 , x2, …, xq} ，码符号集为U={u1 , u2, …, ur}，码字集为C={c1 ,c2, …, cq} ，其中符号xi 编成码字ci

信源编码分类

定义 定义：如果[X, p (x)] 是一个信源，f 是一个变长编码，那么对任何 ，f (x)是U*中的一个向量，我们记 是 f (x)的向量长度，那么定义 为变长编码 f 的平均码长

单符号变长编码定理 定理3.3.2 对于已给信源[X, p (x)] ，它的r元最优变长即时码 f0 必有 成立

离散无记忆信源变长编码定理 定理3.3.3 如果[X(n), p (x(n))]是由[X, p (x)]确定的无记忆信源，信道输入符号数为 r 个，那么最优变长即时码 的码长为

要点 信息论概论 信息量 信源编码 信道编码

信道容量的计算 信道容量是互信息的最大值，所以计算信道容量C，要满足约束条件，由拉氏法求极值。

连续随机变量熵 平均自信息量(信息熵) 相对熵(微分熵)

其他连续型随机变量的信息量 联合熵和条件熵

Hc(XN)=Hc (X1) + Hc (X2|X1) + Hc (XN|XN-1 … X1) 连续随机变量熵 1. 与离散熵的类似性 计算表达式类似。 将离散概率变成概率密度，将离散求和变成 积分 具有可加性 连续上保持离散熵的可加性。设N维高斯随 机变量集合XN=X1 X2 …XN Hc(XN)=Hc (X1) + Hc (X2|X1) + Hc (XN|XN-1 … X1)

连续随机变量熵 2. 与离散熵的差别 相对熵不能作为信源平均不确定性的绝对度量，但可以作为相对度量； 相对熵不具有非负性，因为概率密度的值若小于1，则计算出的相对熵的值就小于零 在一一对应变换的条件下，相对熵可能发生变化

连续随机变量最大熵定理 定理2.7.1 对连续随机变量分别在约束条件A-1、A-2和A-3下的最大熵分别为均匀分布、指数分布和正态分布。

连续随机变量互信息 定义 性质 与离散互信息相同

可加高斯(Gaussian)信道 定义4.7.1 对连续型信道的定义： (1) 如果信道输入U和输出V是连续型集合，如U=V=R是全体的实数集合，则称该信道[U, p(v|u), U]为连续信道； (2) 在连续信道中，如果存在一个随机变量N，与任何输入信号U的取值无关，且输出信号总有V=U+N成立，那么称这个信道为客家噪声信道，成N为噪声随即变量； (3) 在可加噪声信道中，如果噪声随机变量是一个均值为零的正态随机变量，那么称这个信道为可加高斯信道。

I(U;V)=HC(V)-HC(V | U)