第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道

Presentation on theme: "第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道"— Presentation transcript:

1 第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道
§4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道 2019/7/3

2 §4.1 信道分类 信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。
§4.1 信道分类 信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道；等等。 2019/7/3

3 =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)，
§4.2 离散无记忆信道 定义4.2.1和定义4.2.2(p104) 如果 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机变量Xu的事件集合都是{0, 1, …, K-1}， （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机变量Yu的事件集合都是{0, 1, …, J-1}， 则称该信道为离散信道。如果更有 （3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有 （4）对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道。 2019/7/3

4 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，
§4.2 离散无记忆信道 关于定义4.2.1和定义4.2.2的注解 “离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 “离散无记忆平稳信道”是最简单的信道，信道在某一时刻u的响应特性 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}， 就能很简单地计算出信道在任意时间段的响应特性。 2019/7/3

5 §4.2 离散无记忆信道 一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道） 设
§4.2 离散无记忆信道 一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。 2019/7/3

6 §4.2 离散无记忆信道 （1）转移概率矩阵的每一行都是一个概率向量。 2019/7/3

7 §4.2 离散无记忆信道 （2）对任意y∈{0, 1, …, J-1}，由全概率公式有 2019/7/3

8 §4.2 离散无记忆信道 （3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。 2019/7/3

9 §4.2 离散无记忆信道 （4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。则见定理2.6.2。 定义4.2.3(p105) 离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称为最佳输入分布。 其中 2019/7/3

10 §4.2 离散无记忆信道 定理4.2.2(p106) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分布的充分必要条件为：对任何满足q(k)>0的k， 都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)≤此相同的值。 （2）此时此相同的值恰好就是信道容量C。 （定理4.2.2实际上叙述了定理2.6.2的含义。） 2019/7/3

11 §4.2 离散无记忆信道 注解 给定一个DMC信道的响应特性，也就是说给定一个信道的转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件的概率向量{q(x), x∈{0, 1, …, K-1}} 。 其信道容量是每个使得q(k)>0的k所对应的半平均互信息量I(X=k; Y)。 如果对DMC信道没有任何简化，要计算最佳输入分布并不容易。但是，通常使用的DMC是很简单的（比如，以下的准对称信道和对称信道），最佳输入分布很容易求出。 2019/7/3

12 §4.2 离散无记忆信道 二、对称DMC和准对称DMC的 信道容量与最佳输入分布的计算
§4.2 离散无记忆信道 二、对称DMC和准对称DMC的 信道容量与最佳输入分布的计算 定义4.2.4~5(p108) 设DMC的转移概率矩阵为 若P的任一行是第一行的置换，则称信道是关于输入为对称的。 若P的任一列是第一列的置换，则称信道是关于输出为对称的。 若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。 2019/7/3

13 §4.2 离散无记忆信道 命题1 若DMC关于输入为对称的，则 对任意k∈{0, 1, …, K-1}都成立。
§4.2 离散无记忆信道 命题1 若DMC关于输入为对称的，则 对任意k∈{0, 1, …, K-1}都成立。 证明 {p(y|x)，y=0~ J-1}与{p(y|k)，y=0~ J-1}互为置换，所以 2019/7/3

14 §4.2 离散无记忆信道 命题2 若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。
§4.2 离散无记忆信道 命题2 若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。设q(x)=1/K，x∈{0, 1, …, K-1}。则 2019/7/3

15 §4.2 离散无记忆信道 定义4.2.6(p108) 若DMC的转移概率矩阵P的列的全体可分成若干个列子集，每个列子集所对应的P的子阵都满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （特别若列子集只有一个，即转移概率矩阵P本身的任一行是第一行的置换，任一列是第一列的置换，则称信道为对称信道。 ） 例 准对称信道的例子。(见p108~109) 2019/7/3

16 §4.2 离散无记忆信道 几个简单的结论： （1）准对称信道一定是关于输入为对称的。
§4.2 离散无记忆信道 几个简单的结论： （1）准对称信道一定是关于输入为对称的。 （2）对称信道不仅是关于输入为对称的，也是关于输出为对称的。 （3）对称DMC当输入分布等概时，输出分布等概。 （4）准对称DMC当输入分布等概时，输出分布局部等概。（准对称DMC当输入分布等概时，若j和l属于转移概率矩阵的同一个列子集，则wj=wl。） （5）对称信道未必有J=K。 2019/7/3

17 §4.2 离散无记忆信道 定理4.2.3(p109) 对于准对称DMC信道， （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为
§4.2 离散无记忆信道 定理4.2.3(p109) 对于准对称DMC信道， （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为 2019/7/3

18 §4.2 离散无记忆信道 证明 根据定理4.2.2的含义，只需要证明：当输入分布为等概时，对任意k∈{0, 1, …, K-1}，半平均互信息量I(X=k; Y)都取相同的值。（此时，该相同的半平均互信息量I(X=k; Y)就是准对称信道容量C。） 换句话说，只需要证明：当输入分布为等概时，对任意k∈{0, 1, …, K-1}，I(X=k; Y)与k无关。 设转移概率矩阵P的列的全体被分成S个互不相交的列子集： {0, 1, …, J-1}=Y1∪Y2∪…∪YS；Y1、Y2、…、YS互不相交； 对任意s∈{1, 2, …, S}，列子集Ys所对应的子阵都满足：任一行是第一行的置换，任一列是第一列的置换。自然有以下三个结论。 2019/7/3

19 §4.2 离散无记忆信道 结论一：准对称信道是关于输入为对称的，所以对任意k∈{0, 1, …, K-1}， 结论二：对每个列子集Ys，
§4.2 离散无记忆信道 结论一：准对称信道是关于输入为对称的，所以对任意k∈{0, 1, …, K-1}， 结论二：对每个列子集Ys， 结论三：对每个列子集Ys，取定ys∈Ys。则对任意y∈Ys， 2019/7/3

20 §4.2 离散无记忆信道 于是 2019/7/3

21 §4.2 离散无记忆信道 于是 2019/7/3

22 §4.2 离散无记忆信道 例4.2.3 特殊的对称DMC：KSC（p109） 其中0<p<1。 称p为错误概率。
§4.2 离散无记忆信道 例 特殊的对称DMC：KSC（p109） 其中0<p<1。 称p为错误概率。 特别当K=2时，记为BSC 2019/7/3

23 §4.2 离散无记忆信道 此时有： 达到信道容量时的最佳输入分布为等概分布； 对应的输出分布也是等概分布；
§4.2 离散无记忆信道 此时有： 达到信道容量时的最佳输入分布为等概分布； 对应的输出分布也是等概分布； 信道容量是转移概率矩阵任何一行所对应的半平均互信息量，即 2019/7/3

24 §4.2 离散无记忆信道 例4.2.4 特殊的准对称DMC：2元对称删除信道（p110）
§4.2 离散无记忆信道 其中0≤p<1，0≤q<1。 当q=0时，2元对称删除信道就成为BSC。 当p=0时，2元对称删除信道就成为2元纯删除信道。 达到信道容量时的最佳输入分布为等概分布。 信道容量是转移概率矩阵任何一行所对应的半平均互信息量。（见p111） 例 特殊的准对称DMC：2元对称删除信道（p110） 输入事件集为{0，1}；输出事件集为{0，？，1}；转移概率矩阵为 2019/7/3

25 §4.2 离散无记忆信道 定义4.2.7 （p111）特殊的对称DMC：模K加性噪声信道。设
§4.2 离散无记忆信道 定义 （p111）特殊的对称DMC：模K加性噪声信道。设 DMC的输入随机变量为X，X的所有事件为{0, 1, …, K-1}； DMC的噪声随机变量为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出随机变量为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立； Y=X+Z(modK)。 称此DMC为模K加性噪声信道。 此时， p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x) =P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x) =P(Z=y-x(modK))。 2019/7/3

26 §4.2 离散无记忆信道 这就是说，如果记P(Z=z)=sz，则转移概率矩阵为 2019/7/3

27 §4.2 离散无记忆信道 显然模K加性噪声信道是对称DMC。信道容量为 2019/7/3

28 §4.2 离散无记忆信道 三、一般DMC的信道容量与最佳输入分布的计算 （p112）
§4.2 离散无记忆信道 三、一般DMC的信道容量与最佳输入分布的计算 （p112） （当DMC不是准对称信道时，求解信道容量和最佳输入分布并不容易） 若DMC的转移概率矩阵P是可逆方阵（此时K=J）。 则可以先假设最佳输入分布{q(x), x∈{0, 1, …, K-1}} 中每个概率q(x)都满足q(x)>0。在这个假设下， 求出信道容量C； 然后求出最佳输入分布对应的“最佳输出分布” {w(y), y∈{0, 1, …, K-1}} ； 然后求出最佳输入分布{q(x), x∈{0, 1, …, K-1}}。 2019/7/3

29 §4.2 离散无记忆信道 此时， 2019/7/3

30 §4.2 离散无记忆信道 2019/7/3

31 {β0, β1, …, βK-1 }={C+logw(0), C+logw(1), …, C+logw(K-1)}
§4.2 离散无记忆信道 这是K个未知量 {β0, β1, …, βK-1 }={C+logw(0), C+logw(1), …, C+logw(K-1)} 的线性方程组，系数矩阵是可逆方阵，因此唯一解出{β0, β1, …, βK-1 }为 2019/7/3

32 ={C+logw(0), C+logw(1), …, C+logw(K-1)}，
§4.2 离散无记忆信道 求出了{β0, β1, …, βK-1 } ={C+logw(0), C+logw(1), …, C+logw(K-1)}， 还不能确定C和{w(0), w(1), …, w(K-1)}的值。但是我们还有另一个等式： w(0)+w(1)+…+w(K-1)=1。 于是 2019/7/3

33 §4.2 离散无记忆信道 求出了信道容量C，立即得到了“最佳输出分布” {w(y), y∈{0, 1, …, K-1}}和对应的最佳输入分布{q(x), x∈{0, 1, …, K-1}}。 2019/7/3

34 §4.2 离散无记忆信道 例 设DMC的输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为
§4.2 离散无记忆信道 例 设DMC的输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为 求信道容量和最佳输入分布。先假设最佳输入分布{q(0), q(1)} 满足q(0)>0，q(1)>0。因此 2019/7/3

35 §4.2 离散无记忆信道 因此 2019/7/3

36 §4.2 离散无记忆信道 例 特殊的DMC，称为Z信道：输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为
§4.2 离散无记忆信道 例 特殊的DMC，称为Z信道：输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为 其中0<ε<1 。求信道容量和最佳输入分布。先假设最佳输入分布{q(0), q(1)} 满足q(0)>0，q(1)>0。因此 2019/7/3

37 2019/7/3

38 §4.2 离散无记忆信道 容易验证： q(1)>0； q(0)+q(1)=1。需要验证： q(0)>0。 2019/7/3

39 §4.5 信道的组合 总设有如下两个DMC，分别称为信道1和信道2。 信道1的输入事件为全体x，共有K个输入事件；
§4.5 信道的组合 总设有如下两个DMC，分别称为信道1和信道2。 信道1的输入事件为全体x，共有K个输入事件； 信道1的输出事件为全体y，共有J个输出事件； 信道1的转移概率矩阵为[p1(y|x)]K×J； 信道1的信道容量为C1，最佳输入分布为{x, q1(x)}。 信道2的输入事件为全体u，共有N个输入事件； 信道2的输出事件为全体v，共有M个输出事件； 信道2的转移概率矩阵为[p2(v|u)]N×M； 信道2的信道容量为C2 ，最佳输入分布为{u, q2(u)}。 2019/7/3

40 [p((y, v)|(x, u))](KN)×(JM)，
§4.5 信道的组合 定义4.5.1（p121） 信道的输入事件为全体(x, u)，共有KN个输入事件； 信道的输出事件为全体(y, v)，共有JM个输出事件； 转移概率矩阵为 [p((y, v)|(x, u))](KN)×(JM)， 其中p((y, v)|(x, u))= p1(y|x)p2(v|u)。 则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道） （在物理上，积信道是两个信道的并行使用） 2019/7/3

41 §4.5 信道的组合 定理4.5.1（p122） 积信道的 信道容量为C=C1+C2，
§4.5 信道的组合 定理4.5.1（p122） 积信道的 信道容量为C=C1+C2， 最佳输入分布为{(x, u), q(x, u)}，其中q(x, u)=q1(x)q2(u)。 证明 此时 2019/7/3

42 §4.5 信道的组合 2019/7/3

43 §4.5 信道的组合 2019/7/3

44 §4.5 信道的组合 所以I((XU)=(xu); (YV))=I(X=x; Y)+I(U=u; V)。注意到
§4.5 信道的组合 所以I((XU)=(xu); (YV))=I(X=x; Y)+I(U=u; V)。注意到 对任何满足q1(x) >0的x，I(X=x; Y)=C1； 对任何满足q1(x) =0的x，I(X=x; Y)≤C1； 对任何满足q2(u) >0的u，I(U=u; V)=C2 ； 对任何满足q2(u) =0的u，I(U=u; V)≤C2。 于是 对任何满足q1(x)q2(u)>0的(xu)，I((XU)=(xu); (YV))=C1+ C2 ； 对任何满足q1(x)q2(u)=0的(xu)，I((XU)=(xu); (YV))≤C1+ C2 。 根据定理4.2.2(p84) ，积信道的信道容量为C=C1+C2，最佳输入分布为{(x, u), q1(x)q2(u)}。 2019/7/3

45 §4.5 信道的组合 定义4.5.2（p123） 信道的输入事件为全体{x}∪{u}，其中{x}与{u}不相交；共有K+N个输入事件；
§4.5 信道的组合 定义4.5.2（p123） 信道的输入事件为全体{x}∪{u}，其中{x}与{u}不相交；共有K+N个输入事件； 信道的输出事件为全体{y}∪{v}，其中{y}与{v}不相交；共有J+M个输出事件； 信道的转移概率矩阵为 则称该信道为信道1与信道2的和信道。 2019/7/3

46 §4.5 信道的组合 定理4.5.2（p123） （证略） 2019/7/3

47 §4.5 信道的组合 定义4.5.3（p124） 构造一个信道，使得 该信道的输入是信道1的输入； 信道1的输出再输入信道2；
§4.5 信道的组合 定义4.5.3（p124） 构造一个信道，使得 该信道的输入是信道1的输入； 信道1的输出再输入信道2； 信道2的输出就是该信道的输出。 则称该信道为信道1与信道2的级连信道（串联信道）。 请注意：此时 信道1的输出事件全体恰好是信道2的输入事件全体，即 {y}={u}，J=N。 2019/7/3

48 [p(v|x)]K×M=[p1(y|x)]K×J [p2(v|y)]J×M，
§4.5 信道的组合 注： （1）级连信道的转移概率矩阵为 [p(v|x)]K×M=[p1(y|x)]K×J [p2(v|y)]J×M， 即 这一结果来自于全概率公式和马尔可夫性。 （2）级连信道的信道容量C满足C≤min{C1, C2}。这一结果也容易证明。 2019/7/3

49 §4.5 信道的组合 例 设信道1的转移概率矩阵为 其中0<p<1。则 （1）信道1的最佳输入分布是等概分布，信道容量为
§4.5 信道的组合 例 设信道1的转移概率矩阵为 其中0<p<1。则 （1）信道1的最佳输入分布是等概分布，信道容量为 2019/7/3

50 §4.5 信道的组合 （2）将信道1自级连N次，级连信道的转移概率矩阵为 级连信道的信道容量为 2019/7/3

51 §4.5 信道的组合 （3）令自级连的次数N→+∞，则级连信道的转移概率矩阵趋向于 信道容量趋向于0。 2019/7/3

52 §4.6 时间离散的无记忆连续信道 定义 设 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机变量Xu都是连续型的随机变量。 （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机变量Yu都是连续型的随机变量。 （3）转移概率密度 f((Y1 Y2…YN)= (y1y2…yN)| (X1 X2…XN)=(x1x2…xN)) =f(Y1=y1|X1=x1)f(Y2=y2|X2=x2)…f(YN=yN|XN=xN)， 则称该信道为时间离散的无记忆连续信道。如果进一步有 （4）f(Yn=y|Xn=x)=f(Ym=y|Xm=x)，（此时简记为fY|X(y|x)） 则称该信道为平稳的（恒参的）时间离散的无记忆连续信道。 2019/7/3

53 §4.6 时间离散的无记忆连续信道 设平稳的（恒参的）时间离散的无记忆连续信道，其一元转移概率密度为fY|X(y|x)。设一元输入概率密度为fX(x)。因此一元输出概率密度为如下的fY(y)，输入、输出平均互信息量为如下的I(X;Y) 。 2019/7/3

54 §4.6 时间离散的无记忆连续信道 一、可加噪声信道 定义4.6.1（p101的变形） 设平稳的（恒参的）时间离散的无记忆连续信道为：
§4.6 时间离散的无记忆连续信道 一、可加噪声信道 定义4.6.1（p101的变形） 设平稳的（恒参的）时间离散的无记忆连续信道为： 输入随机变量为X；噪声随机变量为Z；X与Z相互独立；输出随机变量为Y=X+Z。 则称该信道为可加噪声信道。 注：此时 fY|X(y|x)=f(Y=y|X=x)=f(X+Z=y|X=x)=f(x+Z=y|X=x) =f(Z=y-x|X=x)=f(Z=y-x)=fZ(y-x)； f (X, Y)(x, y)=fX(x)fY|X(y|x)=fX(x)fZ(y-x)； 2019/7/3

55 §4.6 时间离散的无记忆连续信道 “功率”本来表示单位时间所做的功。但是这里却变成了一次（输入、噪声、输出）所做的功。不过这种变化并不影响信噪比的值。 2019/7/3

56 §4.6 时间离散的无记忆连续信道 例4.6.1（p126） 高斯可加噪声信道， 2019/7/3

57 §4.6 时间离散的无记忆连续信道 二、平均功率受限的可加噪声信道
§4.6 时间离散的无记忆连续信道 二、平均功率受限的可加噪声信道 定义（p127的变形） 对于可加噪声信道，限定：其信号功率不超过S，其噪声功率等于σ2，此时信噪比不超过(S/σ2)。在此限定之下，输入、输出平均互信息量的最大值C称为平均功率受限的信道容量。 问题：似乎信道没有给定？ 2019/7/3

58 §4.6 时间离散的无记忆连续信道 定理4.6.1（p127） 设可加噪声信道，限定：其信号功率不超过S，其噪声功率为σ2，此时信噪比不超过(S/σ2)。则 （1）平均功率受限的信道容量为 （2）当且仅当信道为高斯可加噪声信道（X~N(λ,S)， Z~N(μ,σ2)）时，输入、输出平均互信息量达到该C。 2019/7/3

59 §4.7 波形信道 定义4.7.1（p106） 信道的输入是一般的随机过程{X(t), t≥0}；信道的输出是一般的随机过程{Y(t), t≥0}。称此信道为波形信道。 定义4.7.2（p106） 信道的输入是一个随机过程{X(t), t≥0}； 信道的噪声是一个随机过程{Z(t), t≥0}； 两个随机过程{X(t), t≥0}与{Z(t), t≥0}相互独立； 信道的输出是 Y(t)=X(t)+Z(t), t≥0。 这种特殊的波形信道称为可加噪声信道。 2019/7/3

60 §4.7 波形信道 在实际应用中，总是对波形信道进行采样，采样信道是时间离散的信道。其输入是随机变量序列 X1, X2, X3, …，
§4.7 波形信道 在实际应用中，总是对波形信道进行采样，采样信道是时间离散的信道。其输入是随机变量序列 X1, X2, X3, …， 其输出是随机变量序列 Y1, Y2, Y3, …， 但信道一般不是无记忆的。 采样信道单位时间的容量为 2019/7/3

61 §4.7 波形信道 定理4.7.1（p133）可加噪声信道输入平均功率不超过S，噪声的双边功率谱密度为N0/2，频带限制在[0, W]时，信道容量为 2019/7/3

62 解释 频带限制在[0, W]时，单位时间的采样次数为2W。
“输入平均功率S”是单位时间的输入所做的功，因此每次采样时输入所做的功为S/2W。 “噪声的双边功率谱密度N0/2”本来指的是固定频率成分的噪声的功率。但是有以下两个因素： （1）噪声为白噪声，不同频率成分的噪声的功率相同。 （2）单位时间内2W次采样得到了2W个不同的噪声频率成分（！），每个噪声频率成分的功率相同，它们的和就是单位时间内噪声所做的功，即噪声功率。换句话说，每次采样时噪声所做的功=每个噪声频率成分的功率=N0/2。 综上所述，每次采样的“信噪比”为(S/(2W))/(N0/2)， 2019/7/3

63 习题课 4.1 计算由下述转移概率矩阵给定的DMC的容量。 2019/7/3

64 习题课 该信道为对称DMC，达到信道容量的最佳输入分布是等概分布，对应的输出分布也是等概分布，信道容量C是由转移矩阵任何一行所计算出来的“半平均互信息量”： 2019/7/3

65 该信道为对称DMC，达到信道容量的最佳输入分布是等概分布，对应的输出分布也是等概分布，信道容量C是由转移矩阵任何一行所计算出来的“半平均互信息量”：
2019/7/3

66 该信道为和信道，和信道的输入事件为{0，1，m}，和信道的输出事件也为{0，1，m}。其中两个分信道分别如下：
2019/7/3

67 习题课 2019/7/3

68 习题课 4.3 求图P.4.3中DMC的容量及最佳输入分布。 2019/7/3

69 习题课 2019/7/3

70 I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)。
习题课 (a) 困难： （1） 本题中的DMC不是准对称信道，不能用简单的方法计算信道容量与最佳输入分布。 （2）如果采用一般信道容量与最佳输入分布的计算方法 （见p112） ，本题的计算量比较大，并且所求出的“最佳输入分布”中有的概率是负值。 技巧：观察与猜测。设最佳输入分布为{q(0), q(1), q(2)}。我们猜想q(0)=q(2)=1/2，q(1)=0，因此应有以下的等式&不等式： I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)。 如果经过验证，以上的等式&不等式确实成立，则我们的猜想是正确的，而且此时信道容量为C= I(X=0; Y)=I(X=2; Y)。 2019/7/3

71 习题课 验证过程：首先求出对应的最佳输出分布为{w(0), w(1), w(2)}。根据全概率公式， 2019/7/3

72 习题课 其次验证等式&不等式“I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)”是否成立。 2019/7/3

73 习题课 等式&不等式“I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)”成立。因此
{q(0), q(1), q(2)}= {1/2, 0,1/2} 确实是最佳输入分布。 此时信道容量为 C= I(X=0; Y)=I(X=2; Y)=3/4 2019/7/3

74 习题课 问题一：凭什么猜想q(0)=q(2)？ 答 转移概率矩阵的形状具有某种对称性，似乎应该有 q(0)=q(2)。 因此
答 转移概率矩阵的形状具有某种对称性，似乎应该有 q(0)=q(2)。 因此 I(X=0; Y)=I(X=2; Y)。 问题二：凭什么猜想q(1)=0？ 答 理由1：转移概率矩阵的中间行为（1/3, 1/3, 1/3）。这说明，当输入值为1时，输出值取0、1、2是等概的。换句话说，当输入值为1时，得不到输出值的消息。因此，q(1)似乎应该很小。 理由2：已知I(X=0; Y)=I(X=2; Y)。如果假设q(1)=0，只需要验证“I(X=0; Y)≥I(X=1; Y)”；而如果假设q(1)>0，则需要验证“I(X=0; Y)=I(X=1; Y)”。前者更容易验证。 问题三：为什么不猜想“最佳输入分布”中的两个概率等于0？ 答 如果“最佳输入分布”中的两个概率等于0，则第三个概率等于1。此时输入随机变量X实际上是一个常数，其平均自信息量（熵）等于0。因此0≤I(X;Y)≤H(X)=0，即“信道容量”为C=I(X;Y)=0，矛盾。 习题课 2019/7/3

75 (b) 这是准对称信道。因此最佳输入分布为 {q(0), q(1), q(2)}= {1/3, 1/3,1/3}， 对应的最佳输出分布为
2019/7/3

76 习题课 此时信道容量为 2019/7/3

77 习题课 4.8 一PCM语音通信系统，若信号带宽为W=4000Hz，采样频率为2W，且采用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128。试求所需的信息速率(bits/s)。 （这是什么类型的习题？似乎与信道及信道容量没有关系） [4.8的解答] 每次采样获得的信息量，是随机变量的平均自信息量（熵），为 (1/2)×log2+(1/4)×log4+(1/8)×log8+(1/16)×log16 +(1/32)×log32+(1/64)×log64+(1/128)×log128+(1/128)×log128 = (1/2)+(2/4)+(3/8)+(4/16)+(5/32)+(6/64)+(7/128)+(7/128) =127/64(bits)。 信息速率为127/64(bits)×8000=15875(bits/s)。 2019/7/3

78 (5/2)(bits)×16k=40k (bits/s)。
习题课 4.12 若要以R=105 bit/s的速率通过一个带宽为8kHz、信噪比为31的连续信道传送，可否实现? [4.12的解答] 连续信道的带宽为8kHz，说明该连续信道可以通过采样频率不超过16kHz的采样，变成一个“时间离散的无记忆连续信道”。 进一步简化：我们把该“时间离散的无记忆连续信道”看作是一个“高斯可加噪声信道”(p126)。 因此，在每次采样中传送的信息量为(1/2)log(1+ 31)=(5/2)(bits)。 带宽为8kHz，说明每秒种的采样次数不能超过16kHz。 因此，每秒种传送的信息量不能超过 (5/2)(bits)×16k=40k (bits/s)。 40k<105，因此不能实现R=105 bit/s的信息速率。 2019/7/3