第三章 信道及其容量.

Presentation on theme: "第三章 信道及其容量."— Presentation transcript:

1 第三章 信道及其容量

2 信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量。

3 3.1 信道的数学模型和分类 图 数字通信系统的一般模型

4 3.1 信道的数学模型和分类 一、信道的分类 邮递信道 根据载荷消息的媒体不同 电信道 光信道 声信道 输入和输出信号的形式 信道的统计特性
3.1 信道的数学模型和分类 一、信道的分类 根据载荷消息的媒体不同 邮递信道 电信道 光信道 声信道 输入和输出信号的形式 信道的统计特性 信道的用户多少 根据信息传输的方式

5 根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道

6 二、离散信道的数学模型 条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。

7 根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况：
无干扰信道 有干扰无记忆信道 有干扰有记忆信道

8 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即：
(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)

9 (2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。

10 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类 型。
例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。

11 三、单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。
条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。

12 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。
一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可用下图来描述： a b1 a b2 X Y ar bs P(bj/ai)

13 [例1] 二元对称信道，[BSC，Binary Symmetrical Channel]
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p a1=0 0=b1 a2=1 1=b2 p p是单个符号传输发生错误的概率。 （1-p）表示是无错误传输的概率。 转移矩阵: 1

14 [例2]二元删除信道。[BEC，Binary Eliminated Channel]
p 1－p 1 q 1－q 2 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 1 符号“2”表示接收到了“0”、“1”以外的特殊符号

15 一般离散单符号信道的传递概率可用矩阵形式表示，即
b b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … … … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。

16 3.2 信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。

17 一、信道疑义度 信道输入信源X的熵 H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为先验熵。

18 接受到bj后，关于X的不确定性为 这是接收到输出符号bj后关于X的后验熵。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵----信道疑义度：

19 互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量
二、平均互信息 互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量 即：互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量 对于无干扰信道，I(xi ; yj) = I(xi)； 对于全损信道，I(xi ; yj) = 0；

20 平均互信息I(X; Y)： I(xi ; yj)的统计平均。
它代表接收到符号集Y后平均每个符号获得的关于X的 信息量，也表示了输入与输出两个随机变量之间的统 计约束程度。

21 关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。
若互信息I(x ; y)<0，说明在未收到信息量y以前对消息x是否出现的不确定性较小，但由于噪声的存在，接收到消息y后，反而对x是否出现的不确定程度增加了。 I(X;Y)是I (x ; y)的统计平均，所以I(X;Y) >= 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量----全损信道。

22 平均互信息与各类熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X)
I(X;Y) = H(X)+H(Y)-H(XY) 其中：

23 H(X) H(Y) 平均互信息与各类熵之间关系的集合图（维拉图）表示： H(X|Y) = H(X) - I(X;Y)
H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(XY) 图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。 H(Y/X) H(X/Y) H(X) H(Y) I(X;Y)

24 两种特殊信道 （1）、离散无干扰信道 ( 无损信道 ) 信道的输入和输出一一对应，信息无损失地传输， 称为无损信道。
H(X|Y) = H(Y|X) = [损失熵和噪声熵都为“0” ] 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息: I(X;Y) = H(X) = H(Y)

25 （2）、输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立 H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = [I(X;Y) = H(X) - H(X|Y)] 信道的输入和输出没有依赖关系，信息无法传输，称为全损信道。 接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。

26 二种极限信道各类熵与平均互信息之间的关系
无损信道： H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 无损信道：完全重迭 全损信道： H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 全损信道：完全独立

27 3.2 平均互信息的性质 平均互信息 I(X;Y) 具有以下特性： （1）非负性 即 I(X;Y) >= 0
3.2 平均互信息的性质 平均互信息 I(X;Y) 具有以下特性： （1）非负性 即 I(X;Y) >= 0 当X、Y统计独立时等式成立。 （2）极值性 即 I(X;Y) <= H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。

28 （3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y)

29 （4）凸状性 所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y/x)的函数，即：
I(X;Y) = f [P(x), P(y|x)]

30 平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。
（1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。 （2）对于每一个固定信道，一定存在有一种信源(某一种概率分布P(x))，使输出端获得的平均信息量为最大。

31 平均互信息I(X;Y)是信道传递的概率P(y/x)的∪型凸函数。
当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。 对每一种信源都存在一种最差的信道，此时干扰 (噪声) 最大，而输出端获得的信息量最小。

32 3.3 离散无记忆信道的扩展信道 离散无记忆信道 ( DMC，Discrete Memoryless Channel) ，其传递概率满足：
仍可用 [X，P( y / x )，Y] 概率空间来描述。 设离散无记忆信道的 输入符号集A＝{a1，… ， ar}， 输出符号集B＝{b1 ，… ， bs}，信道矩阵为:

33 则此无记忆信道的N次扩展信道的数学模型如图所示:
而信道矩阵： 其中：

34 [例3] 求二元无记忆对称信道（BSC）的二次扩展信道。
解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A＝{00，01，10，11}，共有22＝4个符号，输出符号集为B＝ {00，01，10，11}。 由于是无记忆信道，可求得二次扩展信道的传递概率： 信道矩阵：

35 根据平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息：

36 若信道的输入随机序列为X= (X1X2…XN)，通过信道传输，接收到的随机序列为Y＝(Y1Y2…YN)。假若信道是无记忆的，即信道传递概率满足：
则有： 式中Xi Yi是对应第 i 位的随机变量。 若信源是无记忆的，则等式成立。 直观分析：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少

37 若信道的输入随机序列为X= (X1X2…XN)，通过信道传输，接收到的随机序列为Y＝(Y1Y2…YN)。假若信源是无记忆的，则有：
其中Xi和Yi是随机序列X和Y中的第 i 位随机变量。 直观分析：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。 若信道和信源都是无记忆的，则：

38 Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
3.4 离散信道的信道容量 研究信道的目的是要讨论信道中平均每个符号所能传送的信息量-----信息传输率R 平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。 所以： R = I(X;Y) = H(X) – H(X|Y) (比特/符号) 信道中每秒平均传输的信息量----信息传输速率Rt Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）

39 一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 定义为信道容量C （比特/符号） 若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct： (Bit/s) Ct仍称为信道容量

40 [例4] 信道容量的计算 二元对称信道，I(X;Y) 时，I(X;Y)最大。 当 即： 因此，二元对称信道的信道容量为： (比特／符号)

41 二、简单离散信道的信道容量 离散无噪信道 例如： 其信道矩阵是单位矩阵： 满足： I(X;Y)=H(X)=H(Y)

42 有噪无损信道： 其信道矩阵： 接收到符号Y后，对X符号是完全确定的。 损失熵H(X/Y)=0， 但噪声熵H(Y/X)≠0 所以 ： I(X;Y)=H(X)<H(Y)

43 即接收到符号Y后不能完全消除对X的不确定性
无噪有损信道 信道的疑义度（损失熵） H(X/Y) ≠0 而噪声熵 H(Y/X)=0。 即接收到符号Y后不能完全消除对X的不确定性 满足： I(X;Y)=H(Y)<H(X)

44 三、对称离散信道的信道容量 所谓对称信道，是指信道矩阵P中每一行都是由同一集合{p1’，p2’，…，ps’}中的诸元素不同排列组成，且每一列也都是由{q1’，q2’，…，qr’} 中的诸元素不同排列组成。 具有这种对称信道矩阵的信道称为对称离散信道。 一般s≠r。 例如： 都是对称离散信道

45 都不是对称离散信道

46 若输入/输出符号个数相同，都等于r，且信道矩阵为：
则此信道称为强对称信道或均匀信道。 这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。 它是对称离散信道的特例。

47 对称离散信道的平均互信息为： I(X;Y)=H(Y)-H(Y/X)
这一项是固定X＝x 时对Y求和，即对信道矩阵的行求和。由于信道的对称性，所以H(Y/X= x )与 x 无关，为一常数，即 因此对称离散信道的信道容量：

48 [例5] 某对称离散信道的信道矩阵如下，求其信道容量。
解：s=4, r=2 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。 只有当信道的输入符号是等概率分布时才能达到这个最大值。

49 四、离散无记忆N次扩展信道的信道容量 一般离散无记忆信道的N次扩展信道

50 所以，对于一般的离散无记忆信道的N次扩展信道，其信道容量是：
即：CN = NC 一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量： I（X;Y） NC

51 3．5 连续信道的信道容量 在连续信源的情况下，如果取两个相对熵之差，则连续信源具有与离散信源一致的信息特征，而互信息就是两个熵的差值，类似于离散信道，可定义互信息的最大值为信道容量。 因此，连续信道具有与离散信道类似的信息传输率和信道容量的表达式。

52 一、连续单符号加性高斯噪声信道的信道容量
设信道迭加的噪声n是均值为零，方差为 2 的一维高斯 噪声，则噪声信源的熵为： 如果信道输出信号Y的平均功率限制在Po以下，由前知，当Y 是均值为零的高斯变量时，其熵h(Y)为最大。 因此，得平均功率受限高斯加性信道的信道容量(每个自由 度)为：

53 二、多维无记忆高斯加性连续信道 加性信道 n1 nN 输入信号序列 {X1X2…XN} 输出信号序列 {Y1Y2…YN}
高斯噪声{n1n2…nN} X1 Y1=X1 +n1 n1 XN YN=XN +nN nN (比特／N个自由度)

54 上式同样也是N个独立、并联组合高斯加性信道的信道容量。
此时分两种情况： (1) 若各单元时刻(i＝1,…,N)上的噪声都是均值为零、方差为Pn的高斯噪声，得： 单位：(比特／N个自由度) (2) 若各单元时刻(i＝1,…,N)上的噪声是均值为零，方差为不同Pni的高斯噪声，但输入信号的总平均功率受限，其约束为： (常数), i=1,2…,N 则：

55 这结论说明，N个独立并联的组合高斯加性信道，当各分信道(或各时刻)的噪声平均功率不相等时，为达到最大的信息传输率，要对输入信号的总能量适当地进行分配。
当常数＜ Pni时，此信道(或此时刻信号分量)不分配能量，使不传送任何信息， 当 ＞ Pni，在这些信道分配能量，并使满足Psi+Pni=  ，这样得到的信道容量为最大。 这与实际情况也相符：我们总是在噪声大的信道少传或不传送信息，而在噪声小的信道多传送些信息。

56 [例6] 设在各单元时刻上，噪声是均值为零，方差为Pni 的高斯加性噪声。
Pn1 =0.1， Pn2 =0.2 ， Pn3 =0.3 ，Pn4 =0.4 ， Pn5 =0.5 ， Pn6 =0.6， Pn7 =0.7 ， Pn8 =0.8 ，Pn9 =0.9 ， Pn10 =1.0 （单位为W） 输入信号X是10个相互统计独立、均值为零、方差为Psi的高斯变量，且： 解： 由常数的约束条件，得： 比较得： Ps7 = ，Ps8 = ，Ps9 = ，Ps10 = ， 可见，最后四个信道应排除，即令： Ps7 =0， Ps8 =0 ， Ps9 =0 ，Ps10 =0

57 Pn1 =0.1， Pn2 =0.2 ， Pn3 =0.3 ，Pn4 =0.4 ， Pn5 =0.5 ，
Pn6 =0.6， Pn7 =0.7 ， Pn8 =0.8 ，Pn9 =0.9 ， Pn10 =1.0 （单位为W） 再计算常数（此时N = 6），得： 比较得： Ps6 = ，可见，第六个信道也应排除，令： Ps6 =0 再计算常数（此时N = 5），得： 可见，第五个信道也应排除，令： Ps5 =0 所以，功率分配为： Ps1 =0.4， Ps2 =0.3 ， Ps3 =0.2 ，Ps4 =0.1

58   若提高信号的总平均功率，可使有些信道相应的输入信号也分配到一些能量。
功率分配为： Ps1 =0.4， Ps2 =0.3 ， Ps3 =0.2 ，Ps4 =0.1 信道容量： (比特／10个自由度) 本例结果表明，噪声分量平均功率小的信道分配得到的相应信号分量的平均功率要大一些，那些太坏的信道就不去用它，可使总的信道容量最大。   若提高信号的总平均功率，可使有些信道相应的输入信号也分配到一些能量。

59 比较得最后两个信道应排除，令： Ps9 =0 ，Ps10 =0
若提高信号的总平均功率，使： 比较得最后两个信道应排除，令： Ps9 =0 ，Ps10 =0 功率分配为： Ps1 =0.725， Ps2 =0.625 ， Ps3 =0.525 ，Ps4 =0.425， Ps5 =0.325， Ps6 =0.225 ， Ps7 =0.125 ，Ps8 =0.025 信道容量： (比特／10个自由度)

60 三、限频限时限功率的加性高斯白噪声信道的信道容量
一般信道的频带宽度总是有限的，设频带宽度为W，在这样的波形信道中，满足限频、限时、限功率的条件约束，所以可通过取样将输入和输出信号转化为L维的随机序列： 和 ，而在频带内的高斯噪声是彼此独立的，从而有 按照采样定理，在[0，T]范围内要求 。这是多维无记忆高斯加性信道，其信道容量为： 这是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。

61 香农公式的物理意义为：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。

62 实际信道通常是非高斯波形信道。香农公式可适用于其他一般非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值。
比特／秒 说明： 实际信道通常是非高斯波形信道。香农公式可适用于其他一般非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值。 [例6．4] 在电话信道中常允许多路复用。一般电话信号的带宽为3300Hz。若信噪功率比为20dB(即Ps/(NoW)=100)，代入香农公式计算可得电话信通的信道容量为22000比特／秒。 而实际信道能达到的最大信道传输率约为19200比特／秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。

63 3.6 信源与信道的匹配 在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。我们总希望能使信息传输率越大越好，能达到或尽可能接近于信道容量，由前面的分析可知，信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。

64 信道剩余度定义为： 信道剩余度 = 表示信道的实际传信率和信道容量之差。 相对信道剩余度 = 信道剩余度可以用来衡量信道利用率的高低。

65 在无损信道中，信道容量 C＝logr (r是信道输入符号数)。而I(X;Y)＝H(X)，因而：
无损信道的相对剩余度 = 上式说明提高无损信道信息传输率就等于减少信源的剩余度。 对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。 因此引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。 注：信道容量C和输入信号的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。

66 例如，某离散无记忆信源 通过一个无噪无损二元离散信道进行传输。 对二元离散信道的信道容量为：C＝1(比特／信道符号) 对本信源的信息熵为 H(X)＝1.937(比特／信源符号) 要使信源在此二元信道中传输，必须对X进行二元编码：

67 对于码 (比特／信道符号) 对于码 (比特／信道符号)   因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。

68 3.7 信道编码定理 定理3.7.1 有噪信道编码定理(香农第二定理)：
3.7 信道编码定理 定理 有噪信道编码定理(香农第二定理)： 若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R>C，总可以找到一种编码，当L足够长时，译码错误概率 ，为任意大于零的正数。反之，当R<C时，任何编码的 必大于零，当 时， 。

69 与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。编码技术研究人员在该理论指导下致力于研究实际信道中各种易于实现的具体编码方法。二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。 我们将在第六章介绍信道编码的典型编码方法。