第2章 信道及其容量

信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。

2.1 信道的数学模型和分类 图2.1.1 数字通信系统的一般模型

一、信道的分类 邮递信道 根据载荷消息的媒体不同 电信道 光信道 声信道 输入和输出信号的形式 信道的统计特性 信道的用户多少 根据信息传输的方式

根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道

二、离散信道的数学模型 条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。

根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道

信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： (1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)

(2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。

(3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类 型。 例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。

三、单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。

信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可用下图来描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai)

[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p a1=0 0=b1 a2=1 1=b2 p p是单个符号传输发生错误的概率。 （1-p）表示是无错误传输的概率。 转移矩阵: 0 1 1

[例2]二元删除信道。[BEC，Binary Eliminated Channel] p 1－p 1 q 1－q 2 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 0 2 1 1 符号“2”表示接收到了“0”、“1”以外的特殊符号

一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。

Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒） 2.2 离散信道的信道容量 研究信道的目的是要讨论信道中平均每个符号所能传送的信息量-----信息传输率R 平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。 所以： R = I(X;Y) = H(X) – H(X|Y) (比特/符号) 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t). Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）

一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C （比特/符号） 若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct： (Bit/s) Ct仍称为信道容量

[例4] 信道容量的计算 二元对称信道，I(X;Y) 时，I(X;Y)最大。 当 即： 因此，二元对称信道的信道容量为： (比特／符号)

二、简单离散信道的信道容量 离散无噪信道 例如： 其信道矩阵是单位矩阵： 满足： I(X;Y)=H(X)=H(Y)

有噪无损信道： 其信道矩阵： 接收到符号Y后，对X符号是完全确定的。 损失熵H(X/Y)=0， 但噪声熵H(Y/X)≠0 所以 ： I(X;Y)=H(X)<H(Y)

即接收到符号Y后不能完全消除对X的不确定性 无噪有损信道 信道的疑义度（损失熵） H(X/Y) ≠0 而噪声熵 H(Y/X)=0。 即接收到符号Y后不能完全消除对X的不确定性 满足： I(X;Y)=H(Y)<H(X)

三、对称离散信道的信道容量 所谓对称信道，是指信道矩阵P中每一行都是由同一集合{p1’，p2’，…，ps’}中的诸元素不同排列组成，且每一列也都是由{q1’，q2’，…，qr’} 中的诸元素不同排列组成。 具有这种对称信道矩阵的信道称为对称离散信道。 一般s≠r。 例如： 都是对称离散信道

都不是对称离散信道

若输入/输出符号个数相同，都等于r，且信道矩阵为： 则此信道称为强对称信道或均匀信道。 这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。 它是对称离散信道的特例。

对称离散信道的平均互信息为： I(X;Y)=H(Y)-H(Y/X) 这一项是固定X＝x 时对Y求和，即对信道矩阵的行求和。由于信道的对称性，所以H(Y/X= x )与 x 无关，为一常数，即 因此对称离散信道的信道容量：

[例5] 某对称离散信道的信道矩阵如下，求其信道容量。 解：s=4, r=2 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。 只有当信道的输出符号是等概率分布时才能达到这个最大值。

四、离散无记忆N次扩展信道的信道容量 一般离散无记忆信道的N次扩展信道

所以，对于一般的离散无记忆信道的N次扩展信道，其信道容量是： 即：CN = NC 一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量： I（X;Y） NC

2.3 容量—代价函数 离散无记忆信道 输入符号集AX 输出符号集AY 转移概率矩阵

代价 对应于每个输入x, 存在一个非负的数值b(x),称为x的代价。 [例]P38：例2.1、例2.2、例2.3

更一般地，扩展为N阶信道： 输入：X=(x1,x2,x3,……,xn) 输出：Y=(y1,y2,y3,……,yn) 代价： 如果n个输入用联合分布函数为p(X)=p(x1,x2,…,xn)的随机变量X=(X1,X2,…,Xn)来描述，则平均代价定义为：

信道的n阶容量—代价函数Cn(β)为： 该函数的性质: 信道的容量—代价函数： 对无记忆信道，C(β)= C1(β) 。 ，Cn(β) 只定义在大于βmin的范围内,且是升函数； 所有Cn(β)都是上凸的； 对于任意DMC， Cn(β) =n C1(β) 对所有的n和β>= βmin都成立。 信道的容量—代价函数： 对无记忆信道，C(β)= C1(β) 。

Cmax 如果β足够大,C(β)实际上是一个常数.定义: Cmax=max{C(β): β >= β min} 即: Cmax=max{I(X;Y)} 定理2.3 如果一个对称DMC有r个输入,s个输出,则输入等概时,DMC达到它的信道容量: Cmax=logs-H(q0,q1,…,qs-1) 其中： (q0,q1,…,qs-1)是转移概率矩阵的任意一行.