第2章 信道及其容量.

Presentation on theme: "第2章 信道及其容量."— Presentation transcript:

1 第2章 信道及其容量

2 信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量。

3 2.1 信道的数学模型和分类 图 数字通信系统的一般模型

4 一、信道的分类 邮递信道 根据载荷消息的媒体不同 电信道 光信道 声信道 输入和输出信号的形式 信道的统计特性 信道的用户多少
根据信息传输的方式

5 根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道

6 二、离散信道的数学模型 条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。

7 根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况：
无干扰信道 有干扰无记忆信道 有干扰有记忆信道

8 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即：
(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)

9 (2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。

10 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类 型。
例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。

11 三、单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。
条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。

12 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。
一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可用下图来描述： a b1 a b2 X Y ar bs P(bj/ai)

13 [例1] 二元对称信道，[BSC，Binary Symmetrical Channel]
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p a1=0 0=b1 a2=1 1=b2 p p是单个符号传输发生错误的概率。 （1-p）表示是无错误传输的概率。 转移矩阵: 1

14 [例2]二元删除信道。[BEC，Binary Eliminated Channel]
p 1－p 1 q 1－q 2 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 1 符号“2”表示接收到了“0”、“1”以外的特殊符号

15 一般离散单符号信道的传递概率可用矩阵形式表示，即
b b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … … … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。

16 Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
2.2 离散信道的信道容量 研究信道的目的是要讨论信道中平均每个符号所能传送的信息量-----信息传输率R 平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。 所以： R = I(X;Y) = H(X) – H(X|Y) (比特/符号) 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t). Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）

17 一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 定义为信道容量C （比特/符号） 若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct： (Bit/s) Ct仍称为信道容量

18 [例4] 信道容量的计算 二元对称信道，I(X;Y) 时，I(X;Y)最大。 当 即： 因此，二元对称信道的信道容量为： (比特／符号)

19 二、简单离散信道的信道容量 离散无噪信道 例如： 其信道矩阵是单位矩阵： 满足： I(X;Y)=H(X)=H(Y)

20 有噪无损信道： 其信道矩阵： 接收到符号Y后，对X符号是完全确定的。 损失熵H(X/Y)=0， 但噪声熵H(Y/X)≠0 所以 ： I(X;Y)=H(X)<H(Y)

21 即接收到符号Y后不能完全消除对X的不确定性
无噪有损信道 信道的疑义度（损失熵） H(X/Y) ≠0 而噪声熵 H(Y/X)=0。 即接收到符号Y后不能完全消除对X的不确定性 满足： I(X;Y)=H(Y)<H(X)

22 三、对称离散信道的信道容量 所谓对称信道，是指信道矩阵P中每一行都是由同一集合{p1’，p2’，…，ps’}中的诸元素不同排列组成，且每一列也都是由{q1’，q2’，…，qr’} 中的诸元素不同排列组成。 具有这种对称信道矩阵的信道称为对称离散信道。 一般s≠r。 例如： 都是对称离散信道

23 都不是对称离散信道

24 若输入/输出符号个数相同，都等于r，且信道矩阵为：
则此信道称为强对称信道或均匀信道。 这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。 它是对称离散信道的特例。

25 对称离散信道的平均互信息为： I(X;Y)=H(Y)-H(Y/X)
这一项是固定X＝x 时对Y求和，即对信道矩阵的行求和。由于信道的对称性，所以H(Y/X= x )与 x 无关，为一常数，即 因此对称离散信道的信道容量：

26 [例5] 某对称离散信道的信道矩阵如下，求其信道容量。
解：s=4, r=2 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。 只有当信道的输出符号是等概率分布时才能达到这个最大值。

27 四、离散无记忆N次扩展信道的信道容量 一般离散无记忆信道的N次扩展信道

28 所以，对于一般的离散无记忆信道的N次扩展信道，其信道容量是：
即：CN = NC 一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量： I（X;Y） NC

29 2.3 容量—代价函数 离散无记忆信道 输入符号集AX 输出符号集AY 转移概率矩阵

30 代价 对应于每个输入x, 存在一个非负的数值b(x),称为x的代价。 [例]P38：例2.1、例2.2、例2.3

31 更一般地，扩展为N阶信道： 输入：X=(x1,x2,x3,……,xn) 输出：Y=(y1,y2,y3,……,yn) 代价： 如果n个输入用联合分布函数为p(X)=p(x1,x2,…,xn)的随机变量X=(X1,X2,…,Xn)来描述，则平均代价定义为：

32 信道的n阶容量—代价函数Cn(β)为： 该函数的性质: 信道的容量—代价函数： 对无记忆信道，C(β)= C1(β) 。
，Cn(β) 只定义在大于βmin的范围内,且是升函数； 所有Cn(β)都是上凸的； 对于任意DMC， Cn(β) =n C1(β) 对所有的n和β>= βmin都成立。 信道的容量—代价函数： 对无记忆信道，C(β)= C1(β) 。

33 Cmax 如果β足够大,C(β)实际上是一个常数.定义: Cmax=max{C(β): β >= β min} 即: Cmax=max{I(X;Y)} 定理2.3 如果一个对称DMC有r个输入,s个输出,则输入等概时,DMC达到它的信道容量: Cmax=logs-H(q0,q1,…,qs-1) 其中： (q0,q1,…,qs-1)是转移概率矩阵的任意一行.