第五章 信道编码定理.

Presentation on theme: "第五章 信道编码定理."— Presentation transcript:

1 第五章 信道编码定理

2 信道编码定理 1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

3 1.离散信道编码问题

4 纠错编码器 将输入的信息数字序列变成另外一个数字序列，人为地按照一定的规律增加多余度，以便纠正传输过程中出现的错误，以尽可能小的错误概率恢复原来的信源数字序列 有限状态开关网络： 信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc n0tc=k0ts

5 纠错编码器 送给纠错编码器的消息是经过最佳信源编码后，信息速率为比特/秒的离散二元或q元数字序列。 分组码
每K个信息数字为一组，计算出N个编码数字，称这些数字为一个码字。通常N为整数。 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还依赖于前m个信息段的信息数字，即总共与（m＋1）k0个信息数字有关。

6 几个概念 码率 R＝K/N 误组率 误比特率

7 2.信道译码问题

8 译码错误概率 －误组率

9 译码准则 最小错误概率译码：是pe(y)最小 最大后验概率译码： 选m，使得pr(m|y)最大

10 最大似然译码 译码原则： 所有Q(m)相同

11 最大对数似然译码

12 最小汉明距离译码 汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道

13 最小汉明距离译码

14 判决区域 Ym: lnp(y|xm) > lnp(y|xm’) 给定m,错误概率

15 高斯信道 若发送信号能量相等,最大相关译码

16 Fano不等式和信道编码逆定理

17 Fano不等式和编码逆定理 信源序列：u=(u1,u2,…,uL) ∈UL 码序列（信道输入）：x=(x1,x2,…,xN)
接收序列（信道输出）： y=(y1,y2,…,yN) 译码器输出：v=(v1,v2,…,vL) Fano不等式主要说明Pb, HL(U), 和I(UL;VL)之间的关系

18 Fano不等式

19 Fano不等式 logM Log(M-1) 做了一次译码判决后所保留的关于信源的不确定性可分为2个部分：第一，判决的结果是对的还是错的，其不确定性：H(Pb)；第二，若判决是错的，为确定到底是其余M -1种可能事件中哪一个，所需信息量不超过log(M -1)

20 信道编码逆定理 离散平稳源有M个字母，熵为HL(U)(limL->∞)，信道容量为C,当HL(U)>(N/L)C时,误码率为非零值。

21 联合典型序列及信道编码定理

22 联合典型序列 x是e典型序列 y 是e典型序列 xy是e典型序列 则序列对x和y是联合e典型序列

23 联合典型序列

24 信道编码定理 思路：编码规则采用随机编码；译码规则是联合典型序列译码
Shannon信道编码定理：给定容量为C的离散无记忆信道{X,P(x|y),Y},若编码速率R<C,则R是可达的 可达：对给定离散无记忆信道和任意e>0,若有一种编码速率为R的码，在N足够大时，能使Pe<e，就称R是可达的。 思路：编码规则采用随机编码；译码规则是联合典型序列译码