第五章 信道编码定理
信道编码定理 1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理
1.离散信道编码问题
纠错编码器 将输入的信息数字序列变成另外一个数字序列，人为地按照一定的规律增加多余度，以便纠正传输过程中出现的错误，以尽可能小的错误概率恢复原来的信源数字序列 有限状态开关网络： 信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc n0tc=k0ts
纠错编码器 送给纠错编码器的消息是经过最佳信源编码后，信息速率为比特/秒的离散二元或q元数字序列。 分组码 每K个信息数字为一组，计算出N个编码数字，称这些数字为一个码字。通常N为整数。 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还依赖于前m个信息段的信息数字，即总共与（m＋1）k0个信息数字有关。
几个概念 码率 R＝K/N 误组率 误比特率
2.信道译码问题
译码错误概率 －误组率
译码准则 最小错误概率译码：使pe(y)最小 最大后验概率译码： 选m，使得pr(m|y)最大
最大似然译码 译码原则： 所有Q(m)相同
最大对数似然译码
最小汉明距离译码 汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道
最小汉明距离译码
判决区域 Ym: lnp(y|xm) > lnp(y|xm’) 给定m,错误概率
高斯信道 若发送信号能量相等,最大相关译码
Fano不等式和信道编码逆定理
Fano不等式和编码逆定理 信源序列：u=(u1,u2,…,uL) ∈UL 码序列（信道输入）：x=(x1,x2,…,xN) 接收序列（信道输出）： y=(y1,y2,…,yN) 译码器输出：v=(v1,v2,…,vL) Fano不等式主要说明Pb, HL(U), 和I(UL;VL)之间的关系
Fano不等式
Fano不等式 logM Log(M-1) 做了一次译码判决后所保留的关于信源的不确定性可分为2个部分：第一，判决的结果是对的还是错的，其不确定性：H(Pb)；第二，若判决是错的，为确定到底是其余M -1种可能事件中哪一个，所需信息量不超过log(M -1)
信道编码逆定理 离散平稳源有M个字母，熵为HL(U)(limL->∞)，信道容量为C,当HL(U)>(N/L)C时,误码率为非零值。
联合典型序列及信道编码定理
联合典型序列 x是e典型序列 y 是e典型序列 xy是e典型序列 则序列对x和y是联合e典型序列
联合典型序列
信道编码定理 思路：编码规则采用随机编码；译码规则是联合典型序列译码 Shannon信道编码定理：给定容量为C的离散无记忆信道{X,P(x|y),Y},若编码速率R<C,则R是可达的 可达：对给定离散无记忆信道和任意e>0,若有一种编码速率为R的码，在N足够大时，能使Pe<e，就称R是可达的。 思路：编码规则采用随机编码；译码规则是联合典型序列译码
错误概率上限 并集限 巴塔恰亚限 Gallager限