第四章 信道及其容量
信道及其容量 4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类 离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个是连续的 时间离散的连续信道：信道输入和输出是连续的时间序列 波形信道：输入和输出都是时间的实函数x(t), y(t)
4.1 信道分类 两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道
4.2 离散无记忆信道
离散无记忆信道(定义4.2.1,4.2.2) 平稳信道
例：二元对称信道 p=0.1 1-p p 1
信道容量
信道容量 定义4.2.3 离散无记忆信道的信道容量定义为： 即C为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的分布称为最佳分布。 信道容量表示了信道传送信息的最大能力
定理4.2.1 对于DMC，N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.2 Q={Q0,Q1,…,QK-1}达到信道容量的充要条件 在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息量大于其它任何输入与所有输出之间的平均互信息，则可以通过经常的采用该特定输入k增大I(X ; Y)
对称DMC容量的计算 信道转移概率矩阵
对称DMC容量的计算 若信道转移概率矩阵所有行矢量都是第一行的置换，称为关于输入对称。
对称DMC容量的计算 P的所有列都是第一列的一种置换，关于输出是对称的 当输入事件等概，Qk=1/K
对称DMC的容量计算 输出集Y可划为若干和子集,每个子集对应的信道转移概率矩阵P中列所组成的子阵具有下列性质 该信道称为准对称信道 每一行都是第一行的置换 每一列都是第一列的置换 该信道称为准对称信道 关于输入对称 Y的划分只有一个时，关于输入和输出均对称，称为对称信道 （例）
对称DMC容量的计算 定理4.2.3 实现准对称DMC信道容量的输入分布为等概分布 YS：子阵中每一列都是第一列置换 对每个k相同 对每个j相同
对称DMC容量计算 K元对称信道: C = logK - H(p) - plog(K-1) 二元对称信道: C = 1 - H(p) 准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log((1-q)/2) 二元纯删除信道: C=1-q
离散无记忆模K加性噪声信道 Z=X=Y={0,1,…,K-1} y=x+z mod K
一般DMC的容量计算 信道转移矩阵是非奇异方阵，假定所有Qk>0
一般DMC的容量计算
4.3 信道的组合
积信道 C1＝maxI(X1;Y1) C2＝maxI(X2;Y2) 信道1和信道2同时传递消息，输入集X=X1×X2,输出集Y=Y1×Y2,转移概率p(jj’|kk’)=p(j|k)p(j’|k’) C=C1+C2 信道1 P(j|k) X1 Y1 信道2 P(j‘|k’) X2 Y2
和信道 单位时间内可随机选用信道1和信道2中的一个，选用信道1的概率为p1，选用信道2的概率为p2， p1＋p2＝1 输入空间X=X1+X2， Y=Y1+Y2，
级联信道 信道1的输出作为信道2的输入
4.4 时间离散的无记忆连续信道
时间离散的连续信道 时间离散信道 无记忆信道 平稳(恒参)信道
可加噪声信道 p(y|x)=p(y-x)=p(z) x y=x+z z 信道容量为对于所有的输入分布求H(Y)的最大值
可加噪声信道 高斯噪声信道 输入为正态分布,在此条件下,输出也为正态分布
平均功率受限的可加噪声信道
功率受限的时间离散信道容量 输入信号平均功率不超过S的时间离散信道容量定义为： 无记忆平稳条件下
平均功率受限的时间离散、恒参、可加高斯噪声信道容量 最佳输入分布是均值为0，方差为S的高斯型分布
平均功率受限时间离散恒参可加噪声信道容量 给定信号功率，高斯信道是最差的信道，在它的作用下信道容量最小
平行可加高斯噪声信道(注水定理) x=(x1,…,xN), y=(y1,…,yN)
注水定理的说明 积信道 当各分信道的干扰功率不等，需要对输入信号总能量进行适当分配 比较门限B 迭代算法
4.5 波形信道
波形信道 信道的输入、输出都是任意时间的函数－波形信道或时间连续的连续信道
可加波形信道 y(t)=x(t)+z(t)
可加波形信道
可加波形信道
波形信道 …… 波形信道 x1 Z1（高斯随机变量） y1=x1+z1 x2 z2 （高斯随机变量） y2=x2+z2 x(t) z(t)(白高斯过程) y(t)=x(t)+z(t)
可加波形信道
Shannon公式 N=2WT Shannon极限 -1.59dB W趋于无穷大，单位时间的信道容量
Shannon定理 信道带宽W，若信噪比SNR是P/s2,能传送多少比特信息？ 可以利用Nyquist准则和信息论的基本知识推导Shannon公式。