普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第3章信道与信道容量 信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 信道参数 信道种类 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 二进制对称信道（BSC） 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 离散无记忆信道 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 离散输入、连续输出信道 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.1信道分类和表示参数 波形信道 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 信道容量 比特/符号（bits/symbol或bits/channel use） 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 无干扰离散信道的信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 X、Y一一对应 C＝maxI(X;Y)＝log n 多个输入变成一个输出 C＝maxI(X;Y)＝maxH(Y) 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 对称DMC信道例子 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 输入对称 输出对称 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 对称信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 Eg. 求信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 Eg. 求信道容量 信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 二进制对称信道容量 C＝1－H（） 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)… 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)] 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 Eg. 求信道容量 方法一： 信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 方法二 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 方法三 将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 方法三 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 Eg. 求信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.2离散单个符号信道及其容量 一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I I(ai;Y)  C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 离散序列信道 信道 p(Y/X) Y X X=(X1X2…XL) Xl{a1,a2,…,an} Y=(Y1Y2…YL) Yl {b1,b2,…,bm} 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 离散无记忆序列信道 1 1 1 1 1 进一步信道是平稳的 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 离散无记忆序列信道 如果输入矢量X中的各个分量相互独立 如果信道无记忆 1 1 1 1 1 当信道平稳时CL=LC1，一般情况下，I(X;Y)  LC1 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 1 1 1 1 1 BSC的二次扩展信道 00 00 X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2 01 01 10 10 11 11 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 扩展信道 1 1 1 1 若p＝0.1，则C2＝2－0.938＝1.062比特/序列 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.3离散序列信道及其容量 独立并联信道 序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) 1 1 1 1 X1 p(Y1/X1) Y1 X2 p(Y2/X2) Y2 …… XL p(YL/XL) YL   普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 连续单符号加性信道 平均互信息为I(X;Y)＝HC(X)－HC(X/Y) ＝HC(Y)－HC(Y/X) ＝HC(X)＋HC(Y)－HC(XY) 信道容量 x (xR) p(y/x) y (yR) n pn(n)＝N(0, 2) 连续单符号信道 噪声是均值为零、方差为2的加性高斯噪声 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 连续单符号加性信道 pY(y)＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以pX(x)＝N(0,S) 信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 C＝1/2 log(1+SNR) 若是加性的，可以求出信道容量的上下界 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 多维无记忆加性连续信道 信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL 是均值为零的高斯噪声 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特/L维自由度 因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 讨论 均值为零、方差相同 均值为零、方差不同，总平均功率受限 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 讨论 各个时刻的信道输出功率相等设为常数 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 eg有一并联高斯加性信道，各子信道噪声方差为 ＝0.1， ＝0.2， ＝0.3， ＝0.4， ＝0.5， ＝0.6， ＝0.7， ＝0.8， ＝0.9， ＝1.0 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 限时限频限功率加性高斯白噪声信道 波形信道的平均互信息为 信道容量为 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 限时限频限功率加性高斯白噪声信道 限频(W)高斯白噪声过程可分解L＝2WtB维统计独立的随机序列 其中： 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 讨论 Ct SNR 信道容量与信噪比的关系 带宽W一定时，信噪比SNR与信道容量Ct成对数关系 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 讨论 当输入信号功率PS一定，增加信道带宽，可以增加容量 ln(1+x)  x PS/N0＝ln 2＝-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB （香农限） 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 讨论 Ct/W (bit/s/Hz) 不可实现区域 可实现区域 1 -1.6 0 SNR(dB) 频带利用率与信噪比的关系 Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3.4 连续信道及其容量 Eg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量 普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著