普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著
第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数信道参数信道种类普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数二进制对称信道（BSC）普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数离散无记忆信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数离散输入、连续输出信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.1信道分类和表示参数波形信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒信道容量比特/符号（bits/symbol或bits/channel use）普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量无干扰离散信道的信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 X、Y一一对应 C＝maxI(X;Y)＝log n 多个输入变成一个输出 C＝maxI(X;Y)＝maxH(Y) 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量对称DMC信道例子普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量输入对称输出对称普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量对称信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 Eg. 求信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 Eg. 求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量二进制对称信道容量 C＝1－H（）普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)… 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)] 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 Eg. 求信道容量方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号方法三将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量方法三普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量 Eg. 求信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.2离散单个符号信道及其容量一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I I(ai;Y)  C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量离散序列信道信道 p(Y/X) Y X X=(X1X2…XL) Xl{a1,a2,…,an} Y=(Y1Y2…YL) Yl {b1,b2,…,bm} 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量离散无记忆序列信道 1 1 1 1 1 进一步信道是平稳的普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量离散无记忆序列信道如果输入矢量X中的各个分量相互独立如果信道无记忆 1 1 1 1 1 当信道平稳时CL=LC1，一般情况下，I(X;Y)  LC1 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 1 1 1 1 1 BSC的二次扩展信道 00 00 X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2 01 01 10 10 11 11 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量扩展信道 1 1 1 1 若p＝0.1，则C2＝2－0.938＝1.062比特/序列普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.3离散序列信道及其容量独立并联信道序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) 1 1 1 1 X p(Y1/X1) Y1 X p(Y2/X2) Y2 …… XL p(YL/XL) YL 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量连续单符号加性信道平均互信息为I(X;Y)＝HC(X)－HC(X/Y) ＝HC(Y)－HC(Y/X) ＝HC(X)＋HC(Y)－HC(XY) 信道容量 x (xR) p(y/x) y (yR) n pn(n)＝N(0, 2) 连续单符号信道噪声是均值为零、方差为2的加性高斯噪声普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量连续单符号加性信道 pY(y)＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以pX(x)＝N(0,S) 信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 C＝1/2 log(1+SNR) 若是加性的，可以求出信道容量的上下界普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量多维无记忆加性连续信道信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL 是均值为零的高斯噪声普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道比特/L维自由度因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量讨论均值为零、方差相同均值为零、方差不同，总平均功率受限普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量讨论各个时刻的信道输出功率相等设为常数 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量 eg有一并联高斯加性信道，各子信道噪声方差为＝0.1，＝0.2，＝0.3，＝0.4，＝0.5，＝0.6，＝0.7，＝0.8，＝0.9，＝1.0 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量限时限频限功率加性高斯白噪声信道波形信道的平均互信息为信道容量为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量限时限频限功率加性高斯白噪声信道限频(W)高斯白噪声过程可分解L＝2WtB维统计独立的随机序列其中：普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量限时限频限功率加性高斯白噪声信道信道的容量单位时间的信道容量香农公式普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量讨论 Ct SNR 信道容量与信噪比的关系带宽W一定时，信噪比SNR与信道容量Ct成对数关系普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量讨论当输入信号功率PS一定，增加信道带宽，可以增加容量 ln(1+x)  x PS/N0＝ln 2＝-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB （香农限）普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量讨论 Ct/W (bit/s/Hz) 不可实现区域可实现区域 1 SNR(dB) 频带利用率与信噪比的关系 Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

3.4 连续信道及其容量 Eg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

Similar presentations

Presentation on theme: "普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著"— Presentation transcript:

Similar presentations

About project

反馈

请登录

Auth with social network:

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著

Similar presentations

Presentation on theme: "普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著"— Presentation transcript:

Similar presentations

About project

反馈

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著

Presentation on theme: "普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著"— Presentation transcript: