2.1 几个容易混淆的概念 2.2 信息的度量 2.3 信道模型及信道容量 2.4 信道编码 第二章 信息论基础 2.1 几个容易混淆的概念 2.2 信息的度量 2.3 信道模型及信道容量 2.4 信道编码

2.1 几个容易混淆的概念 信息、消息、信号 消息 Message： 通常把语言和声音、音乐、文字和符号、数据、图像等所代表的内容统称为消息； 信息 Information： 消息内容中所给予收信者的新知识或消息中包含的有意义的内容； 信号 Signal： 指与消息相对应的电信号或光信号，是消息的物理实现。 三者之间的关系 信息是通信的实质内容；消息是信息的表现形式；信号是传递信息的载体； 例如：911事件 按时域特性分：离散信号（数字信号）连续信号（模拟信号） 按频域特性分：低通信号、带通信号 按周期性分：周期信号非周期信号 按是否经过调制分： 基带信号、频带信号 按确定性分：确定信号、随机信号 按能量分布分：能量信号（能量有限的信号）、功率信号（能量为无限大，但平均功率有限的信号）

2.2 信息的度量 信息可以度量，消息中所含信息的量的多少称为信息量。 信息量的大小与消息所出现的可能性（概率）有关。概率愈小，信息量愈大；反之信息量愈小。 几个相互独立的事件所构成消息的信息量是各个立事件的信息量之和。

2.1.1 信息量的数学定义 信息量的表示 事件A：出现概率为p(A) 则： 单位：a=2 bit 比 特 a=e nit 奈 特 2.1.1 信息量的数学定义 信息量的表示 事件A：出现概率为p(A) 则： 单位：a=2　 bit 比 特 a=e nit 奈 特 a=10 hatle 哈特莱

几种离散信源的信息量 二进制码元只有1, 0. 每个码元P＝1/2，且独立，因此 I=Log2(1/P)=Log22=1 (bit) I=Log216=4 (bit) 拉丁字母26个，若它们独立等概，则每字母的 I = Log226 = 4.7 (bit) 一级汉字3755个, 若它们独立等概，则每汉字 I = Log23375 = 11.8(bit)

一个信息源由4个符号“0”、“1”、“2”、“3”组成，它们出现的概率分别是3/8、1/4、1/4、1/8，且每个符号的出现都是相互独立的，试求某个信息： 2010201302130012032101003210100321010023102002010312032100120210 的信息量。 解：在这条共57个符号的消息中， “0”出现了23次、“1”出现了14次、“2”出现13次、“3”出现7次；根据信息的可加性，可以计算出整条消息的信息量。 I0=23×Log2(8/3)=33 (bit) I1=14×Log2(4)=28 (bit) I2=13×Log2(4)=26 (bit) I3=7×Log2(8)=21 (bit) 则该消息的信息量为： I=I0 + I1 + I2 + I3 =33+28+26+21=108 (bit)

2.2.2 平均信息量—熵（Entropy） 每个事件（符号）所含信息量的统计平均值称为信源熵。 消息的长度为n=n1+n2+……+nN。 （bit/符号）

如上例，57个符号组成的消息 整条消息的信息量为： I=I0 + I1 + I2 + I3 =33+28+26+21=108 (bit) 平均一个符号的信息量为： H=I/符号数=108/57=1.89 (bit/符号) 当消息的长度很长时，用上面讨论的以符号出现的概率来计算信息量和平均信息量都很繁琐。改用信息熵的方法来计算； H（x）= -∑p(xi)log2p(xi) = (-3/8log23/8) + (-1/4log21/4) + (-1/4log21/4) + (-1/8log21/8) = 1.906 (bit/符号) 两种计算方法的结果误差将随着消息序列长度的增加而逐渐趋于零。

例：信源由4个符号组成0、1、2、3。各符号出现的概率分别为1/2、1/4、1/8、1/8，且相互独立，求信源的平均信息量（熵）。 解：

熵 的 性 质 （1）非负性 （2）极值性 （bit/符号）

2.3 信道模型及信道容量 信道概述 —— 信道定义和分类 信道模型 —— 调制（模拟）和编码（数字）信道模型 恒、随参信道对信号传输的影响 —— 无失真传输条件、幅频与相频失真等 信道容量 —— 有扰连续信道的容量

信道的定义 信道是指以传输媒质为基础的信号通道，它是通信系统必不可少的组成部分，信道的特性将直接影响到系统的总特性。 狭义信道：发射端和接收端之间传输媒质的总称，是任何一个通信系统不可或缺的组成部分。按传输媒质的不同，狭义信道又可分为有线信道与无线信道两类。 广义信道：除包括传输媒质外，还包括有关的变换装置(如发送设备、接收设备、馈线与天线、调制器、解调器等)。按照它包含的功能，广义信道又可以划分为调制信道和编码信道。

信道的定义 信源 编码器 调制器 发送器 媒介 接收器 解调器 译码器 信宿 调制信道 编码信道 调制信道:用于研究调制与解调问题是方便和恰当的。 编码信道:用于研究编码与译码问题时使问题的分析更容易。

信道数学模型 对于二对端的信道模型，其输入与输出的关系可以表示为：eo(t)=f [ei(t)] + n(t) 线性时变网络 ei(t) eo(t) 其中： ei(t)———输入的已调信号； eo(t)———信道总的输出波形； n(t)——— 加性噪声 f [ei(t)]表示已调信号通过网络所发生的线性变换。我们假定能够把f [ei(t)]写成k(t) ei(t)的形式，则上述信道数学模型转化为：eo(t)=k(t)ei(t) + n(t)

信道数学模型 在分析信道乘性干扰k(t)时，可以把信道粗略的分为两大类： 常见的恒参信道有：架空明线和电缆、中长波地波传播、超短波及微波视距传播、人造卫星中继、光导纤维以及光波视距传播等。

恒参信道举例 明线：平行而相互绝缘的架空裸线线路。传输损耗低；易受气候和天气的影响；对外界噪声干扰敏感。

恒参信道举例 对称电缆：同一保护套内有许多对相互绝缘的双导线的传输媒质；导线材料是铝或铜，直径为0.4～1.4mm；为减小各线对之间的相互干扰，每一对线都拧成扭绞状；由于这些结构上的特点，电缆的传输损耗比明线大得多，但其传输特性比较稳定。对称电缆主要用于市话中继线路和用户线路，在许多局域网如以太网中也采用高等级的UTP电缆进行连接。

恒参信道举例 同轴电缆：由同轴的两个导体构成，外导体是一个圆柱形的空管(金属丝网)，内导体是金属线(芯线)，中间填充着介质；外导体接地，起屏蔽作用，外界噪声很少进入其内部。在有线电视网络中大量采用这种结构的同轴电缆。

恒参信道举例 信道类型 通话容量（路） 频率范围(kHz) 传输距离(km) 明线 1+3 0.3～27 300 1+3+12 0.3～150 120 对称电缆 24 12～108 35 60 12～252 12～18 小同轴电缆 60～1 300 8 960 60～4 100 4 中同轴电缆 1 800 300～9 000 6 2 700 300～12 000 4.5 10 800 300～60 000 1.5

恒参信道举例 光纤信道：以光导纤维(简称光纤)为传输媒质、光波为载波的信道。 1966年华裔科学家高锟（Charles Kuen Kao）发表《光频率的介质纤维表面波导》，奠定了光纤发展和应用的基础。被认为是“光纤之父”。 特点：损耗低、频带宽、线径细、重量轻、可弯曲半径小、不怕腐蚀、节省有色金属以及不受电磁干扰等优点。

无线电视距中继 定义：工作频率在超短波和微波波段时，电磁波基本上沿视线传播，通信距离依靠中继方式延伸的无线电线路；相邻中继站间距离一般在40～50km； 适用场合：长途干线、移动通信网及某些数据收集(如水文、气象数据的测报)系统中； 组成：终端站、中继站及各站间的电波传播路径； 特点：传输容量大、发射功率小、通信稳定可靠，以及和同轴电缆相比，可以节省有色金属等优点。

无线电视距中继 无线电中继信道的构成

卫星中继信道 同步通信卫星：轨道在赤道平面上的人造卫星，当它离地面高度为35860km时，绕地球运行一周的时间恰为24小时，采用三个适当配置的同步卫星中继站就可以覆盖全球(除两极盲区外)；具有传输距离远、覆盖地域广、传播稳定可靠、传输容量大等突出的优点； 移动通信卫星：不在静止轨道运行的卫星，对发射功率的要求较小，适合于移动通信和个人通信； 组成：由通信卫星、地球站、上行线路及下行线路构成；上行与下行线路是地球站至卫星及卫星至地球站的电波传播路径，而信道设备集中于地球站与卫星中继站中。

卫星中继信道概貌

卫星中继信道的特点 能够增大一次转发的距离； 增大了对发射功率的要求； 增大了信号传输的延迟时间； 此外，发射卫星也是一项巨大的工程。

平流层中继通信 平流层通信是指利用位于平流层的高空平台电台HAPS(High Altitude Platform Stations)代替卫星作为基站的通信，其高度距地面3—22km。 高空平台电台包括充氦飞艇、气球或太阳能动力飞机，在20km高空，可覆盖半径500km的地面。在平流层安置250个电台，可覆盖全球90%以上的人口。

平流层中继通信 平流层通信系统的特点： 费用低廉 时延小 建设快 容量大 具有很好的发展前景。

大气对电磁波传播的影响 水蒸气谐振点：23GHz、180GHz、350GHz 氧气谐振点：62GHz、120GHz 大气（主要是氧气）、水蒸气和降水会吸收和散射电磁波，频率越高，影响越大。在某些频率范围内，由于分子谐振现象，会出现衰减峰值。 水蒸气谐振点：23GHz、180GHz、350GHz 氧气谐振点：62GHz、120GHz

恒参信道特性及其对信号传输的影响 群迟延：当非单一频率的信号通过该信道时，信号频谱中的不同频率分量将有不同的群迟延，即它们到达的时间不一样，从而引起信号的畸变。

恒参信道特性及其对信号传输的影响 非线性畸变：由信道中元器件的振幅特性非线性引起的，造成谐波失真及若干寄生频率等； 频率偏移：由信道中接收端解调载频与发送端调制载频之间偏差造成的； 相位抖动：由调制和解调载频不稳定造成的，相位抖动相当在发送信号上附加一个小指数的调频。 线性失真：包括频率失真和相位失真；可用“线性补偿网络”纠正，即“均衡”。 非线性失真：包括非线性、频率偏移、相位抖动；难以消除，可通过系统设计降低。

随参信道举例 随参信道：信道传输特性随时间随机快速变化的信道。 短波电离层反射信道 超短波流星余迹散射信道 超短波及微波对流层散射信道 超短波电离层散射 超短波超视距绕射 陆地移动信道

短波电离层反射信道 短波的定义：波长为100～10m的无线电波(相应的频率为3～30MHz) ； 短波信道：既可沿地表面传播，也可由电离层反射传播； 地波传播：频率较低的电磁波有一定的绕射能力，可沿地球表面传播，一般是近距离的，限于几十公里范围； 天波传播：借助于电离层的一次反射或多次反射可传输几千公里，乃至上万公里的距离。

短波电离层反射信道 离地面高60～600km的大气层称为电离层，是短波通信的主要路径；电离层是由分子、原子、离子及自由电子组成的；形成电离层的主要原因是太阳辐射的紫外线和x射线。 D层：高60 ~ 80 km E层：高100 ~ 120 km F层：高150 ~ 400 km F1层：140 ~ 200 km F2层：250 ~ 400 km 晚上：D层、F1层消失， E层、F2层减弱。 D E F F2 F1 地 面

短波电离层反射信道 D、E层主要是吸收电波，使电波能量损耗； F2层是反射层，其高度为250~300 km，所以一次反射的最大距离约为4000 km，如果通过两次反射，那么通信距离可达8000km。

短波电离层反射信道 天波通信频率的选取 为实现短波通信，在选用工作频率时要考虑两点： 工作频率应小于最高可用频率； 选用频率的电磁波在电离层的吸收较小。在白天，电离层较厚，F2层的电子密度较大，最高可用频率较高；在夜晚，电离层较薄，F2层的电子密度较小，最高可用频率要比白天低。

短波电离层反射信道 优点：要求的功率较小，终端设备的成本较低，传播距离远，受地形限制较小，不易受到人为破坏。 缺点：传输可靠性差，使用复杂，存在快衰落和多径时延失真，干扰电平高。 短波电离层反射信道现在仍然是远距离传输的重要信道之一。

短波电离层反射信道 多径传播： (a) 一次反射和两次反射； (b) 反射区高度不同； (c) 寻常波与非寻常波； (d) 漫射现象。

对流层散射信道 对流层简介：离地面10～12km以下的大气层。在对流层中，由于大气湍流运动等原因产生了不均匀性，故引起电波的散射；散射具有强方向性，且集中于前方。 对流层散射信道：一种超视距的传播信道，其一跳的传播距离约为100～500km，可工作在超短波和微波波段。

对流层散射信道 对流层散射信道中的衰落：可分为慢衰落和快衰落。 前者取决于气象条件：一年之中，夏季的信号比冬季强，一天之中，中午的信号比早晚弱； 后者由多径传播引起：散射体积内各不均匀气团散射的电波，经过不同路径到达接收点，其影响之一是信号的振幅和相位快速随机变化。 对流层散射信道的应用场合： 干线通信需要每隔300km左右建立一个中继站，构成无线电中继线路，以达到远距离传输； 点对点通信主要应用于海岛与陆地、边远地区与中心城市之间的通信。

超短波流星余迹散射信道 流星余迹散射是由于流星经过大气层时产生的很强的电离余迹使电磁波散射的现象。 流星余迹的高度约为80—120km，余迹长度为15—40km。

超短波流星余迹散射信道 流星余迹散射的频率范围为30—100MHz，传播距离可达1000km以上； 一条流星余迹的存在时间在十分之几秒到几分钟之间，但是空中随时都有大量人眼看不见的流星余迹存在，能够随时保证信号断续的传输； 流星余迹散射通信多用于低速存储、高速突发的断续方式传输数据。

陆地移动信道 工作频段主要在VHF和UHF频段，电波传播特点是以直射波为主。 由于城市建筑群和其他地形地物的影响，电波在传播过程中会产生反射波、散射波以及它们的合成波，电波传输环境较为复杂。

移动 交换 中心 电话

铁塔增高示例 WCDMA天线 GSM天线 垂直隔离1m

随参信道特性及其对信号传输的影响 随参信道比恒参信道复杂得多，它对信号传输的影响也比恒参信道严重得多。 特点： 对信号的衰耗随时间随机变化； 信号传输的时延随时间随机变化； 多径传播。

2.3.2 信道中的噪声 我们将信道中不需要的电信号统称为噪声。通信系统中没有传输信号时也有噪声，噪声永远存在于通信系统中。由于这样的噪声是叠加在信号上的，所以有时将其称为加性噪声。噪声对于信号的传输是有害的，它能使模拟信号失真，使数字信号发生错码，并随之限制着信息的传输速率。 一、按照来源分类 噪声可以分为人为噪声和自然噪声两大类。 1、人为噪声。它是由人类的活动产生的，例如电钻和电气开关瞬态造成的电火花、汽车点火系统产生的电火花、荧光灯产生的干扰、其它电台和家电用具产生的电磁波辐射等。

2、自然噪声。它是自然界中存在的各种电磁波辐射，例如闪电、大气噪声，以及来自太阳和银河系等的宇宙噪声。此外还有一种很重要的自然噪声，即热噪声。热噪声来自一切电阻性元器件中电子的热运动。例如，导线、电阻和半导体器件等均会产生热噪声。所以热噪声无处不在，不可避免地存在于一切电子设备中。 二、按照性质分类 噪声可以分为脉冲噪声、窄带噪声和起伏噪声三类。 1、脉冲噪声。它是突发性地产生的幅度很大、持续时间很短、间隔时间很长的干扰。由于其持续时间很短，故其频谱较宽，可以从低频一直分布到甚高频，但是频率越高其频谱的强度越小。电火花就是一种典型的脉冲噪声。

2、窄带噪声。它可以看作是一种非所需的连续的已调正弦波，或简单地就是一个幅度恒定的单一频率的正弦波。通常它来自相邻电台或其它电子设备。窄带噪声的频率位置通常是确知的或可以测知的。 3、起伏噪声。它是在时域和频域内都普遍存在的随机噪声。热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起伏噪声。 各种噪声中，脉冲噪声不是普遍地、持续地存在的，对于话音通信的影响也较小，但是对于数字通信可能有较大影响。同样，窄带噪声也是只存在于特定频率、特定时间和特定地点，所以它的影响也是有限的。只有起伏噪声无处不在。所以，在讨论噪声对于通信系统的影响时，主要是考虑起伏噪声（特别是热噪声）， 它是通信系统最基本的噪声源。

通信系统模型中的“噪声源”就是分散在通信系统各处加性噪声（主要是起伏噪声）的集中表示，它概括了信道内所有的热噪声、散弹噪声和宇宙噪声等。 根据大量的实践证明，起伏噪声是一种高斯噪声，且在相当宽的频率范围内其频谱是均匀分布的，好像白光的频谱在可见光的频谱范围内均匀分布那样，所以起伏噪声又常称为白噪声。因此，通信系统中的噪声常常被近似地表述成高斯白噪声。在讨论通信系统性能受噪声的影响时，我们主要分析的就是高斯白噪声的影响。

2.3.3 信道容量

香农公式给出了通信系统所能达到的极限信息传输速率，达到极限信息速率并且差错率为零的通信系统称为理想通信系统。 但是，香农公式只证明了理想通信系统的“存在性”，却没有指出这种通信系统的实现方法。因此，理想通信系统的实现还需要我们不断地努力。

2.4 信道编码 数字信号在传输过程中，受到线路本身电器特性造成的随机噪声、信号幅度的衰减、频率和相位的畸变、信号在线路上产生反射造成的回音效应、相邻线路间的串扰以及各种外界因素(如大气中的闪电、开关的跳火、外界强电流磁场的变化、电源的波动等)都会造成信号的失真。从而使信号码元波形变坏，导致接收端可能发生错误判决。 通常，在设计数字通信系统时；首先应从合理地选择调制、解调方法；时域/频域均衡；发送功率等方面考虑。若采取上述措施仍难以满足要求，则要考虑采用信道编码（即差错控制编码），将误比特率进一步降低，以满足系统指标要求。

差错控制常用方法 1、反馈重发（ARQ）发端发送能够检错的码字；接收端则根据编码规则，判断收到的码序列中有无错误发生，然后通过反馈信息把判决信号告诉发送端。发送端根据判断信号，把接收端认为有错误的信息再重传，直到接收端认为正确接收为止。 2、前向纠错（FEC）发端发送能够被纠错的码；接收端在收到这些码后，通过纠错译码器不仅能自动地发现错误，而且能自动地纠正接收码字中的错误。优点是不需要反馈信道，能进行一个用户到多个用户的同播通信，译码实时性较好，控制电路比ARQ简单。缺点是译码设备复杂，所选用的纠错码必须与信道最坏的干扰情况相匹配，因而对信道的适应性较差。 3、混合纠错（HEC）发送端发送的码不仅能够被检测出错误，而且还具有一定的纠错能力；接收端收到码序列后，首先检测错误情况，如果在纠错码的纠错能力以内，则自动纠错；如果错误太多，超过了纠错能力，但能检测出来，则接收端通过反馈信道，要其发端重新传送有错信息。

差错控制编码的基本原理 通常原始的待传输数据码序列本身变化是随机的，一般不带有任何规律性；差错控制编码方法通过对发送码元的进一步研究，引入一些监督码元。这些监督码元与信息码元之间以某种确定的规则相互关联（约束）。接收端通过对既定规则的检测，就可以发现传输中的错误，并检测甚至纠正错误码元。 至于加多少冗余、加什么样的相关性最好，这正是差错控制编码技术所要解决的间题，但必须有冗余，这是差错控制编码的基本原理。

差错控制编码的分类 检错码、纠错码 线性码、非线性码 分组码、卷积码 系统码、非系统码 二进制码、多进制码

常用差错控制编码方法 1、奇偶校验码 奇偶校验是用于数据通信系统的最简单、最常用和费用最低的差错检错方法。其编码规则是：在n-1个信息元后面附加一个监督码元，使得长为n的码字中1的个数保持为奇数或偶数。 设码组的长度为n，则奇偶校验满足下列条件： a0 a1 an-1 … = 1 偶校验满足下列条件： a0 a1 an-1 … = 0 值得说明的是，奇偶校验码只能发现奇数个错，对于偶数个数却无能为力。

常用差错控制编码方法 2、方阵校验码 方阵校验码也称行列监督码或水平垂直一致监督码，作为二维的奇偶校验码，这种码可以克服奇偶监督码不能发现偶数个差错的缺点，并且是一种用以纠正突发差错的简单纠正编码。 其基本原理与简单的奇偶监督码相似，不同的是每个码元要受到纵向和横向两次监督。具体编码方法如下：将若干个要传送的码组编成一个矩阵，矩阵中每一行为一码组，每行的最后加上一个监督码元，进行奇偶监督；矩阵中的每一列则由不同码组相同位置的码元组成，在每列最后也加上一个监督码元，进行奇偶监督。

常用差错控制编码方法 当某一行（或某一列）出现偶数个差错时，该行（或该列）虽不能发现，但只要差错所在的列（或行），没有同时出现偶数个差错，则这种差错仍然可以被发现。 方阵校验码只有一种情况不能发现错误，即差数正好是4的倍数，而且差错位正好构成矩形的四个角。由此可见，矩阵码发现错码的能力是很强的，但它的编码效率比奇偶监督码要低。

常用差错控制编码方法 3、群计数码 这种纠错码的编码规则是：首先把待传送的信息码元分组，同时统计该分组中码元“1”的个数（计为r）；然后将监督码元r附加在信息码元之后进行传输。 例如有一组待传输的信息码元为：11100101，经过统计r=5(用二进制表示为101)，将“101”作为监督码附加在信息码元后面，传输码组为11100101101。 群计数码的检错能力很强，除了同时发生的“0”变“1”、 “1”变“0”这种错误外，它能检测出所有形式的错误。

常用差错控制编码方法 4、恒比码 恒比码又称等重码，在恒比码中，每个码组中“1”和“0”的个数都保持恒定的比例。只要检测接收到的码组中“1”的数目是否正确就知道传输是否正确。其纠错能力比奇偶监督码强。 在我国用电传机传输汉字时，只使用阿拉伯数字代表汉字。这时采用的所谓“保护电码”就是“3：2”或称“5中取3”的恒比码，即每个码组的长度为5，其中“1”的个数总是3，而“0”的个数总是“2”。 本来以5位码元组成的码组总共可以有32种（25），而恒比码规定只有确切地含有3个“1”、2个“0”的那些码组为许用码组，而又3个“1”、2个“0”的5位码组共有多少？这是“5种取3”求组合的算法。