第二章 信号分析与信息论基础 2.1 确知信号分析 2.2 随机信号分析 2.3 信息及信息的度量 2.4 信道统计特性
本章教学内容及要求 信号通过系统的过程。确定信号的时域和频域 分析。傅立叶变换关系式,傅立叶变换的主要运算 特性,常用信号的付立叶变换。 信号通过系统的过程。确定信号的时域和频域 分析。傅立叶变换关系式,傅立叶变换的主要运算 特性,常用信号的付立叶变换。 卷积定义式,时域卷积定理,频域卷积定理。 信号的能量和能量谱密度;信号的功率和功率 谱密度。 信号的表达方法,信号通过线性系统传输后的 变化及表达。 信息及信息量、信道模型、随参信道传输媒质的特点、信道容量计算。
2.1 确知信号分析 信号是通过电的某一物理量(如电压或电流)表 示出的与时间t之间的函数关系。 2.1 确知信号分析 信号是通过电的某一物理量(如电压或电流)表 示出的与时间t之间的函数关系。 确知信号:能用函数表达式准确表示出来的信号。它 与时间的关系是确知的。 随机信号:与上述相反。 通信中传输的信号及噪声都是随机信号。 2.1.1 周期信号与非周期信号 周期信号:满足条件 s(t)=s(t+T0) -∞<t<∞,T0>0 非周期信号:不满足上述条件。 功率信号:信号在(0,T)内的平均功率S(式2-2)值为 一定值。 能量信号:当T→ ∞时,式(2-3)是绝对可积的。
2.1.2 信号的傅里叶变换 傅里叶变换: 式(2-7) 傅里叶反变换: 式(2-6) 式(2-8)是傅里叶变换的指数形式,傅里叶变换是一 2.1.2 信号的傅里叶变换 傅里叶变换: 式(2-7) 傅里叶反变换: 式(2-6) 式(2-8)是傅里叶变换的指数形式,傅里叶变换是一 个连续函数,称为频谱密度函数,简称频谱函数。 典型的连续时间信号: 1.Sa(t)信号(抽样信号):Sa(t)=sin(t)/t 波形 特点:偶函数;零值点(±n π );(0~ ∞)的积分为π/2 2.单位阶跃信号:U(t)=0 (t<0); U(t)=1 (t>0); 3.单位冲激信号:∫ 例: (1)阶跃信号构成矩形脉冲信号: g(t)=u(t)-u(t-t0) (2)阶跃信号构成符号函数: Sgn(t)=2u(t)-1
常用信号的傅里叶变换: 矩形函数(图2-1)的傅里叶变换见式(2-9),其频谱函数见图(2-2)。 冲激函数的傅里叶变换。 余弦函数的傅里叶变换。 傅里叶变换的性质: 时移特性: 频移特性: 时域卷积与频域卷积 时域卷积: Γ[f1(t)*f2(t)]=F1(ω) F2(ω) 频域卷积: Γ[f1(t) f2(t)]=(1/2 π) [F1(ω)*F2(ω)]
例:已知 Γ[f(t)]=F(ω) 求 Γ[f(t)COS ω0 t]=? 解: Γ[COS ω0 t]= π[δ(ω- ω0)+ δ(ω+ω0)] 冲激 强度为π,根据卷积定理: Γ[f(t)COS ω0 t] =(1/2 π)F(ω)* {π[δ(ω- ω0)+ δ(ω+ω0)] } =(1/2) [F(ω- ω0)+ F(ω+ω0)] 2.1.3 信号通过线性系统 线性系统:输出信号与输入信号满足线性关系(允许 有延迟)。 f0(t)=Kfi(t-td) (2-13) 该系统传递函数:H(ω) = 式(2-14) 线性不失真系统的幅频特性|H(ω)|是与ω无关的 常数,相频特性则是ω的线性函数。
2.2 随机信号分析 2.2.1 高斯平稳随机过程 1、随机过程的一般概念 通信过程中的随机信号和噪声均可归纳为依赖于 2.2 随机信号分析 2.2.1 高斯平稳随机过程 1、随机过程的一般概念 通信过程中的随机信号和噪声均可归纳为依赖于 时间参数t的随机过程。这种过程的基本特征是,它是 时间t的函数,但在任一时刻观察到的值却是不确定的, 是一个随机变量。 2、随机过程的定义 定义:随机过程是依赖于时间参量t变化的随机变量的 总体或集合;也可以叫做样本函数的总体或集合。习 惯用ξ(t)表示。 3 、随机过程的统计特性的描述 设ξ(t)表示一个随机过程,则在任意一个时刻t1 上,ξ(t1)是一个随机变量。显然,这个随机变量的统 计特性,可以用概率分布函数或概率密度函数去描述。
4、随机过程的数字特征 随机过程的数字特性,比如,随机过程的数学期望、 方差及相关函数等。 1)数学期望 随机过程ξ(t)的数学期望被定义为 可把t1直接写成t。随机过程的数学期望被认为是时间t的函数。 数学期望的物理意义:信号或噪声的直流功率。 2)方差 随机过程的方差定义为 方差的物理意义: 信号或噪声交流功率。
5、 平稳随机过程 狭义平稳概念:所谓平稳随机过程,是指它的任何 3)自相关函数 5、 平稳随机过程 狭义平稳概念:所谓平稳随机过程,是指它的任何 n维分布函数或概率密度函数与时间起点无关。也就是 说,如果对于任意的n和τ,随机过程ξ(t)的n维概率 密度函数满足: 则称ξ(t)是平稳随机过程。 6、广义平稳过程 广义平稳概念:若一个随机过程的数学期望及方差与时间无关,而其相关函数仅与τ有关,则称这个随机过程为广义平稳随机过程。 用途:a 、用来判断广义平稳; b、用来求解随机过程的功率谱密度及平均功率。
通信系统中的信号及噪声,大多数可视为平稳的随机 过程。因此,研究平稳随机过程有很大的实际意义。 7、自相关函数 我们已经知道,平稳随机过程的自相关函数和时间t 无关,而只与时间间隔τ有关,即: R(τ)=E{ξ(t)ξ(t+τ)} 自相关函数的性质: 1) R(0)为ξ(t)的均方值(平均功率)。自相关函数在τ=0处 的数值等于该过程的平均功率( 包括直流功率和交流功 率)。 2)对偶性 R(τ)=R(-τ) 即自相关函数是τ的偶函 数。
3)当τ=0时,自相关函数取最大值,即R(0)≥ R(τ) 4) 5) 8、功率谱密度: 付氏变换沟通了确定信号时域和频域的关系,那 证明: 3)当τ=0时,自相关函数取最大值,即R(0)≥ R(τ) 4) 5) 8、功率谱密度: 付氏变换沟通了确定信号时域和频域的关系,那 么为什么随机过程在频率域中要讨论功率谱密度,而 不讨论付氏变换呢?主要原因有二。 1)、对于随机过程来说,它由许许多多个样本函数来构 成, 所以我们无法求其付氏变换,可以说,随机过程不存 在付氏变换。
2)、随机过程属于功率信号而不属于能量信号,所以我 们讨论功率谱密度。 对于任意的功率信号f(t)的功率谱为: 9、高斯分布概率密度函数 由f(x)的表达式可画出图形 9、高斯分布和高斯过程 高斯分布这个概念在通信中是经常出现的。而在 一般情况下,噪声都可以认为具有高斯分布的形式。 由信息论的观点来说,如果是连续信源,当信号的功 率一定时,信号幅度的概率密度函数服从高斯分布时,载
2.2.2 窄带高斯噪声 荷的信息量最大,即有效性最好;另一方面,如果是 起伏噪声,当噪声功率N一定时,幅度呈现高斯分布 的噪声对通信系统的影响也最为恶劣。因此,在系统 设计中,常以高斯噪声为着眼点来考虑信噪比、带宽 等问题。因此,高斯分布是通信系统的统计分析中最 常见、最重要的一种分布。 高斯过程定义:通俗地讲,在任意时刻t去观察随机过 程,若其随机变量的概率分布都满足高斯分布,这个随 机过程就是高斯过程。 2.2.2 窄带高斯噪声 任何通信系统都有发送机和接收机,为了提高系统的可 靠性,即输出信噪比,通常在接收机的输入端接有一 个带通滤波器,信道内的噪声构成了一个随机过程, 经过该带通滤波器之后,则变成了窄带随机过程。
窄带条件:中心频率为ω 0,带宽为△f,当△ ω << ω 0时,就可认为满足窄带条件。若随机过程的功率谱 满足该条件则称为窄带随机过程。若带通滤波器的传 输函数满足该条件则称为窄带滤波器。随机过程通过 窄带滤波器传输之后变成窄带随机过程。 (图2-7)(图2-8) 窄带过程的数学表示 1、用包络和相位的变化表示 由窄带条件可知,窄带过程是功率谱限制在ω0附 近的很窄范围内的一个随机过程,从示波器观察(或由理 论上可以推知):这个过程中的一个样本函数(一个实现) 的波形是一个频率为ω0且幅度和相位都做缓慢变化的 余弦波。所以可以表示成:
2.3 信息及信息的度量 2.3.1 通信系统的统计模型(图2-12) 信源:通信的起点。输出消息(包括文字、符号、声 音、图像、数据等)。 2.3 信息及信息的度量 2.3.1 通信系统的统计模型(图2-12) 信源:通信的起点。输出消息(包括文字、符号、声 音、图像、数据等)。 信源编码器:将消息变为信号(提高信号传输效率)。 信道编码器:信号处理的设备(提高信号传输的的可靠 性)。 干扰源:即噪声源。 2.3.2 信息的定义 从统计学的信息指的是消息中包含的不确定性。 2.3.3 信息的度量 信息的度量,与信息发生的概率成反比。如果一 个事件发生的概率是1,这是一个必然事件,那么它的 信息量就是0。 离散信源信息量 I=loga(1/P(x))=-loga(P(x)) (2-58)
2.3.4 离散信源的平均信息量 P(x)为事件发生的概率,若a=2,信息量单位为比特 (bit);若a=e,信息量单位为奈特(nit);若a=10,信 息量单位为哈特莱。 式(2-59)求信息量总和 例2-1、例2-2、例2-3。 2.3.4 离散信源的平均信息量 如离散信息信号序列发生的概率如下所示。 符号xi x1 x2 …… xn 符号发生概率P(xi) P(x1) P(x2) …… P(xn) 这样每个符号的平均信息量(也称为熵)为H(x)
2.3.5 连续信源的平均信息量 可以证明,当每个符号等概率出现时,平均信息量最 大。 式(2-62) 例2-4。 式(2-62) 例2-4。 2.3.5 连续信源的平均信息量 当连续信源出现的概率密度为f(x)时,连续信源的平均 信息量为 即为连续信源的熵,又称为相对熵。例2-5。
2.4 信道统计特性 2.4.1 离散信道的信道容量 信道容量:信道在理想状态下(无差错传输或差错率等 于零)的 2.4 信道统计特性 2.4.1 离散信道的信道容量 信道容量:信道在理想状态下(无差错传输或差错率等 于零)的 最大传信速率,通常用C表示。 条件熵定义(2-67)(2-68) 互信息量定义(2-69)(2-70) 无损信道:H(x/y)=0, I(x,y)=H(x)=H(y) 全损信道:H(x/y)=H(x) Rt=RB[H(x)-H(x/y)]=Ht(x)-Ht(x/y) (bit/s) (2-71) 实际信息传输速率Rt的最大值记为C,即 C=maxRt=max[Ht(x)-Ht(x/y)] (2-72) 例2-6、2-7。
2.4.2 连续信道的信道容量 香农信道容量公式: C=B log2(1+s/(n0 B)) (bit/s) (2-78) 式中,B为信道带宽(Hz),S为信号功率(W),n0为 噪声单边功率谱密度(W/Hz),N=n0B为噪声功率 (W)。 上式成立的条件是:信号为高斯分布(此时信息熵最 大),噪声为高斯白噪声。 香农信道容量公式告诉我们以下重要结论: ①C随S/N增大而增大; ②当n0 →0时C → ∞,即无干扰信道的信道容量为无穷大; ③C随着B的增大而增大,但不能无限增大,即 当B → ∞ 时,C → 1.44(S/n0) ④C一定时,B与S/N可以互换;
⑤若信源信息速率Rb ≤ C,则理论上可以实现无差错传输。若Rb > C ,则不可能实现无差错传输。 信道容积Vc的概念 信号体积Vs ≤信道容积Vc时才能实现通信