第三章　 最小均方(LMS)算法.

Presentation on theme: "第三章　 最小均方(LMS)算法."— Presentation transcript:

1 第三章　 最小均方(LMS)算法

2 §3.1 最小均方误差滤波器 图3.1 横式滤波器

3

4 (１)是埃米尔特矩阵　 (2)是正定的或半正定的。 (3)具有Toeplitz性质，即其任意对角线上的元素相等。

5 最佳解---维纳解 (正规方程)

6 正规方程的解 (1) 直接矩阵求逆算法（DMI算法）或采样矩阵求逆(SMI)算法。 (2) 最陡下降法（加权系数的递推）----最小均方算法即LMS算法 (3) Levinson-Durbin算法（加权系数的递推）利用矩阵的埃尔米特 和Toeplitz性质

7 正交原理

8 根据正交原理推正规方程

9 §3.2 关于均方误差性能函数的进一步讨论 3.2.1 均方误差性能函数的各种表达式

10 3.2.2 几何意义 图3.2 均方误差性能面 图3.3 等均方误差椭圆族 均方误差椭圆 的长轴正比于 短轴正比于

11 §3.3 最陡下降法 3.3.1 最陡下降法的递推公式

12 3.3.2最陡下降法的性能分析 一、收敛性

13 二、过渡过程 （1）权向量的过渡过程

14 （2）均方误差的过渡过程 （3） 特征值分散的影响 当 大时，称方程及其相应的矩阵为病态的。 当 为病态时，最陡下降法的收敛性能很差

15 （4） 步长值的影响

16 §3.4 最小均方（LMS）算法 3.4.1 最小均方（LMS）算法公式

17 图3.5 LMS算法的第支路 图3.6 LMS算法框图

18 表3.1 LMS算法流程 参量： M=滤波器抽头数 =步长因子 初始条件： 或由先验知识确定 运算： 对 取得 (2)滤波 (3)误差估计 (4)更新权向量

19 3.4.2 LMS算法的性能分析 最陡下降法 LMS算法 最陡下降法的加权矢量的递推校正值为确定值 LMS算法的相应的递推校正值为随机量。 LMS算法的加权矢量将以随机方式变化。 LMS算法又称为随机梯度法

20 一、加权矢量的平均值的收敛性和过渡过程 仅与 有关， 与 无关

21 类似于最陡下降法

22 （1）加权矢量的平均值的收敛性

23 （2）加权矢量的平均值的过渡过程 当 的特征值分散时，即其条件数很大时， 即 为病态时，LMS算法的收敛性很差。 值必须选得满足收敛条件。 在收敛范围内， 愈大，收敛愈快。 但 过大时，过渡过程将出现震荡

24 2. 均方误差的过渡过程

25 3. 稳态误差及失调系数 LMS算法来说，在收敛到最佳值后，由于加权矢量继续按公式
变化，其校正值不为零而是继续随机起伏，从而使加权矢量继续随机起伏。 这就使得LMS算法的收敛到（即收敛到零）后，均方误差将大于维纳误差 图3.7 LMS算法 的稳态误差

26 失调系数 用于描述LMS算法的稳态均方误差对维纳误差的相对偏差。

27 对LMS算法的失调系数的估计 当n很大时

28 §3.5 修正的LMS算法 3.5.1 归一化LMS（NLMS）算法 基于不同的思路和严格的分析推导NLMS 算法: 基于约束优化问题、 基于对每次输入多次运行普通LMS算法等。 本节根据一种直观的思路来导出NLMS算法。

29 LMS算法的失调系数 当输入功率变化时，失调系数即过剩误差将变化。 若使LMS算法的值随输入功率成反比变化 则过剩误差将保持不变。 NLMS 算法公式 输入信号功率可能很小，所以通常采用

30 3.5.2 简化的LMS算法 由标准的实信号LMS算法的递推公式 自适应调整方向仅取决于的符号，所以式(3.5.1)可以简化成如下几种简化

31

32 第四章 自适应格形滤波器

33 §4.1 线性预测滤波器 前向预测。根据 预测 图 4.1 前向线性预测滤波器

34

35 (4.1.10) （正规方程-m个方程） 最小前向预测误差功率 （前向线性预测的正交原理: 最佳预测误差与用于预测的数据正交。）
（前向线性预测的正交原理: 最佳预测误差与用于预测的数据正交。） (4.1.10) （正规方程-m个方程） 最小前向预测误差功率 （4.1.11）

36 Yule-Walker方程 (4.1.12) （m+1个方程） （1）高斯消元法。运算量为
（2）Cholesky法（相关矩阵为对称，且至少为半正定）运算量为 （3）Levinson-Durbin算法（相关矩阵是Toeplitz矩阵----各对角线元素相同的矩阵） 运算量为

37 前向预测。根据 预测 后向预测。根据 预测 图4.2 前向预测和后向预测

38 后向预测。根据 预测 后向线性 预测滤波器

39 （正交原理） (4.1.17) （正规方程-m个方程） (4.1.23) （m+1个方程）

40 定义前向预测误差和后向预测误差之相关系数为
4.1.3 Levinson-Durbin算法 定义前向预测误差和后向预测误差之相关系数为 对于最佳预测系数，根据正交原理 （4.1.25）

41 将式（4.1.25）加到个方程的方程组(4.1.12)上，得到m+2个方程的方程组
(4.1.26) (4.1.27)

42 （4.1.28）

43 （4.1.12） （4.1.29）

44 Levinson-Durbin算法 (4.1.30)

45 从Levinson-Durbin递推公式(4.1.30)可看出，
从m阶到(m+1)阶时，需要次乘除法和次加减法，运算量为O(m)。 因此，对于从m=1到m=m+1所有的递推得运算量的数量级为 即 高斯消元法、Cholesky分解法运算量的数量级

46 图4.4 最初的几阶线性预测

47 0阶 1阶 2阶

48 图4.5 传输线 又称为偏相关系数(PARCOR)

49 §4.2 格形滤波器 4.2.1 由预测滤波器推导格形滤波器

50 （4.2.3） （4.2.4） （4.2.5）

51

52 <定理4.1> 各阶后向预测误差相互正交，即
格形滤波器的特性 一、正交性 我们已经有两个正交关系： <定理4.1> 各阶后向预测误差相互正交，即 图 和 正交示意图

53 二、相关函数和反射系数的关系 <定理4.2> 平稳时间序列的相关函数值由完全确定。反之亦然。
平稳随机序列不但可以由其函数序列表征，还可由其反射系数序列表征 证：正命题。设给定 则由Levinson-Durbin递推式(4.1.30) 可得到 根据这M+1个值就可由Yule-Walker方程得到 ， 逆命题。给定 则由Levinson-Durbin公式（4.1.30）即可定出 <定理4.3> 预测误差滤波器的零点在单位圆内。即为最小相位滤波器。

54 （4.2.5） （4.2.8） 图4.8

55 图4.9 全极点横式滤波器

56 （4.2.8a） （4.2.8b） （4.2.8a）代入 （4.2.8b）得 （4.2.10） （4.2.8a）
图4.10 无交叉连接的全极点格形滤波器

57 对于既有零点又有极点的横式滤波器----IIR滤波器
对于既有零点又有极点的传输函数 图4.11 零极点 、 对于既有零点又有极点的横式滤波器----IIR滤波器

58 对于既有零点又有极点的格形滤波器 2阶零极点横式滤波器与格形滤波器的转换关系列与表4.1。

59 对复信号的Levinson-Durbin递推公式为
4.2.4 对复信号的预测滤波器和格形滤波器 对复信号的Levinson-Durbin递推公式为 （4.2.29）

60 图4 .13 复信号全零点格形滤波器

61

62

63 §4.3 最小均方误差自适应格形滤波器

64 图4.14 格形滤波器梯度算法流程

65 图4.14 格形滤波器梯度算法流程

66 第五章 最小二乘自适应滤波器

67 最小均方误差(MMSE)准则。 使滤波器输出与需要信号的误差的平方的统计平均最小。 根据MMSE准则得到的是对一类数据的最佳滤波器， 对同一类数据来说，MMSE准则对不同的数据组导出同样的“最佳”滤波器； MMSE准则根据输入数据的长期统计特性寻求最佳滤波。 已知的仅是一组数据，因此只能对长期统计特性进行估计或近似。 最小二乘(LS)准则是对一组已知数据的最佳滤波器。 LS准则对不同的数据组导出不同的“最佳”滤波器。 我们将针对实信号进行时域LS算法和RLS算法的讨论， 然后再将其推广到复信号的情况。

68 §5.1 时域最小二乘（LS）滤波器 图5.1 M阶线性滤波器

69 (5.1.3)

70 (a) 相关法 (b) 前加窗法 (c) 后加窗法 (d) 方差法 已知数据 方差法对已知数据之外的数据未作任何假定， 前加窗法假定 时， 后加窗法假定 时， 相关法的相关矩阵是对称的和Toeplitz的， 其余三个取法的相关矩阵是对称的但非Toeplitz的。 但是后三种方法的启动特性比相关法好。

71 前加窗法 (5.1.9)

72 (5.1.13)

73 (5.1.14) （5.1.16）

74 （5.1.20） （5.1.23） （5.1.24）

75 批处理LS算法。需要进行矩阵求逆，其运算量为
5.1.2 递推最小二乘（RLS）算法

76 (A.1.48)

77

78 RLS LMS

79 RLS算法的收敛特性比LMS算法好得多。 LMS算法 每次迭代需要 M+1 次乘法，M 次加法 即每次递推的运算次数为
每次迭代需要 次乘法，1次除法和 次加减法。即每次递推的运算次数为 RLS算法的收敛特性比LMS算法好得多。 LMS算法 每次迭代需要 M+1 次乘法，M 次加法 即每次递推的运算次数为 平方根RLS算法， 需要更多的运算量，但数值稳定性很好，可并行处理

80 对于RLS算法，还有一个重要概念 在时刻 n，递推处理前，根据 得到的估计之误差称为先验误差 递推处理后根据 估计之误差称为后验误差 后验误差与先验误差之比称为变换因子

81 表5.1递推最小二乘（RLS）算法流程 初始条件 ： 为小的正实数 运算：对 (2) 更新增益矢量 (3) 更新滤波器参量
(1) 取得 , (2) 更新增益矢量 (3) 更新滤波器参量 (4) 更新逆矩阵

82 §5.2 RLS算法的 收敛性 5.2.1 系统模型 图5.2 用自适应滤波器 实现系统识别

83 识别对象模型 为白噪音 (5.2.7)

84 LS估计的平均值 LS算法 自适应滤波器的权矢量的LS估计为 (5.2.8) (5.2.9)

85 5.2.3 加权矢量误差的相关矩阵 设遗忘因子

86 为白噪音，与 无关, 为对称矩阵 、 、 （Haykin） (5.2.19)

87 根据矩阵迹的性质，加权矢量的均方误差 (5.2.20) (5.2.19) LS权矢量的均方误差随递推时刻 n 的增加而线性减小。
取决于输入相关矩阵的 ， 当 很小时， 将很大，从而收敛性变差。

88 5.2.4 学习曲线 时刻n，RLS滤波器的输出为 误差为 RLS的学习曲线定义为 （5.2.28）

89 右边第二项 右边第三项

90 （1）RLS的学习曲线大约在2M次递推后收敛。 （2）当 时， ， 即理论上说RLS没有过剩误差或者极限失调系数为零。
（5.2.28） (5.2.19) (5.2.29) (5.2.30) （1）RLS的学习曲线大约在2M次递推后收敛。 （2）当 时， ， 即理论上说RLS没有过剩误差或者极限失调系数为零。 （3）从均方意义下来说，RLS算法的收敛性和相关矩阵的特征值无关。

91 §5.3 对复信号的LS算法和RLS算法 图5.3 对复信号的M阶线性滤波器

92 其中 (5.3.11) (5.3.12) 令 可得最佳权系数满足的方程为 (5.3.13) 这与式(5.1.23)完全一样。式(5.3.13)还可写成 (5.3.14)类似地，可得到RLS算法的递推公式.

93 初始条件 ： 运算：对 表5.2 对复信号的（RLS）算法的流程 为小的正实数 (2) 更新增益矢量 (3) 更新滤波器参量
(1) 取得 (2) 更新增益矢量 , (3) 更新滤波器参量 (4) 更新逆矩阵

94

95 第六章 卡尔曼滤波器和 平方根RLS自适应滤波器

96 §6.1 基本卡尔曼滤波算法 图6.1系统的动态模型

97 卡尔曼滤波的目的就在于对状态矢量进行最佳估计
(6.1.1)状态方程 (6.1.2)测量方程 为M维系统状态矢量 为M×M维转移矩阵 为N维测量矢量。 为N×M维测量矩阵 为M维系统噪音矢量（白噪音矢量）。 为N维测量噪音矢量（白噪音矢量 ） 卡尔曼滤波的目的就在于对状态矢量进行最佳估计

98 为M维系统噪音矢量（白噪音矢量）。 为N维测量噪音矢量（白噪音矢量 ）

99 卡尔曼滤波就是对由式(6.1.1)~(6.1.6)所描述的系统
（ 、 、 、 为已知）， 根据测量矢量 对状态矢量 进行估计， 使估计误差的均方差为最小。 预测。根据测量值 ，… ，估计 。 滤波。根据测量值 ，… ， 估计 。

100 两座标防空雷达 r(n)为nT时刻飞机的径向距离； 为飞机的径向速度； 为飞机方位； 为飞机角速度。 和 为零均值白噪音，机动噪音
信号处理机每隔T秒输出飞机的一组径向距离r和方位θ的数据，但含有噪音。 录取设备要对这些数据进行处理，抑制噪音并建立起飞机的航行轨迹（航迹）。 雷达输出数据的周期T通常为秒量级，在此时间可假定飞机作匀速运动。 r(n)为nT时刻飞机的径向距离； 为飞机的径向速度； 为飞机方位； 为飞机角速度。 和 为零均值白噪音，机动噪音

101 、 状态方程(6.1.9)

102 信号处理机每T秒送一次有误差的 、 测量方程(6.1.14)

103 6.1.2预测 预测在于根据测量值 ，…， 估计 ，估计值记为 预测误差矢量 预测误差相关阵（矩阵） 预测误差的均方差即均方误差（纯量）
预测在于根据测量值 ，…， 估计 ，估计值记为 预测误差矢量 预测误差相关阵（矩阵） 预测误差的均方差即均方误差（纯量） 卡尔曼预测即最佳卡尔曼预测估计

104 (6.1.1)状态方程 (6.1.2)测量方程 状态矢量预测值为 测量矢量之预测值为 新息矢量 新息相关阵

105 最佳的卡尔曼预测滤波器递推方程 （6.1.27） 图 6.2 卡尔曼预测框图

106 预测误差相关阵 递推方程(Riccati方程)
增益矩阵 递推方程 （6.1.28） 预测误差相关阵 递推方程(Riccati方程) （6.1.29） （6.1.30） （6.1.31） 图 6.3 卡尔曼预测及滤波框图

107 6.1.3 滤波 滤波指根据测量值 ，…， ， 估计 。 记为

108 6.1.4 初始条件和卡尔曼预测算法流程 初始条件

109 表6.1 卡尔曼预测算法流程（1） 模型： 和 为零均值白噪音， 其相关阵分别为 为已知

110 表6.1 卡尔曼预测算法流程（2） 初始值： 输入： 计算：对n=1，2，…… （1）本次增益及新息 （2）求本次预测值 （3）准备下次的
、 （2）求本次预测值 （3）准备下次的

111 §6.2 一种卡尔曼滤波自适应算法 图6.4 自适应滤波器及其输入信号产生模型 输入信号 自适应滤波器

112

113

114 状态方程 测量方程

115 状态方程 测量方程 状态矢量为 系统转移矩阵 为单位阵 系统噪音矢量为0 测量矢量为纯量 测量矩阵 为矢量 测量噪音矢量为纯量 为零均值，方差为 的白噪音

116

117

118 §6.3 卡尔曼滤波与RLS算法的对应 (6.3.1) (6.3.2) 为正实数

119 新息矢量为纯量 为纯量 的相关矩阵 增益矩阵为矢量，记为 基本递推方程(6.1.27) 预测误差相关阵 之递推式( )

120 基本递推方程(6.3.11) 增益矢量(6.3.10) 预测误差相关阵 (6.3.12)

121

122 表6.2 方差卡尔曼滤波算法 系统模型 已知： 输入测量值（纯量）: 初始值： 计算：

123 表 6.3 Kalman（表6.2） 与 RLS（表5.1） 对应表(1)
名称 变量 变量 名称 需要信号 测量信号 转移矩阵 输入矢量转置 滤波权 预测权矢量 增益矢量(6.3.10) 增益矢量(5.1.30) 预测误差 相关矩阵(6.3.14) 输入矢量相关矩阵 之逆(5.1.29)

124 表 6.3 Kalman（表6.2） 与 RLS（表5.1） 对应表(2)
名称 变量 变量 名称 先验误差(5.1.37) 新息(6.3.8) 新息均方值 (6.3.9) 变换系数(5.1.42) 初始条件 初始条件

125 §6.4 平方根卡尔曼滤波算法和平方根RLS算法

126

127 表 6.4 基于 的平方根卡尔曼算法流程 系统模型 已知： 输入测量值（纯量）: 初始值： 计算：

128 表6.5 基于 递推的平方根RLS算法 初始条件： 运算：对 （1）取得 （2）计算 （3）计算 （4）计算

129 表 6.6 基于 的平方根卡尔曼算法流程 系统模型 已知： 输入测量值（纯量）: 初始值： 计算：

130 表6.7 基于 递推的平方根RLS算法 初始条件： 运算：对 （1）取得 （2）计算