4.3 Kalman滤波器 状态空间方程： 状态(转移)方程 观测方程
已知: 假设:
Kalman 滤波问题 (一步预报)： 已知含噪数据 ，求 无噪声的估计值:
新息方法： 新息 (innovation) 称 为 的新息过程向量。 性质1: (正交), 是不同于 的新过程 性质2: ， 是个白噪声过程 性质3: （一一对应关系) 保留有 的所有信息
估计 状态向量估计误差： 相关矩阵： 校正项 ：Kalman 增益矩阵 ：Kalman 增益矩阵 ：Kalman 新息
例： 是一个时不变的标量随机变量， 为 观测数据,其中 为白噪声。若用 Kalman 滤波器自适应估计 ，设计 Kalman 滤波器。 设计过程：⑴ 构造状态空间方程；⑵ 设计x(n)的更新公式 状态方程 观测方程
4.4 LMS自适应算法 LMS: Least Mean Squares 随机优化问题 Wiener 滤波器: 最陡下降法 真实梯度
最陡下降法的改进: 牛顿法:
确定性优化 也称随机逼近最优化。求解的方法称为随机逼近方法。 后验估计误差： 先验估计误差：
梯度向量 维纳滤波器：
梯度下降算法： 步长参数, 学习速率 真实梯度 缺点：真实梯度含数学期望，不易求得。 改进： 梯度估计 瞬时梯度： 先验估计误差
基本的LMS算法： 瞬时梯度分析： 渐近无偏估计 最陡下降法 LMS算法
梯度下降法要求不同时间的梯度向量(搜索方向)线性独立。 LMS算法的独立性要求： 均值收敛： 均方收敛：
代入上式，可得 其中 若 的所有对角元素绝对值<1，即 则极限 (等比级数求和)
和极限 收敛为维纳滤波器，且收敛与初始值w(0)选择无关 结论： (均值收敛条件) 均方收敛条件： 由于迹 ，故两条件可合并为
均方收敛 均值收敛
自适应学习速率参数 ⑴ 固定学习速率： (常数) 缺点： 偏大 收敛快 跟踪性能差 偏小 收敛慢 跟踪性能好 ⑵ 时变学习速率： (递减)，模拟退火法则 ⑶ “换档变速”方法：固定+时变
例1. (先搜索，后收敛) 例2. (先固定，后指数衰减) 和 正的常数 ⑷ 自适应学习速率：“学习规则的学习”
LMS算法的改进 归一化 LMS (NLMS) 算法 解相关 LMS 算法
4.5 RLS算法 √ × 时， 比 合理
矩阵求逆引理： 增益向量
即
RLS算法：
非平稳， R(0), 越小越好
统计性能分析： 权误差向量 权误差向量的相关函数矩阵 均方误差 最小均方误差 剩余均方误差 当 时，称 为稳态剩余均方误差 算法的收敛速率 算法的跟踪性能
LMS、RLS、Kalman滤波算法的统计性能比较： ⑴ 均方误差曲线 多次实验统计结果 均方误差 收敛点 稳态剩余误差 样本个数 跟踪能力越好，曲线稳态越接近横轴 ⑵ 均值、离差
三种滤波算法的比较: (LMS, RLS, Kalman) ⑶ 收敛速率比较 LMS: 越大，学习步长越大，收敛越快 RLS: 遗忘因子 越大，遗忘作用越弱，收敛越慢 时变学习速率、时变遗忘因子 Kalman无收敛问题，无收敛参数
⑷ 跟踪性能 希望LMS算法的 越小越好 希望RLS算法的 越大越好 跟踪好坏：LMS < RLS < Kalman
习 题 题4.16 (Kalman滤波) 题4.19 (Kalman滤波) 题4.20 (LMS算法)