第二章 最佳滤波
性能函数 最佳化（优化）
时域-正弦输入
空域-正弦输入
§A.6 梯度 对于实矢量 x=[x1，x2 ，…，xn]T的纯量实函数f(x), 函数对于一维自变量x1的梯度 就是函数对x1的导数 度方向是函数值增加最快的方向。
对于复矢量x
x=[x1,…，xn]T a=[a1,…，an]T 对实矢量的函数的梯度公式 x=[x1,…，xn]T a=[a1,…，an]T 对复矢量的函数的梯度公式 a=ar+jaj, x=xr+jx
第三章 最小均方(LMS)算法
§3.1 最小均方误差滤波器 图3.1 横式滤波器
(１)是埃米尔特矩阵 (2)是正定的或半正定的。 (3)具有Toeplitz性质，即其任意对角线上的元素相等。
最佳解---维纳解 (正规方程)
正规方程的解 直接矩阵求逆算法（DMI算法）或采样矩阵求逆(SMI)算法 最陡下降法（加权系数的递推）----最小均方算法即LMS算法 (3) 利用矩阵的埃尔米特和Toeplitz性质
正交原理
根据正交原理推正规方程
§3.2 关于均方误差性能函数的进一步讨论 3.2.1 均方误差性能函数的各种表达式
3.2.2 几何意义 图3.2 均方误差性能面 图3.3 等均方误差椭圆族 均方误差椭圆 的长轴正比于 短轴正比于
§3.3 最陡下降法 3.3.1 最陡下降法的递推公式
3.3.2 最陡下降法的性能分析 一、收敛性
二、过渡过程 （1）权向量的过渡过程
（2）均方误差的过渡过程 （3） 特征值分散的影响 当 大时，称方程及其相应的矩阵为病态的。 当 为病态时，最陡下降法的收敛性能很差
（4） 步长值的影响
§3.4 最小均方（LMS）算法 3.4.1 最小均方（LMS）算法公式
图3.5 LMS算法的第i支路 图3.6 LMS算法框图
表3.1 LMS算法流程 参量： M=滤波器抽头数 =步长因子 初始条件： 或由先验知识确定 运算： 对 取得 (2)滤波 (3)误差估计 (4)更新权向量
3.4.2 LMS算法的性能分析 最陡下降法 LMS算法 最陡下降法的加权矢量的递推校正值为确定值 LMS算法的相应的递推校正值为随机量。 LMS算法的加权矢量将以随机方式变化。 LMS算法又称为随机梯度法
一、加权矢量的平均值的收敛性和过渡过程 仅与 有关， 与 无关 最陡下降法
类似于最陡下降法
（1）加权矢量的平均值的收敛性
（2）加权矢量的平均值的过渡过程 当 的特征值分散时，即其条件数很大时， 即 为病态时，LMS算法的收敛性很差。 值必须选得满足收敛条件。 在收敛范围内， 愈大，收敛愈快。 但 过大时，过渡过程将出现震荡
2. 均方误差的过渡过程
2. 均方误差的过渡过程（con’t） 为 的对角元素 (3.4.37)
3. 稳态误差及失调系数 LMS算法来说，在收敛到最佳值后，由于加权矢量继续按公式 变化，其校正值不为零而是继续随机起伏，从而使加权矢量继续随机起伏。 这就使得LMS算法的收敛到（即收敛到零）后，均方误差将大于维纳误差 图3.7 LMS算法 的稳态误差
失调系数 用于描述LMS算法的稳态均方误差对维纳误差的相对偏差。
对LMS算法的失调系数的估计(1)
对LMS算法的失调系数的估计(2) 的误差矢量 各元素互不相关，其方差阵为对角阵。
对LMS算法的失调系数的估计(3) 当n很大时 令 为 的对角元素 当n很大时
§3.5 修正的LMS算法 3.5.1 归一化LMS（NLMS）算法 基于不同的思路和严格的分析推导NLMS 算法: 基于约束优化问题、 基于对每次输入多次运行普通LMS算法等。 本节根据一种直观的思路来导出NLMS算法。
LMS算法的失调系数 当输入功率变化时，失调系数即过剩误差将变化。 若使LMS算法的值随输入功率成反比变化 则过剩误差将保持不变。 NLMS 算法公式 输入信号功率可能很小，所以通常采用
3.5.2 简化的LMS算法 由标准的实信号LMS算法的递推公式 自适应调整方向仅取决于的符号，所以式(3.5.1)可以简化成如下几种简化