信号与图像处理基础 Adaptive Filter 中国科学技术大学 自动化系 曹 洋.

Presentation on theme: "信号与图像处理基础 Adaptive Filter 中国科学技术大学 自动化系 曹 洋."— Presentation transcript:

1 信号与图像处理基础 Adaptive Filter 中国科学技术大学 自动化系 曹 洋

2 主要内容 综述 维纳滤波 最小二乘滤波

3 4.1 自适应滤波综述 滤波与滤波器 在信号与图像处理领域，滤波器主要有三种应用 滤波去噪 平滑内插 预测估计

4 自适应滤波 信号或者噪声的特性并不是一成不变的，为了取得更好的滤波效果，滤波器的参数应该也随之调整。
自适应滤波器包含有一种参数自适应调整的机制，即能够对处理的信号进行监控，据此调整滤波器的参数。 自适应滤波器还包含有一种最优机制，即根据实际获取的信号，对滤波器结构和参数进行设计，以取得最优的滤波效果。

5 自适应滤波 需要给定一个优化目标 需要建立一种自调整机制 需要关于信号或者噪声的先验信息
通常是基于递归模型的，当缺少完整的先验信息时，递归模型是一种有效的手段。

6 自适应滤波 自适应滤波通常包含了两个阶段 : 1. 滤波过程：根据输入信号产生预定的输出信号.
2. 自调整过程： 根据外界条件的变化调整滤波器的结构或者参数。 通常会采用信号的均方误差作为目标函数来设计滤波器

7 自适应滤波的应用：系统辨识 用于建立一个未知对象的系统模型 Parameters
u=input of adaptive filter=input to plant y=output of adaptive filter d=desired response=output of plant e=d-y=estimation error

8 自适应滤波的应用：信道均衡 信道均衡是指在接收端的均衡器产生与信道特性相反的特性，用来减小或消除因信道的时变多径传播特性引起的码间干扰。
Parameters u=input of adaptive filter=output to plant；y=output of adaptive filter；d=desired response=delayed system input；e=d-y=estimation error 均衡技术是指在数字通信系统中，由于多径传输、信道衰落等影响，在接收端会产生严重的码间干扰（Inter Symbol Interference，简称ISI），增大误码率。为了克服码间干扰，提高通信系统的性能，在接收端需采用均衡技术。均衡是指对信道特性的均衡，即接收端的均衡器产生与信道特性相反的特性，用来减小或消除因信道的时变多径传播特性引起的码间干扰。

9 自适应滤波的应用：信道均衡 均衡技术是指在数字通信系统中，由于多径传输、信道衰落等影响，在接收端会产生严重的码间干扰（Inter Symbol Interference，简称ISI），增大误码率。为了克服码间干扰，提高通信系统的性能，在接收端需采用均衡技术。均衡是指对信道特性的均衡，即接收端的均衡器产生与信道特性相反的特性，用来减小或消除因信道的时变多径传播特性引起的码间干扰。

10 自适应滤波的应用：预测估计 基于当前随机信号预测估计未来的信号输出 Parameters
u=input of adaptive filter=delayed version of random signal y=output of adaptive filter d=desired response=random signal e=d-y=estimation error=system output 一个时间离散线性系统输出的样本可以用其输入样本和过去的输出样本的线性组合，即线性预测值来逼近。通过使实际输出值和线性预测值之间差的均方值最小的方法能够确定唯一的一组预测器系数。这些系数就是线性组合中所用的加权系数。

11 自适应滤波的应用：预测估计 一个时间离散线性系统输出的样本可以用其输入样本和过去的输出样本的线性组合，即线性预测值来逼近。通过使实际输出值和线性预测值之间差的均方值最小的方法能够确定唯一的一组预测器系数。这些系数就是线性组合中所用的加权系数。

12 自适应滤波的应用：消除干扰 用于消除未知的干扰信号 Parameters
u=input of adaptive filter=reference signal y=output of adaptive filter d=desired response=primary signal e=d-y=estimation error=system output

13 自适应滤波的应用：消除噪声

14 自适应滤波的应用：消除噪声

15 自适应滤波的应用：消除干扰

16 自适应滤波的应用：消除回声

17 自适应滤波的应用：消除回声

18 4.2 维纳滤波 Parameters FIR filter: y(n) = w0x(n)+w1x(n-1)+
x(n) = input of FIR filter y(n) = output of FIR filter d(n) = desired response e(n)= d(n)-y(n) = estimation error FIR filter: y(n) = w0x(n)+w1x(n-1)+ …+wN-1x(n-N+1) = WTX(n) WT=[ w0 w1 … wN-1 ] X(n)=[x(n) x(n-1)…,x(n-N+1)]

19 维纳滤波 目标：找到最佳的滤波器参数使得均方误差 E{e2(n)}最小 定义目标函数 将滤波器定义代入，可得

20 维纳滤波 因为W而是滤波器参数而不是随机变量，所以上式可以简化为：
定义 P = E{d(n) X(n)} 为互相关矩阵， R = E{X(n) XT (n) 为自相关矩阵，则有

21 维纳滤波 以二元维纳滤波为例，代价函数为：

22 二次型代价函数

23 维纳滤波 对代价函数分别求两个权重系数的梯度 将梯度写成矩阵形式：

24 维纳滤波 对于通用的N-1元维纳滤波， 可以采用类似策略来计算梯度, 通过计算上式等于0，可以得到维纳滤波的表达式：
其中，P = E{d(n) X(n)} 为互相关矩阵， R = E{X(n) XT (n) 为自相关矩阵

25 维纳滤波 维纳滤波的表达式： 其中，P = E{d(n) X(n)} 为互相关矩阵， R = E{X(n) XT (n) 为自相关矩阵 自适应滤波？ 性能分析： 利用平稳随机过程的相关特性和频谱特性，对混有噪声的信号进行滤波，奠定了最优滤波理论的基础。 当输入过程是广义平稳的，且统计特性已知时，能够取得较好的结果。 但是，输入过程取决于外界环境的信号和干扰，其统计特性常常是未知的、变化的。

26 4.3 最小二乘滤波（LMS Filter） 梯度下降算法（Steepest Descent Algorithm）
最小二乘算法（Least-mean-square algorithm） 性能分析

27 最小二乘滤波（LMS Filter） 由Widrow & Hoff 在1959年提出 位列自适应算法的Top10
✔ 算法简单，自适应调整过程速度快 ✔ 属于梯度下降算法，可以保证收敛性

28 最小二乘滤波（LMS Filter） ❏ LMS filtering分为两个步骤： ✔ Filtering, producing
1) output signal 2) estimation error ✔ Adaptive process, automatic adjustment of filter tap weights

29 最小二乘滤波（LMS Filter） ❏ LMS filtering分为两个步骤： ✔ Filtering, producing
1) output signal 2) estimation error ✔ Adaptive process, automatic adjustment of filter tap weights

30 最小二乘滤波（LMS Filter）

31 最小二乘滤波（LMS Filter） 基于递归机制的参数自适应
设W(n)为 第n次迭代后得到的滤波器参数，则第n+1次迭代的参数估计可表示为： 其中，g(n) 为方向向量，其作用是最小化目标函数 J(W(n+1)) =J(W(n)+g(n)). 为实现目标函数的最小化, 可以对J(W(n+1))进行泰勒级数展开。

32 最小二乘滤波（LMS Filter） J(W(n+1)) 的泰勒级数展开为： 以二元滤波器为例，

33 最小二乘滤波（LMS Filter） 对上式分别对g0 和 g1 求梯度，可得 其矩阵形式为： Hessian Matrix

34 最小二乘滤波（LMS Filter） 上式中的矩阵叫做Hessian Matrix，表示为 H.
为实现J(W+g)的最小化，令上式等于 0，可以得到： 可得到牛顿迭代法（一种梯度下降策略）的表达式：

35 最小二乘滤波（LMS Filter） 将上式中的Hessian矩阵近似为 H=2I ，则可以得到最速下降法的通用表达式：
这里, 常数μ 用于控制收敛速度。 The algorithm is summarized in the right table.

36 最小二乘滤波（LMS Filter） ❏ 将维纳滤波器的表达式代入到最速下降滤波中，可得: ❏ 其中，R和P为瞬态估计，
❏ 上式也有其它的表现形式，比如使用瞬态误差

37 最小二乘滤波（LMS Filter） ❏ 将瞬态误差 代入到最速下降滤波中， 滤波器输出：y(n) = WTu(n)

38 最小二乘滤波（LMS Filter） ❏ 由于只能得到关于R和p的粗略估计， 每一步的自适应步长是随机的。
❏ 算法中所采用的递归机制，相当于在参数的自适应调整过程中对于每一次的粗略估计进行了有效的平均处理，提高了整体算法的有效性。

39 最小二乘滤波（LMS Filter） 收敛性分析

40 最小二乘滤波（LMS Filter） 收敛性分析 由上述定义可知，tap-weight-error的变化率为
计算tap-weight-error的自相关矩阵K， 为此， LMS算法的收敛性与（I-μR）的平方有着极大关系。

41 最小二乘滤波（LMS Filter） 收敛性分析 对于回归式 ，其中λ是R的特征值， 其收敛的必要条件是 也就是说LMS算法收敛的必要条件是

42 最小二乘滤波（LMS Filter） 收敛性分析 步长的选择