第5章 高阶统计分析 清华大学自动化系 张贤达.

Presentation on theme: "第5章 高阶统计分析 清华大学自动化系 张贤达."— Presentation transcript:

1 第5章 高阶统计分析 清华大学自动化系 张贤达

2 功率谱估计，Weiner滤波器都是以信号的相关函数为工具。
相关函数的局限性 模型的多重性：考虑功率谱 由于 ,故 即不同ARMA过程的功率谱具有相同形状的功率谱。这一特性称为相关函数的多重性或模型的多重性。

3 两个具有零均值和相同方差的高斯白色噪声和指数分布白色噪声显然是不同的随机过程，但它们的功率谱相同。
用这样两个白色噪声激励同一个ARMA模型，产生的两个ARMA过程显然是不同的随机过程，但它们的功率谱相同。 两个灰度图相同的图像有可能是不同的图像。 以上事实说明,要准确地刻画随机信号,仅使用相关函数（二阶统计量）是不够的，还必须使用更高阶的统计量。三阶和更高阶的统计量合称高阶统计量。 相关函数：刻画信号的粗糙像 高阶统计量：刻画信号的细节

4 5.1 高阶矩与高阶累积量 1. 单个随机变量x的高阶矩与高阶累积量 函数g(x)的均值： 特别地，若 ，则称
特别地，若 ，则称 是随机变量x的特征函数。它实际上是概率密度 函数f(x)的Fourier反变换。 特征函数的k阶偏导数

5 K阶矩的定义： 原点矩： 中心矩： 用特征函数描述K阶原点矩：令 则 即 由于K阶矩由 生成，故称特征函数 为随机变量x的矩生成函数(矩母函数)，又称第一特征函数。

6 第二特征函数： k阶累积量 (cumulant)： 第二特征函数 累积量生成函数或累积量模母函数

7 2. 多个随机变量的高阶矩与高阶累积量 k个随机变量r.v. (random variable) 第一联合特征函数
第一联合特征函数的 阶偏导数

8 k个随机变量r阶矩： 当 时，有 第二联合特征函数 k阶联合累积量：

9 3. 随机信号的高阶矩与高阶累积量 随机信号的高阶矩与高阶累积量分别是多个随机变量的高阶矩与高阶累积量的推广 考查随机信号 ，令
考查随机信号 ，令 随机信号x(t)的k阶矩： 随机信号x(t)的k阶累积量：

10 高斯随机变量 的矩与累积量 第一特征函数： K阶矩 第二特征函数： 由于 故有 结论：高斯随机变量的奇次阶矩恒为零，偶次阶矩仅决定于二阶矩，而二阶累积量与二阶矩等价，所有高阶累积量恒为零。

11 高阶矩的计算： 定义式： 估计式： 问题：如何估计 ？ 符号集 矩—累积量转换关系：

12 集合 的无序、非空、无交连分割 (唯一性) (1) 分割为1个子集合： (2) 分割为2个子集合： 矩—累积量转换公式： 若x(t)为零均值，则

13 (1) 分割为1个子集合： (2) 分割为2个子集合： (3) 分割为3个子集合： 矩—累积量转换公式：

14 特别地，若 具有零均值，则 类似地，对于零均值的随机过程或信号，有

15 累积量的估计公式： 二阶累积量的估计： 三阶累积量的估计： 四阶累积量的估计： 注释： 以上讨论的是“实信号”,复信号的高阶矩与高阶累积量的定义不同，详见后叙。

16 5.2 矩与累积量的性质 性质1: 性质2: 矩和累积量相对于变元是对称的，即 是 的排列

17 例： 仅需知道阴影部分的值，便可知道整个平面

18 性质3: 可加性 故称为 “累积量”。 性质4: 若 与 独立，则 又称为半不变量（semi-invariable cumulant） 四阶矩没有半不变性。 例. 观测数据 ， 与 独立， 与 独立，则 高斯噪声3阶以上累积量恒为0

19 (iid: independently identifically distributed)
性质5: 若 中某个子集同其他子集独立，则 k阶矩无此性质。 应用：独立同分布（i.i.d）过程 (iid: independently identifically distributed) 若 为独立同分布，则累积量 Fourier 变换 其中 常数 高阶谱与频率无关，称为“高阶白噪声”（“白色光”）

20 而 性质6: 常数

21 高阶累积量的优点： ⑴ 对称性质： ⑵ 理论上可完全抑制高斯有色噪声(“盲性”) ⑶ i.i.d过程 容易建立线性系统理论 非高斯信号的产生途径： i.i.d 线性系统 非高斯信号 高斯白噪声 线性系统 非高斯信号 结论：用高阶累积量，而不用高阶矩

22 5.3 高阶谱 功率谱的缺点： 由功率谱只能恢复 ,不可能恢复 自相关函数辨识系统，无法辨识非最小相位系统 “模型的多重性”
由功率谱只能恢复 ,不可能恢复 自相关函数辨识系统，无法辨识非最小相位系统 “模型的多重性” “自相关函数等价性” “功率谱等价性”

23 高阶谱（Higher-order spectrum）又称多谱 （polyspectrum），是信号 多个频率的能量谱。
高阶谱定义为k阶累积量的 k-1维DFT, 即 条件： “绝对可求和” 二阶谱即为功率谱，它是单个频率的谱。 三阶谱称为双谱 (bispectrum)，意即两个频率的谱。 四阶谱称为三谱 (trispectrum)，意即三个频率的谱。

24 ⑴ 双谱估计的直接方法： ⑵ 双谱估计的间接方法： 2D-FT 双谱

25 非高斯信号 (非正态分布的随机信号的总称)
亚高斯信号 (Sub-Gaussian Signal) 超高斯信号 (Super-Gaussian Signal) 峰度 归一化峰度 高斯信号 亚高斯信号 超高斯信号

26 归零化： 高斯信号：零峰度； 亚高斯信号：负峰度； 超高斯信号：正峰度

27 5.4 双谱在目标识别中的应用 特性：⑴ 保留了幅值特性 ⑵ 保留了相位特性 ⑶ 平移不变性 应用：⑴ 飞机目标 —— 机动飞行
希望目标特性与飞机飞行姿态无关 (平移不变性) ⑵ 飞机的电磁波辐射和散射特性 天线罩、发动机、出去口、蒙皮材料 ( “相位特性”) ⑶ 飞机尺寸 (机长、翼宽) ( “幅值特性”)

28 积分双谱 (二维 一维) ⑴ 径向积分双谱 (RIB: radically integrated bispectrum) ⑵ 轴向积分双谱 (AIB: axisially integrated bispectrum) ⑶ 圆周积分双谱 (CIB: circularly integrated bispectrum) 特点：被选择的积分路径上所有双谱的总作用“强” 缺点：“平凡双谱” 和 “交叉项”不可避免

29 选择双谱：Fisher信息，类可分度 特征向量 分子：类间散布程度 (希望：大) 分母：类内散布程度 (希望：小) —— 先验概率 (等概率) 第 类目标对所有属于自己的k组观测数据的平均双谱 （每类平均） 所有类目标对属于自己的k组观测数据的总平均双谱（全体平均）

30 选择双谱的优点: 只选择那些对分类作用最强的双谱作为特征向量。因此，这种方法可避免积分双谱方法共有的平凡双谱和交叉项等缺陷。

31 习 题 题5.1 题5.2 提示：使用积分公式 题5.8 或 5.9 题5.11