第5章 高阶统计分析 清华大学自动化系 张贤达.

Slides:



Advertisements
Similar presentations
高等数学( XJD ) 第二章 导数与微分 返回 高等数学( XAUAT ) 高等数学( XJD ) 求导法则 基本公式 导 数 导 数 微 分微 分 微 分微 分 求导方法 高阶导数 微分法则 导数与微分关系图导数与微分关系图.
Advertisements

第一节 不定积分的概念及其 计算法概述 一、原函数与不定积分的概念 二、基本积分表 三、不定积分的性质及简单计算 四、小结.
第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
第二章 导数与微分 习题课 主要内容 典型例题 测验题. 求 导 法 则求 导 法 则 求 导 法 则求 导 法 则 基本公式 导 数 导 数 微 分微 分 微 分微 分 高阶导数 高阶微分 一、主要内容.
目录 上页 下页 返回 结束 习题课 一、导数和微分的概念及应用 二、导数和微分的求法 导数与微分 第二章.
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
一、会求多元复合函数一阶偏导数 多元复合函数的求导公式 学习要求: 二、了解全微分形式的不变性.
5.4 微 分 一、微分概念 二、微分的运算法则与公式 三、微分在近似计算上的应用. 引例 一块正方形金属片受热后其边长 x 由 x 0 变到 x 0  x  考查此薄片的面积 A 的改变情况  因为 A  x 2  所以金属片面 积的改变量为  A  (x 0 
第二章 导数与微分 一. 内 容 要 点 二. 重 点 难 点 三. 主 要 内 容 四. 例 题与习题.
第二章 导数与微分. 二、 微分的几何意义 三、微分在近似计算中的应用 一、 微分的定义 2.3 微 分.
第二节 换元积分法 一、第一类换元积分 法(凑微分法) 二、第二类换元积分法. 问题 解决方法 利用复合函数,设置中间变量. 过程令 一、第一类换元积分法(凑微分法)
全微分 教学目的:全微分的有关概念和意义 教学重点:全微分的计算和应用 教学难点:全微分应用于近似计算.
第三节 微分 3.1 、微分的概念 3.2 、微分的计算 3.3 、微分的应用. 一、问题的提出 实例 : 正方形金属薄片受热后面积的改变量.
信号与系统 第三章 傅里叶变换 东北大学 2017/2/27.
1.2 信号的描述和分类.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
第三章 函数逼近 — 最佳平方逼近.
例题 教学目的: 微积分基本公式 教学重点: 牛顿----莱布尼兹公式 教学难点: 变上限积分的性质与应用.
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
概率论与数理统计 2.1 随机变量与分布函数.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
定积分习题课.
主要内容 § 3.1 多维随机变量及联合分布 联合分布函里数 联合分布律 联合概率密度 § 3.2 二维随机变量的边缘分布
第三节 函数的求导法则 一 函数的四则运算的微分法则 二 反函数的微分法则 三 复合函数的微分法则及微分 形式不变性 四 微分法小结.
不确定度的传递与合成 间接测量结果不确定度的评估
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第三章 导数与微分 习 题 课 主要内容 典型例题.
2-7、函数的微分 教学要求 教学要点.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第5章 §5.3 定积分的积分法 换元积分法 不定积分 分部积分法 换元积分法 定积分 分部积分法.
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
清华大学自动化系 张贤达 电话: 第三章 现代谱估计 清华大学自动化系 张贤达 电话:
例1 :甲击中的环数; X :乙击中的环数; Y 平较高? 试问哪一个人的射击水 : 的射击水平由下表给出 甲、乙两人射击,他们
本次课讲授:第二章第十一节,第十二节,第三章第一节, 下次课讲第三章第二节,第三节,第四节; 下次上课时交作业P29—P30
计算机数学基础 主讲老师: 邓辉文.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
概 率 统 计 主讲教师 叶宏 山东大学数学院.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
实数与向量的积.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
线 性 代 数 厦门大学线性代数教学组 2019年4月24日6时8分 / 45.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
复习.
第十章 双线性型 Bilinear Form 厦门大学数学科学学院 网址: gdjpkc.xmu.edu.cn
正切函数的图象和性质 周期函数定义: 一般地,对于函数 (x),如果存在一个非零常数T,使得当x取定义域内的每一个值时,都有
第16讲 相似矩阵与方阵的对角化 主要内容: 1.相似矩阵 2. 方阵的对角化.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第一节 不定积分的概念与性质 一、原函数与不定积分的概念 二、不定积分的几何意义 三、基本积分表 四、不定积分的性质 五、小结 思考题.
第三章 函数的微分学 第二节 导数的四则运算法则 一、导数的四则运算 二、偏导数的求法.
多层循环 Private Sub Command1_Click() Dim i As Integer, j As Integer
学习任务三 偏导数 结合一元函数的导数学习二元函数的偏导数是非常有用的. 要求了解二元函数的偏导数的定义, 掌握二元函数偏导数的计算.
第四节 随机变量函数的概率分布 X 是分布已知的随机变量,g ( · ) 是一个已知 的连续函数,如何求随机变量 Y =g(X ) 的分布?
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
第三章 随机信号的功率谱估计 郑宝玉.
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
2019/5/20 第三节 高阶导数 1.
§2 方阵的特征值与特征向量.
现代通信原理 吉林大学远程教育学院.
难点:连续变量函数分布与二维连续变量分布
主讲教师 欧阳丹彤 吉林大学计算机科学与技术学院
第三节 函数的微分 3.1 微分的概念 3.2 微分的计算 3.3 微分的应用.
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
第四章 函数的 积分学 第七节 定积分的换元积分法     与分部积分法 一、定积分的换元积分法 二、定积分的分部积分法.
三角 三角 三角 函数 余弦函数的图象和性质.
第三章 高阶谱估计 3.1 累积量及高阶谱 3.2 高阶谱估计 3.3 有色噪声背景下的频率估计 3.4 高阶谱的应用 2019/12/16.
Presentation transcript:

第5章 高阶统计分析 清华大学自动化系 张贤达

功率谱估计,Weiner滤波器都是以信号的相关函数为工具。 相关函数的局限性 模型的多重性:考虑功率谱 由于 ,故 即不同ARMA过程的功率谱具有相同形状的功率谱。这一特性称为相关函数的多重性或模型的多重性。

两个具有零均值和相同方差的高斯白色噪声和指数分布白色噪声显然是不同的随机过程,但它们的功率谱相同。 用这样两个白色噪声激励同一个ARMA模型,产生的两个ARMA过程显然是不同的随机过程,但它们的功率谱相同。 两个灰度图相同的图像有可能是不同的图像。 以上事实说明,要准确地刻画随机信号,仅使用相关函数(二阶统计量)是不够的,还必须使用更高阶的统计量。三阶和更高阶的统计量合称高阶统计量。 相关函数:刻画信号的粗糙像 高阶统计量:刻画信号的细节

5.1 高阶矩与高阶累积量 1. 单个随机变量x的高阶矩与高阶累积量 函数g(x)的均值: 特别地,若 ,则称 特别地,若 ,则称 是随机变量x的特征函数。它实际上是概率密度 函数f(x)的Fourier反变换。 特征函数的k阶偏导数

K阶矩的定义: 原点矩: 中心矩: 用特征函数描述K阶原点矩:令 则 即 由于K阶矩由 生成,故称特征函数 为随机变量x的矩生成函数(矩母函数),又称第一特征函数。

第二特征函数: k阶累积量 (cumulant): 第二特征函数 累积量生成函数或累积量模母函数

2. 多个随机变量的高阶矩与高阶累积量 k个随机变量r.v. (random variable) 第一联合特征函数 第一联合特征函数的 阶偏导数

k个随机变量r阶矩: 当 时,有 第二联合特征函数 k阶联合累积量:

3. 随机信号的高阶矩与高阶累积量 随机信号的高阶矩与高阶累积量分别是多个随机变量的高阶矩与高阶累积量的推广 考查随机信号 ,令 考查随机信号 ,令 随机信号x(t)的k阶矩: 随机信号x(t)的k阶累积量:

高斯随机变量 的矩与累积量 第一特征函数: K阶矩 第二特征函数: 由于 故有 结论:高斯随机变量的奇次阶矩恒为零,偶次阶矩仅决定于二阶矩,而二阶累积量与二阶矩等价,所有高阶累积量恒为零。

高阶矩的计算: 定义式: 估计式: 问题:如何估计 ? 符号集 矩—累积量转换关系:

集合 的无序、非空、无交连分割 (唯一性) (1) 分割为1个子集合: (2) 分割为2个子集合: 矩—累积量转换公式: 若x(t)为零均值,则

(1) 分割为1个子集合: (2) 分割为2个子集合: (3) 分割为3个子集合: 矩—累积量转换公式:

特别地,若 具有零均值,则 类似地,对于零均值的随机过程或信号,有

累积量的估计公式: 二阶累积量的估计: 三阶累积量的估计: 四阶累积量的估计: 注释: 以上讨论的是“实信号”,复信号的高阶矩与高阶累积量的定义不同,详见后叙。

5.2 矩与累积量的性质 性质1: 性质2: 矩和累积量相对于变元是对称的,即 是 的排列

例: 仅需知道阴影部分的值,便可知道整个平面

性质3: 可加性 故称为 “累积量”。 性质4: 若 与 独立,则 又称为半不变量(semi-invariable cumulant) 四阶矩没有半不变性。 例. 观测数据 , 与 独立, 与 独立,则 高斯噪声3阶以上累积量恒为0

(iid: independently identifically distributed) 性质5: 若 中某个子集同其他子集独立,则 k阶矩无此性质。 应用:独立同分布(i.i.d)过程 (iid: independently identifically distributed) 若 为独立同分布,则累积量 Fourier 变换 其中 常数 高阶谱与频率无关,称为“高阶白噪声”(“白色光”)

而 性质6: 常数

高阶累积量的优点: ⑴ 对称性质: ⑵ 理论上可完全抑制高斯有色噪声(“盲性”) ⑶ i.i.d过程 容易建立线性系统理论 非高斯信号的产生途径: i.i.d 线性系统 非高斯信号 高斯白噪声 线性系统 非高斯信号 结论:用高阶累积量,而不用高阶矩

5.3 高阶谱 功率谱的缺点: 由功率谱只能恢复 ,不可能恢复 自相关函数辨识系统,无法辨识非最小相位系统 “模型的多重性” 由功率谱只能恢复 ,不可能恢复 自相关函数辨识系统,无法辨识非最小相位系统 “模型的多重性” “自相关函数等价性” “功率谱等价性”

高阶谱(Higher-order spectrum)又称多谱 (polyspectrum),是信号 多个频率的能量谱。 高阶谱定义为k阶累积量的 k-1维DFT, 即 条件: “绝对可求和” 二阶谱即为功率谱,它是单个频率的谱。 三阶谱称为双谱 (bispectrum),意即两个频率的谱。 四阶谱称为三谱 (trispectrum),意即三个频率的谱。

⑴ 双谱估计的直接方法: ⑵ 双谱估计的间接方法: 2D-FT 双谱

非高斯信号 (非正态分布的随机信号的总称) 亚高斯信号 (Sub-Gaussian Signal) 超高斯信号 (Super-Gaussian Signal) 峰度 归一化峰度 高斯信号 亚高斯信号 超高斯信号

归零化: 高斯信号:零峰度; 亚高斯信号:负峰度; 超高斯信号:正峰度

5.4 双谱在目标识别中的应用 特性:⑴ 保留了幅值特性 ⑵ 保留了相位特性 ⑶ 平移不变性 应用:⑴ 飞机目标 —— 机动飞行 希望目标特性与飞机飞行姿态无关 (平移不变性) ⑵ 飞机的电磁波辐射和散射特性 天线罩、发动机、出去口、蒙皮材料 ( “相位特性”) ⑶ 飞机尺寸 (机长、翼宽) ( “幅值特性”)

积分双谱 (二维 一维) ⑴ 径向积分双谱 (RIB: radically integrated bispectrum) ⑵ 轴向积分双谱 (AIB: axisially integrated bispectrum) ⑶ 圆周积分双谱 (CIB: circularly integrated bispectrum) 特点:被选择的积分路径上所有双谱的总作用“强” 缺点:“平凡双谱” 和 “交叉项”不可避免

选择双谱:Fisher信息,类可分度 特征向量 分子:类间散布程度 (希望:大) 分母:类内散布程度 (希望:小) —— 先验概率 (等概率) 第 类目标对所有属于自己的k组观测数据的平均双谱 (每类平均) 所有类目标对属于自己的k组观测数据的总平均双谱(全体平均)

选择双谱的优点: 只选择那些对分类作用最强的双谱作为特征向量。因此,这种方法可避免积分双谱方法共有的平凡双谱和交叉项等缺陷。

习 题 题5.1 题5.2 提示:使用积分公式 题5.8 或 5.9 题5.11