第三章:统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质

Slides:



Advertisements
Similar presentations
一、 一阶线性微分方程及其解法 二、 一阶线性微分方程的简单应用 三、 小结及作业 §6.2 一阶线性微分方程.
Advertisements

第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
目录 上页 下页 返回 结束 习题课 一、导数和微分的概念及应用 二、导数和微分的求法 导数与微分 第二章.
第八章 第四节 机动 目录 上页 下页 返回 结束 一个方程所确定的隐函数 及其导数 隐函数的微分法.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
第二章 导数与微分. 二、 微分的几何意义 三、微分在近似计算中的应用 一、 微分的定义 2.3 微 分.
全微分 教学目的:全微分的有关概念和意义 教学重点:全微分的计算和应用 教学难点:全微分应用于近似计算.
第三节 微分 3.1 、微分的概念 3.2 、微分的计算 3.3 、微分的应用. 一、问题的提出 实例 : 正方形金属薄片受热后面积的改变量.
信号与系统 第三章 傅里叶变换 东北大学 2017/2/27.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
第三章 函数逼近 — 最佳平方逼近.
常用逻辑用语复习课 李娟.
恰当方程(全微分方程) 一、概念 二、全微分方程的解法.
第五节 微积分基本公式 、变速直线运动中位置函数与速度 函数的联系 二、积分上限函数及其导数 三、牛顿—莱布尼茨公式.
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
主要内容 § 3.1 多维随机变量及联合分布 联合分布函里数 联合分布律 联合概率密度 § 3.2 二维随机变量的边缘分布
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第三章 导数与微分 习 题 课 主要内容 典型例题.
2-7、函数的微分 教学要求 教学要点.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第2章 Z变换 Z变换的定义与收敛域 Z反变换 系统的稳定性和H(z) 系统函数.
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
例1 :甲击中的环数; X :乙击中的环数; Y 平较高? 试问哪一个人的射击水 : 的射击水平由下表给出 甲、乙两人射击,他们
第一章:高斯信道的信号检测 1.1 问题描述 1.2 Bayes检测 1.3 二元实高斯信号检测
本次课讲授:第二章第十一节,第十二节,第三章第一节, 下次课讲第三章第二节,第三节,第四节; 下次上课时交作业P29—P30
计算机数学基础 主讲老师: 邓辉文.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
EM算法 一种参数估计的方法.
第一章 函数 函数 — 研究对象—第一章 分析基础 极限 — 研究方法—第二章 连续 — 研究桥梁—第二章.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第八模块 复变函数 第二节 复变函数的极限与连续性 一、复变函数的概念 二、复变函数的极限 二、复变函数的连续性.
第七章 参数估计 7.3 参数的区间估计.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
第一章:高斯信道的信号检测 1.1 问题描述 1.2 Bayes检测 1.3 二元实高斯信号检测
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
Partial Differential Equations §2 Separation of variables
6.4不等式的解法举例(1) 2019年4月17日星期三.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
复习.
第十章 双线性型 Bilinear Form 厦门大学数学科学学院 网址: gdjpkc.xmu.edu.cn
定理21.9(可满足性定理)设A是P(Y)的协调子集,则存在P(Y)的解释域U和项解释,使得赋值函数v(A){1}。
第16讲 相似矩阵与方阵的对角化 主要内容: 1.相似矩阵 2. 方阵的对角化.
§8.3 不变因子 一、行列式因子 二、不变因子.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
1.设A和B是集合,证明:A=B当且仅当A∩B=A∪B
概 率 统 计 主讲教师 叶宏 山东大学数学院.
4) 若A可逆,则 也可逆, 证明: 所以.
第五章 相似矩阵及二次型.
第四节 随机变量函数的概率分布 X 是分布已知的随机变量,g ( · ) 是一个已知 的连续函数,如何求随机变量 Y =g(X ) 的分布?
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
建模常见问题MATLAB求解  .
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
概率论与数理统计B.
正弦、余弦函数的性质 华容一中 伍立华 2017年2月24日.
§2 方阵的特征值与特征向量.
难点:连续变量函数分布与二维连续变量分布
第三节 函数的微分 3.1 微分的概念 3.2 微分的计算 3.3 微分的应用.
定义5 把矩阵 A 的行换成同序数的列得到的矩阵,
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
第四章 函数的 积分学 第七节 定积分的换元积分法     与分部积分法 一、定积分的换元积分法 二、定积分的分部积分法.
三角 三角 三角 函数 余弦函数的图象和性质.
第三章 线性方程组 §4 n维向量及其线性相关性(续7)
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
Presentation transcript:

第三章:统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质 3.5 线性最小均方误差估计 3.6 最小二乘估计

3.1 问题描述(信道估计为例) 数字通信数据帧结构 信道估计:根据yP、xP以及hP的统计 信息,估计hP,即: (yP, xP, stat_info(hP))hP (如yP=hPxP+w) 可行性:一般信道都是slowly time varying的(相干时间>>时延要求),因此hd≈hp 其他估计问题:载波频率、相位、时延等

建模 参量空间 观测空间 估计规则 需要接收端作出估计的参量集合 参量空间: 观测空间: 接收端收到的观测信号的集合 概率映射: 信源发送信号到接收端过程中,会有噪声的影响,观测信号中 包含被估计矢量的信息,所以观测信号是以被估计矢量为参 数的随机矢量,用 来描述。

建模 估计量性能的评估 估计规则: 利用被估计矢量的先验知识和观测信号的统计特性,根据指标 要求,构造观测矢量的函数来定义估计量。 估计量的均值 估计量的均方误差 本章的核心问题之一就是研究上述函数的构造方法,评估所构造估计量的优劣。

3.2 随机参量的贝叶斯估计 常用代价函数 贝叶斯估计的概念 最小均方误差估计 最大后验概率估计 条件中值估计 最佳估计的不变性

代价函数和贝叶斯估计 贝叶斯估计:使平均代价最小的一种估计准则。 误差平方代价函数 误差绝对值代价函数 均匀代价函数 代价函数的基本特性:非负性和 时的最小性。

平均代价 设被估计的单随机变量的先验概率密度函数为 易知代价函数 平均代价C为 在 给定,选定代价函数的条件下,使平均代价最小的估计称为贝叶斯估计。

平均代价 由 是非负值, 因此使平均代价最小,就等价于使 最小。 条件平均代价

Relation with cost in M-ary Detection 估计:参数连续取值;检测:参数取自有限个离散点集合。

检测与估计的联系 检测:参量的状态是有限的(M-ary检测) 估计:参量的状态是连续的(比如实数域,复数域) 当M∞时,检测就变成了估计 用检测做估计:复杂度太高,不合适 用估计做检测:可以,实际上经常这样用 比如,在衰落信道y=hx+w的信号检测中,经常对信号先进行估计得到x的估计值x1(复数域上的任意值),然后将其量化到信号星座上的某个点,即检测值x2。 无线通信中,有时候并不严格区分检测与估计

最小均方误差估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量

最小均方误差估计

最小均方误差估计 注: 1.最小均方误差估计的估计量实际是条件均值 2.最小均方误差估计的条件平均代价实际是条件方差 3.最小均方误差估计量的另一种形式

最大后验估计 选定的代价函数为 使条件平均代价最小,应该使 取到最大值 当 很小时,为保证上式最大,应当选择估计量 , 使条件平均代价最小,应该使 取到最大值 当 很小时,为保证上式最大,应当选择估计量 , 使它处于后验概率密度函数 最大值的位置。

最大后验估计 根据上述分析,得到最大后验概率估计量为 两种等价形式

条件中值估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量

条件中值估计

例1 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声 被估计量 是均值为零,方差为 高斯随机变量 求 的贝叶斯估计量(最小均方误差、最大后验和条件中值)

解: 最大后验估计 根据最大后验估计准则,估计量为满足以下方程的解,即 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量

所以最大后验估计量为满足以下方程的解

估计量的均方误差为

最小均方误差估计 根据最小均方误差估计准则,估计量为 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量

上述分布是高斯型的,其均值为 方差为 所以最小均方误差估计量为 估计量的均方误差为

条件中值估计 由于 所以条件中值估计量为 估计量的均方误差为

条件中值估计 最小均方误差估计 最大后验估计 结论:如果被估计量的后验概率密度函数是高斯型的,在三种典型代价函数下, 使平均代价最小的估计量相同,都等于最小均方误差估计量,估计量的均方误差 都是最小的 ——最佳估计的不变性。

例2 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零,方差为 的独立同分布高斯随机噪声 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零,方差为 的独立同分布高斯随机噪声 被估计量 在(-SM,SM)之间均匀分布的随机变量 求 的最大后验估计。

解: 最大后验估计 根据最大后验估计准则,估计量为满足以下方程的解,即 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量

所以最大后验估计量为满足以下方程的解

由于s在(-SM, SM)之间取值,所以

3.3 最大似然估计 ML估计:先验等概下的MAP估计 出发点:若先验概率 未知,或者θ为非随机的未知量,此时MAP不适用。 构造:

例1 如果参量θ的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声; θ是均值为零,方差为 的高斯变量。求 并与 比较

均方误差

ML估计的不变性 若 是一对一变换,有 …………….是一对J(J>1)变换,

例2 同例1,求 的ML估计

解: 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量 由于 是 的一对一变换,即是单调函数,因此可得

由最大似然估计原理,得最大似然估计量为满足以下方程的解。 所以最大似然估计量为

3.4 估计量的性质:无偏性 非随机变量 无偏估计 有偏估计 已知偏差的有偏估计 为无偏估计

估计量的性质:无偏性 随机变量 无偏估计 有偏估计 渐近无偏估计

有效性 对于被估计量 的任意无偏估计 和 ,若估计的均方误差 则称估计量 比 更有效。 对于被估计量 的任意无偏估计 和 ,若估计的均方误差 则称估计量 比 更有效。 如果 的无偏估计量 小于其他任意无偏估计量的均方误差,则称该估计量为最小均方误差估计量。 问题:能否确定一个均方误差的下界?

一致性 假设根据N次观测量构造的估计量为 若 则称估计量 是一致收敛的估计量。 若 则称估计量 是均方一致收敛的估计量。

充分性 若被估计量 的估计量为 ,x是观测量。如果以 为参量的似然函数 能够表示为: 则称 为充分估计量。 则称 为充分估计量。 其中, 是通过 才与x有关的函数,并且以 为参量。 有效估计量必然是充分估计量

Cramer-Rao界:非RV 非RV情况:设 是非随机参量 的无偏估计,则有 当且仅当对任意的 和x,均满足 时,不等式取等号。

证明 设 是非随机参量 的无偏估计,则有 对上式求偏导, 得

证明 上式改写为

证明 根据柯西-施瓦滋不等式 当且仅当 时,上式等号成立。

证明 等号成立条件

证明 克拉美-罗不等式的另一种形式 求偏导 再求一次偏导

证明 克拉美-罗不等式的另一种形式 所以

Remarks 非随机参量情况下的克拉美-罗不等式的含义和用途 (1) 非随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (1) 非随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (2) 若非随机参量 的无偏估计量 满足 则估计量的方差 取到最小值,即取到克拉美-罗界。

Remarks (3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (4) 若非随机参量 的无偏估计量 是有效的,则估计量的方差,即均方误差可由克拉美-罗界取得。

Remarks (5) 若非随机参量 的无偏有效估计量 存在,它必定是 的最大似然估计量 ,且可由最大似然方程解得。 (5) 若非随机参量 的无偏有效估计量 存在,它必定是 的最大似然估计量 ,且可由最大似然方程解得。 最大似然估计量为 由 (6) 非随机参量 的最大似然估计量 不一定是无偏有效的。

均方误差 若非随机参量 的无偏估计量 也是有效的,则其均方误差为 由

例1 如果参量 的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声, 试讨论估计量 的最大似然估计量 的无偏性、有效 如果参量 的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声, 试讨论估计量 的最大似然估计量 的无偏性、有效 性和一致性。

由题设, 由于

最大似然估计量 是 的有效估计量,且估计量的均方误差为 最大似然估计量 是一致收敛估计量。 最大似然估计量 是均方一致收敛估计量

Cramer-Rao界:RV 设 是随机参量 的无偏估计,则有 或 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件 克拉美-罗 设 是随机参量 的无偏估计,则有 或 克拉美-罗 不等式 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件

Remarks (1) 由于 所以

Remarks (2) 随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足 (2) 随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足 则估计量的方差 取到最小值,即取到克拉美-罗界。

Remarks (4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (5) 若随机参量 的无偏估计量 是有效的,则估计量的方差,即均方误差可由克拉美-罗界取得。

Remarks (6) 若随机参量 的无偏有效估计量 存在,它必定是 的最大后验估计量 。 最大后验估计量为

均方误差 若随机参量 的无偏估计量 也是有效的,则其均方误差为 由

例2 同例1。试讨论估计量 的贝叶斯估计量 的无偏性、有效性和一致性。

由题设, 由于

由于

贝叶斯估计量 是 的有效估计量,且估计量的均方误差为 贝叶斯估计量 是一致收敛估计量。 贝叶斯估计量 是均方一致收敛估计量

非随机参量函数的CRLB 设 非随机参量 的函数 ,其估计量 是 的任意无偏估计,则有 或 当且仅当 时,上述两式取等号。 设 非随机参量 的函数 ,其估计量 是 的任意无偏估计,则有 或 克拉美-罗 不等式 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件

例3 同例1。 求 的无偏性和有效性,并求估计的均方误差。

解 由于 易知 根据最大似然估计的不变性,得到

3.5 LMMSE估计 Model MMSE、MAP估计:需要后验概率信息 ML估计:需要先验概率信息 若仅已知前二阶距信息:观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。 ---采用LMMSE估计

LMMSE估计准则 线性最小均方误差估计准则 首先,构造的估计矢量 是观测矢量x的线性函数,即: 同时要求估计矢量的均方误差最小,即为 最小,式中 表示矩阵的迹。 所以,线性最小均方误差估计的估计规则,就是把估计量构造成观测量的线性函数,同时要求估计量的均方误差最小。

LMMSE估计构造 令

LMMSE估计构造

LMMSE估计构造 Lemma

LMMSE估计构造 注意到

LMMSE估计构造 解得 所以

LMMSE估计的物理解释 均值(先验) 新息(观测提供的信息) 观测量的信息 参量的信息

LMMSE估计的性质 (1) 估计矢量是观测矢量的线性函数 (2) 线性最小均方误差估计矢量是无偏估计 所以 是 无偏估计 Recall

LMMSE估计的性质 (3)估计的误差矢量与观测矢量的正交性 被估计矢量 与线性最小均方误差估计矢量 之间的误差矢量 与线性最小均方误差估计矢量 之间的误差矢量 与观测矢量x是正交的,即

LMMSE估计的性质 由于 是 无偏估计

LMMSE估计的性质 (4)最小均方误差估计与线性最小均方误差估计的关系 随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数,而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。 当观测矢量与被估计矢量是联合高斯分布时,最小均方误差估计与线性最小均方误差估计两者相同

例 设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和 , 观测方程为 且已知 求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵 求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵 解: 由

随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性MMSE估计矢量为 的线性函数 的线性MMSE估计矢量 为: 证明: 89

随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性函数 的线性MMSE估计矢量 为: 无偏性: 均方误差阵: 90

随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性 若 和 分别是同维随机矢量 和 的线性MMSE估计矢量, 那么 的线性MMSE估计矢量 为: 无偏性: 均方误差阵:

随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况

3.6 最小二乘估计 不需要任何先验信息,只需知道关于被估计量的观测信号模型 系统模型 被估计量的信号模型 误差平方和最小

线性最小二乘估计 系统模型 最小二乘估计误差

估计量的构造

线性最小二乘估计误差

估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0,LLS估计是无偏估计

均方误差矩阵

例1

加权估计 给观测噪声较小的观测量以较大的权值,以提高估计的精度 加权矩阵W:对称正定矩阵 二乘加权估计误差 最小二乘加权估计

估计量的构造

估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0,LLS估计是无偏估计 均方误差矩阵

最佳加权矩阵的设计 Lemma:设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在,则有矩阵不等式 令 有 因此

例2 求 解:

作业3 信道估计问题(Slide 2) Rayleigh, slow fading channel y=hx+w 1)分别采用LMMSE估计和LS估计时,给出MSE随长度P的变化曲线。(同时给出C-R界) 2)分别采用LMMSE估计和LS估计时,给出BER随信道估计负载比(P/N)的变化曲线。(不同负载比情况下仍要求每帧传输速率相同)