第三章:统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质 3.5 线性最小均方误差估计 3.6 最小二乘估计
3.1 问题描述(信道估计为例) 数字通信数据帧结构 信道估计:根据yP、xP以及hP的统计 信息,估计hP,即: (yP, xP, stat_info(hP))hP (如yP=hPxP+w) 可行性:一般信道都是slowly time varying的(相干时间>>时延要求),因此hd≈hp 其他估计问题:载波频率、相位、时延等
建模 参量空间 观测空间 估计规则 需要接收端作出估计的参量集合 参量空间: 观测空间: 接收端收到的观测信号的集合 概率映射: 信源发送信号到接收端过程中,会有噪声的影响,观测信号中 包含被估计矢量的信息,所以观测信号是以被估计矢量为参 数的随机矢量,用 来描述。
建模 估计量性能的评估 估计规则: 利用被估计矢量的先验知识和观测信号的统计特性,根据指标 要求,构造观测矢量的函数来定义估计量。 估计量的均值 估计量的均方误差 本章的核心问题之一就是研究上述函数的构造方法,评估所构造估计量的优劣。
3.2 随机参量的贝叶斯估计 常用代价函数 贝叶斯估计的概念 最小均方误差估计 最大后验概率估计 条件中值估计 最佳估计的不变性
代价函数和贝叶斯估计 贝叶斯估计:使平均代价最小的一种估计准则。 误差平方代价函数 误差绝对值代价函数 均匀代价函数 代价函数的基本特性:非负性和 时的最小性。
平均代价 设被估计的单随机变量的先验概率密度函数为 易知代价函数 平均代价C为 在 给定,选定代价函数的条件下,使平均代价最小的估计称为贝叶斯估计。
平均代价 由 是非负值, 因此使平均代价最小,就等价于使 最小。 条件平均代价
Relation with cost in M-ary Detection 估计:参数连续取值;检测:参数取自有限个离散点集合。
检测与估计的联系 检测:参量的状态是有限的(M-ary检测) 估计:参量的状态是连续的(比如实数域,复数域) 当M∞时,检测就变成了估计 用检测做估计:复杂度太高,不合适 用估计做检测:可以,实际上经常这样用 比如,在衰落信道y=hx+w的信号检测中,经常对信号先进行估计得到x的估计值x1(复数域上的任意值),然后将其量化到信号星座上的某个点,即检测值x2。 无线通信中,有时候并不严格区分检测与估计
最小均方误差估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量
最小均方误差估计
最小均方误差估计 注: 1.最小均方误差估计的估计量实际是条件均值 2.最小均方误差估计的条件平均代价实际是条件方差 3.最小均方误差估计量的另一种形式
最大后验估计 选定的代价函数为 使条件平均代价最小,应该使 取到最大值 当 很小时,为保证上式最大,应当选择估计量 , 使条件平均代价最小,应该使 取到最大值 当 很小时,为保证上式最大,应当选择估计量 , 使它处于后验概率密度函数 最大值的位置。
最大后验估计 根据上述分析,得到最大后验概率估计量为 两种等价形式
条件中值估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量
条件中值估计
例1 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声 被估计量 是均值为零,方差为 高斯随机变量 求 的贝叶斯估计量(最小均方误差、最大后验和条件中值)
解: 最大后验估计 根据最大后验估计准则,估计量为满足以下方程的解,即 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量
所以最大后验估计量为满足以下方程的解
估计量的均方误差为
最小均方误差估计 根据最小均方误差估计准则,估计量为 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量
上述分布是高斯型的,其均值为 方差为 所以最小均方误差估计量为 估计量的均方误差为
条件中值估计 由于 所以条件中值估计量为 估计量的均方误差为
条件中值估计 最小均方误差估计 最大后验估计 结论:如果被估计量的后验概率密度函数是高斯型的,在三种典型代价函数下, 使平均代价最小的估计量相同,都等于最小均方误差估计量,估计量的均方误差 都是最小的 ——最佳估计的不变性。
例2 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零,方差为 的独立同分布高斯随机噪声 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零,方差为 的独立同分布高斯随机噪声 被估计量 在(-SM,SM)之间均匀分布的随机变量 求 的最大后验估计。
解: 最大后验估计 根据最大后验估计准则,估计量为满足以下方程的解,即 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量
所以最大后验估计量为满足以下方程的解
由于s在(-SM, SM)之间取值,所以
3.3 最大似然估计 ML估计:先验等概下的MAP估计 出发点:若先验概率 未知,或者θ为非随机的未知量,此时MAP不适用。 构造:
例1 如果参量θ的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声; θ是均值为零,方差为 的高斯变量。求 并与 比较
均方误差
ML估计的不变性 若 是一对一变换,有 …………….是一对J(J>1)变换,
例2 同例1,求 的ML估计
解: 由题设,可知,给定 条件下,观测信号xk是均值为 ,方差为 的高斯 随机变量 由于 是 的一对一变换,即是单调函数,因此可得
由最大似然估计原理,得最大似然估计量为满足以下方程的解。 所以最大似然估计量为
3.4 估计量的性质:无偏性 非随机变量 无偏估计 有偏估计 已知偏差的有偏估计 为无偏估计
估计量的性质:无偏性 随机变量 无偏估计 有偏估计 渐近无偏估计
有效性 对于被估计量 的任意无偏估计 和 ,若估计的均方误差 则称估计量 比 更有效。 对于被估计量 的任意无偏估计 和 ,若估计的均方误差 则称估计量 比 更有效。 如果 的无偏估计量 小于其他任意无偏估计量的均方误差,则称该估计量为最小均方误差估计量。 问题:能否确定一个均方误差的下界?
一致性 假设根据N次观测量构造的估计量为 若 则称估计量 是一致收敛的估计量。 若 则称估计量 是均方一致收敛的估计量。
充分性 若被估计量 的估计量为 ,x是观测量。如果以 为参量的似然函数 能够表示为: 则称 为充分估计量。 则称 为充分估计量。 其中, 是通过 才与x有关的函数,并且以 为参量。 有效估计量必然是充分估计量
Cramer-Rao界:非RV 非RV情况:设 是非随机参量 的无偏估计,则有 当且仅当对任意的 和x,均满足 时,不等式取等号。
证明 设 是非随机参量 的无偏估计,则有 对上式求偏导, 得
证明 上式改写为
证明 根据柯西-施瓦滋不等式 当且仅当 时,上式等号成立。
证明 等号成立条件
证明 克拉美-罗不等式的另一种形式 求偏导 再求一次偏导
证明 克拉美-罗不等式的另一种形式 所以
Remarks 非随机参量情况下的克拉美-罗不等式的含义和用途 (1) 非随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (1) 非随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (2) 若非随机参量 的无偏估计量 满足 则估计量的方差 取到最小值,即取到克拉美-罗界。
Remarks (3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (4) 若非随机参量 的无偏估计量 是有效的,则估计量的方差,即均方误差可由克拉美-罗界取得。
Remarks (5) 若非随机参量 的无偏有效估计量 存在,它必定是 的最大似然估计量 ,且可由最大似然方程解得。 (5) 若非随机参量 的无偏有效估计量 存在,它必定是 的最大似然估计量 ,且可由最大似然方程解得。 最大似然估计量为 由 (6) 非随机参量 的最大似然估计量 不一定是无偏有效的。
均方误差 若非随机参量 的无偏估计量 也是有效的,则其均方误差为 由
例1 如果参量 的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声, 试讨论估计量 的最大似然估计量 的无偏性、有效 如果参量 的观测方程为 其中nk是均值为零,方差为 的独立同分布高斯随机噪声, 试讨论估计量 的最大似然估计量 的无偏性、有效 性和一致性。
由题设, 由于
最大似然估计量 是 的有效估计量,且估计量的均方误差为 最大似然估计量 是一致收敛估计量。 最大似然估计量 是均方一致收敛估计量
Cramer-Rao界:RV 设 是随机参量 的无偏估计,则有 或 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件 克拉美-罗 设 是随机参量 的无偏估计,则有 或 克拉美-罗 不等式 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件
Remarks (1) 由于 所以
Remarks (2) 随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足 (2) 随机参量 的任意无偏估计量 的方差 ,即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足 则估计量的方差 取到最小值,即取到克拉美-罗界。
Remarks (4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的,否则是无效的。 (5) 若随机参量 的无偏估计量 是有效的,则估计量的方差,即均方误差可由克拉美-罗界取得。
Remarks (6) 若随机参量 的无偏有效估计量 存在,它必定是 的最大后验估计量 。 最大后验估计量为
均方误差 若随机参量 的无偏估计量 也是有效的,则其均方误差为 由
例2 同例1。试讨论估计量 的贝叶斯估计量 的无偏性、有效性和一致性。
由题设, 由于
由于
贝叶斯估计量 是 的有效估计量,且估计量的均方误差为 贝叶斯估计量 是一致收敛估计量。 贝叶斯估计量 是均方一致收敛估计量
非随机参量函数的CRLB 设 非随机参量 的函数 ,其估计量 是 的任意无偏估计,则有 或 当且仅当 时,上述两式取等号。 设 非随机参量 的函数 ,其估计量 是 的任意无偏估计,则有 或 克拉美-罗 不等式 当且仅当 时,上述两式取等号。 克拉美-罗不等式取等号的条件
例3 同例1。 求 的无偏性和有效性,并求估计的均方误差。
解 由于 易知 根据最大似然估计的不变性,得到
3.5 LMMSE估计 Model MMSE、MAP估计:需要后验概率信息 ML估计:需要先验概率信息 若仅已知前二阶距信息:观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。 ---采用LMMSE估计
LMMSE估计准则 线性最小均方误差估计准则 首先,构造的估计矢量 是观测矢量x的线性函数,即: 同时要求估计矢量的均方误差最小,即为 最小,式中 表示矩阵的迹。 所以,线性最小均方误差估计的估计规则,就是把估计量构造成观测量的线性函数,同时要求估计量的均方误差最小。
LMMSE估计构造 令
LMMSE估计构造
LMMSE估计构造 Lemma
LMMSE估计构造 注意到
LMMSE估计构造 解得 所以
LMMSE估计的物理解释 均值(先验) 新息(观测提供的信息) 观测量的信息 参量的信息
LMMSE估计的性质 (1) 估计矢量是观测矢量的线性函数 (2) 线性最小均方误差估计矢量是无偏估计 所以 是 无偏估计 Recall
LMMSE估计的性质 (3)估计的误差矢量与观测矢量的正交性 被估计矢量 与线性最小均方误差估计矢量 之间的误差矢量 与线性最小均方误差估计矢量 之间的误差矢量 与观测矢量x是正交的,即
LMMSE估计的性质 由于 是 无偏估计
LMMSE估计的性质 (4)最小均方误差估计与线性最小均方误差估计的关系 随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数,而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。 当观测矢量与被估计矢量是联合高斯分布时,最小均方误差估计与线性最小均方误差估计两者相同
例 设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和 , 观测方程为 且已知 求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵 求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵 解: 由
随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性MMSE估计矢量为 的线性函数 的线性MMSE估计矢量 为: 证明: 89
随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性函数 的线性MMSE估计矢量 为: 无偏性: 均方误差阵: 90
随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性 若 和 分别是同维随机矢量 和 的线性MMSE估计矢量, 那么 的线性MMSE估计矢量 为: 无偏性: 均方误差阵:
随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况
3.6 最小二乘估计 不需要任何先验信息,只需知道关于被估计量的观测信号模型 系统模型 被估计量的信号模型 误差平方和最小
线性最小二乘估计 系统模型 最小二乘估计误差
估计量的构造
线性最小二乘估计误差
估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0,LLS估计是无偏估计
均方误差矩阵
例1
解
加权估计 给观测噪声较小的观测量以较大的权值,以提高估计的精度 加权矩阵W:对称正定矩阵 二乘加权估计误差 最小二乘加权估计
估计量的构造
估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0,LLS估计是无偏估计 均方误差矩阵
最佳加权矩阵的设计 Lemma:设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在,则有矩阵不等式 令 有 因此
例2 求 解:
作业3 信道估计问题(Slide 2) Rayleigh, slow fading channel y=hx+w 1)分别采用LMMSE估计和LS估计时,给出MSE随长度P的变化曲线。(同时给出C-R界) 2)分别采用LMMSE估计和LS估计时,给出BER随信道估计负载比(P/N)的变化曲线。(不同负载比情况下仍要求每帧传输速率相同)