第三章：统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质

Presentation on theme: "第三章：统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质"— Presentation transcript:

1 第三章：统计信号估计 3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质
3.5 线性最小均方误差估计 3.6 最小二乘估计

2 3.1 问题描述（信道估计为例） 数字通信数据帧结构
信道估计：根据yP、xP以及hP的统计 信息，估计hP，即： (yP, xP, stat_info(hP))hP （如yP=hPxP+w) 可行性：一般信道都是slowly time varying的（相干时间>>时延要求），因此hd≈hp 其他估计问题：载波频率、相位、时延等

3 建模 参量空间 观测空间 估计规则 需要接收端作出估计的参量集合 参量空间： 观测空间： 接收端收到的观测信号的集合 概率映射：
信源发送信号到接收端过程中，会有噪声的影响，观测信号中 包含被估计矢量的信息，所以观测信号是以被估计矢量为参 数的随机矢量，用 来描述。

4 建模 估计量性能的评估 估计规则： 利用被估计矢量的先验知识和观测信号的统计特性，根据指标 要求，构造观测矢量的函数来定义估计量。
估计量的均值 估计量的均方误差 本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。

5 3.2 随机参量的贝叶斯估计 常用代价函数 贝叶斯估计的概念 最小均方误差估计 最大后验概率估计 条件中值估计 最佳估计的不变性

6 代价函数和贝叶斯估计 贝叶斯估计：使平均代价最小的一种估计准则。 误差平方代价函数 误差绝对值代价函数 均匀代价函数
代价函数的基本特性：非负性和 时的最小性。

7 平均代价 设被估计的单随机变量的先验概率密度函数为 易知代价函数 平均代价C为
在 给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。

8 平均代价 由 是非负值， 因此使平均代价最小，就等价于使 最小。 条件平均代价

9 Relation with cost in M-ary Detection
估计：参数连续取值；检测：参数取自有限个离散点集合。

10 检测与估计的联系 检测：参量的状态是有限的（M-ary检测） 估计：参量的状态是连续的（比如实数域，复数域） 当M∞时，检测就变成了估计
用检测做估计：复杂度太高，不合适 用估计做检测：可以，实际上经常这样用 比如，在衰落信道y=hx+w的信号检测中，经常对信号先进行估计得到x的估计值x1（复数域上的任意值），然后将其量化到信号星座上的某个点，即检测值x2。 无线通信中，有时候并不严格区分检测与估计

11 最小均方误差估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量

12 最小均方误差估计

13 最小均方误差估计 注： 1.最小均方误差估计的估计量实际是条件均值 2.最小均方误差估计的条件平均代价实际是条件方差
3.最小均方误差估计量的另一种形式

14 最大后验估计 选定的代价函数为 使条件平均代价最小，应该使 取到最大值 当 很小时，为保证上式最大，应当选择估计量 ，
使条件平均代价最小，应该使 取到最大值 当 很小时，为保证上式最大，应当选择估计量 ， 使它处于后验概率密度函数 最大值的位置。

15 最大后验估计 根据上述分析，得到最大后验概率估计量为 两种等价形式

16 条件中值估计 选定的代价函数为 求解方法 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量

17 条件中值估计

18 例1 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声
研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是均值为零，方差为 高斯随机变量 求 的贝叶斯估计量(最小均方误差、最大后验和条件中值)

19 解： 最大后验估计 根据最大后验估计准则，估计量为满足以下方程的解，即 由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯
随机变量

20 所以最大后验估计量为满足以下方程的解

21 估计量的均方误差为

22 最小均方误差估计 根据最小均方误差估计准则，估计量为 由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量

23

24

25 上述分布是高斯型的，其均值为 方差为 所以最小均方误差估计量为 估计量的均方误差为

26 条件中值估计 由于 所以条件中值估计量为 估计量的均方误差为

27 条件中值估计 最小均方误差估计 最大后验估计 结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下， 使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差 都是最小的 ——最佳估计的不变性。

28 例2 研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零，方差为 的独立同分布高斯随机噪声
研究在加性噪声中单随机参量 的估计问题。 观测方程为 其中n是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 在(-SM,SM)之间均匀分布的随机变量 求 的最大后验估计。

29 解： 最大后验估计 根据最大后验估计准则，估计量为满足以下方程的解，即 由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯
随机变量

30 所以最大后验估计量为满足以下方程的解

31 由于s在(-SM, SM)之间取值，所以

32 3.3 最大似然估计 ML估计：先验等概下的MAP估计 出发点：若先验概率 未知，或者θ为非随机的未知量，此时MAP不适用。 构造：

33 例1 如果参量θ的观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声； θ是均值为零，方差为 的高斯变量。求 并与 比较

34

35 均方误差

36

37 ML估计的不变性 若 是一对一变换，有 …………….是一对J(J>1)变换，

38 例2 同例1，求 的ML估计

39 解： 由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量 由于 是 的一对一变换，即是单调函数，因此可得

40 由最大似然估计原理，得最大似然估计量为满足以下方程的解。
所以最大似然估计量为

41 3.4 估计量的性质：无偏性 非随机变量 无偏估计 有偏估计 已知偏差的有偏估计 为无偏估计

42 估计量的性质：无偏性 随机变量 无偏估计 有偏估计 渐近无偏估计

43 有效性 对于被估计量 的任意无偏估计 和 ，若估计的均方误差 则称估计量 比 更有效。
对于被估计量 的任意无偏估计 和 ，若估计的均方误差 则称估计量 比 更有效。 如果 的无偏估计量 小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。 问题：能否确定一个均方误差的下界？

44 一致性 假设根据N次观测量构造的估计量为 若 则称估计量 是一致收敛的估计量。 若 则称估计量 是均方一致收敛的估计量。

45 充分性 若被估计量 的估计量为 ，x是观测量。如果以 为参量的似然函数 能够表示为： 则称 为充分估计量。
则称 为充分估计量。 其中， 是通过 才与x有关的函数，并且以 为参量。 有效估计量必然是充分估计量

46 Cramer-Rao界：非RV 非RV情况：设 是非随机参量 的无偏估计，则有 当且仅当对任意的 和x，均满足 时，不等式取等号。

47 证明 设 是非随机参量 的无偏估计，则有 对上式求偏导， 得

48 证明 上式改写为

49 证明 根据柯西-施瓦滋不等式 当且仅当 时，上式等号成立。

50 证明 等号成立条件

51 证明 克拉美-罗不等式的另一种形式 求偏导 再求一次偏导

52 证明 克拉美-罗不等式的另一种形式 所以

53 Remarks 非随机参量情况下的克拉美-罗不等式的含义和用途 (1) 非随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于
(1) 非随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于 (2) 若非随机参量 的无偏估计量 满足 则估计量的方差 取到最小值，即取到克拉美-罗界。

54 Remarks (3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的，否则是无效的。
(3) 若非随机参量 的无偏估计量 满足 则无偏估计量 是有效的，否则是无效的。 (4) 若非随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。

55 Remarks (5) 若非随机参量 的无偏有效估计量 存在，它必定是 的最大似然估计量 ，且可由最大似然方程解得。
(5) 若非随机参量 的无偏有效估计量 存在，它必定是 的最大似然估计量 ，且可由最大似然方程解得。 最大似然估计量为 由 (6) 非随机参量 的最大似然估计量 不一定是无偏有效的。

56 均方误差 若非随机参量 的无偏估计量 也是有效的，则其均方误差为 由

57 例1 如果参量 的观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声， 试讨论估计量 的最大似然估计量 的无偏性、有效
如果参量 的观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声， 试讨论估计量 的最大似然估计量 的无偏性、有效 性和一致性。

58 由题设， 由于

59 最大似然估计量 是 的有效估计量，且估计量的均方误差为 最大似然估计量 是一致收敛估计量。 最大似然估计量 是均方一致收敛估计量

60 Cramer-Rao界：RV 设 是随机参量 的无偏估计，则有 或 当且仅当 时，上述两式取等号。 克拉美-罗不等式取等号的条件 克拉美-罗
设 是随机参量 的无偏估计，则有 或 克拉美-罗 不等式 当且仅当 时，上述两式取等号。 克拉美-罗不等式取等号的条件

61 Remarks (1) 由于 所以

62 Remarks (2) 随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足
(2) 随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于 (3) 若随机参量 的无偏估计量 满足 则估计量的方差 取到最小值，即取到克拉美-罗界。

63 Remarks (4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的，否则是无效的。
(4) 若随机参量 的无偏估计量 满足 则无偏估计量 是有效的，否则是无效的。 (5) 若随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。

64 Remarks (6) 若随机参量 的无偏有效估计量 存在，它必定是 的最大后验估计量 。 最大后验估计量为

65 均方误差 若随机参量 的无偏估计量 也是有效的，则其均方误差为 由

66 例2 同例1。试讨论估计量 的贝叶斯估计量 的无偏性、有效性和一致性。

67 由题设， 由于

68 由于

69 贝叶斯估计量 是 的有效估计量，且估计量的均方误差为 贝叶斯估计量 是一致收敛估计量。 贝叶斯估计量 是均方一致收敛估计量

70 非随机参量函数的CRLB 设 非随机参量 的函数 ，其估计量 是 的任意无偏估计，则有 或 当且仅当 时，上述两式取等号。
设 非随机参量 的函数 ，其估计量 是 的任意无偏估计，则有 或 克拉美-罗 不等式 当且仅当 时，上述两式取等号。 克拉美-罗不等式取等号的条件

71 例3 同例1。 求 的无偏性和有效性，并求估计的均方误差。

72 解 由于 易知 根据最大似然估计的不变性，得到

73

74 3.5 LMMSE估计 Model MMSE、MAP估计：需要后验概率信息 ML估计：需要先验概率信息
若仅已知前二阶距信息：观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。 ---采用LMMSE估计

75 LMMSE估计准则 线性最小均方误差估计准则 首先，构造的估计矢量 是观测矢量x的线性函数，即： 同时要求估计矢量的均方误差最小，即为
最小，式中 表示矩阵的迹。 所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。

76 LMMSE估计构造 令

77 LMMSE估计构造

78 LMMSE估计构造 Lemma

79 LMMSE估计构造 注意到

80 LMMSE估计构造 解得 所以

81 LMMSE估计的物理解释 均值（先验） 新息（观测提供的信息） 观测量的信息 参量的信息

82 LMMSE估计的性质 (1) 估计矢量是观测矢量的线性函数 (2) 线性最小均方误差估计矢量是无偏估计 所以 是 无偏估计 Recall

83 LMMSE估计的性质 (3)估计的误差矢量与观测矢量的正交性 被估计矢量 与线性最小均方误差估计矢量 之间的误差矢量
与线性最小均方误差估计矢量 之间的误差矢量 与观测矢量x是正交的，即

84 LMMSE估计的性质 由于 是 无偏估计

85 LMMSE估计的性质 (4)最小均方误差估计与线性最小均方误差估计的关系
随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。 当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差估计两者相同

86 例 设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和 ， 观测方程为 且已知 求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵
求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵 解： 由

87

88

89 随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性MMSE估计矢量为 的线性函数 的线性MMSE估计矢量 为： 证明： 89

90 随机矢量函数的线性最小均方误差估计 线性变换上的可转换性 的线性函数 的线性MMSE估计矢量 为： 无偏性： 均方误差阵： 90

91 随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性
若 和 分别是同维随机矢量 和 的线性MMSE估计矢量， 那么 的线性MMSE估计矢量 为： 无偏性： 均方误差阵：

92 随机矢量函数的线性最小均方误差估计 线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况

93 3.6 最小二乘估计 不需要任何先验信息，只需知道关于被估计量的观测信号模型 系统模型 被估计量的信号模型 误差平方和最小

94 线性最小二乘估计 系统模型 最小二乘估计误差

95 估计量的构造

96 线性最小二乘估计误差

97 估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0，LLS估计是无偏估计

98 均方误差矩阵

99 例1

100 解

101 加权估计 给观测噪声较小的观测量以较大的权值，以提高估计的精度 加权矩阵W：对称正定矩阵 二乘加权估计误差 最小二乘加权估计

102 估计量的构造

103 估计量的性质 估计矢量是观测矢量的线性函数 若噪声矢量均值为0，LLS估计是无偏估计 均方误差矩阵

104 最佳加权矩阵的设计 Lemma：设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在，则有矩阵不等式 令 有 因此

105 例2 求 解：

106 作业3 信道估计问题（Slide 2） Rayleigh, slow fading channel y=hx+w
1）分别采用LMMSE估计和LS估计时，给出MSE随长度P的变化曲线。(同时给出C-R界) 2）分别采用LMMSE估计和LS估计时，给出BER随信道估计负载比(P/N）的变化曲线。（不同负载比情况下仍要求每帧传输速率相同）