第十二章 最大似然法 (Maximum Likelihood method)

Presentation on theme: "第十二章 最大似然法 (Maximum Likelihood method)"— Presentation transcript:

1 第十二章 最大似然法 (Maximum Likelihood method)
实验数据处理方法 第三部分：统计学方法 第十二章 最大似然法 (Maximum Likelihood method)

2 第十二章 最大似然法 (Maximum Likelihood Method)
点估计的方法之一，是参数估计中常用的方法，具有以下的特点： 在一定的条件下，ML估计式满足一致性、无偏性、有效性等要求； 当样本容量n时，ML估计式满足正态分布方差容易计算； 用ML方法可较容易地得到参数的估计式； 本章内容： 最大似然原理； 用ML方法求解参数估计问题的步骤； ML估计式的特性； 如何计算ML估计值的方差； 利用似然函数进行区间估计

3 第十二章 最大似然法 (Maximum Likelyhood Method)
12.1 最大似然原理

4 12.1 最大似然原理 (一) 似然函数的定义 p.d.f：f(x|) 测量量：x = {x1, x2, …, xn }
(二) 最大似然原理 未知参数的最佳估计值 应满足如下的条件： 位于的允许取值范围； 对于给定的一组测量值， 使L取极大值：

5 12.1 最大似然原理 (三)估计值 的求法 似然方程： 极大值条件：
(三)估计值 的求法 似然方程： 极大值条件： 因为lnL是L的单调上升函数，lnL和L具有相同的极大值点，所以，LlnL， 求和运算比乘积运算容易处理 似然方程： 极大值条件： 如果有k个位置参数， = {1, 2, …, k} k阶似然方程 估计值：

6 12.1 最大似然原理 极大值条件：二次矩阵 是负定的(Negative definite)

7 第十二章 最大似然法 (Maximum Likelyhood Method)

8 12.2 用ML方法进行参数估计的步骤 构造概率密度函数； 构造似然函数； 求似然函数的极大值。

9 12.2 用ML方法进行参数估计的步骤 （一）构造概率密度函数 物理系统的特性：某些量的理论概率分布函数 实验的条件：分辨率、探测效率
ML方法中所需的p.d.f 例：不变质量谱分析：e+e-J/K+K- 通过测量K+K-的动量，可得到K+K-的不变质量分布，对该分布进行统计分析，可得到衰变过程中产生的共振态的信息； 描述不变质量m的分布的p.d.f应包含对该分布有贡献的物理过程

10 12.2 用ML方法进行参数估计的步骤 1. 信号事例： 在不变质量为m0处出现共振态X的弹性散射振幅可用Breit-Wigner公式描述：
：X的宽度，m0：X的静质量，m：K+K-的不变质量 （1）如果较小 实验结果包含质量分辨率和探测效率的影响， ~ ，故必须对理论公式进行修正

11 12.2 用ML方法进行参数估计的步骤 其中： (m)：效率函数，因(m)随m的变化较小，故(m)~常数 R(m,m´)：分辨率函数，真值为m时，获得测量值m´的概率 ：质量分辨率 因此，窄共振峰的p.d.f为

12 12.2 用ML方法进行参数估计的步骤 （1）如果较大，宽共振峰 因为>> ，所以R(m,m´)~ (m-m´)
如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉的现象，设有Namp个相干的共振峰，则描述这些共振峰的p.d.f为 k-1：相位差 k-1：第k个相干的共振峰事例数/第一个相干的共振峰的事例数

13 12.2 用ML方法进行参数估计的步骤 2. 本底事例：相空间本底、粒子误判本底、其它衰变道本底等 fps(m,)：相空间函数
Pi(x)：i阶Legendre多项式 bi：未知参数

14 12.2 用ML方法进行参数估计的步骤 其中：CBW、Camp、Cback为归一化常数，保证 ：第k个窄共振峰事例数/总事例数
如果衰变过程中：NBW个窄共振峰、Namp个相干共振峰，则m的pdf 其中：CBW、Camp、Cback为归一化常数，保证 ：第k个窄共振峰事例数/总事例数 ：Namp个相干共振峰事例数/总事例数 BES分析软件BWFIT程序中使用的p.d.f （二）构造似然函数

15 12.2 用ML方法进行参数估计的步骤 设对某物理系统进行了n次测量，x1、x2、…xn 根据需要可对 进行变化：
1. 广义似然函数（Generalized Likelihood Function） 总事例数n也是随机变量，服从平均值为υ的泊松分布： 在实验条件一定的条件下，事例的产生率为常数， 在时间t内获得n个事例的概率为泊松分布。 观测到n个事例，且测量量为x1、x2、…xn的联合概率为 广义似然函数， 优点：n对θ增加了附加的限制 条件：ν必须能够精确确定

16 12.2 用ML方法进行参数估计的步骤 2. 数据分类情况下的似然函数 对实验数据进行分间隔处理，（如作成直方图）然后用ML方法对分类
后的数据进行处理。 优点：减小了数据量，使得对 的计算速度加快 缺点：由于将原 简化为少量的几个“平均”pdf的乘积，使得 参数估计的精度下降。 设将x的变化范围分成了N个间隔 ：第i个间隔内的事例数 ：某事例落入第i个间隔的概率 N个事例分布于N个间隔内，每个间隔内的事例数为n1、n2、…nN 的概率满足多项式分布：

17 12.2 用ML方法进行参数估计的步骤 分间隔的似然函数（Binned Likelihood Function） ：间隔的宽度
取对数并只保留与θ有关的项 分间隔的似然函数（Binned Likelihood Function） (1) N很大， 很小， (2) 如果在某一间隔内的变化不是很大，则用 得到的θ的精度是可接受的

18 12.2 用ML方法进行参数估计的步骤 （三）求似然函数的极大值 例：估计粒子的平均寿命 1. 求解似然方程：
一般情况下无解析解，只能用数值解法。 2. 用CERN程序MINUIT求解函数 的极小值，得 θ的估计式 及其误差 例：估计粒子的平均寿命 探测K0粒子的产生和衰变。假定探测器无限大，则K0粒子在 t时刻衰变的p.d.f

19 12.2 用ML方法进行参数估计的步骤  当 时，LF取极大值。 τ：粒子的平均寿命，为未知参数。K0的飞行时间ti
L：飞行距离，p：动量，E：能量，c：光速 对于n个观测事例：  当 时，LF取极大值。

20 第十二章 最大似然法 (Maximum Likelyhood Method)

21 12.3 ML估计式的特性 1. 参数变换不变性 设 是参数的ML估计值， 是θ的函数。如果用 作为
参量来求LF的极大值，则所得θ的估计值亦为 如果 ，则有 2. 一致性（consistency） 在一般条件下，ML估计值满足一致性条件，即 ，当 时。 3. 无偏性（unbiassedness） 在某些特殊情况下，ML估计式是无偏的，即 在一般条件下，ML估计式不满足无偏性： ,但其偏差 故当样本容量 时，ML估计式总是无偏的。

22 12.3 ML估计式的特性   4. 充分性（sufficiency） 如果θ的充分估计式t存在，则用ML方法一定能得到该估计式。
充分必要条件 即θ只依赖于t 5. 有效性（Efficiency） 如果θ的有效估计式t存在，则用ML方法一定能得到该估计式。  充分必要条件 6. 渐近正态性（Asympototic normality） 在样本容量很大时，θ的ML估计值满足渐近正态分布，其平均值 为θ的真值θ0，方差为最小方差限（MVB）。

23 第十二章 最大似然法 (Maximum Likelyhood Method)

24 12.3 ML估计式的方差 对ML估计值的误差的估计依赖于p.d.f的性质和样本的大小，不同
的方法适用于不同的样本；大样本公式，小样本公式。 统计误差：如果p.d.f是纯理论公式，即没有对实验条件进行修正， 则由ML得到的误差为统计误差。 否则：误差  统计误差＋实验误差 （一）方差估计的一般方法（适合于任何容量的样本） LF : 通过求解似然方程 ，得θi的估计式 是随机变量 的函数 的真值：

25 12.3 ML估计式的方差 1. 和 的协方差 如果p.d.f和 的表达式已知，则无需任何数据就可求出 估计式的方差。 2. 由 可导出
的概率分布 ：雅可比行列式 此式与上式等价。 3. 在给定的样本下，可认为 是 的概率分布函数 分母为归一化因子。 ，而

26 12.3 ML估计式的方差 （二）充分ML估计式的方差 如果 是参数θ的充分估计式（从而也是有效估计式）。则 的方差由MVB给出：
由有效性条件 如果 是θ的无偏估计， b(θ）= 0 （三）大样本的ML估计式的方差 样本容量 时，ML估计值服从正态分布N(θ,MVB) 正态分布中变量和平均值是对称的 参数θ服从N(θ,MVB)

27 12.3 ML估计式的方差 MVB: 将式中的L 用p.d.f代替可得到方差的平均值 用此式可以估计：欲达到一定的误差，需进行的实验次数n。
在一般情况下， 应由（一）中的公式求解，但很难得到 的解析解，只能用数值方法。 不同的公式给出的方差不同，因此，在给出实验结果 时， 指明误差是如何计算的

28 第十二章 最大似然法 (Maximum Likelyhood Method)
12.5 利用似然函数进行区间估计

29 12.5 利用似然函数进行区间估计 ML估计式 的误差可用区间估计方法来估计 将式中的L 用p.d.f代替可得到方差的平均值
用此式可以估计：欲达到一定的误差，需进行的实验次数n。 在一般情况下， 应由（一）中的公式求解，但很难得到 的解析解，只能用数值方法。 不同的公式给出的方差不同，因此，在给出实验结果 时， 指明误差是如何计算的

30 12.5 利用似然函数进行区间估计 在一般情况下，当测量次数无限大时，似然函数L 将与样本变量无关 且呈正态分布
θ的真值落入[θa,θb]间的可信度 其中γ为θ的真值落入[θa,θb]间的概率，取相对 对称的区间 ，有

31 12.5 利用似然函数进行区间估计 是抛物线lnL (θ)与直线 的两个交点 求解出这两个交点即可得到 的误差 例： 实验结果 误差
MINUIT程序中误差定义量 ML方法 如果测量次数 n 为有限数，则LF 将不是正态型

32 12.5 利用似然函数进行区间估计 为变量g的ML估计值， ML估计值变换不变性 用上述方法求出g的似然区间 小结：1）最大似然原理：
2）应用步骤：构造似然函数，求解似然方程 3）ML估计值的性质：一致性、无偏性、有效性和充分性 变量变换不变性、渐近正态性 4）ML估计值方差的求法：不同的方法有各自的适用范围， 给出不同的结果 5）似然区间估计给出 的误差：求解 与直线 的两个交点