贝叶斯估计 Bayes Estimation

Presentation on theme: "贝叶斯估计 Bayes Estimation"— Presentation transcript:

1 贝叶斯估计 Bayes Estimation
数理统计课题组

2 例子： 某人打靶，打了5枪，枪枪中靶， 问：此人枪法如何？ 某人打靶，打了500枪，枪枪中靶， 经典方法：极大似然估计：100%
但是: ……

3 几个学派（1） 经典学派：频率学派，抽样学派 带头人：Pearson、Fisher、Neyman 观点：概率就是频率 参数就是参数
联合分布密度：p(x1,x2,..xn ; )

4 几个学派（2） Bayesian学派： 带头人：Bayes,Laplace,Jeffreys,Robbins 观点：频率不只是概率
存在主观概率，和实体概率可转化 参数作为随机变量 条件分布： p(x1,x2,..xn | )

5 几个学派（3） 信念学派： 带头人：Fisher 观点：概率是频率 主观不是概率，而是信念度 参数不是随机变量，仅是普通变量
似然函数： L( | x1,x2,..xn)

6 批评1：置信区间 置信区间： 解释：区间[u1,u2]覆盖u的概率 不是u位于区间的概率 缺点：u不是变量

7 批评2：评价方法 假设检验、参数估计等都是多次重复的结果； 想知道： 一次实验发生的可能性

8 Bayesian方法

9 Bayesian公式 先验分布密度：q(y) 条件分布密度：p(x|y) 似然度 后验分布密度：h(y|x) 后验综合先验与样本信息

10 思路： 1、未知参数视为随机变量：  2、取样本x1…xn，求联合分布密度 3、联合分布密度－>条件分布密度
数据的不可设计性与经验的不能穷尽性？ 2、取样本x1…xn，求联合分布密度 p(x1,x2,..xn ; )， 是参数 3、联合分布密度－>条件分布密度 p(x1,x2,..xn | )， 是随机变量 4、确定的先验分布() 5、利用Bayesian公式求后验分布密度 6、使用后验分布做推断（参数估计、假设检验）

11 例1：两点分布b(1,p)的 1. 联合分布： 2. 先验分布： 3. 后验分布： 4. 后验期望估计：

12 2、先验分布的共轭分布选取法 后验分布和先验分布是同一个类型 优点：易于解释、继续试验 已知： ，选 使得 与先验分布同类型
已知： ，选 使得 与先验分布同类型 若p(x|)服从正态分布，选正态分布 若p(x|)服从两点分布，选Beta分布 若p(x|)服从指数分布，选逆Gamma分布

13 Bayes统计推断问题 参数估计： 点估计 区间估计

14 估计的损失 损失函数： 风险：平均损失 一致最小风险： 对于任意产生的样本x1…xn, 都是最小分析估计。 Bayesian平均风险：

15 后验风险： Bayesian风险与后验风险 后验分析最小＝>Bayesian风险最小

16 两种常用损失函数： 平方损失： 最小Bayesian风险估计：后验期望 点损失： 最大后验密度估计

17 例子： 正态分布 X1…Xn服从正态分布N(，2) ， 2已知， 的先验分布是N(，2 ) 求的Bayes估计.
例子：　正态分布 X1…Xn服从正态分布N(，2) ， 2已知， 的先验分布是N(，2　) 求的Bayes估计. 求得后验分布还是正态分布 求得 例：某圆形产品内径X（单位：mm）服从正态分布N( ，0.4), 有先验分布N(2，0.22),现在测量X=1.8,n=5  MLE=1.8  bayes=(1.8*5/0.4+2*0.2^(-2))/(5/ ^(-2))=1.93

18 置信区间估计： 方法: 是随机变量，可求其后验分布 步骤: 1.积分求后验分布 2.根据后验分布求置信区间

19 例子： 两点分布 X1…Xn服从两点分布，概率， 则 服从二项分布 求的估计 设先验分布是beta(a,b) 求得后验分布：
例子：　两点分布 X1…Xn服从两点分布，概率， 则 服从二项分布 求的估计 设先验分布是beta(a,b) 求得后验分布： 求得E(|r)=(a+r)/(a+b+n) 2.Neyman-Pearson范式 不用贝叶斯方法 规避了先验概率的决定 对两个假设区别对待，一个成为原假设H0(null hypotheses)，另一个成为备择假设H1(alternative hypotheses) 由此导致在有些场合下选择原假设的困难 Neyman-Pearson引理(lemma) 方差已知的正态置信区间和假设检验的对偶关系：引理置信区间和假设检验的对偶关系：引理B 广义似然比检验： 方差未知正态总体的均值检验多项分布的广义似然比检验Pearson卡方统计量和似然比Handy-Weinberg均衡 在参数估计的例子中引入了Handy-Weinberg均衡Bacterial Clump泊松散布度检验(dispersion test)泊松散布度检验(dispersion test)泊松散布度检验：数方法：Mann-Whitney检验 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.5 2 2.5 3 3.5 a=2,b=2 a=0.5,b=0.5 a=2,b=5 a=5,b=2