第六章 参数估计 §6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最小方差无偏估计 §6.4 贝叶斯估计

Slides:



Advertisements
Similar presentations
第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
Advertisements

目录 上页 下页 返回 结束 习题课 一、导数和微分的概念及应用 二、导数和微分的求法 导数与微分 第二章.
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
第八章 第四节 机动 目录 上页 下页 返回 结束 一个方程所确定的隐函数 及其导数 隐函数的微分法.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
全微分 教学目的:全微分的有关概念和意义 教学重点:全微分的计算和应用 教学难点:全微分应用于近似计算.
3.4 空间直线的方程.
07/16/96 概率统计 自考辅导.
引言 我们已介绍了总体、样本、简单随机样本、统计量和抽样分布的概念,介绍了统计中常用的三大分布,给出了几个重要的抽样分布定理. 它们是进一步学习统计推断的基础.
圆的一般方程 (x-a)2 +(y-b)2=r2 x2+y2+Dx+Ey+F=0 Ax2+Bxy+Cy2+Dx+Ey+ F=0.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
第三章 函数逼近 — 最佳平方逼近.
6.6 单侧置信限 1、问题的引入 2、基本概念 3、典型例题 4、小结.
08-09冬季学期 概率论与数理统计 姜旭峰,胡玉磊.
恰当方程(全微分方程) 一、概念 二、全微分方程的解法.
第五节 微积分基本公式 、变速直线运动中位置函数与速度 函数的联系 二、积分上限函数及其导数 三、牛顿—莱布尼茨公式.
一、原函数与不定积分 二、不定积分的几何意义 三、基本积分公式及积分法则 四、牛顿—莱布尼兹公式 五、小结
第二节 微积分基本公式 1、问题的提出 2、积分上限函数及其导数 3、牛顿—莱布尼茨公式 4、小结.
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
§5.3 定积分的换元法 和分部积分法 一、 定积分的换元法 二、 定积分的分部积分法 三、 小结、作业.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
主要内容 § 3.1 多维随机变量及联合分布 联合分布函里数 联合分布律 联合概率密度 § 3.2 二维随机变量的边缘分布
本讲义可在网址 或 ftp://math.shekou.com 下载
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第二章 导数与微分 第二节 函数的微分法 一、导数的四则运算 二、复合函数的微分法.
2-7、函数的微分 教学要求 教学要点.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
区间估计 Interval Estimation.
第5章 §5.3 定积分的积分法 换元积分法 不定积分 分部积分法 换元积分法 定积分 分部积分法.
第六章 参数估计 §6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最大似然估计 §6.4 最小方差无偏估计
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
例1 :甲击中的环数; X :乙击中的环数; Y 平较高? 试问哪一个人的射击水 : 的射击水平由下表给出 甲、乙两人射击,他们
计算机数学基础 主讲老师: 邓辉文.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
第十章 方差分析.
数据统计与分析 秦 猛 南京大学物理系 手机: 第十讲 数据统计与分析 秦 猛 南京大学物理系 办公室:唐仲英楼A 手机:
第七章 参数估计 7.3 参数的区间估计.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
概 率 统 计 主讲教师 叶宏 山东大学数学院.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
复习.
第七章 参数估计 主讲教师:董庆宽 副教授 研究方向:密码学与信息安全
定理21.9(可满足性定理)设A是P(Y)的协调子集,则存在P(Y)的解释域U和项解释,使得赋值函数v(A){1}。
第16讲 相似矩阵与方阵的对角化 主要内容: 1.相似矩阵 2. 方阵的对角化.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
1.设A和B是集合,证明:A=B当且仅当A∩B=A∪B
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第一节 不定积分的概念与性质 一、原函数与不定积分的概念 二、不定积分的几何意义 三、基本积分表 四、不定积分的性质 五、小结 思考题.
第三章 函数的微分学 第二节 导数的四则运算法则 一、导数的四则运算 二、偏导数的求法.
学习任务三 偏导数 结合一元函数的导数学习二元函数的偏导数是非常有用的. 要求了解二元函数的偏导数的定义, 掌握二元函数偏导数的计算.
第四节 随机变量函数的概率分布 X 是分布已知的随机变量,g ( · ) 是一个已知 的连续函数,如何求随机变量 Y =g(X ) 的分布?
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
数据统计与分析 秦 猛 南京大学物理系 第11讲 办公室:唐仲英楼A
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
§2 方阵的特征值与特征向量.
难点:连续变量函数分布与二维连续变量分布
数理统计基本知识.
第十五讲 区间估计 本次课讲完区间估计并开始讲授假设检验部分 下次课结束假设检验,并进行全书复习 本次课程后完成作业的后两部分
第三节 函数的微分 3.1 微分的概念 3.2 微分的计算 3.3 微分的应用.
第八章 假设检验 8.3 两个正态总体参数的假设检验.
参数估计 参数估计问题:知道随机变量(总体)的分布类型, 但确切的形式不知道,根据样本来估计总体的参数,这 类问题称为参数估计。
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
贝叶斯估计 Bayes Estimation
第四章 函数的 积分学 第七节 定积分的换元积分法     与分部积分法 一、定积分的换元积分法 二、定积分的分部积分法.
7.3 参数的区间估计 一、区间估计基本概念 二、正态总体均值与方差的区间估计 三、小结.
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
Presentation transcript:

第六章 参数估计 §6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最小方差无偏估计 §6.4 贝叶斯估计 第六章 参数估计 §6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最小方差无偏估计 §6.4 贝叶斯估计 §6.5 区间估计

一般常用 表示参数,参数 所有可能取值组成的集合称为参数空间,常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种:点估计与区间估计。

设 x1, x2,…, xn 是来自总体 X 的一个样本,我们用一个统计量 的取值作为 的估计值, 称为 的点估计(量),简称估计。在这里如何构造统计量 并没有明确的规定,只要它满足一定的合理性即可。这就涉及到两个问题: 其一 是如何给出估计,即估计的方法问题; 其二 是如何对不同的估计进行评价,即估 计的好坏判断标准。

§6.1 点估计的几种方法 6.1.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数,譬如: 用样本均值估计总体均值E(X),即 ; 用样本方差估计总体方差Var(X),即 用样本的 p 分位数估计总体的 p 分位数, 用样本中位数估计总体中位数。

例6.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km),观测数据如下: 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布,其理论基础是格里纹科定理。

二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, 1, …, k), x1, x2 , …, xn 是样本,假定总体的k阶原点矩k存在,若1, …, k 能够表示成 1, …, k 的函数j = j(1, …,k),则可给出诸j 的矩法估计为 其中

例6.1.2 设总体服从指数分布,由于EX=1/, 即 =1/ EX,故 的矩法估计为 另外,由于Var(X)=1/2,其反函数为 因此,从替换原理来看,的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的,这是矩法估计的一个缺点,此时通常应该尽量采用低阶矩给出未知参数的估计。

例6.1.3 x1, x2, …, xn是来自(a,b)上的均匀分布U(a,b)的样本,a与b均是未知参数,这里k=2,由于 不难推出 由此即可得到a, b的矩估计:

6.1.2 极(最)大似然估计 定义6.1.1 设总体的概率函数为P(x; ),是参数 可能取值的参数空间,x1, x2 , …, xn 是样本,将样本的联合概率函数看成 的函数,用L( ; x1, x2, …, xn) 表示,简记为L( ), 称为样本的似然函数。

如果某统计量 满足 则称 是 的极(最)大似然估计,简记为MLE(Maximum Likelihood Estimate)。 人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。 当L( )是可微函数时,求导是求极大似然估计最常用的方法,对lnL( )求导更加简单些。

例6.1.6 设一个试验有三种可能结果,其发生概率分别为 现做了n次试验,观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n),则似然函数为 其对数似然函数为

将之关于 求导,并令其为0得到似然方程 解之,得 由于 所以 是极大值点。

例6.1.7 对正态总体N(, 2),θ=(, 2)是二维参数,设有样本 x1, x2 , …, xn,则似然函数及其对数分别为

将 lnL(, 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10)

利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。 解此方程组,由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10),得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。

例6.1.8 设 x1, x2 , …, xn 是来自均匀总体 U(0,  )的样本,试求 的极大似然估计。 虽然求导函数是求极大似然估计最常用的方法,但并不是在所有场合求导都是有效的。 例6.1.8 设 x1, x2 , …, xn 是来自均匀总体 U(0,  )的样本,试求 的极大似然估计。

解 似然函数 要使L( )达到最大,首先一点是示性函数取值应该为1,其次是1/ n尽可能大。由于1/ n是的单调减函数,所以 的取值应尽可能小,但示性函数为1决定了 不能小于x(n),由此给出的极大似然估计: 。

极大似然估计有一个简单而有用的性质:如果 是 的极大似然估计,则对任一函数 g( ),其极大似然估计为 。该性质称为极大似然估计的不变性,从而使一些复杂结构的参数的极大似然估计的获得变得容易了。

例6.1.9 设 x1 , x2 , …, xn是来自正态总体N( , 2) 的样本,则和 2的极大似然估计为 ,于是由不变性可得如下参数的极大似然估计,它们是: 标准差 的MLE是 ;

概率 的MLE是 ; 总体0.90分位数 x0.90=  + u0.90 的MLE是 ,其中u0.90为标准正态分布的0.90分位数。

§6.2 点估计的评价标准 6.2.1 相合性 我们知道,点估计是一个统计量,因此它是一个随机变量,在样本量一定的条件下,我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值,根据格里纹科定理,随着样本量的不断增大,经验分布函数逼近真实分布函数,因此完全可以要求估计量随着样本量的不断增大而逼近参数真值,这就是相合性,严格定义如下。

定义6.2.1 设 ∈Θ为未知参数, 是 的一个估计量,n 是样本容量,若对任何一个ε>0,有 (6.2.1) 则称 为 参数的相合估计。

相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时,它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.

若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。

在判断估计的相合性时下述两个定理是很有用的。 定理6.2.1 设 是 的一个估计量,若 则 是 的相合估计, 定理6.2.2 若 分别是1, …, k 的相合估 计, =g(1 , …, k) 是1, …, k 的连续函数,则 是 的相合估计。

例6.2.2 设 x1, x2 , …, xn 是来自均匀总体U(0,  )的样本,证明 的极大似然估计是相合估计。 证明:在例6.1.7中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布,我们知道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, y <, 故有 由定理6.2.1可知,x(n)是 的相合估计。

由大数定律及定理6.2.2,我们可以看到: 矩估计一般都具有相合性。比如: 样本均值是总体均值的相合估计; 样本标准差是总体标准差的相合估计; 样本变异系数是总体变异系数的相合估计。

6.2.2 无偏性 定义6.2.2 设 是 的一个估计,  的参数空间为Θ,若对任意的∈Θ,有 6.2.2 无偏性 定义6.2.2 设 是 的一个估计,  的参数空间为Θ,若对任意的∈Θ,有 则称 是 的无偏估计,否则称为有偏估计。

例6.2.4 对任一总体而言,样本均值是总体均值的无偏估计。当总体k阶矩存在时,样本k阶原点矩ak是总体k阶原点矩 k的无偏估计。但对中心矩则不一样,譬如,由于 ,样本方差s*2不是总体方差 2的无偏估计,对此,有如下两点说明: (1) 当样本量趋于无穷时,有E(s*2)  2, 我们称 s*2 为 2的渐近无偏估计。 (2) 若对s*2作如下修正: , 则 s2 是总体方差的无偏估计。

例6.2.5 设总体为N( , 2),x1 , x2 , …, xn是样本,则s2是 2的无偏估计,且可求出 利用修正技术可得 cn s 是 的无偏估计,其中 是修偏系数. 可以证明,当n时, 有cn1. 这说明 s 是  的渐近无偏估计。

6.2.3 有效性 定义6.2.3 设 是 的两个无偏估计,如果对任意的 ∈Θ, 有 6.2.3 有效性 定义6.2.3 设 是 的两个无偏估计,如果对任意的 ∈Θ, 有 且至少有一个 ∈Θ使得上述不等号严格成立,则称 比 有效。

例6.2.6 设 x1, x2 , …, xn 是取自某总体的样本,记总体均值为 ,总体方差为 2,则 , , 都是 的无偏估计,但

例6.2.7 均匀总体U(0,  )中 的极大似然估计是x(n),由于 ,所以x(n)不是 的无偏估计,而是 的渐近无偏估计。经过修偏后可以得到 的一个无偏估计: 。且 另一方面,由矩法我们可以得到 的另一个无偏 估计 ,且 由此,当n>1时, 比 有效。

6.2.4 均方误差 无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用:点估计值 与参数真值 的距离平方的期望,这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。

注意到 ,因此 (1) 若 是 的无偏估计,则 , 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时,就要看其均方 误差 。 下面的例子说明:在均方误差的含义下有些有偏 估计优于无偏估计。

例6.2.8 对均匀总体U(0,  ),由 的极大似然估计得到的无偏估计是 ,它的均方误差 现我们考虑θ的形如 的估计,其均方差为 用求导的方法不难求出当 时上述均方误差达到最小,且其均方误差 所以在均方误差的标准下,有偏估计 优于无偏估计 。

§6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 §6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 以下定理说明:好的无偏估计都是充分统计量的函数。 定理6.3.2 设总体概率函数是 p(x,  ), x1, x2 , …, xn 是其样本,T=T(x1, x2 , …, xn )是 的充分统计量,则 对 的任一无偏估计 ,令 , 则 也是 的无偏估计,且

定理6.3.2说明:如果无偏估计不是充分统计 量的函数,则将之对充分统计量求条件期 望可以得到一个新的无偏估计,该估计的 方差比原来的估计的方差要小,从而降低 了无偏估计的方差。换言之,考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可,该说法对所有的统计推断问题 都是正确的,这便是所谓的充分性原则。

例6.3.1 设 x1, x2 , …, xn 是来自b(1, p)的样本,则 是p 的充分统计量。为估计 =p2,可令 由于 ,所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进:求 关于充分统计量 的条件期望,得

6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题,设 是 的一个无 偏估计,如果对另外任意一个 的无偏估计 , 6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题,设 是 的一个无 偏估计,如果对另外任意一个 的无偏估计 , 在参数空间Θ上都有 则称 是 的一致最小方差无偏估计,简记为 UMVUE。如果UMVUE存在,则它一定是充分 统计量的函数。

关于UMVUE,有如下一个判断准则。 定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一个样本, 是 的一个无偏估计, 如果对任意一个满足E((x))=0的(x),都有 则 是 的UMVUE。

例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本,则T = x1+…+xn 是 的充分统计量,而 是 的无偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计,则 两端对 求导得 这说明 ,从而 , 由定理6.3.3,它是 的UMVUE。

6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件: (1) 参数空间Θ是直线上的一个开区间; (2) 支撑 S={x: P(x, )>0}与 无关; (3) 导数 对一切∈Θ都存在; (4) 对P(x, ),积分与微分运算可交换次序; (5) 期望 存在;则称 为总体分布的费希尔(Fisher) 信息量。

费希尔信息量是数理统计学中一个基本概念,很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差,无偏估计的方差的下界等都与费希尔信息量I( )有关。I( )的种种性质显示,“I( )越大”可被解释为总体分布中包含未知参数 的信息越多。

例6.3.3 设总体为泊松分布P()分布,则 于是

例6.3.4 设总体为指数分布,其密度函数为 可以验证定义6.3.2的条件满足,且 于是

定理6.3.4(Cramer-Rao不等式) 设定义6.3.2的条件满足,x1, x2 , …, xn 是来自该总体的样本,T=T(x1, x2 , …, xn )是g( )的任 一个无偏估计, 存在,且对∈Θ 中一切 ,微分可在积分号下进行,则有

上式称为克拉美-罗(C-R)不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界,简称g( )的C-R下界。 特别,对 的无偏估计 ,有 ; 如果等号成立,则称 T=T(x1, …, xn) 是 g( )的有效估计,有效估计一定是UMVUE。

例6. 3. 5 设总体分布列为p(x, )=  x(1- )1-x, x=0,1,它满足定义6. 3 例6.3.5 设总体分布列为p(x, )=  x(1- )1-x, x=0,1,它满足定义6.3.2的所有条件,可以算得该分布的费希尔信息量为 ,若 x1, x2, …, xn 是该总体的样本,则 的C-R下界为(nI( ))-1=  (1- )/n。因为 是 的无偏估计,且其方差等于 (1- )/n,达到C-R 下界,所以 是 的有效估计,它也是 的UMVUE。

例6. 3. 6 设总体为指数分布Exp(1/ ),它满足定义6. 3. 2的所有条件,例6. 3 例6.3.6 设总体为指数分布Exp(1/ ),它满足定义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为I( ) =  -2,若x1, x2, …, xn 是样本,则 的C-R下界为(nI( ))-1= 2/n。而 是 的无偏估计,且其方差等于 2/n,达到了C-R下界,所以, 是 的有效估计,它也是 的UMVUE。

能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0, 2 ),满足定义6.3.2的条件,且费希尔信息量为 ,令 , 则 的C-R下界为 , 而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计 的方差都大于其C-R下界。

费希尔信息量的主要作用体现在极大似然估计。 定理6.3.5 设总体X有密度函数 p(x; ),∈Θ, Θ为非退化区间,假定 (1) 对任意的x,偏导数 , 和 对所有∈Θ都存在; (2) ∀∈Θ, 有 , 其中函数F1(x) , F2(x), F3(x)可积.

(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本,则存在 未知参数 的极大似然估计 ,且 具有相合性和渐近正态性:

§6.4 贝叶斯估计 6.4.1 统计推断的基础 经典学派的观点:统计推断是根据样本信息对总体分布或总体的特征数进行推断,这里用到两种信息:总体信息和样本信息; 贝叶斯学派的观点:除了上述两种信息以外,统计推断还应该使用第三种信息:先验信息。

(1)总体信息:总体分布提供的信息。 (2)样本信息:抽取样本所得观测值提供的信息。 (3)先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的,这些信息对 统计推断是有益的。先验信息即是抽样(试 验)之前有关统计问题的一些信息。一般说 来,先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。

基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时,还注意先验信息的收集、挖掘和加工,使它数量化,形成先验分布,参加到统计推断中来,以提高统计推断的质量。忽视先验信息的利用,有时是一种浪费,有时还会导出不合理的结论。

贝叶斯学派的基本观点:任一未知量 都可看作随机变量,可用一个概率分布去描述,这个分布称为先验分布;在获得样本之后,总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 新的分布—后验分布;任何关于 的统计推断都应该基于 的后验分布进行。

6.4.2 贝叶斯公式的密度函数形式 总体依赖于参数 的概率函数在贝叶斯统计中记为P (x |  ),它表示在随机变量θ取某个给定值时总体的条件概率函数; 根据参数 的先验信息可确定先验分布( ); 从贝叶斯观点看,样本 x1, x2 , …, xn 的产生分两步进行:首先从先验分布( )产生一个样本0,然后从P (x |0)中产生一组样本。这时样本的联合条件概率函数为 ,这个分布综合了总体信息和样本信息;

h(x1, x2 , …, xn,  ) = p(x1, x2 , …, xn )( ), 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了;

h(x1,x2 ,…,xn ,  ) =(  x1,x2 ,…,xn )m(x1,x2 ,…,xn), 在没有样本信息时,人们只能依据先验分布对 作出推断。在有了样本观察值 x1, x2 , …, xn 之后,则应依据 h(x1, x2 , …, xn ,  )对 作出推断。由于 h(x1,x2 ,…,xn ,  ) =(  x1,x2 ,…,xn )m(x1,x2 ,…,xn), 其中 是x1, x2 , …, xn 的边际概率函数,它与 无关,不含 的任何信息。因此能用来对 作出推断的仅是条件分布(  x1, x2 , …, xn),它的计算公式是

这个条件分布称为 的后验分布,它集中了总体、样本和先验中有关 的一切信息。 后验分布( x1, x2 , …, xn )的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布( )作调整的结果,贝叶斯统计的一切推断都基于后验分布进行。

6.4.3 贝叶斯估计 基于后验分布( x1, x2 , …, xn )对 所作的贝叶斯估计有多种,常用有如下三种: 使用后验分布的密度函数最大值作为 的点估计,称为最大后验估计; 使用后验分布的中位数作为 的点估计,称为后验中位数估计; 使用后验分布的均值作为 的点估计,称为后验期望估计。 用得最多的是后验期望估计,它一般也简称为贝叶斯估计,记为 。

例6.4.2 设某事件A在一次试验中发生的概率为 ,为估计 ,对试验进行了n次独立观测,其中事件A发生了X次,显然 X b(n, ),即 假若我们在试验前对事件A没有什么了解,从而对其发生的概率 也没有任何信息。在这种场合,贝叶斯本人建议采用“同等无知”的原则使用区间(0,1)上的均匀分布U(0,1)作为 的先验分布,因为它取(0,1)上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。

由此即可利用贝叶斯公式求出 的后验分布。具体如下:先写出X和 的联合分布 最后求出 的后验分布 最后的结果说明 X Be(x+1,n-x+1),其后验期望估计为 (6.4.4)

某些场合,贝叶斯估计要比极大似然估计更合理一点。比如: “抽检3个全是合格品”与“抽检10个全是合格品”,后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来(两者都为0),而用贝叶斯估计两者分别是 0.2 和 0.83。 由此可以看到,在这些极端情况下,贝叶斯估计比极大似然估计更符合人们的理念。

例6.4.3 设x1, x2 , …, xn是来自正态分布N(,02)的一个样本,其中02已知, 未知,假设 的先验分布亦为正态分布N( , 2),其中先验均值和先验方差 2均已知,试求 的贝叶斯估计。 解:样本x的分布和 的先验分布分别为

由此可以写出x与 的联合分布 其中 , 。若记 则有

注意到A,B,C均与 无关,由此容易算得样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后, 的后验分布为 N(B/A,1/A),即

后验均值即为其贝叶斯估计: 它是样本均值 与先验均值 的加权平均。

6.4.4 共轭先验分布 若后验分布( x)与( )属于同一个分布族,则称该分布族是 的共轭先验分布(族)。 6.4.4 共轭先验分布 若后验分布( x)与( )属于同一个分布族,则称该分布族是 的共轭先验分布(族)。 二项分布b(n,  )中的成功概率 的共轭先验分布是贝塔分布Be(a,b); 泊松分布P( )中的均值 的共轭先验分布是伽玛分布Ga(,); 在方差已知时,正态均值 的共轭先验分布是正态分布N(, 2); 在均值已知时,正态方差 2的共轭先验分布是倒伽玛分布IGa(,)。

§6.5 区间估计 6.5.1 区间估计的概念 定义6.5.1 设 是总体的一个参数,其参数空间为Θ,x1, x2 , …, xn是来自该总体的样本,对给定的一个 (0< <1),若有两个统计量 和 ,若对任意的 ∈Θ,有 (6.5.1)

则称随机区间[ ]为 的置信水平为1- 的置信区间,或简称[ ]是 的1-置信区间. 和 分别称为 的(双侧)置信下限和置信 上限. 这里置信水平1- 的含义是指在大量使用该置信区间时,至少有100(1-)%的区间含有 。

例6.5.1 设x1, x2 , …, x10是来自N(, 2)的样本,则 的置信水平为1- 的置信区间为 其中, ,s 分别为样本均值和样本标准差。这个置信区间的由来将在6.5.3节中说明,这里用它来说明置信区间的含义。 若取 =0.10,则t0..95(9)=1.8331,上式化为

现假定 =15, 2 =4,则我们可以用随机模拟方法由N(15,4)产生一个容量为10的样本,如下即是这样一个样本:14. 85 13 13.80 17.9533 13.37 16.29 12.38 由该样本可以算得 从而得到 的一个区间估计为 该区间包含 的真值--15。现重复这样的方法 100次,可以得到100个样本,也就得到100个区 间,我们将这100个区间画在图6.5.1上。

由图6.5.1可以看出,这100个区间中有91个包含参数真值15,另外9个不包含参数真值。 图6.5.1  的置信水平为0.90的置信区间

取=0. 50,我们也可以给出100个这样的区间,见图6. 5 取=0.50,我们也可以给出100个这样的区间,见图6.5.2。可以看出,这100个区间中有50个包含参数真值15,另外50个不包含参数真值。 图6.5.2  的置信水平为0.50的置信区间

定义6.5.2 沿用定义6.5.1的记号,如对给定的 (0< <1),对任意的∈Θ,有 (6.5.2) 称 为 的1- 同等置信区间。 同等置信区间是把给定的置信水平1- 用足了。常在总体为连续分布场合下可以实现。

单侧置信限是置信区间的特殊情形。因此,寻求置信区间的方法可以用来寻找单侧置信限。 定义 若对给定的 (0< <1)和任意的∈Θ,有 ,则称 为 的置信水平为1- 的(单侧)置信下限。假如等号对一切∈Θ成立,则称 为 的1- 同等置信下限。若对给定的 (0<  <1)和任意的∈Θ,有 ,则称 为 的置信水平为1- 的(单侧)置信上限。若等号对一切∈Θ成立,则称 为1- 同等置信上限。 单侧置信限是置信区间的特殊情形。因此,寻求置信区间的方法可以用来寻找单侧置信限。

6.5.2 枢轴量法 构造未知参数 的置信区间的最常用的方法是枢轴量法,其步骤可以概括为如下三步: 6.5.2 枢轴量法 构造未知参数 的置信区间的最常用的方法是枢轴量法,其步骤可以概括为如下三步: 1. 设法构造一个样本和 的函数 G=G(x1, x2 , …, xn, ) 使得G的分布不依赖于未知参数。一般称具有这种性质的G为枢轴量。 2. 适当地选择两个常数c,d,使对给定的 (0< <1) 有 P(c≤G≤d)=1-  3. 假如能将c≤G ≤d 进行不等式等价变形化为 则[ , ]是 的1- 同等置信区间。

关于置信区间的构造有两点说明: 满足置信度要求的c与d通常不唯一。若有可能,应选平均长度 达到最短的c与d,这在G的分布为对称分布场合通常容易实现。 实际中,选平均长度 尽可能短的c与d,这往往很难实现,因此,常这样选择 c与d,使得两个尾部概率各为 /2,即P(G<c)=P(G>d)= /2,这样的置信区间称为等尾置信区间。这是在G的分布为偏态分布场合常采用的方法。

解:(1)取x(n)作为枢轴量,其密度函数为 p(y;  )= nyn , 0<y <1; 例6.5.2 设x1, x2 , …, xn是来自均匀总体U(0,  )的一个样本,试对给定的 (0< <1)给出 的1- 同等置信区间。 解:(1)取x(n)作为枢轴量,其密度函数为 p(y;  )= nyn , 0<y <1; (2)x(n) / 的分布函数为F(y)=yn, 0<y <1,故 P(c≤x(n)/ ≤d)= d n-cn, 因此我们可以适当地选择c和d满足d n-cn=1-

(3)利用不等式变形可容易地给出 的1-同等置信区间为[x(n) /d,x(n) /c],该区间的平均长度为 。不难看出,在0≤c<d≤1及dn-cn=1- 的条件下,当d=1, c= 时, 取得最小值,这说明 是 的置信水平1- 为最短置信区间。

6.5.3 单个正态总体参数的置信区间 一、 已知时 的置信区间 6.5.3 单个正态总体参数的置信区间 一、 已知时 的置信区间 在这种情况下,枢轴量可选为 ,c和d应满足P(c≤G≤d)=(d)-(c)= 1-,经过不等式变形可得 该区间长度为 。当d=-c=u1-/2时,d-c达到最小,由此给出了的同等置信区间为 [ , ]。 (6.5.8) 这是一个以 为中心,半径为 的对称区间,常将之表示为 。

例6.5.3 用天平秤某物体的重量9次,得平均值为 (克),已知天平秤量结果为正态分布,其标准差为0.1克。试求该物体重量的0.95置信区间。 解:此处1- =0.95, =0.05,查表知u0.975=1.96,于是该物体重量 的0.95置信区间为 , 从而该物体重量的0.95置信区间为 [15.3347,15.4653]。

例6.5.4 设总体为正态分布N(,1),为得到 的置信水平为0.95的置信区间长度不超过1.2,样本容量应为多大? 解:由题设条件知 的0.95置信区间为 其区间长度为 ,它仅依赖于样本容量n而与样本具体取值无关。现要求 ,立即有n(2/1.2)2u21-/2.现1- = 0.95,故u1-/2=1.96,从而n(5/3)2 1.962 = 10.6711。即样本容量至少为11时才能使得 的置信水平为0.95的置信区间长度不超过1.2。

二、 2未知时 的置信区间 这时可用t 统计量,因为 ,因此 t 可以用来作为枢轴量。完全类似于上一小节,可得到 的1-置信区间为 二、 2未知时 的置信区间 这时可用t 统计量,因为 ,因此 t 可以用来作为枢轴量。完全类似于上一小节,可得到 的1-置信区间为 此处 是 2的无偏估计。

例6.5.5 假设轮胎的寿命服从正态分布。为估计某种轮胎的平均寿命,现随机地抽12只轮胎试用,测得它们的寿命(单位:万公里)如下: 4.68 4.85 4.32 4.85 4.61 5.02 5.20 4.60 4.58 4.72 4.38 4.70 此处正态总体标准差未知,可使用t分布求均值的置信区间。经计算有 =4.7092,s2=0.0615。取 =0.05,查表知t0.975(11)=2.2010,于是平均寿命的0.95置信区间为(单位:万公里)

在实际问题中,由于轮胎的寿命越长越好,因此可以只求平均寿命的置信下限,也即构造单边的置信下限。由于 由不等式变形可知 的1-置信下限为 将t0.95(11)=1.7959代入计算可得平均寿命 的0.95置信下限为4.5806(万公里)。

三、 2的置信区间 取枢轴量 ,由于 2分布是偏态分布,寻找平均长度最短区间很难实现,一般都用等尾置信区间:采用 2的两个分位数 2 /2(n-1) 和21- /2(n-1),在 2分布两侧各截面积为/2的部分, 使得 由此给出 2的1-置信区间为

例6.5.6 某厂生产的零件重量服从正态分布N(, 2),现从该厂生产的零件中抽取9个,测得其重量为(单位:克) 45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 试求总体标准差 的0.95置信区间。 解:由数据可算得 s2 =0.0325,(n-1)s2=80325=0.26. 查表知 2 0.025(8) =2.1797,20.975(8)=17.5345, 代入可得 2的0.95置信区间为 从而 的0.95置信区间为: [0.1218,0.3454]。

6.5.4 大样本置信区间 在样本容量充分大时,可以用渐近分布来构造近似的置信区间。一个典型的例子是关于比例p 的置信区间。

设x1,…, xn是来自b(1, p)的样本,有 对给定 , ,通过变形,可得到置信区间为 其中记= u21-/2,实用中通常略去/n项,于是可将置信区间近似为

例6.5.7 对某事件A作120次观察,A发生36次。试给出事件A发生概率p 的0.95置信区间。 解:此处n=120, =36/120=0.3 而u0.975=1.96,于是p的0.95(双侧)置信下限和上限分别为 故所求的置信区间为 [0.218,0.382]

例6.5.8 某传媒公司欲调查电视台某综艺节目收视率p,为使得 p 的1-置信区间长度不超过d0,问应调查多少用户? 解:这是关于二点分布比例p的置信区间问题,由(6.5.11)知,1-的置信区间长度为 这是一个随机变量,但由于 ,所以对任意的观测值有 。这也就是说p的1-的置信区间长度不会超过 。现要求p的的置信区间长度不超过d0,只需要 即可,从而 (6.5.12)

这是一类常见的寻求样本量的问题。比如,若取d0=0.04, =0.05,则 这表明,要使综艺节目收视率p的0.95置信区间的长度不超过0.04,则需要对2401个用户作调查。

6.5.5 两个正态总体下的置信区间 设x1 , …, xm是来自N(1, 12)的样本,y1 , …, yn是来自N(2, 22)的样本,且两个样本相互独立。 与 分别是它们的样本均值, 和 分别是它们的样本方差。下面讨论两个均值差和两个方差比的置信区间。

一、1 -2的置信区间 1、 12和 22已知时的两样本u区间 2、 12 = 22 = 2未知时的两样本t区间

3、 22 / 12=已知时的两样本t区间

4、当m和n都很大时的近似置信区间 5、一般情况下的近似置信区间 其中

例6.5.9 为比较两个小麦品种的产量,选择18块条件相似的试验田,采用相同的耕作方法作试验,结果播种甲品种的8块试验田的亩产量和播种乙品种的10块试验田的亩产量(单位:千克/亩)分别为: 甲品种 628 583 510 554 612 523 530 615 乙品种 535 433 398 470 567 480 498 560 503 426 假定亩产量均服从正态分布,试求这两个品种平均亩产量差的置信区间.( =0.05)。

解:以x1 , …, x8记甲品种的亩产量,y1 , …, y10记乙品种的亩产量,由样本数据可计算得到 =569.3750,sx2 =2140.5536,m=8 =487.0000,sy2=3256.2222, n=10 下面分两种情况讨论。

(1) 若已知两个品种亩产量的标准差相同,则可采用两样本t区间。此处 故1 -2的0.95置信区间为

(2) 若两个品种亩产量的方差不等,则可采用近 似 t 区间。此处 s02 =2110.5536/8+3256.2222/10=589.4414, s0 =24.2784 于是1-2的0.95近似置信区间为 [31.3685,133.3815]

二、  12/ 22的置信区间 由于(m-1) sx2/ 12 2(m-1), (n-1) sy2/ 22 2(n-1),且sx2与sy2相互独立,故可仿照F变量构造如下枢 轴量 ,对给定的1-,由 经不等式变形即给出 12/ 22的如下的置信区间

例6.5.10 某车间有两台自动机床加工一类套筒,假设套筒直径服从正态分布。现在从两个班次的产品中分别检查了5个和6个套筒,得其直径数据如下(单位:厘米): 甲班:5.06 5.08 5.03 5.00 5.07 乙班:4.98 5.03 4.97 4.99 5.02 4.95 试求两班加工套筒直径的方差比 甲2/ 乙2的0.95置信区间。 解: 由数据算得sx2=0.00037, sx2=0.00092,故置信区间 [0.0544,3.7657]