第七章 参数估计 主讲教师:董庆宽 副教授 研究方向:密码学与信息安全

Slides:



Advertisements
Similar presentations
第一章 、随机事件与概率 1.1 、随机事件 1.2 、随机事件的概率 1.3 、随机事件概率的计算 1.4 、伯努利概型.
Advertisements

第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
第八章 第四节 机动 目录 上页 下页 返回 结束 一个方程所确定的隐函数 及其导数 隐函数的微分法.
第七节 函数的微分 一 、微分 概念 二、微分的几何意义 三、 基本初等函数的微分公 式与 微分运算法则 四 、小结.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
第二章 导数与微分. 二、 微分的几何意义 三、微分在近似计算中的应用 一、 微分的定义 2.3 微 分.
全微分 教学目的:全微分的有关概念和意义 教学重点:全微分的计算和应用 教学难点:全微分应用于近似计算.
第三节 微分 3.1 、微分的概念 3.2 、微分的计算 3.3 、微分的应用. 一、问题的提出 实例 : 正方形金属薄片受热后面积的改变量.
概率统计与随机过程 宋 晖 – 2013年秋.
07/16/96 概率统计 自考辅导.
第六章 样本及抽样分布 简单随机抽样: 代表性: 中每一个与所考察的总 体有相同的分布。 2.独立性: 是相互独立的随机变量。
引言 我们已介绍了总体、样本、简单随机样本、统计量和抽样分布的概念,介绍了统计中常用的三大分布,给出了几个重要的抽样分布定理. 它们是进一步学习统计推断的基础.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
第三章 函数逼近 — 最佳平方逼近.
6.6 单侧置信限 1、问题的引入 2、基本概念 3、典型例题 4、小结.
08-09冬季学期 概率论与数理统计 姜旭峰,胡玉磊.
《高等数学》(理学) 常数项级数的概念 袁安锋
第五节 微积分基本公式 、变速直线运动中位置函数与速度 函数的联系 二、积分上限函数及其导数 三、牛顿—莱布尼茨公式.
第二节 微积分基本公式 1、问题的提出 2、积分上限函数及其导数 3、牛顿—莱布尼茨公式 4、小结.
第四章 定积分及其应用 4.3 定积分的概念与性质 微积分基本公式 定积分的换元积分法与分部积分法 4.5 广义积分
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
主要内容 § 3.1 多维随机变量及联合分布 联合分布函里数 联合分布律 联合概率密度 § 3.2 二维随机变量的边缘分布
本讲义可在网址 或 ftp://math.shekou.com 下载
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第三章 导数与微分 习 题 课 主要内容 典型例题.
2-7、函数的微分 教学要求 教学要点.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
区间估计 Interval Estimation.
第5章 §5.3 定积分的积分法 换元积分法 不定积分 分部积分法 换元积分法 定积分 分部积分法.
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
例1 :甲击中的环数; X :乙击中的环数; Y 平较高? 试问哪一个人的射击水 : 的射击水平由下表给出 甲、乙两人射击,他们
本次课讲授:第二章第十一节,第十二节,第三章第一节, 下次课讲第三章第二节,第三节,第四节; 下次上课时交作业P29—P30
计算机数学基础 主讲老师: 邓辉文.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
第十章 方差分析.
第六章 数理统计的基本知识 第一节 总体与样本
数据统计与分析 秦 猛 南京大学物理系 手机: 第十讲 数据统计与分析 秦 猛 南京大学物理系 办公室:唐仲英楼A 手机:
概 率 统 计 主讲教师 叶宏 山东大学数学院.
连续型随机变量及其概率密度 一、概率密度的概念与性质 二、常见连续型随机变量的分布 三、小结.
第七章 参数估计 7.3 参数的区间估计.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
概 率 统 计 主讲教师 叶宏 山东大学数学院.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
复习.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第三章 函数的微分学 第二节 导数的四则运算法则 一、导数的四则运算 二、偏导数的求法.
学习任务三 偏导数 结合一元函数的导数学习二元函数的偏导数是非常有用的. 要求了解二元函数的偏导数的定义, 掌握二元函数偏导数的计算.
第四节 随机变量函数的概率分布 X 是分布已知的随机变量,g ( · ) 是一个已知 的连续函数,如何求随机变量 Y =g(X ) 的分布?
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
数据统计与分析 秦 猛 南京大学物理系 第11讲 办公室:唐仲英楼A
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
概率论与数理统计B.
第二节 函数的极限 一、函数极限的定义 二、函数极限的性质 三、小结 思考题.
§2 方阵的特征值与特征向量.
难点:连续变量函数分布与二维连续变量分布
数理统计基本知识.
第十五讲 区间估计 本次课讲完区间估计并开始讲授假设检验部分 下次课结束假设检验,并进行全书复习 本次课程后完成作业的后两部分
第三节 函数的微分 3.1 微分的概念 3.2 微分的计算 3.3 微分的应用.
参数估计 参数估计问题:知道随机变量(总体)的分布类型, 但确切的形式不知道,根据样本来估计总体的参数,这 类问题称为参数估计。
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
第四章 函数的 积分学 第七节 定积分的换元积分法     与分部积分法 一、定积分的换元积分法 二、定积分的分部积分法.
7.3 参数的区间估计 一、区间估计基本概念 二、正态总体均值与方差的区间估计 三、小结.
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
Presentation transcript:

第七章 参数估计 主讲教师:董庆宽 副教授 研究方向:密码学与信息安全 电子邮件:qkdong@xidian.edu.cn 本科生必修课:概率论与数理统计 第七章 参数估计 主讲教师:董庆宽 副教授 研究方向:密码学与信息安全 电子邮件:qkdong@xidian.edu.cn 个人主页:http://web.xidian.edu.cn/qkdong/

第七章 参数估计 §7.1 点估计 §7.2 基于截尾样本的最大似然估计 §7.3 估计量的评选标准 §7.4 区间估计 §7.5 正态总体均值和方差的区间估计 §7.6 (0-1)分布参数的区间估计 §7.7 单侧置信区间

§7.1 点估计 从本章开始讨论统计推断的两类基本问题:参数估计和假设检验问题,本章讨论总体参数的点估计和区间估计。参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 估计新生儿的平均体重 估计废品率 估计平均降雨量 … … 估计湖中鱼数

§7.1 点估计 问题:在总体形式已知时,对参数进行估计,有3个问题: (1) 估计值?(点估计) (2) 统计量选择的科学性(评选标准) (3) 估计值的可信度?(区间估计) 点估计: 设总体X的分布函数的形式为已知,但它的一个或多个参数为未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题 如:已知X~N(μ,σ2),但参数μ,σ2为未知,需要估计

§7.1 点估计 点估计问题用数学模型来描述: 设总体X的分布函数F(x; θ)的形式为已知,θ是待估参数,X1,X2,…,Xn是X的一个样本,x1, x2,…, xn是相应的一个样本值 点估计问题就是要基于样本构造一个适当的统计量 (X1, X2,…,Xn),并用它的一个观察值 (x1, x2,…, xn)作为未知参数的近似值。 称 (X1,X2,…,Xn)为θ的估计量, (x1, x2,…, xn)为θ的估计值 不致混淆情况下,称估计量和估计值为估计,并都简记为 估计量是样本的函数,样本值不同,θ 的估计值一般不同,这体现了样本的个性

§7.1 点估计 例1:某炸药厂,一天中发生着火现象的次数X~π(λ)泊松分布,参数λ未知,现有以下样本值,试估计参数λ。 着火次数k 0 1 2 3 4 5 6 发生k次着火的天数nk 75 90 54 22 6 2 1 总计250天 解:首先找到一个对λ的估计量 已知λ=E(X),而样本均值的数学期望E( )=E(X),即Ak μk|k=1 所以可以用样本均值 来估计总体均值λ 样本容量为250,均值相当于250天的着火次数相加/250 即λ的估计量 = ,n=250 λ的估计值 = = =1.22 可见对未知参数的估计量的构造方法是值得研究的

§7.1 点估计 有两种典型的点估计方法: (一)矩估计法 矩估计法和最大似然估计法 它是基于一种简单的“替换”思想建立起来的一种估计方法 是英国统计学家K.皮尔逊最早提出的 其基本思想是用样本矩估计总体矩 理论依据是大数定律

§7.1 点估计 可以通过构造样本矩来构造估计量,因为总体矩总可以表示为未知参数的函数,如果令总体矩等于样本矩的观察值,则构建了一个等式 设X为连续型随机变量,概率密度为 f(x; θ1, θ2,…, θk) 或X为离散型随机变量,其分布律为 P{X=x}=p(x; θ1, θ2,…, θk) 其中θ1, θ2,…, θk为待估的k个未知参数, X1,X2,…,Xn是来自总体X的样本

§7.1 点估计 假设总体X的前k阶总体矩存在,记为μ1, μ2,…,μk,其中对任意的μl有 X为连续型:μl=E(Xl)=

§7.1 点估计 一般情况下,包含k个未知参数的方程组可以求出k个未知参数,即 但总体矩的形式容易求得,即待估参数的函数,但实际值未知,而我们有辛钦定理的推论,即 若总体X的k阶矩E(Xk)=μk存在,则由辛钦定理,当n→∞时,样本k阶矩Ak μk,k=1,2,…, 由依概率收敛的性质知道 g(A1, A2,…, Ak) g(μ1, μ2,…, μk),g为连续函数

§7.1 点估计 因此我们就以样本l阶矩Al代替上式中的总体l阶矩μl,l=1,2,…k,并以 = (A1, A2,…, Ak) ,l=1,2,…k 作为未知参数 的估计量,l=1,2,…k,这种估计量称为矩估计量,矩估计量的观察值称为矩估计值 矩估计法定义: 象以上过程那样,基于样本矩依概率收敛于总体矩,并进而有样本矩的连续函数依概率收敛于总体矩的连续函数的性质,而用样本矩(或样本矩的连续函数)作为相应的总体矩(或总体矩的连续函数)的估计量,这种估计方法称为矩估计法。

§7.1 点估计 矩估计法的一般方法: 1°由总体X的概率分布的形式计算总体矩的形式,即 μl=E(Xl)= μl(θ1, θ2,…, θk), l=1,2,…k, 它们是未知参数θ1, θ2,…, θk的函数,k的取值与待估的未知参数个数相同 2°将它们联立得到方程组,并解出未知参数用总体矩表示的函数形式 3°直接以样本矩代替总体矩,Al代替上式中的总体l阶矩μl,l=1,2,…k,得到k个估计量 = (A1, A2,…, Ak) ,l=1,2,…k,即得到k个未知参数的矩估计量 4 °以样本值计算出样本矩的观察值并分别代入矩估计量,得到各个未知参数的估计值

§7.1 点估计 例2 解 1°有两个参数,先求前二阶矩 2°求解未知参数的表达式,用总体矩表示 联立方程,解得

§7.1 点估计 3°以样本k阶矩A1, A2,代替总体k阶矩μ1,μ2,

§7.1 点估计 例3 设总体X的均值μ和方差σ2都存在,且有σ2>0,但μ和σ2均为未知,又设X1,X2,…,Xn是来自X的样本,试求μ和σ2的矩估计量 解: 解得 μ =μ1, σ2=μ2-μ12 分别以A1,A2,代替μ1,μ2,得到μ和σ2的矩估计量为 总体均值与方差的矩估计量的表达式不因总体分布而异,其主要原因是方差与一阶矩和二阶矩满足 D(X)=E(X2)-[E(X)]2

§7.1 点估计 一般地: 矩估计法的优点是简单易行 缺点是,当总体类型已知时,没有充分利用分布提供的信息 . 一般场合下,矩估计量不具有唯一性 .

§7.1 点估计 例 设总体X的分布密度为 X1,X2,…,Xn为总体X的样本,求参数 的矩估计量 解:由于f(x;)只含有一个未知参数 一般只需求出E(X)便能得到的矩估计量,但是 即E(X)不含有, 故不能由此得到的矩估计量.

§7.1 点估计 为此, 求 故令 于是解得的矩估计量为

§7.1 点估计 Gauss Fisher (二)最大似然估计法 最大似然法是在总体类型已知条件下使用的一种参数估计方法 它首先是由德国数学家高斯在1821年提出的,然而这个方法常归功于英国统计学家Fisher, Fisher在1922年重新发现了这一方法,并首先研究了这种方法的一些性质 Gauss Fisher

§7.1 点估计 似然函数(当X为离散型随机变量时) 设总体X属离散型,其分布律P{X=x}=p(x;θ),θ的形式为已知,θ为待估参数,是θ可能取值的范围。 设X1,X2,…,Xn是来自X的样本,则X1,X2,…,Xn的联合分布律为 。 又设x1, x2,…, xn是相应于样本X1,X2,…,Xn的一个样本值。易知样本X1,X2,…,Xn取到观察值x1, x2,…, xn的概率,弈即事件{X1=x1,X2=x2,…, Xn=xn}发生的概率为 L(θ)=L(x1, x2,…, xn; θ)= ,θ, 该概率随θ取值而变化,是θ的函数,L(θ)称为样本的似然函数,其中x1, x2,…, xn是已知的样本值,它们都是常数

§7.1 点估计 R.A.Fisher引进了最大似然估计法 主要思路: 现在X1,X2,…,Xn取到观察值x1, x2,…, xn这一情况已经发生,说明取到这一样本值的概率L(θ)比较大 显然如果θ的取值使得出现x1, x2,…, xn的概率为小概率事件是不合理的。 这样我们自然认为使得样本值x1, x2,…, xn出现的概率L(θ) (它是θ的函数) 取值很大的θ值作为待估参数θ的估计量更为合理。

§7.1 点估计 最大似然估计法就是固定样本观察值x1, x2,…, xn ,在θ取值的可能范围内,挑选使似然函数L(θ)=L(x1, x2,…, xn; θ)达到最大值的参数值 ,作为θ的估计值。即取 使 L(x1, x2,…, xn; )= 注意“在θ取值的可能范围Θ内”这一条件,当极大值点不在Θ范围内时,应在Θ内选取似然函数最大的点作为估计值。 这样得到的估计值与样本值x1, x2,…, xn有关,是它们的函数,常记为 (x1, x2,…, xn),称为参数θ的最大似然估计值,而相应的统计量 (X1,X2,…,Xn)称为参数θ的最大似然估计量 注意:最大似然估计是先求估计值表达形式,再给出估计量

§7.1 点估计 当X为连续型随机变量时 若总体X属连续型,其概率密度f(x;θ),θΘ的形式为已知,θ为待估参数,是θ可能取值的范围。 设X1,X2,…,Xn是来自X的样本,则X1,X2,…,Xn的联合概率密度为 又设x1, x2,…, xn是相应于样本X1,X2,…,Xn的一个样本值。则随机点(X1,X2,…,Xn)落在点(x1, x2,…, xn)的邻域(边长为dx1, dx2,…, dxn的n维立方体)内的概率近似为 该值随θ的变化而变化。 与离散型的情况一样,取θ的估计值使得以上概率取到最大值,但因子 不随θ而变,故只需考虑函数 L(θ)=L(x1, x2,…, xn; θ)= ,θΘ, 的最大值,这里L(θ)称为样本的似然函数。

§7.1 点估计 若估计值 使得 L(x1, x2,…, xn; )= 则称 (x1, x2,…, xn)为参数θ的最大似然估计值, 若估计值 使得 L(x1, x2,…, xn; )= 则称 (x1, x2,…, xn)为参数θ的最大似然估计值, 称 (X1,X2,…,Xn)为参数θ的最大似然估计量。 在以上定义下,确定最大似然估计量的问题就归结为微分学中的求最大值问题了 在很多情况下,p(x;θ)和f(x;θ)关于θ可微, 常可从方程 中解得。 又L(θ)与lnL(θ)在同一θ处取到极值,因此θ的最大似然估计值 也可从方程 中解得。而后者往往比较方便,并称为对数似然方程

§7.1 点估计 最大似然估计的一般方法: 1°给出总体X的分布律或分布函数p(x;θ)和f(x;θ) 2°写出似然函数L(θ)= 或L(θ)= ,或相应的对数似然函数lnL(θ) 3°由 或 结合θ的取值范围,求得参数θ的估计值,进而给出估计量 就似然函数而言,离散型是样本分布律函数值,连续性是样本概率密度值

§7.1 点估计 例4 解 似然函数

§7.1 点估计 这一估计量与矩估计量是相同的,进一步验证了极大似然估计的合理性

§7.1 点估计 多个未知参数的极大似然估计 如果随机变量X的分布中含有多个未知参数θ1, θ2,…, θk。似然函数L是这些未知参数的函数,即L(θ1, θ2,…, θk)。 令 或 =0,i=1,2,…,k (*) 解上述的k个方程组成的方程组,即可得到各未知参数θi(i=1,2,…,k)的最大似然估计值 ,上述对数形式方程组称为对数似然方程组

§7.1 点估计 例5 解 X 的似然函数为

§7.1 点估计

§7.1 点估计 它们与相应的矩估计量相同.

§7.1 点估计 例6 解

§7.1 点估计 无极值点

§7.1 点估计

§7.1 点估计 用上述求导方法求参数的最大似然估计有时行不通,这时要用极大似然原则来求 在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用不方便时, 再用矩估计法 最大似然估计函数的性质: 待估参数的函数的估计量 设θ的函数u=u(θ),θ∈Θ,具有单值反函数θ=θ(u),u∈U,又设 是X的概率分布中参数θ的最大似然估计,则 是u(θ)的最大似然估计。

§7.1 点估计 证:由于 是θ 的最大似然估计,于是有 L(x1, x2,…, xn; )= 证:由于 是θ 的最大似然估计,于是有 L(x1, x2,…, xn; )= 其中x1, x2,…, xn是X的一个样本值,而由题设有 ,且有 这样上式可写成 L(x1, x2,…, xn; θ( ))= 这样选取的估计量 的函数 使得L(x1, x2,…, xn; θ( ))最大,因此 是u(θ)的最大似然估计

§7.1 点估计 当总体分布中含有多个未知参数时,也具有上述性质 例如例5中的两个参数μ,σ2,得到 =B2= 函数u=u(σ2)= 有单值反函数σ2=u2(u0),按上述性质得到标准差σ的最大似然估计 很多情况下对数似然方程或方程组没有有限函数形式的解,(初等不可解)用数值计算方法求近似解。著名的有newton-raphson迭代算法,拟牛顿算法,切线法等

§7.2基于截尾样本的最大似然估计 如果我们能够获得一个完全的样本,就可以用数理统计知识去分析总体的性质。 但有时只能获得部分样本,比如 灯泡寿命的试验,可能在测试时间段内,仍然有灯泡没有点爆,这样就获得了部分样本,如何根据这种情况给出最大似然估计。 可以考察一定的时间或者得到一定个数的样本点爆时间。这就是定时结尾样本和定数结尾样本 本小节内容略去

§7.3 估计量的评选标准 由点估计的两种典型求估计量的方法可知,同一参数用不同的估计方法,求出的估计量可能不同 比如θ可以是前k阶样本矩的函数(假设有k个待估参数),也可以是样本似然函数的极点或在取值范围内的最值点 如均匀分布中关于区间两个端点的矩估计量和最大似然估计量就不同 尽管原则上,任何统计量都可以作估计量,但总有好坏之分,希望在合理的标准下选择最理想的估计量 本节学习三个常用的评选标准: 无偏性,有效性,相合性(一致性)

§7.3 估计量的评选标准 1°无偏性――数学期望评选标准 意义:估计量是随机变量,其所取估计值应以待估参数真值为中心摆动,并且大量估计值的统计平均值应该稳定于参数真值,也就是估计量的数学期望应该等于参数真值 设X1,X2,…,Xn是总体X的一个样本,θΘ是包含在总体X的分布中的待估参数,这里Θ是θ的取值范围。 无偏性:若估计量 = (X1,X2,…,Xn)的数学期望E( )存在,且对于任意的θ  Θ有E( )=θ,则称 是θ的无偏估计量。即 E( )-θ=0, 称E( )-θ为以 作为θ的估计的系统误差,那么无偏估计的实际意义就是无系统误差(人为的或系统本身原因导致的误差,而不是测量误差)

§7.3 估计量的评选标准 关于常用统计量的一些结论 证

§7.3 估计量的评选标准 特别地: 不论总体 X 服从什么分布, 只要它的数学期望存在,

§7.3 估计量的评选标准 证

§7.3 估计量的评选标准 (这种方法称为无偏化).

§7.3 估计量的评选标准 例1 证

§7.3 估计量的评选标准

§7.3 估计量的评选标准 例2 证

§7.3 估计量的评选标准 由上可见,同一个参数可以有不同的无偏估计量. 无偏性是评价估计量的一个重要标准,而且在许多场合是合理的, 必要的。然而,有时一个参数的无偏估计可能不存在

§7.3 估计量的评选标准 2°有效性―――方差评选标准(分散度) 评选的前提是估计量首先是无偏的 意义:待估参数可能有多个无偏估计量,但也有优劣之分。对于两个无偏估计量 和 ,在样本容量n相同的条件下,哪一个估计量的观察值更密集在真值θ附近,认为哪一个更为理想。估计值与真值具有较大偏差的概率就更小些。 由于方差是随机变量取值与其数学期望的偏离程度的度量,这样在无偏的情况下 以方差小者为好,即估计量的有效性

§7.3 估计量的评选标准 有效性 设 与 都是θ的无偏估计量,若对于任意θΘ,有 有效性 设 与 都是θ的无偏估计量,若对于任意θΘ,有 且至少对于某一个θΘ,上式中的不等号成立,则称 较 有效。 如例2中的两个无偏估计量

§7.3 估计量的评选标准 例3 (续例1) 证明

§7.3 估计量的评选标准

§7.3 估计量的评选标准 定义 说明:最小方差无偏估计是一种最优估计.

§7.3 估计量的评选标准 3°相合性―――样本容量极限评选标准 在样本n固定情况下,无偏性和有效性都满足的估计量,其取值仍然是在真值附近摆动,我们希望随着样本容量n的增大,一个估计量的值稳定于待估参数的真值 相合性定义 设 = (X1,X2,…,Xn)为参数θ的估计量,若对于任意θΘ,当n→∞时 = (X1,X2,…,Xn)依概率收敛于θ,则称 为θ的相合估计量 即,若对于任意的θΘ都满足:对于任意的ε>0,有 则称 为θ的相合估计量。

§7.3 估计量的评选标准 相合性是对估计量的基本要求 相合性的证明 只有样本容量相当大时才显出优越性,实际中很难做到,因此一般只考虑前两个标准 若估计量不具有相合性,那么不论将样本容量n取得多么大,都不能将θ估计得足够准确,因而不可取 相合性的证明 一般只需证明统计量的方差的极限为0,再利用契比雪夫不等式即可 所以如果估计量的方差当n→∞时的极限等于0即可证明相合性

§7.3 估计量的评选标准 例 若总体X的E(X)和D(X) 存在,则样本均值 是总体均值的相合估计. 解: 方程两边令n取极限,并考虑到概率上限为1,即可得证

§7.3 估计量的评选标准 一般地,样本的k阶原点矩 是总体X的k阶原点矩 的相合估计.由此可见,矩估计往往是相合估计. 因为样本k阶矩依概率收敛于总体k阶矩, 其函数 =g(A1,A2,…,Ak)是θ =g(μ1,μ2,…,μk)的 相合估计量 由最大似然估计法得到的估计量,在一定条件下也具有相合性

§7.3 估计量的评选标准 例 设总体 的二阶矩存在, 是总体 的样本, 试证 是总体均值 的相合估计. 证明:

§7.3 估计量的评选标准 所以 是 的相合估计

§7.4 区间估计 对于一个待估参数,在测量或计算时,常不以得到近似值为满足,还需要估计误差,即要求知道近似值的精确程度,亦即所求真值所在的范围 设总体X,参数θ为待估参数 1)选一个符合评选标准的合适的估计量:无偏的,有效的,相合的 2)点估计:得到参数θ的一个近似值 3)区间估计:对于未知参数θ,除了求出它的点估计外,还希望估计出一个范围,并希望知道这个范围包含参数θ真值的可信程度。 这个范围通常以区间形式给出,同时还给出该区间包含参数θ真值的可信程度。这种形式的估计称为区间估计,这样的区间称为置信区间 区间估计的两个要素:一个是区间,一个是置信水平

§7.4 区间估计 置信区间的定义

§7.4 区间估计 关于定义的说明

§7.4 区间估计 例如

§7.4 区间估计 当X是连续型随机变量时,对于给定的α,总是按要求 求出置信区间。

§7.4 区间估计 置信区间的计算方法 例:设总体X~N(μ,σ2),σ2为已知,μ为未知,设X1,X2,…,Xn是来自X的样本,求μ的置信水平为1-α的置信区间 解:置信区间由样本来确定, 是μ的无偏估计,可由样本获得观察值,且 ~N(μ,σ2/n),所以 ~N(0,1) 它不依赖于任何未知参数,按标准正态分布的上α分位点的定义,有

§7.4 区间估计 即 这样就得到了μ的一个置信水平为1-α的置信区间 ,常写成 如:取α=0.05,即1-α=0.95,又若σ=1,n=16,查表得z0.025=1.96,可得置信水平为0.95的置信区间( ±0.49) 若由一个样本值算得观察值 =5.20,则得到一个区间(5.20±0.49)即(4.71,5.69)该区间仍称为置信水平为0.95的置信区间。其含义是该区间包含真值μ的可信程度为95%

§7.4 区间估计 置信区间长度与估计精度 置信度与精度是一对矛盾,一般是在保证置信度的条件下,尽可能提高精度 与区间的取法和样本容量有关 在相同的置信水平下,置信区间越短,估计精度越高 置信水平为1-α的置信区间不是唯一的,如在例1中若给定α=0.05,则以下概率也成立 即 故置信区间为 ,也是置信水平为0.95的置信区间

§7.4 区间估计 现在比较一下两个置信区间的长度,当α=0.05时 对于例1的置信区间长度为 对于本例置信区间长度为 一般的,对于像标准正态分布概率密度函数那样,其图象单峰且对称的情况,当n固定时,取形如例1那样的按图象对称规律所取的置信区间其长度为最短,估计精度最高。 另外,在多数情况下,当样本容量增大时,区间长度减小,精度增高。但往往在实际应用中得到足够多的大量的样本是不实际的。

§7.4 区间估计 区间估计的一般方法 寻求未知参数θ的置信区间的具体做法如下: 函数W(X1,X2,…,Xn; θ)的构造常从θ的点估计着手考虑, 比如在例1中利用待估参数和相应估计量构造的一个标准正态分布函数 ~N(0,1)

§7.5 正态总体均值和方差的区间估计 关键在于如何构造函数W(X1,X2,…,Xn;θ) (1) 单个正态总体N(μ,σ2)的情况 1°均值μ的置信区间(分两种情况) 由例1构造的函数 即可得到置信区间

§7.5 正态总体均值和方差的区间估计 1°均值μ的置信区间(分两种情况) 此时(a)中使用的函数 中除了待估参数,还有未知参数2,无法使用(a)的区间 此时考虑到S2是σ2的无偏估计,我们有如下推导 显然此时 N(0,1) , 二者又相互独立,再由t分布的定义 有 t(n-1)

§7.5 正态总体均值和方差的区间估计 即用S= 来代替, t分布不依赖于任何未知参数. 由t分布的对称性易得

§7.5 正态总体均值和方差的区间估计 有一大批糖果,现从中随机地取16袋, 称得重量(克)如下: 例2 设袋装糖果的重量服从正态分布, 试求总体均值 解

§7.5 正态总体均值和方差的区间估计 分布表 =0.25 0.10 0.05 0.025 0.01 0.005 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1.0000 0.8165 0.7649 0.7407 0.7267 0.7176 0.7111 0.7064 0.7027 0.6998 0.6974 0.6955 0.6938 0.6924 0.6912 0.6901 3.0777 1.8856 1.6377 1.5332 1.4759 1.4398 1.4149 1.3968 1.3830 1.3722 1.3634 1.3562 1.3502 1.3450 1.3406 1.3368 6.3138 2.9200 2.3534 2.1318 2.0150 1.9432 1.8946 1.8595 1.8331 1.8125 1.7959 1.7823 1.7709 1.7613 1.7531 1.7459 12.7062 4.3027 3.1824 2.7764 2.5706 2.4469 2.3646 2.3060 2.2622 2.2281 2.2010 2.1788 2.1604 2.1448 2.1315 2.1199 31.8207 6.9646 4.5407 3.7469 3.3649 3.1427 2.9980 2.8965 2.8214 2.7638 2.7181 2.6810 2.6503 2.6245 2.6025 2.5835 63.6574 9.9248 5.8409 4.6041 4.0322 3.7074 3.4995 3.3554 3.2498 3.1693 3.1058 3.0545 3.0123 2.9768 2.9467 2.9208 2.1315

§7.5 正态总体均值和方差的区间估计 就是说估计袋装糖果重量的均值在500.4克与507.1克之间, 这个估计的可信程度为95%. 这个误差的可信度为95%.

§7.5 正态总体均值和方差的区间估计 例3 解

§7.5 正态总体均值和方差的区间估计

§7.5 正态总体均值和方差的区间估计 ※总体方差已知时直接用正态分布给出置信区间 ※总体方差未知的情况居多,通常采用(b)的自由度为n-1的t分布的置信区间形式 ※多个未知参数的情况下,可以先假定其它参数已知,利用点估计构造一个包含待估参数的函数,如果该函数引入了其它未知量,则想办法用相应的估计量,将其消去。

§7.5 正态总体均值和方差的区间估计 2°方差2的置信区间 则有 ※注意对于2分布和F分布,为方便起见习惯上仍取对称的分位点

§7.5 正态总体均值和方差的区间估计 进一步可得:

§7.5 正态总体均值和方差的区间估计 (续例2) 求例2中总体标准差的置信水平为0.95的置信区间. 例4 解 代入公式得标准差的置信区间

§7.5 正态总体均值和方差的区间估计 分布表 =0.25 0.10 0.05 0.025 0.01 0.005 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1.323 2.773 4.108 5.385 6.626 7.841 9.037 10.219 11.389 12.549 13.701 14.845 15.984 17.117 18.245 19.369 2.706 4.605 6.251 7.779 9.236 10.645 12.017 13.362 14.684 15.987 17.275 18.549 19.812 20.064 22.307 23.542 3.841 5.991 7.815 9.488 11.071 12.592 14.067 15.507 16.919 18.307 19.675 21.026 22.362 23.685 24.996 26.296 5.024 7.378 9.348 11.143 12.833 14.449 16.013 17.535 19.023 20.483 21.920 23.337 24.736 26.119 27.488 28.845 6.635 9.210 11.345 13.277 15.086 16.812 18.475 20.090 21.666 23.209 24.725 26.217 27.688 29.141 30.578 32.000 7.879 10.597 12.838 14.860 16.750 18.548 20.278 21.955 23.589 25.188 26.757 28.299 29.891 31.319 32.801 34.267 27.488

§7.5 正态总体均值和方差的区间估计 分布表 =0.995 0.99 0.975 0.95 0.90 0.75 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 0.010 0.072 0.207 0.412 0.676 0.989 1.344 1.735 2.156 2.603 3.074 3.565 4.075 4.601 5.142 0.020 0.115 0.297 0.554 0.872 1.239 1.646 2.088 2.558 3.053 3.571 4.107 4.660 5.229 5.812 0.001 0.051 0.216 0.484 0.831 1.237 1.690 2.180 2.700 3.247 3.816 4.404 5.009 5.629 6.262 6.908 0.004 0.103 0.352 0.711 1.145 1.635 2.167 2.733 3.325 3.940 4.575 5.226 5.892 6.571 7.261 7.962 0.016 0.211 0.584 1.064 1.610 2.204 2.833 3.490 4.168 4.865 5.578 6.304 7.042 7.790 8.547 9.312 0.102 0.575 1.213 1.923 2.675 3.455 4.255 5.071 5.899 6.737 7.584 8.438 9.299 10.165 11.037 11.912 6.262

§7.5 正态总体均值和方差的区间估计 (2) 两个正态总体N(μ1,σ12), N(μ2,σ22)的情况 已知产品的某一质量指标服从正态分布,但由于原料、设备、操作人员不同,或工艺过程改变等因素,引起总体均值、总体方差有所改变,需要知道这样的变化有多大,需要考虑两个正态总体的均值差或方差比的估计问题。

§7.5 正态总体均值和方差的区间估计 I. 如果置信区间的下限大于0,则认为μ1比μ2大 如果置信区间的上限小于0,则认为μ1比μ2小 如果置信区间包含0,则认为μ1与μ2没有显著差别

§7.5 正态总体均值和方差的区间估计

§7.5 正态总体均值和方差的区间估计

§7.5 正态总体均值和方差的区间估计 由定理显然有

§7.5 正态总体均值和方差的区间估计 II. 根据F分布的定义, 知

§7.5 正态总体均值和方差的区间估计 ) 1 ( 2 - n S s

§7.5 正态总体均值和方差的区间估计 例5 研究由机器A和机器B生产的钢管内径, 随 机抽取机器A生产的管子18只, 测得样本方差为 设两样本相互独 立,且设由机器A和机器B生产的钢管内径分别服 从正态分布 均未知, 求方差比 信 区间. 解

§7.5 正态总体均值和方差的区间估计

§7.5 正态总体均值和方差的区间估计 正态总体均值与方差的区间估计

§7.5 正态总体均值和方差的区间估计 但n充分大时近似置信区间

§7.5 正态总体均值和方差的区间估计

§7.6 (0-1)分布参数的区间估计 设有一容量n>50的大样本,它来自(0-1)分布的总体X,分布律为f(x;p)=px(1-p)1-x,x=0,1 其中p为未知参数,求p的置信水平为1-α的置信区间 解:已知(0-1)分布的均值μ=p,方差σ2=p(1-p) 现在样本容量很大,由棣莫弗-拉普拉斯中心极限定理 样本的和 近似服从正态分布,且有

§7.6 (0-1)分布参数的区间估计 于是有 设其两个解为p1,p2,p1<p2 则(p1,p2)即为所求置信水平为1-α的置信区间

§7.7 单侧置信区间 对于某些总体,比如灯泡平均寿命,我们往往只关心其下限,化学药品中杂质含量的上限,这时引出了单侧置信区间的概念 对于给定值α (0<α<1),若由来自X的样本X1,X2,…,Xn确定的统计量 = (X1,X2,…,Xn)对于任意的θΘ满足 P{ θ> }1-α 则称随机区间( ,∞)是θ的置信水平为1-α的单侧置信区间, 称 为置信水平为1-α的单侧置信下限 又若统计量 = (X1,X2,…,Xn)对于任意的θΘ满足 P{θ < }1-α, 则称随机区间(-∞, )是θ的置信水平为1-α的单侧置信区间, 称为置信水平为1-α的单侧置信上限

§7.7 单侧置信区间 单侧置信区间的确定方法同双侧置信区间取法,不同的是确定区间的时候一般只考虑单侧特性。 比如对于正态总体X,若均值μ,方差σ2均为未知 设X1,X2,…,Xn为一个样本,则由 ~t(n-1) 有 =1-α 即P{ }=1-α 于是得到μ的一个置信水平为1-α的单侧置信区间 ( ,∞),其它类似

本章小结

本章作业 第一次: 第二次 第三次 P173:1,2(1,3),3(1,3),4(1,3) P173:5,7(1),8(1),10,13

谢谢!