概率统计与随机过程 宋 晖 – 2013年秋

第一章 概率统计基础 抽样估计 常用统计量 常用统计分布

抽样分布 统计推断从样本中推断总体 统计量的概率分布称为抽样分布 例：依据 的抽样分布对参数 做出推断 主要目标：归纳和预测 总体大小 样本容量 选择样本的方法 例：依据 的抽样分布对参数 做出推断

重要统计量 统计量：由随机变量组成的一随机样本的函数，不含任何未知参数 样本均值，描述样本中心趋势 样本方差，描述样本的波动性 n阶原点矩

均值的抽样分布 样本容量为n的 的抽样分布 n个随机样本来自~N(μ,σ2)总体 实验不断重复（样本容量为n），产生多次的值时的一个分布 描述样本在总体均值μ附近的平均变化 n个随机样本来自~N(μ,σ2)总体 ~ N(μ,σ2/n)

S2的抽样分布 S2统计量 引入：

分布 所服从的分布为自由度为n的卡方分布，也就是Γ(n/2, ½)分布，其密度函数为： 定义: X1, X2,…,Xn i.i.d, ~ N(0,1), 随机变量 所服从的分布为自由度为n的卡方分布，也就是Γ(n/2, ½)分布，其密度函数为： n=1 n=4 n=10 n=15

卡方分布特性 自由度为n的卡方分布：μ = n, σ2=2n 卡方分布的可加性 推论： X1, X2,…,Xn i.i.d, ~ N(μ, σ2), 随机变量 服从自由度为n的卡方分布。

Fisher(费歇尔)定理 如果S2是{xi} ~ N(μ, σ2)的样本方差统计量，且 与 S2 相互独立 则随机变量

μ 的估计 样本统计量 实际中σ 值未知，已知量为 S 考察统计量： 引入t分布

t分布（学生氏分布） 定义： X~ N(0,1), Y ~Х2(n)，且X与Y相互独立，称随机变量 所服从的分布为自由度为n的t分布，t ~ t(n) 密度函数为：

t分布特性 n=1时，E(t)不存在 n≥2时，E(t) =0 n→∞时（n ≥ 45），t分布趋向于标准正态分布 n=60 n=10

结论： X1, X2,…,Xn i.i.d, ~ N(μ, σ2), 随机变量 为符合自由度为n-1的t分布。 t分布被大量用于总体均值的推断、样本比较等问题上

F分布（方差比分布） 定义： X ~Х2(n)， Y ~Х2(m)，且X与Y相互独立，称随机变量 所服从的分布为自由度为(n,m)的F分布， F ~ F(n,m)

F分布的密度函数 (60,10) 用于比较多种类型的样本方差问题，如：比较样本是否来源于不同总体 (10,10) (5,10) (1,10)

分布的分位数 在统计推断时，需要知道给定概率下，对应随机变量的取值。 定义：设X是随机变量，0<α<1，若实数Z α 满足 则称Zα为X的α分位点。 α Zα α分位点可以由分布表查得

第二章 样本估计 抽样估计 点估计 极大似然估计 最小二乘法 区间估计

统计推断 主要方法 估计 假设检验 经典方法和贝叶斯方法 例1：通过随机抽样的100名投票者的意见来估计支持某位候选人的投票者的比例 例2：通过随机抽样，估计整批产品的次品率 假设检验 例：假设A的支持率比B高，通过适当的检验后，验证推翻这个假设

点估计方法 要求 估计的“误差”应较小 当 n 较大时，估计的“精度”应较高 矩估计法 极大似然估计法 最小二乘估计法 常用的点估计：

极大似然估计 例：分类问题，样本x属于A类的概率是90%，属于B类的概率是5%。当观察到样本x时，x属于哪一类？ Fisher极大似然估计 极大似然估计 基本思想：一个随机试验有很多可能结果，如果在一次试验中，某结果发生了，则认为该结果(事件)发生的可能性最大。 例：分类问题，样本x属于A类的概率是90%，属于B类的概率是5%。当观察到样本x时，x属于哪一类？ 分析：按照 Fisher 的极大似然思想，应该认为是x属于A类较合理。

定义：设 是总体 的样本, 令 称 为似然函数 若存在统计量 使得： 则称 为 的极大似然估计, 简记为MLE 定义：设 是总体 的样本, 令 称 为似然函数 若存在统计量 使得： 则称 为 的极大似然估计, 简记为MLE Maximum Likelihood Estimation

估计量的评选标准 均值估计：选择样本均值还是中位数？ 选择标准： 无偏性标准 、有效性标准 定义：若估计量 的数学期望 存在,且 有 存在,且 有 则称 为θ 的无偏估计，否则称为有偏估计。 称： 为估计量 的偏差

有偏估计， N → ∞，渐进无偏，偏差可以忽略 样本 {xi} ~ N(μ, σ2) 样本均值 ，样本方差 极大似然估计 μML = , 可以证明： ，S2 是无偏估计 μML 、σ2ML 本身符合高斯分布 无偏估计 有偏估计， N → ∞，渐进无偏，偏差可以忽略

有效估计 定义：某种参数θ所有可能的无偏估计量，其中方差最小的估计量是θ的最有效估计量 θ的三个估计量中， θ1和θ2是无偏的， θ1的方差小于θ2的方差，因此更有效。

作业 1. 证明：自由度为n的卡方分布~Γ(n/2, ½)分布 2. 证明统计量样本均值、样本方差分别是μ， σ2的无偏估计 3. 根据所给的资料，学习掌握常用分布（正态分布、卡方分布、t分布和F分布）的绘制方法

回归（Regression）问题 Fit the data using a polynomial function y(x, w) is a nonlinear function of x It is a linear function of the coefficients w 可以转化为多元线性回归问题求解

确定参数 最小二乘法：计算值与观测值之间的误差的平方最小 误差函数 The error function corresponds to (one half of) the sum of the squares of the displacements (shown by the vertical green bars) of each data point from the function y(x,w).. 残差图

一元线性函数 t = w0+w1x min

Gaussian（1777-1855） 最重要贡献：《算术研究》 数学王子，数学成就比肩牛顿、阿基米德 德国著名数学家、物理学家、天文学家、大地测量学家 高斯的成就遍及数学的各个领域，在数论、非欧几何、微分几何、超几何级数、复变函数论以及椭圆函数论等方面均有开创性贡献。他十分注重数学的应用，并且在对天文学、大地测量学和磁学的研究中也偏重于用数学方法进行研究。 最重要贡献：《算术研究》

费歇尔 Fisher,Ronald Aylmer（1890.2.17～1962.7.29） 英国统计与遗传学家，现代统计科学的奠基人之一。 在遗传学的研究中，不断发展其变异数分析理论，他在1925所著《研究工作者的统计方法》影响力超过半世纪，遍及全世界。 巨著《天择的遗传理论》说明孟德尔的遗传定律与达尔文的理论相辅相成，认为演化的驱力主要来自选择的因素远重於突变的因素。这本著作将统计分析的方法带入演化论的研究，为解释现代生物学的核心理论打下坚实的基础。 返回