第二部分：统计推断 Chp6：统计推断概述 Chp7：非参数推断 Chp8：Bootstrap Chp9：参数推断 Chp10：假设检验

Chp6：统计推断 统计推断/学习 统计推断的基本问题： 利用数据来推断产生数据的分布的过程 我们观测到数据 ，要推断（估计或学习）F 或 F 的某些性质（如均值和方差）。 概率 数据产生过程 观测到的数据 统计推断

参数模型 参数模型 当 为向量，而我们只对其中一部分参数感兴趣，则其余参数称为冗余参量（nuisance parameters ） 可用有限个参数参数化，如 也可记为 一般形式 当 为向量，而我们只对其中一部分参数感兴趣，则其余参数称为冗余参量（nuisance parameters ）

非参数模型 非参数模型 粗略地说，非参数模型不能用有限个参数参数化 如

例：参数推断 6.1例（一维参数估计）设 是独立的Bernoulli(p)观测，问题在于如何估计参数p。 6.2例（二维参数估计）假设 且PDF ， 如 则有两个参数 。 目标是从数据中获得参数。如果仅对μ感兴趣，那么μ是感兴趣参数，而 σ 是冗余参量。

例：非参数推断 6.3例（CDF的非参数估计）设 是来自CDF F 的独立观测。问题是在假设 的条件下估计F。

例：非参数推断 6.4例（非参数密度估计）设 是CDF F 的独立观测，令 是其PDF。 假设我们要估计f 。在只假设 的条件下，不可能估计出 f。我们需要假设f的平滑性。 例如，可假设 ，其中 是满足下述条件的所有概率密度函数的集合 类 称为Sobolev 空间；是 “波动不大” 的函数的集合。

例：非参数推断 6.5例（函数的非参数估计）：令 ，我们要估计 ， 仅假设μ存在。 均值μ可被认为是F的函数，可写成 6.5例（函数的非参数估计）：令 ，我们要估计 ， 仅假设μ存在。 均值μ可被认为是F的函数，可写成 通常，任意F 的函数可认为统计函数/统计泛函。 方差： 中值：

例：监督学习 假设有成对的观测数据 ， X：特征/独立变量/预测子/回归子 Y：输出/依赖变量/响应变量 ：回归函数 假设有成对的观测数据 ， 如 为第i个人的血压， 为其寿命 X：特征/独立变量/预测子/回归子 Y：输出/依赖变量/响应变量 ：回归函数 参数回归模型： ，其中 为有限维 如线性回归： 为直线集合， 非参数回归模型： ，其中 为无限维 如核回归：

例：监督学习（续） 预测：给定新的X的值，估计Y的值 分类：当Y为离散值时的预测 回归/曲线拟合/曲线估计：估计函数 回归模型：

统计推断方法 频率推断 贝叶斯推断

注意 在参数模型中，若 为参数模型，我们记 下标θ表示概率或期望是与 有关，而不是对θ求平均

点估计 点估计是指对某个感兴趣的量的真值 做一个最佳估计，这个估计称为 或 ，因为它取决于数据，所以 是一个随机变量。 点估计是指对某个感兴趣的量的真值 做一个最佳估计，这个估计称为 或 ，因为它取决于数据，所以 是一个随机变量。 但 θ为固定值，虽然未知 如果 X1, …,Xn 是从某个分布F的IID数据点，参数θ的点估计为X1, … ,Xn 的函数：

抽样分布（Sampling Distribution） 的分布称为抽样分布 的标准差 (standard deviation)称为标准误差 (standard error) 标准误差的估计值称为

估计量的评价标准 一个好的估计有什么性质? 无偏性 一致性 有效性 估计的偏差（bias）为 对分布 求期望，而不是对θ平均 若 ，则该估计是无偏估计。 一致性 若 ，则该点估计是一致的。 有效性 无偏估计中，方差较小的一个更有效（收敛速度更快） 对分布 求期望，而不是对θ平均 偏差：系统误差 一致性：相容性、相合性

偏差—方差分解 点估计的性能有时通过均方误差(MSE, mean squared error)来评价： MSE可分解为 对无偏估计，bias=0，所以 估计的偏差/正确性 估计的变化程度/精度 无偏估计的MSE不一定最小，还需考虑估计的方差

偏差—方差分解

偏差—方差分解 若 时， 且 ，则 是一致的，即 证明： 所以 所以 （qm收敛定义） 所以

例：Bernoulli分布中的参数估计 令 为p无偏估计 标准误差为 所以 ， 为一致估计 估计的标准误差为

置信区间 参数的1-α置信区间为区间 ，其中 和 是数据的函数，使得 区间(a,b)以1-α的概率覆盖θ 参数的1-α置信区间为区间 ，其中 和 是数据的函数，使得 区间(a,b)以1-α的概率覆盖θ 1-α：置信区间的覆盖度(coverage) 置信区间表示了我们对未知参数的不确定程度 置信区间宽，表示若要对参数有个比较确定的解，需要更多样本数据

渐近正态性 如果满足 则该估计是渐近正态的（asymptotically normal）。 如果一个估计是渐近正态的，可以比较方便地得到其置信区间。

基于正态分布的置信区间 假设 ， 令 ， 即 且 其中 ， 令 则 如对95%的置信区间， 则95%的置信区间约为

例：二项分布的置信区间 令 其中 则根据Hoeffding不等式 对每个p， 所以 为1-α置信区间。 根据CLT， 则1-α置信区间为 所以 为1-α置信区间。 根据CLT， 则1-α置信区间为 基于正态的区间比基于Hoeffding不等式的区间小，但CLT只是近似（在大样本时）

假设检验 假设检验：从缺省理论-零假设/原假设（null hypothesis）开始 问题：数据是否提供了足够多的证据以拒绝该理论 是：拒绝原假设 否：接受原假设

例：检验硬币是否公正 假设 表示n次独立的抛硬币试验，我们想知道该硬币是否公正 原假设 ：硬币是公正的 备择假设 ：硬币是不公正的 记为： 原假设 ：硬币是公正的 备择假设 ：硬币是不公正的 记为： 当 较大时，拒绝 问题：T应为多大？（拒绝域/接受域/显著水平） 一般不能轻易拒绝

总结 统计推断的基本概念 一个好的估计： 模型、模型估计、估计的评价 偏差小 方差/标准误差小 MSE小 一致性 鲁棒性（当样本数据有噪声时，仍能得到一个好的估计） ……. 对同一个未知量，我们可以用不同的模型和不同的推断方法来得到其估计，这些估计的性质可能不一样 参数模型/非参数模型 频率推断/Bayesian推断 如不同的分类器、不同的回归方法、不同的概率密度估计方法 重点掌握偏差、标准误差和MSE的计算