Chapter 8 Model Inference and Averaging

Presentation on theme: "Chapter 8 Model Inference and Averaging"— Presentation transcript:

1 Chapter 8 Model Inference and Averaging
Introduction: 重点：极大似然方法 贝叶斯推理方法 8.2 The bootstrap and Maximum Likelihood Methods 8.3 Bayesian Methods 8.5 The EM Algorithm 8.6 MCMC 模型平均与改进：装袋 堆栈 冲击 8.7 Bagging 8.8 Model Averaging and Stacking 8.9 Bumping

2 8.2 自助法和极大似然法 Smoothing Example: 训练集：

3 三次样条拟合：

4 拟合结果：

5 非参数自助法：有放回的抽样

6 参数自助法: 特殊参数模型产生新的数据集

7 极大似然推理： Score function Information matrix Fisher information

8 The smoothing example

9 Bayesian 方法 后验分布 预测分布

10 The smoothing example:

11 τ→∞时，β为无信息先验，后验分布与似然成正比，结果与极大似然一致。

12 EM算法 混合模型：

13 Y的密度 参数 对数似然 引入

14 对数似然变为： 用 代替

15 通用EM算法： 观测数据Z，参数θ，缺失数据 ，完全数据

16 EM迭代不会降低对数似然：

17 EM过程看做联合极大化算法： 考虑函数 上的极大化 上的极大化

18 MCMC方法 随机变量 从它们的联合分布中抽样 边缘密度

19 混合模型Gibbs算法：

20 8.7 装袋 训练集 装袋是对自助法样本集上的预测求平均： 可以降低方差而保持偏倚不变。

21 这对于0-1损失下的分类不成立，因为偏倚和方差不具有可加性。

22 8.8 模型平均和堆栈 训练集Z，有M个候选模型 量 的后验分布 后验均值：

23 频率论： 给定预测 寻找权值 使 问题：线性回归会将全部权值置于极大模型上，而忽略了其 的模型复杂性。

24 解决：堆栈 为去除第i个观测第m个模型的预测；

25 冲击 1、抽取自助法样本 2、用模型拟合每一个，产生预测 3、选择 对应的模型预测