Chapter 8 Model Inference and Averaging Introduction: 重点：极大似然方法 贝叶斯推理方法 8.2 The bootstrap and Maximum Likelihood Methods 8.3 Bayesian Methods 8.5 The EM Algorithm 8.6 MCMC 模型平均与改进：装袋 堆栈 冲击 8.7 Bagging 8.8 Model Averaging and Stacking 8.9 Bumping
8.2 自助法和极大似然法 Smoothing Example: 训练集：
三次样条拟合：
拟合结果：
非参数自助法：有放回的抽样
参数自助法: 特殊参数模型产生新的数据集
极大似然推理： Score function Information matrix Fisher information
The smoothing example
8.3 Bayesian 方法 后验分布 预测分布
The smoothing example:
τ→∞时，β为无信息先验，后验分布与似然成正比，结果与极大似然一致。
8.5 EM算法 混合模型：
Y的密度 参数 对数似然 引入
对数似然变为： 用 代替
通用EM算法： 观测数据Z，参数θ，缺失数据 ，完全数据
EM迭代不会降低对数似然：
EM过程看做联合极大化算法： 考虑函数 上的极大化 上的极大化
8.6 MCMC方法 随机变量 从它们的联合分布中抽样 边缘密度
混合模型Gibbs算法：
8.7 装袋 训练集 装袋是对自助法样本集上的预测求平均： 可以降低方差而保持偏倚不变。
这对于0-1损失下的分类不成立，因为偏倚和方差不具有可加性。
8.8 模型平均和堆栈 训练集Z，有M个候选模型 量 的后验分布 后验均值：
频率论： 给定预测 寻找权值 使 问题：线性回归会将全部权值置于极大模型上，而忽略了其 的模型复杂性。
解决：堆栈 为去除第i个观测第m个模型的预测；
8.9 冲击 1、抽取自助法样本 2、用模型拟合每一个，产生预测 3、选择 对应的模型预测