本章的核心思想 Core Idea: 用附加的变量（X的变换）替换输入向量X，在新的导出的输入特征空间上使用线性模型。

Presentation on theme: "本章的核心思想 Core Idea: 用附加的变量（X的变换）替换输入向量X，在新的导出的输入特征空间上使用线性模型。"— Presentation transcript:

1 The Elements of Statistical Learning Chapter 5: Basis Expansion and Regularization 唐明宇

2 本章的核心思想 Core Idea: 用附加的变量（X的变换）替换输入向量X，在新的导出的输入特征空间上使用线性模型。
模型优点：在新变量上是线性的，拟合过程和以前一样。

3 Hm基函数的几个简单例子

4 5.2 本章主要讨论的基函数： Piecewise-polynomial Spline

5

6 定义三个基函数： （左上图的模型） 得到：

7 添加三个基函数 得到分段常数函数，如右上图

8 分段连续线性：（左下图） 两个约束，四个自由度 结合约束的基函数：

9

10 Cubic spline（三次样条） 基函数： 6维线性空间：
（3 regions）*（4 parameters per region）- (2 knots)*(3 constraints per knot)

11 An order-M spline M次分段多项式，并具有M-2阶连续导数。 基函数：

12 Natural Cubic Spline 多项式拟合，样条在边界处风险大 自然样条假定在边界扭结外函数是线性的

13

14

15 Natural cubic spline 少了四个自由度(差值问题)
有K个knots的natural cubic spline有K个基函数：

16 Smoothing Splines 使用最大扭结集，避免了扭结选择问题 两种特殊情况：

17 Smoothing Splines Definition:
Let (Xi,Yi), i=1,…,N, be a sequence of observations, modeled by the relation Eyi=u(Xi). The smoothing spline estimate of the function u is defined to be the minimizer of

18 (5.9)的解是： an explicit, finite-dimensional, unique minimizer which is a natural cubic spline with the knots at the unique values of Xi, i=1,…,N

19 (5.9)可以规约为： 岭回归 所以，拟合的光滑样条是：

20 Smoothing matrix 性质： 对称，半正定 秩为N

21 Effective degrees of freedom

22 5.5 Smoothing Parameters 关于λ单调，可以通过固定df来确定λ。

23 The Bias-Variance Tradeoff
例：

24

25 EPE和CV

26 Thanks a lot