The Elements of Statistical Learning Chapter 5: Basis Expansion and Regularization 唐明宇
本章的核心思想 Core Idea: 用附加的变量（X的变换）替换输入向量X，在新的导出的输入特征空间上使用线性模型。 模型优点：在新变量上是线性的，拟合过程和以前一样。
Hm基函数的几个简单例子
5.2 本章主要讨论的基函数： Piecewise-polynomial Spline
定义三个基函数： （左上图的模型） 得到：
添加三个基函数 得到分段常数函数，如右上图
分段连续线性：（左下图） 两个约束，四个自由度 结合约束的基函数：
Cubic spline（三次样条） 基函数： 6维线性空间： （3 regions）*（4 parameters per region）- (2 knots)*(3 constraints per knot)
An order-M spline M次分段多项式，并具有M-2阶连续导数。 基函数：
Natural Cubic Spline 多项式拟合，样条在边界处风险大 自然样条假定在边界扭结外函数是线性的
Natural cubic spline 少了四个自由度(差值问题) 有K个knots的natural cubic spline有K个基函数：
Smoothing Splines 使用最大扭结集，避免了扭结选择问题 两种特殊情况：
Smoothing Splines Definition: Let (Xi,Yi), i=1,…,N, be a sequence of observations, modeled by the relation Eyi=u(Xi). The smoothing spline estimate of the function u is defined to be the minimizer of
(5.9)的解是： an explicit, finite-dimensional, unique minimizer which is a natural cubic spline with the knots at the unique values of Xi, i=1,…,N
(5.9)可以规约为： 岭回归 所以，拟合的光滑样条是：
Smoothing matrix 性质： 对称，半正定 秩为N
Effective degrees of freedom
5.5 Smoothing Parameters 关于λ单调，可以通过固定df来确定λ。
The Bias-Variance Tradeoff 例：
EPE和CV
Thanks a lot