第11章 神经网络
11.3 神经网络 神经网络的本质是两阶段非线性统计模型
11.3 神经网络 Z称为导出特征，在神经网络中也成为隐藏层。先由输入的线性组合创建Z，再以Y为目标用Z的线性组合建立模型
11.3 神经网络 激活函数σ（ע）的选取 神经网络源于人脑开发模型，神经元接收到的信号超过阀值时被激活。由于需要光滑的性质，阶梯函数被光滑阀函数取代。
11.3 神经网络 输出函数 是对于向量T的最终变换，早期的K分类使用的是恒等函数，后来被softmax函数所取代，因其可以产生和为1的正估计。
11.2 投影寻踪模型 投影寻踪模型是神经网络模型的特例 先将X投影于某一方向，再用得到的标量进行回归 M=1时在经济学中称为单指标模型
11.2 投影寻踪模型 如何拟合投影寻踪模型 目标：误差函数的近似极小值 为避免过分拟合，对于输出函数g需要限制 M的值通常作为前向分布策略的一部分来估计， 也可以由交叉验证来估计。
11.2 投影寻踪模型 M=1时，首先给定一个投影方向的初值，通过光滑样条估计g 给定g， 在误差函数上对投影方向做极小化 舍弃了二阶导数之后，再带入误差函数得 对于右端进行最小二乘方回归，得到投影方向的新估计值，重复以上步骤得到
11.4 神经网络的拟合 未知参数称为权，用θ表示权的全集 对于回归和分类问题，我们分别使用误差的平方和，平方误差或互熵（离散）作为拟合的度量
11.4 神经网络的拟合 通常R（θ）的全局最小化很可能是一个过分拟合，所以需要正则化，使用惩罚项或是提前停止优化
11.4 神经网络的拟合 平方误差损失的反向传播细节 具有导数
11.4 神经网络的拟合 使用梯度下降法迭代，在第（r+1）次时有如下公式
11.4 神经网络的拟合 如果将迭代前的公式写成如下形式 其中 和 分别是当前模型输出层，隐藏层的“误差”，并且满足
11.4 神经网络的拟合 上面的关系称作反向传播方程 向前传递时固定当前权值，计算预测值 向后传递是计算误差 ，进而又得到 向后传递是计算误差 ，进而又得到 最后使用更新的误差值计算更新的梯度 反向传播方法具有简单性和局部特性，每个隐藏单元只传递信息
11.4 神经网络的拟合 迭代公式中的γ称为学习率，此种迭代更新称为批学习 对于批学习，学习率通常去常数，也可以在每次更新的时候通过极小化误差函数的线搜索来优化 使用在线学习，学习率应随迭代次数递减到零
11.5 神经网络训练的一些问题 初始值 如果权值接近于0，则S型函数的运算大多是线性的，并且随着权值的增加变成非线性的 权值恰为0导致0导数和良好的对称性，且算法永远不会前进，而以大权值开始常常导致很差的解
11.5 神经网络训练的一些问题 过分拟合 权衰减是一种更加直接的正则化方法 将惩罚项加入误差函数得到 Λ是大于0的调整参数，较大的值使权值向0收缩。 Λ的值由交叉验证估计，其作用是在梯度下降的递推式中加入 和
11.5 神经网络训练的一些问题 输入的scale对于结果的影响 最好对于所有的输入都进行标准化，这个可以保证在正则化过程中平等的对数据进行处理，而且为随机初值的选择提供一个有意义的值域 一般在[ -0.7, 0.7]上面随机选取均匀的权值
11.5 神经网络训练的一些问题 隐藏单元和层的数目：隐藏单元过少则模型可能不具备足够的灵活性，如果隐藏单元过多，则多余的收缩到0. 一般来说隐藏单元的数量在5到100之间，可以取合理大的数量，在用正则化加以训练，使得多余的变作0.
11.6 模拟数据
11.6 模拟数据
11.6 模拟数据
11.6 模拟数据
11.6 模拟数据 ZIP编码数据
11.6 模拟数据
11.6 模拟数据
11.6 模拟数据
11.6 模拟数据
观众朋友们， 再见！