Deep learning 调研.

Presentation on theme: "Deep learning 调研."— Presentation transcript:

1 Deep learning 调研

2 机器学习

3 机器学习 手工地选取特征是一件非常费力、启发式的方法 

4 深度学习背景 又名：UnsupervisedFeature Learning 启发自：人脑视觉机理，
方向选择性神经元（Orientation Selective Cell）

5 深度学习背景

6 DL基本思想 有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O
I =>S1=>S2=>…..=>Sn => O 如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的 信息损失

7 DL&Neural Network

8 DL&Neural Network 神经网络存在问题： 1）比较容易过拟合，参数比较难tune，而且需要不少trick；
2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优 BP算法存在的问题： （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小； （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这 种情况的发生）； （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可 以从没有标签的的数据中学习；

9 DL训练过程 1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训 练）：
       采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以 看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个 过程可以看作是feature learning过程）：        具体的，先用无标定数据训练第一层，训练时先学习第一层的参数 （这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络 的隐层），由于模型capacity的限制以及稀疏性约束，使得得到的模型 能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征； 在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层， 由此分别得到各层的参数；

10 DL训练过程 2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下 传输，对网络进行微调）：
       基于第一步得到的各层参数进一步fine-tune整个多层模型的参数.第 一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初 始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局 最优，从而能够取得更好的效果；所以deep learning效果好很大程度上 归功于第一步的feature learning过程。

11 DL常用模型或方法 AutoEncoder自动编码器

12 AutoEncoder

13 Sparse AutoEncoder

14 Denoising AutoEncoders
降噪自动编码器DA是在自动编码器的基础上，训练数据加入噪声，所以 自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的 输入。因此，这就迫使编码器去学习输入信号的更加鲁棒的表达，这也 是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训 练。

15 Sparse Coding稀疏编码 一个信号表示为一组基的线性组合，要求只需要较少的几个基就可以将 信号表示出来。
O = a1*Φ1 + a2*Φ2+….+ an*Φn， Φi是基，ai是系数，我们可以得到这样 一个优化问题： Min |I – O| + u*(|a1| + |a2| + … + |an |)

16 Sparse Coding稀疏编码

17 稀疏编码训练过程 1）Training阶段：给定一系列的样本图片[x1, x 2, …]，我们需要学习得到一组基[Φ1, Φ2, …]，也就是字典。（EM思想） 2）Coding阶段：给定一个新的图片x，由上面得到的字典，得到稀疏向量a。这个稀 疏向量就是这个输入向量x的一个稀疏表达了。

18 稀疏编码用途 降维 提取特征 寻找基

19 RBM限制波尔兹曼机 判别模型 学习条件概率p（y|x） 生成模型 学习联合概率p(x,y) p(y|x)=p(x,y)/p(x)

20 RBM限制波尔兹曼机 能力模型（Energy Based Model)
假设所有的节点都是随机二值变量节点，同时假设全概率分布p(v,h)满足Boltzmann 分 布，我们称这个模型是Restricted BoltzmannMachine (RBM)。

21 RBM用途 1对数据编码，然后交给上层学习方法 2得到权重矩阵和偏移量，供BP初始化

22 DBN深信度网络

23 DBN应用 灵活 容易拓展

24 CNN卷积神经网络

25 CNN卷积神经网络

26 CNN卷积神经网络 每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数,共156*(28*28)=122,304个连接。

27 CNN卷积神经网络 主要用来识别位移、缩放及其他形式扭曲不变性的二维图形 并行学习 语音识别
每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数,共156*(28*28)=122,304个连接。

28 I am a Smartwatch and I can Track my User’s Arm (mobisys2016)

29 MoLe: Motion Leaks through Smartwatch Sensors (mobicom)2015

30 Lasagna:Towards Deep Hierarchical Understanding and Searching over Mobile sensing Data(mobisys 2016)

31 THank U