Https://nndl.github.io/ 《神经网络与深度学习》 线性模型 https://nndl.github.io/

Presentation on theme: "Https://nndl.github.io/ 《神经网络与深度学习》 线性模型 https://nndl.github.io/"— Presentation transcript:

1 https://nndl.github.io/
《神经网络与深度学习》 线性模型

2 线性模型 Logistic回归 Softmax回归 感知器 支持向量机

3 Logistic回归 线性分类器 目标类别y = 1的后验概率为

4 Logistic回归

5 梯度下降 交叉熵损失函数，模型在训练集的风险函数 为 梯度为

6 Softmax回归 Softmax回归是logistic回归的多类推广。 利用softmax函数，我们定义目标类别y = c的 后验概率为：

7 梯度下降 交叉熵损失函数，模型在训练集的风险函数 为 梯度为

8 特征 如何处理非线性可分问题？

9 感知器

10 感知器 模拟生物神经元行为的机器，有与生物神经元相对应的部 件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出 为0或1。

11 感知器的学习过程 表示分错 对比Logistic回归的更新方式：

12 XOR问题

13 线性分类器小结

14 机器学习应用

15 数据集：CIFAR-10 60000张32x32色彩图像，共10类，每类6000 张图像。

16 数据集：ImageNet 14,197,122 images, synsets

17 应用：图像分类

18 图像识别 “monkey” “monkey” 分类器 “cat” “cat” “dog” “dog”

19 理想中的自然语言处理流程 应用 语义分析 这是一棵语法树 机器翻译 自动问答 分词 情感分析 … … 这 是 一 棵 语法 树 词性标注
这 是 一 棵 语法 树 词性标注 这 是 一 棵 语法 树 代词 动词 数词 量词 名词 动词 句法分析 这 是 一 棵 语法 树 代词 动词 数词 量词 名词 动词 这, 是，语法树 语义分析 知识库

20 实际流程：End-to-End 我喜欢读书。 分类模型 我讨厌读书。 模型表示 特征抽取 参数学习 解码算法 文本情感分类

21 文本情感分类 根据文本内容来判断文本的相应类别 + -

22 垃圾邮件过滤 Spam 分类器 filtering 1/0 (Yes/No) “Talk” in e-mail
“free” in ( 1 (Yes) Can we have more examples …. 0 (No)

23 “president” in document
文档归类 政治 “stock” in document 分类器 經濟 體育 “president” in document 體育 政治 財經

24 https://nndl.github.io/