https://nndl.github.io/ 《神经网络与深度学习》 线性模型 https://nndl.github.io/
线性模型 Logistic回归 Softmax回归 感知器 支持向量机
Logistic回归 线性分类器 目标类别y = 1的后验概率为
Logistic回归
梯度下降 交叉熵损失函数，模型在训练集的风险函数 为 梯度为
Softmax回归 Softmax回归是logistic回归的多类推广。 利用softmax函数，我们定义目标类别y = c的 后验概率为：
梯度下降 交叉熵损失函数，模型在训练集的风险函数 为 梯度为
特征 http://playground.tensorflow.org 如何处理非线性可分问题？
感知器
感知器 模拟生物神经元行为的机器，有与生物神经元相对应的部 件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出 为0或1。
感知器的学习过程 表示分错 对比Logistic回归的更新方式：
XOR问题
线性分类器小结
机器学习应用
数据集：CIFAR-10 60000张32x32色彩图像，共10类，每类6000 张图像。
数据集：ImageNet 14,197,122 images, 21841 synsets
应用：图像分类
图像识别 “monkey” “monkey” 分类器 “cat” “cat” “dog” “dog”
理想中的自然语言处理流程 应用 语义分析 这是一棵语法树 机器翻译 自动问答 分词 情感分析 … … 这 是 一 棵 语法 树 词性标注 这 是 一 棵 语法 树 词性标注 这 是 一 棵 语法 树 代词 动词 数词 量词 名词 动词 句法分析 这 是 一 棵 语法 树 代词 动词 数词 量词 名词 动词 这, 是，语法树 语义分析 知识库
实际流程：End-to-End 我喜欢读书。 分类模型 我讨厌读书。 模型表示 特征抽取 参数学习 解码算法 文本情感分类
文本情感分类 根据文本内容来判断文本的相应类别 + -
垃圾邮件过滤 Spam 分类器 filtering 1/0 (Yes/No) “Talk” in e-mail “free” in e-mail (http://spam-filter-review.toptenreviews.com/) 1 (Yes) Can we have more examples …. 0 (No)
“president” in document 文档归类 政治 “stock” in document 分类器 經濟 體育 “president” in document 體育 政治 財經 http://top-breaking-news.com/
https://nndl.github.io/