https://nndl.github.io/ 《神经网络与深度学习》 第10章 模型独立的学习方式 https://nndl.github.io/
模型独立的学习方式 这些学习方式不限于具体的模型 然而一种学习方式往往会对符合某种特性的 模型更加青睐 前馈神经网络、循环神经网络还是其他模型 然而一种学习方式往往会对符合某种特性的 模型更加青睐 集成学习往往和方差大的模型组合时效果显著。
内容 集成学习 协同学习 多任务学习 迁移学习 终身学习 元学习
集成学习 三个臭皮匠赛过诸葛亮
集成方式 Bagging类 Bagging（Bootstrap Aggregating）是一个通过不同模型的训 练数据集的独立性来提高不同模型之间的独立性。我们在 原始训练集上进行有放回的随机采样，得到M 比较小的训 练集并训练M 个模型，然后通过投票的方法进行模型集成 。 随机森林（Random Forest）是在Bagging的基础上再引入了 随机特征，进一步提高每个基模型之间的独立性。在随机 森林中，每个基模型都是一棵决策树。
随机森林
集成方式 Boosting类 按照一定的顺序来先后训练不同的基模型，每个模型都针 对前序模型的错误进行专门训练。根据前序模型的结果， 来调整训练训练样本的权重，从而增加不同基模型之间的 差异性。 AdaBoost（Adaptive Boosting）算法
AdaBoost
协同训练（ Co-Training ） Multi-View Learning
多任务学习（ Multitask Learning ）
Machine Learning 1997 Multitask Learning is an approach to inductive transfer that improves generalization by using the domain information contained in the training signals of related tasks as an inductive bias. It does this by learning tasks in parallel while using a shared representation; what is learned for each task can help other tasks be learned better.
迁移学习（Transfer Learning）
元学习（Meta Learning）
终身学习
https://nndl.github.io/