集成学习

1.个体与集成

集成学习通过构建并结合多个学习器来完成学习任务，有时也称多分类器学习、基于委员会的学习等。

集成中只包含同种类型的个体学习器，这样的集成是同质的。同质集成中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”。

集成中包含不同类型的个体学习器，这样的集成是“异质”的。异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法，相应的个体学习器常称为“组件学习器”或直接称为“个体学习器”

目标：要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的准确性，学习器不能太坏，并且要有“多样性”，即学习器间具有差异。

2.分类

目前的集成学习方法，大致可分为两大类：
一、个体学习器间存在强依赖关系、必须串行生成的序列化方法，例如：Boosting
二、个体学习器间不存在强依赖关系、可同时生成的并行化方法，例如：Bagging和随机森林

3.Boosting

Boosting是一族可将弱学习器提升为强学习器的算法。代表：AdaBoost。

工作机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续得到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此反复，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

4.Bagging

基于自助采样法，采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。

在对预测输出进行结合时，Bagging通常对分类任务使用简单投票法， 对回归任务，使用简单平均法。

若分类预测时出现两个类收到同样票数的情形，则最简单的方法是随机选择一个，也可以进一步考察学习器投票的置信度来确定最终胜者。

5.随机森林

随机森林（Random Forest，RF）是Bagging的一个扩展变体。

RF在以决策树为基础学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。

具体讲，传统决策树在选择划分属性时是在当前结点的属性集合（假定d个属性）中选择一个最优属性；而在RF中，对基于决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。一般

随机森林简单、易实现、计算开销小，但在很多现实任务中展现出强大的性能，被誉为“代表集成学习技术水平的方法”。

与Bagging中基学习器“多样性”仅通过样本扰动相比，随机森林中基学习器的多样性不仅来自样本扰动，还来自属性扰动，这就使得最终集成的泛化性能可通过个体学习器之间差异度的增加而进一步提升。

6.投票机制

1）简单投票机制
- 一票否决（一致表决）
- 少数服从多数
有效多数加权
- 阈值表决

2）贝叶斯投票机制

7.结合策略