“团结就是力量”这句老话很好地表达了机器学习领域中强大「集成方法」的基本思想。总的来说，许多机器学习竞赛（包括 Kaggle）中最优秀的解决方案所采用的集成方法都建立在一个这样的假设上：将多个模型组合在一起通常可以产生更强大的模型。
集成（Ensemble）方法就是针对同一任务，将多个或多种分类器进行融合，从而提高整体模型的泛化能力。对于一个复杂任务，将多个模型进行适当地综合所得出的判断，通常要比任何一个单独模型的判读好。也就是我们常说的“三个臭皮匠，顶过诸葛亮”。
不过对于组合分类器必须满足两点：
(1) 基模型之间应该是相互独立的
(2) 基模型应好于随机猜测模型
集成方法目前分为两种：Bagging 与 Boosting，下面分别介绍。
bagging的算法过程如下：
1、从原始样本集中使用Bootstraping 方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集（k个训练集之间相互独立，元素可以有重复）。
2、对于n个训练集，我们训练k个模型（这个模型可根据具体的情况而定，可以是决策树，KNN等）。
3、对于分类问题：由投票表决产生的分类结果；对于回归问题，由k个模型预测结果的均值作为最后预测的结果（所有模型的重要性相同）。
boosting的算法过程如下：
1、对于训练集中的每个样本建立权值$w_{i}$，表示对每个样本的权重， 其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重（错误分类的样本的权重增加）。
2、同时加大分类误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。每一次迭代都得到一个弱分类器，需要使用某种策略将其组合，最为最终模型(AbaBoost给每个迭代之后的弱分类器一个权值，将其线性组合作为最终的分类器,误差小的分类器权值越大)。
关于Boosting的两个核心问题：
1、在每一轮如何改变训练数据的权值或概率分布？
通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分正确样例的权值，来使得分类器对误分的数据有较好的效果。
2、通过什么方式来组合弱分类器？
通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。
Bagging和Boosting的区别：
1）样本选择上：
Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。
Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。
2）样例权重：
Bagging：使用均匀取样，每个样例的权重相等
Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。
3）预测函数：
Bagging：所有预测函数的权重相等。
Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。
4）并行计算：
Bagging：各个预测函数可以并行生成
Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
5）Bagging是减少variance（方差），而Boosting是减少bias（偏差）
Bagging对样本重采样，对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance（事实上，各模型的分布也近似相同，但不独立）。由于$E\left [ \frac{\sum X_{i}}{n} \right ]=E\left [X_{i} \right ]$，所以bagging后的bias和单个子模型的接近，一般来说不能显著降低bias。另一方面，若各子模型独立，则有$Var\left ( \frac{\sum X_{i}}{n} \right )=\frac{Var\left (X_{i} \right )}{n}$，此时可以显著降低variance。若各子模型完全相同，则$Var\left ( \frac{\sum X_{i}}{n} \right )=Var\left (X_{i} \right )$，此时不会降低variance。bagging方法得到的各子模型是有一定相关性的，属于上面两个极端状况的中间态，因此可以一定程度降低variance。为了进一步降低variance，Random forest通过随机选取变量子集做拟合的方式de-correlated了各子模型（树），使得variance进一步降低。（用公式可以一目了然：设有i.d.的n个随机变量，方差记为$\sigma ^{2}$，两两变量之间的相关性为$\rho $，则$\frac{\sum X_{i}}{n}$的方差为$\rho \ast \sigma ^{2}+(1-\rho )\ast \sigma ^{2}/n$，Bagging降低的是第二项，Random Forest是同时降低两项。）
Boosting从优化角度来看，是用Forward-Stagewise这种贪心法去最小化损失函数$L(y,\sum a_{i}f_{i}(x))$。例如，常见的AdaBoost即等价于用这种方法最小化Exponential Loss：$L(y,f(x))=exp(-yf(x))$。所谓Forward-Stagewise，就是在迭代的第n步，求解新的子模型$f(x)$及步长$a$（或者叫组合系数），来最小化$L(y,f_{n-1}(x)+af(x))$，这里$f_{n-1}(x)$是前n-1步得到的子模型的和。因此Boosting是在Sequential地最小化损失函数，其bias自然逐步下降。但由于是采取这种Sequential、Adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说Boosting主要还是靠降低bias来提升预测精度。
这两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果，将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果，但是也增大了计算量。
下面是将决策树与这些算法框架进行结合所得到的新的算法：
1）Bagging + 决策树 = 随机森林
2）AdaBoost + 决策树 = 提升树
3）Gradient Boosting + 决策树 = GBDT
参考
https://baijiahao.baidu.com/s?id=1633580172255481867&wfr=spider&for=pc
https://www.pianshen.com/article/1393124418/
https://www.cnblogs.com/liuwu265/p/4690486.html
https://www.cnblogs.com/earendil/p/8872001.html
