单个学习器要么容易欠拟合要么容易过拟合，为了获得泛化性能优良的学习器，可以训练多个个体学习器，通过一定的结合策略，最终形成一个强学习器。这种集成多个个体学习器的方法称为集成学习(ensemblelearning)。集成学习通过组合多种模型来改善机器学习的结果，与单一的模型相比，这种方法允许产生更好的预测性能。集成学习属...

本章全部来自于李航的《统计学》以及他的博客和自己试验。仅供个人复习使用。Boosting算法通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。我们以AdaBoost为例。  它的自适应在于：前一个弱分类器分错的样本的权值（样本对应的权值）会得到加强，权值更新后的样本再...

GradientBoostingDecisionTree，即梯度提升树，简称GBDT，也叫GBRT（GradientBoostingRegressionTree），也称为MultipleAdditiveRegressionTree（MART），阿里貌似叫treelink。首先学习GBDT要有决策树的先验知识。Gradi...

 基本思想：如果单个分类器表现的很好，那么为什么不适用多个分类器呢？通过集成学习可以提高整体的泛化能力，但是这种提高是有条件的：（1）分类器之间应该有差异性；（2）每个分类器的精度必须大于0.5；如果使用的分类器没有差异，那么集成起来的分类结果是没有变化的。如下图所示，分类器的精度p<0.5，随着集成规...

boosting是一种将弱分类器转化为强分类器的方法统称，而adaboost是其中的一种，或者说AdaBoost是Boosting算法框架中的一种实现https://www.zhihu.com/question/37683881 gdbt(GradientBoostingDecisionTree，梯度提升决策...

1.先弄清楚模型融合中的投票的概念分为软投票和硬投票，硬投票就是几个模型预测的哪一类最多，最终模型就预测那一类，在投票相同的情况下，投票结果会按照分类器的排序选择排在第一个的分类器结果。但硬投票有个缺点就是不能预测概率。而软投票返回的结果是一组概率的加权平均数。https://blog.csdn.net/yanyany...

Baggging和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。 Bagging:先介绍Bagging方法：Bagging即套袋法，其算法过程如下：从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练...