本章全部来自于李航的《统计学》以及他的博客和自己试验。仅供个人复习使用。Boosting算法通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。我们以AdaBoost为例。  它的自适应在于：前一个弱分类器分错的样本的权值（样本对应的权值）会得到加强，权值更新后的样本再...

1. 什么是序列化？2. 为什么要序列化？好处在哪里？3. C++对象序列化的四种方法4. 最常用的两种序列化方案使用心得程序员在编写应用程序的时候往往需要将程序的某些数据存储在内存中，然后将其写入某个文件或是将它传输到网络中的另一台计算机上以实现通讯。这个将程序数据转化成能被存...

如果你是一个机器学习社区的活跃成员，你一定知道提升机器（BoostingMachine）以及它们的能力。提升机器从AdaBoost发展到目前最流行的XGBoost。XGBoost实际上已经成为赢得在Kaggle比赛中公认的算法。这很简单，因为他极其强大。但是，如果数据量极其的大，XGBoost也需要花费很长的时间去训练...

集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是：基本思想独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型的效果会优于基学习器，因为模型的方差有所降低。常见变体(按照样本采样方式的不...

XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势：1正则化标准GBDT的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以“正则化提升(regularizedboosting...

/译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考。另外，我自己跟着教程做的时候，发现我的库无法解析字符串类型的特征，所以只用其中一部分特征做的，具体数值跟文章中不一样，反而可以帮助理解文章。所以大家其实也可以小小修改一下代码，不一定要完全跟着教程做~^0^需要提前安装好的库：numpy,mat...

关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT 地址和xgboost导读和实战 地址，希望对xgboost原理进行深入理解。说到xgboost，不得不说gbdt。了解gbdt可以看我这篇文章 地址，gbdt无论在理论推导还是在应用场景实践都...

GradientBoostingDecisionTree，即梯度提升树，简称GBDT，也叫GBRT（GradientBoostingRegressionTree），也称为MultipleAdditiveRegressionTree（MART），阿里貌似叫treelink。首先学习GBDT要有决策树的先验知识。Gradi...

 gbdt（又称GradientBoostedDecisionTree/GrdientBoostedRegressionTree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。   xgboost是陈天奇大牛新开发的...

在本章中，将详细了解如何将SpringBootMicro服务应用程序注册到EurekaServer中。在注册应用程序之前，请确保EurekaServer在端口8761上运行或首先构建EurekaServer并运行它。有关构建Eureka服务器的更多信息，请参阅上一章(https://www.yiibai.com/spr...

  进入新公司，前端用到各种页面元素几乎都是bootStrap框架里的，下面介绍下某些页面控件怎么运用，作为知识点备份，提供有需要人观看；  首先下载bootstrap，地址http://www.bootcss.com/；  日期/时间控件名称:laydate...

 基本思想：如果单个分类器表现的很好，那么为什么不适用多个分类器呢？通过集成学习可以提高整体的泛化能力，但是这种提高是有条件的：（1）分类器之间应该有差异性；（2）每个分类器的精度必须大于0.5；如果使用的分类器没有差异，那么集成起来的分类结果是没有变化的。如下图所示，分类器的精度p<0.5，随着集成规...

1.1、什么是bootstrap？bootstrap的作用？Bootstrap，基于HTML、CSS、JAVASCRIPT的前端框架。该框架已经预定义了一套CSS样式和与样式对应的JS代码。（对应的样式有对应的特效）开发人员只需要编写HTML结构，添加bootstrap固定的class样式，就可以轻松完成指定效果的实现...

   一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单“听取多人意见，最后综合决策”，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，邹博在我组织的机器学习班第8次课上讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲...

REF：boost库使用—计时器类timer，19.12timer是一个很小的库，提供简单的时间度量和进度显示功能，也可用于性能测试等计时任务。timer库包含三个组件：计时器类timer、progress_timer和进度指示类progress_display。需包含头文件 #include<boos...