2018.07.1322:483071浏览字号鄙人调参新手，最近用lightGBM有点猛，无奈在各大博客之间找不到具体的调参方法，于是将自己的调参notebook打印成markdown出来，希望可以跟大家互相学习。其实，对于基于决策树的模型，调参的方法都是大同小异。一般都需要如下步骤：首先选择较高的学习率，大概0.1附...

如果你是一个机器学习社区的活跃成员，你一定知道提升机器（BoostingMachine）以及它们的能力。提升机器从AdaBoost发展到目前最流行的XGBoost。XGBoost实际上已经成为赢得在Kaggle比赛中公认的算法。这很简单，因为他极其强大。但是，如果数据量极其的大，XGBoost也需要花费很长的时间去训练...

集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是：基本思想独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型的效果会优于基学习器，因为模型的方差有所降低。常见变体(按照样本采样方式的不...