题目标题

介绍一下RandomForest、Adaboost、GBDT

难度:初级

机器学习
参考解析

RandomForest:随机森林是 Bagging 的一个变体。其以决策树为基学习器,在决策树的训练过程中引入了随机属性选择。与 Bagging 相比,其基学习器的多样性不仅来自样本扰动,还来自属性扰动,最终集成的泛化性能进一步提升。

Adaboost:Adaboost是一种 Boosting 方法,其核心思想有两点:a.提高前一轮训练中错误分类的的样本的权重,而降低哪些被正确分类样本的权重 b.加权多数表决的方法,加大分类误差率小的弱分类器的权重,减少分类误差率大的弱分类器的权重 . 最终得到一个多个弱学习器的加权组合。

GBDT: Boosting Tree 是以分类树或回归树为基本分类器的提升方法,GBDT是 Boosting Tree 的 一种改进,利用损失函数的负梯度作为残差的近似值,解决了Boosting Tree 对一般损失函数优化困难的问题。