题目标题

观察增益 gain, alpha 和 gamma 越大,增益越小?

难度:初级

机器学习
参考解析

XGBoost 寻找分割点的标准是最大化 gain. 考虑传统的枚举每个特征的所有可
能分割点的贪心法效率太低,XGBoost 实现了一种近似的算法。大致的思想是
根据百分位法列举几个可能成为分割点的候选者,然后从候选者中计算 Gain
按最大值找出最佳的分割点。它的计算公式分为四项, 可以由正则化项参数调
整(lamda 为叶子权重平方和的系数, gama 为叶子数量):第一项是假设分割的左孩子的权重分数, 第二项为右孩子, 第三项为不分割总体
分数, 最后一项为引入一个节点的复杂度损失。
由公式可知, gama 越大 gain 越小, lamda 越大, gain 可能小也可能大。