XGB比GBDT好主要就是因为增加了regularization，防止过拟合。
这个regularization是怎么加上去的？对LASSO或者Ridge，我们知道可以加在回归系数上面。但是决策树又没有系数之类的，这个regularization是怎么加的？加在哪儿的？
谢谢各位！
1个回答
xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出，树越复杂，惩罚越重。
树的复杂度定义如下。
叶节点的数量和叶节点的得分越高，树就越复杂。
KingBug
2017-06-01 21:06
『叶节点的数量』容易理解，请问『叶节点的得分越高』为什么会导致树就越复杂呢？
-
dzzxjl
2018-03-08 14:49
估计得需要看那篇论文了。感觉第一项是叶结点总数的话，第二项就是叶结点的加权后的总数。
-
kykix
2018-03-09 00:03
相关讨论
随便看看