【问题标题】:What's the different between Objective functions and xgboost models?目标函数和 xgboost 模型有什么区别?
【发布时间】:2018-12-22 13:01:04
【问题描述】:
我知道GBtree 使用决策树进行分类和回归,
但是我们如何使用gblinear 来解决分类问题呢?它不是给我们一个连续的预测吗?
我想我对 xgboost 中的参数 “boosters” 和“目标函数”感到困惑。
与 GBLinear 相比,GBtree 能给我们带来什么?
“Objective Function”与“Booster”有什么区别
在 xgboost 中?
【问题讨论】:
标签:
machine-learning
linear-regression
decision-tree
xgboost
【解决方案1】:
-
GBLinear 提供“线性”建模来解决您的问题。线性
回归是一个线性模型,可以预测一个连续值
提及。但是还有其他线性模型,例如 Logistic
预测 0 到 1 之间的值(或
分类问题)。因此,如果您使用 GBLinear 的助推器
类型,你应该使用binary:logistic目标函数。 GBtree 为您的问题提供决策树建模。
-
Objective function 是您尝试最小化的函数(它不会
与模型直接相关)。大多数情况下,目标函数定义
某种错误。例如,在Linear Regression 中,您有一个
如下所示的启发式:Hw = w0 + w1*x1 + w2*x2 + ... +
wn*xn(这种启发式实际上是一种建模你的
问题)。其中“Objective”也称为“Cost”函数,
与此类似:COST = (Hw - y_pred)^2。你的目标是
找到w0, ..., wn,这将最大限度地减少该错误,因此您将得到
一个“适合”“解决”您的问题的“模型”。
GBtree / GBlinear 是模型。一种为您的问题建模的方法。该模型
如果不“调整”他的“权重”,那将一文不值。带着“目标”
函数,你“调整”你的“权重”。