为 XGBoost.XGBRegressor 创建自定义目标函数

Question

所以我对 Python 中的 ML/AI 游戏比较陌生，我目前正在解决一个围绕 XGBoost 的自定义目标函数实现的问题。

我的微分方程知识相当生疏，所以我创建了一个自定义 obj 函数，它具有梯度和 hessian，它对作为 XGBRegressor 中的默认目标函数运行的均方误差函数进行建模，以确保我正在做所有这正确。问题是，模型的结果（错误输出很接近，但在大多数情况下并不相同（并且在某些点上有所偏离）。我不知道我做错了什么，或者如果我这样做怎么可能我正在正确计算事物。如果你们都可以看看这个，也许可以洞察我错在哪里，那就太棒了！

没有自定义函数的原代码是：

    import xgboost as xgb

    reg = xgb.XGBRegressor(n_estimators=150, 
                   max_depth=2,
                   objective ="reg:squarederror", 
                   n_jobs=-1)

    reg.fit(X_train, y_train)

    y_pred_test = reg.predict(X_test)

我的 MSE 自定义目标函数如下：

    def gradient_se(y_true, y_pred):
        #Compute the gradient squared error.
        return (-2 * y_true) + (2 * y_pred)

    def hessian_se(y_true, y_pred):
        #Compute the hessian for squared error
        return 0*(y_true + y_pred) + 2

   def custom_se(y_true, y_pred):
        #squared error objective. A simplified version of MSE used as
        #objective function.

        grad = gradient_se(y_true, y_pred)
        hess = hessian_se(y_true, y_pred)
        return grad, hess

文档参考是here

谢谢！

Answer 1

根据the documentation，库按此顺序传递预测值（在您的情况下为y_pred）和基本真实值（在您的情况下为y_true）。

您将custom_se(y_true, y_pred) 函数中的y_true 和y_pred 值以相反的顺序传递给gradient_se 和hessian_se 函数。对于粗麻布，它没有任何区别，因为粗麻布应该为所有 x 值返回 2 并且您已经正确地做到了。

对于 gradient_se 函数，y_true 和 y_pred 的符号不正确。

正确的实现如下：

    def gradient_se(y_pred, y_true):
        #Compute the gradient squared error.
        return 2*(y_pred - y_true)

    def hessian_se(y_pred, y_true):
        #Compute the hessian for squared error
        return 0*y_true + 2

   def custom_se(y_pred, y_true):
        #squared error objective. A simplified version of MSE used as
        #objective function.

        grad = gradient_se(y_pred, y_true)
        hess = hessian_se(y_pred, y_true)
        return grad, hess

更新：请记住native XGBoost implementation 和sklearn wrapper for XGBoost 的实现使用不同的参数顺序。 native 实现采用预测 first 和真实标签（dtrain）second，而 sklearn 实现采用真实标签(dtrain) first 和预测 second。