调整梯度提升分类的自定义损失函数

Question

我已经实现了梯度提升决策树来进行多类分类。我的自定义损失函数如下所示：

import numpy as np
from sklearn.preprocessing import OneHotEncoder
def softmax(mat):
    res = np.exp(mat)
    res = np.multiply(res, 1/np.sum(res, axis=1, keepdims=True))
    return res
def custom_asymmetric_objective(y_true, y_pred_encoded):
    pred = y_pred_encoded.reshape((-1, 3), order='F')
    pred = softmax(pred)
    y_true = OneHotEncoder(sparse=False,categories='auto').fit_transform(y_true.reshape(-1, 1))
    grad = (pred - y_true).astype("float")
    hess = 2.0 * pred * (1.0-pred)
    return grad.flatten('F'), hess.flatten('F')


def custom_asymmetric_valid(y_true, y_pred_encoded):
    y_true = OneHotEncoder(sparse=False,categories='auto').fit_transform(y_true.reshape(-1, 1)).flatten('F')
    margin = (y_true - y_pred_encoded).astype("float")
    loss = margin*10
    return "custom_asymmetric_eval", np.mean(loss), False

一切正常，但现在我想通过以下方式调整我的损失函数：如果项目分类错误，它应该“惩罚”，并且应该为某个约束添加惩罚（这是之前计算的，让我们只是假设惩罚是例如 0,05，所以只是一个实数）。 有没有办法同时考虑错误分类和惩罚值？

Answer 1

尝试 L2 正则化：权重将在减去 learning rate 次 error 次 x 加上惩罚项 lambda weight 的 2 次方后更新

简化：

这将是效果：

已添加：惩罚项（在等式右侧）增加了模型的泛化功率。因此，如果您在培训集中过度使用模型，则性能将在测试集中差。因此，您会在训练集中惩罚这些“正确”分类，这些分类会在测试集中产生错误并损害泛化能力。