运行 catboost 时训练和测试出现分歧答案

【问题标题】：Training and test diverge while running catboost运行 catboost 时训练和测试出现分歧
【发布时间】：2020-05-11 16:20:10
【问题描述】：

当我运行 catboost 回归器时，我的训练和测试图在大约 1000 次迭代时会出现奇怪的扭结。该图附在下面，我的回归器设置如下：

cat_model=CatBoostRegressor(iterations=2500, depth=4, learning_rate=0.01, loss_function='RMSE', thread_count=-1, use_best_model = True, random_seed=12, random_strength=10, rsm=0.5)

我尝试了不同的 leaf_estimation_iterations 和 bagging_temperature 值，但没有获得任何成功。关于我应该尝试获得更好结果的任何建议。

Model Fit Plot

【问题讨论】：

标签： catboost catboostregressor

【解决方案1】：

分歧是正常的。您将始终在训练集上表现更好，因为模型过拟合训练集，而您的目标是使用验证集对其进行调节。

首先，我建议阅读偏差与方差权衡，以获得有关如何解决此问题的一般直觉。

特别是对于 catboost，您希望规范化训练过程，以便更好地泛化。您可以先添加更多数据，然后设置更高的l2_leaf_reg 参数。

官方文档对模型调优有很多好的建议： https://catboost.ai/docs/concepts/parameter-tuning.html

【讨论】：