具有分类数据的随机森林仅预测一个类别中的数据

Question

我正在使用 scikit learn 的 RandomForrestRegressor，但我无法让它工作，或者至少看起来是这样。 我使用的数据有分类数据，我用 LabelBinarizer 编码，所以我的数据看起来像这样：

Id     Cat1 Cat2 Cat3 .... Cat50 
123    0    1    0         0 
...

每一行只能有一个给定的类别。 现在，我使用每个项目的给定评级来训练我的模型，这是使用 scikit-learns RandomForrestRegressor 的数值。
我的 y 是评级。
我的 X 是包含类别的项目的特征。
所以我的 y 和 X 看起来像这样：

y = [0,1,1,4,,3,7,8,1,9]

X = [[0, 1, 0, ..., 0],
     [0, 0, 1, 0...,0]
    ...]

我想根据 X 中的项目数据数组预测新项目的评分 y。为此，我使用 RandomForrestRegressor，如下所示：

regressor = RandomForestRegressor(n_estimators=60000, random_state=0, max_depth=100)
        regressor.fit(X_train, y_train)
        theta[user_id] = regressor.feature_importances_  

我选择 max-depth=106 因为有 100 个项目特征，而 n_estimator=60000 因为我有大约 30000 个项目。但我不太确定是否明智地选择了 n_estimator，即使我选择的 n_estimator 非常低，结果仍然相同。
我将每个项目特征与存储特征重要性的用户的 theta 条目相乘。
最适合用户的项目的结果如下所示：

Id Name    Category  
12 example Cat1
34 example Cat1
56 example Cat1
..

因此，每个预测都有相同的类别，尽管有 50 个不同的类别，而且训练数据确实包含比 cat1 样本多得多的内容。事实上 Cat1 只是样本的一小部分。

我的问题是如何确定我的错误在哪里？我是否应该认为这是一个错误，因为这个结果在我的情况下是不合理的。我应该采取哪些下一步来确定错误所在？

Answer 1

如果不平衡数据是您的问题，我建议您查看imblearn 库，它具有一些允许平衡数据的功能，例如合成少数过采样技术 (SMOTE) 允许通过创建额外的“上采样”数据用于训练的少数类实例及其超级简单易用。

from imblearn.over_sampling import SMOTE
sm = SMOTE()
X_train, y_train = sm.fit_resample(X_train, y_train)

然后您可以在原始数据上验证您的模型。

Answer 2

您的输入功能是什么？

您应该检查它是否是一个不平衡数据集： df['Cat1'].sum 987654324 @ 可能是：

Cat1   Cat2 ... Cat50
10000   4        3

这意味着您的数据是不平衡的。然后，你真的需要检查你可以使用的技术，有些名字是：under-and maxmmpling，或隔离森林。

你确定要使用回归吗？而不是分类？检查此包装：https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html

，这应该告诉你想要解决什么问题：https://en.wikipedia.org/wiki/Supervised_learning