Python Scikit Learn、LinearRegression、Dummy Variable导致形状不同

Question

我曾使用 Scikit Learn Library 进行机器学习。 我在使用回归时遇到了一些与虚拟变量相关的问题。我有 2 组样本用于训练集和测试集。实际上，程序使用训练集创建“预测模型”，然后使用“测试”来检查分数。在运行程序时，如果形状相等，就可以了。但是虚拟变量，会改变形状，导致不同 形状。

例子

• 训练集：130行*3列

• 训练集：60行*3列

将第 1 列和第 2 列设为虚拟后，现在形状正在发生变化

• 训练集：130行*15列

• 训练集：60行*12列

有什么办法可以解决这个问题吗？ 如果可能与否，即使数据形状不同，也要取得成功

示例程序：https://www.dropbox.com/s/tcc1ianmljf5i8c/Dummy_Error.py?dl=0

Answer 1

如果我正确理解您的代码，则您正在使用 pd.get_dummies 创建虚拟变量并将整个数据框传递给函数。

在这种情况下，pandas 将为它找到的每个类别中的每个值创建一个虚拟变量。在这种情况下，看起来训练中存在的类别值比测试中更多。这就是为什么在训练中得到的列比在测试中更多的原因。

更好的方法是将所有内容组合在一个数据框中，在组合数据集中创建分类变量，然后将数据拆分为训练和测试。