卡方作为回归的评分函数答案

【问题标题】：chi-square as scoring function for regression卡方作为回归的评分函数
【发布时间】：2013-11-25 22:03:27
【问题描述】：

记录在http://scikit-learn.org/0.9/modules/feature_selection.html “警告注意不要将回归评分函数用于分类问题。”

我正在尝试为回归问题找到最佳特征，并使用 f_regression 作为评分函数。但它非常消耗内存，我的 8GB 机器挂起，最后我得到内存错误。

我使用 Chi2 作为同一问题的评分函数，它的工作速度非常快。想知道警告的反面是否属实？如果不能，我可以使用 Chi2 作为回归问题的评分函数吗？

【问题讨论】：

标签： machine-learning regression scikit-learn feature-selection

【解决方案1】：

不，您不应该使用 Chi2 评分函数，因为它不能保证回归模型是准确的。您必须检查您的 f_regression 解决方案或使用其他解决方案，如递归消除或 PCA（主成分分析）

http://en.wikipedia.org/wiki/Principal_component_analysis

我个人会建议 PCA，它给出了非常可靠的结果。

【讨论】：

谢谢维克拉姆。我不想使用 PCA，因为它会减小维度。我想选择最好的功能。

【解决方案2】：

如果您的问题是回归，我建议您使用 LASSO。 Lasso 只是带有 L1 正则化的标准回归；这会导致许多特征权重为零。

Scikit has an implementation of Lasso。

【讨论】：

【解决方案3】：

χ² 检验构建了一个n_classes 乘以n_features 的列联表。在回归模型中，没有n_classes 的概念。使其工作的唯一方法是将您的 y 值合并，进行特征选择，然后在原始 y 和减少的特征集上训练回归模型。 scikit-learn 中不支持此功能，因此您必须自己编程。

【讨论】：

这对我来说似乎很合理...... scikit 中是否有任何模块可以 bin 我的 y 值？还是我必须自己写？
@user644745：你必须自己写。