【问题标题】:One-hot-encoded categorical variables in LASSO, how to compare variable importance?LASSO中的One-hot-encoded分类变量,如何比较变量的重要性?
【发布时间】:2019-01-02 13:46:43
【问题描述】:

我正在sklearn 从事一个回归项目,我在其中对各种数字和分类变量使用 LASSO 回归。分类变量使用 One-hot-encoder 方法进行转换。

由于一开始对特征矩阵进行了归一化处理,所以最终LASSO模型中系数的绝对值应该能够代表模型的相对重要性。

但是,我无法找出比较数值变量和分类变量之间重要性的方法。例如(使用面积和户型预测房价):

Feature         Coefficient
sqft             114.35
type_house       67.11
type_apartment   -23.97
type_condo       5.14

比较 sqft 和 type 的重要性的合理方式应该是什么?

【问题讨论】:

  • 特征选择有进展吗?

标签: python variables scikit-learn regression lasso-regression


【解决方案1】:

LASSO 允许特征选择,但通过改变 λ(惩罚系数)来估计模型。只需在y-axis 上绘制估计系数,在x-axis 上绘制λ。这将让您看到变量重要性如何随着正则化惩罚的增加而变化

Here你会发现更详细的描述(图片来源)。您可以观察到,wt 是最重要的变量之一,因为即使 penalty (λ) 高 > 1,它仍然具有值 零差异强>。

【讨论】:

  • 对不起,但这并不能解决我的问题。比较不同变量的重要性是有用的,但如果某些变量是同一分类变量的编码值,它不会提供组合重要性的信息。
  • 对于综合重要性,通常的方法是 F 检验。
猜你喜欢
  • 1970-01-01
  • 2017-10-03
  • 2014-07-31
  • 2018-02-22
  • 1970-01-01
  • 2019-08-13
  • 2015-05-23
  • 2019-01-23
  • 2018-10-31
相关资源
最近更新 更多