我知道特征选择可以帮助我删除可能贡献较低的特征。我知道 PCA 有助于将可能相关的特征减少为一个，从而减少维度。我知道归一化会将特征转换为相同的比例。
但是有推荐的顺序来执行这三个步骤吗？从逻辑上讲，我认为我应该先通过特征选择来剔除不好的特征，然后对它们进行归一化，最后使用 PCA 降维并使特征尽可能相互独立。
这个逻辑正确吗？
额外问题 - 还有其他事情要做吗（预处理或转换） 在将特征输入估计器之前对其进行处理？
【问题讨论】：
标签： machine-learning scikit-learn
这里有很好的答案。有一点需要强调。 PCA 是一种降维形式。它将找到一个能够很好地逼近数据的低维线性子空间。当这个子空间的轴与一开始的特征对齐时，它也会导致可解释的特征选择。否则，PCA 之后的特征选择，将导致特征是原始特征集的线性组合，很难基于原始特征集进行解释。
【讨论】：
一般来说，规范化需要在 PCA之前。
问题的关键在于特征选择的顺序，这取决于特征选择的方法。
一个简单的特征选择就是看特征的方差或标准差是否小。如果这些值都比较小，这个特性可能对分类器没有帮助。但是如果在这之前做归一化，标准差和方差会变小（一般小于1），这会导致不同特征之间的std或var差异非常小。如果使用零均值归一化，则所有特征的平均值将等于 0，std 等于 1。此时，在特征选择之前进行归一化可能不好
特征选择是灵活的，选择特征的方法有很多种。特征选择的顺序要根据实际情况来选择
【讨论】：
如果我在做某种分类，我会亲自使用这个顺序
归一化：您将首先进行归一化以使数据进入合理的范围。如果您有数据 (x,y) 和 x is from -1000 to +1000 和 y is from -1 to +1 的范围，您可以看到任何距离度量都会自动说 y 的变化不如 X 的变化重要。我们不知道那是案例呢。所以我们想要规范化我们的数据。
PCA：使用数据的特征值分解来找到描述数据点方差的正交基组。如果您有 4 个特征，PCA 可以告诉您只有 2 个特征真正区分数据点，这将我们带到最后一步
特征选择：一旦您有了一个可以更好地描述您的数据的坐标空间，您就可以选择哪些特征是显着的。通常，您会使用 PCA 中的最大特征值 (EV) 及其对应的特征向量来表示。由于更大的 EV 意味着在该数据方向上存在更多差异，因此您可以在隔离特征时获得更多粒度。这是减少问题维数的好方法。
当然，这可能会因问题而异，但这只是一个通用指南。
【讨论】：