用于标准化 sklearn SVM 输入的正确函数答案

【问题标题】：Right function for normalizing input of sklearn SVM用于标准化 sklearn SVM 输入的正确函数
【发布时间】：2015-09-04 07:03:11
【问题描述】：

我发现了几个与此相关的问题，但没有人解决我的疑问。尤其是this问题的两个答案更让我困惑。

我正在基于一组特征训练线性 SVM - 由图像产生的卷积神经网络特征。例如，像往常一样，我有一个 3500x4096 X 矩阵，其中包含行上的示例和列上的特征。

我想知道如何在输入 SVM 之前正确标准化/规范化这个矩阵。我看到了两种方法（使用 sklearn）：

标准化功能。它会产生具有 0 均值和单一标准的特征。
```
X = sklearn.preprocessing.scale(X)
```
规范化特征。它会产生具有单一范数的特征。
```
X = sklearn.preprocessing.normalize(X, axis=0)
```

我的结果在归一化（76% 的准确率）明显优于标准化（68% 的准确率）。

它是完全依赖于数据集的选择吗？或者如何在这两种技术之间进行选择？

【问题讨论】：

您是否使用交叉验证来为您的线性 SVM 选择最佳参数？当您说您的结果明显更好时：您是在对所有数据进行训练和评估，还是在运行交叉验证并报告验证集的平均结果？
我正在使用固定的训练/验证拆分进行此分析。这一点很有趣，我将尝试不同的拆分，看看所描述的情况是否成立。关于超参数，我设置 C=1。我做了一些网格搜索，但似乎默认选择是最佳选择。

标签： python machine-learning statistics scikit-learn svm

【解决方案1】：

您应该根据对数据的意义来选择缩放方案。 There are different ways of scaling，您将使用哪一个取决于数据。每种方案都将不同特征的值带入可比较的范围内，但它们中的每一个都保留了不同类型的信息（并扭曲了其他信息）。尽管在为什么某些缩放方案更适合特定情况下有合理的解释，尝试这些不同的方案（就像您对标准缩放和标准化所做的那样）并使用效果更好的方案并没有错（只要您进行交叉验证或以其他方式确保您的绩效衡量是通用且准确的）。

StandardScaler
这就是sklearn.preprocessing.scale(X) 使用的。它假定您的特征是正态分布的（每个特征具有不同的均值和标准差），并对其进行缩放，使每个特征的高斯分布现在以 0 为中心，其标准差为 1。

它通过计算每个特征的平均值和标准差来做到这一点，然后将特征的每个实际值转换为z-score：这个值与平均值相差多少标准差？ z=(value-mean)/stdev

这通常效果很好，但如果正态假设对您的情况完全错误，那么这可能不是您的最佳缩放方案。实际上，在正态假设不适用的许多情况下保持，但分布有点接近，这个方案仍然运作良好。但是，如果数据完全偏离正态分布，例如高度偏斜的肥尾分布（如幂律），则此方案不会产生良好的结果。

Normalizer
这就是sklearn.preprocessing.normalize(X, axis=0) 使用的。它将给定数据点的所有特征值视为一个向量，并通过将该向量除以其大小来规范化该向量。例如，假设您有 3 个功能。特定点的值为[x1, x2, x3]。如果您使用默认的'l2' 标准化，则将每个值除以sqrt(x1^2 + x2^2 + x3^2)。如果您使用'l1' 标准化，则将每个除以x1+x2+x3。这确保了每个特征的值在相似的范围内，因为每个特征向量都是一个单位向量。如果一个点的特征值很大，那么幅度也很大，你除以一个很大的数。如果它们很小，则将它们除以一个小数。

原因是您可以将数据视为 n 维空间中的点，其中 n 是特征的数量。每个特征都是一个轴。标准化将每个点拉回原点，使其距离原点仅 1 个单位。基本上，您将空间折叠到单位超立方体中。每个点的向量之间的角度（从原点到数据点）保持不变。

这在文本数据中被大量使用，因为它在此处具有很多直观意义：如果每个特征都是不同单词的计数，'l1' 归一化基本上将这些计数转换为频率（你除以总字数）。这是有道理的。如果您使用'l2' 归一化，当您对两者进行归一化时，两个向量之间的角度（这称为余弦距离或相似度）将保持不变，并且该距离更接近于含义距离因为它对应于单词之间的频率比率，并且不受每个向量代表的文本长度的影响。

如果保存点之间的余弦距离类型的关系对您的数据更有意义，或者如果归一化对应于自然缩放（例如采用频率而不是计数），那么这个更合适。

MinMaxScaler
你可以像sklearn.preprocessing.MinMaxScaler().fit_transform(X)一样使用这个。对于每个特征，这会查看最小值和最大值。这是此功能的范围。然后它会针对每个特征将其缩小或拉伸到相同的范围（默认为 0 到 1）。

它通过将每个值转换为(value-feature_min)/(feature_max - feature_min) 来实现这一点。基本上我在说谎范围的百分之几？请记住，范围仅由特征的最小值和最大值决定。对于所有这些问题，所有值可能都在 10、11 左右，并且有一个异常值是 900。没关系，您的范围是 10 到 900。您可以看到在某些情况下这是可取的，并且在其他情况下，这将是有问题的，具体取决于具体问题和数据。

此方案在 StandardScaler 可能无法正常工作的某些情况下效果更好。例如，如果特征的标准差非常小，StandardScaler 对不同特征的标准差之间的微小变化高度敏感，但MinMaxScaler 非常稳健。此外，对于具有高度偏态分布的特征，或每个特征都有很多零从而使分布偏离高斯分布的稀疏情况，MinMaxScaler 是更好的选择。

【讨论】：

令人惊讶的完整答案，伊尔马克！万分感谢！长话短说，由于我的功能非常稀疏，我一定会尝试 MinMaxScaler。
很好的答案！
哇，答案太棒了！不知道我一直在努力解决这个问题多久，灯泡就亮了，谢谢！
文档说，如果为 0，则独立标准化每个特征，否则（如果为 1）标准化每个样本。你给出的例子是标准化每个样本，所以轴不应该是 1 吗？在sklearn.preprocessing.normalize(X, axis=0)
scale 和 normalize 的默认轴值不同