我试图更好地了解我的特征向量的值如何影响结果。例如，假设我有以下向量，其最终值为结果（例如，这是使用 SVC 的分类问题）：
0.713, -0.076, -0.921, 0.498, 2.526, 0.573, -1.117, 1.682, -1.918, 0.251, 0.376, 0.025291666666667, -200, 9, 1
您会注意到，大多数值都以 0 为中心，但是，有一个值小几个数量级，即 -200。
我担心这个值会扭曲预测并且被不公平地加权而不是其他值，这仅仅是因为该值差异很大。
这是创建特征向量时需要关注的问题吗？或者我使用的统计测试会根据我提供的训练集来评估这个大（或小）值的矢量控制吗？ sci-kit learn 中是否有可用的方法，您会推荐用于规范化向量？
感谢您的帮助！
【问题讨论】：
标签： vector machine-learning scikit-learn svc supervised-learning
我试图更好地了解我的特征向量的值如何影响结果。
那么这是给你的数学。让我们以线性内核为例。它需要一个样本x 和一个支持向量sv，并计算它们之间的点积。点积的朴素 Python 实现将是
def dot(x, sv):
return sum(x_i * sv_i for x_i, sv_i in zip(x, sv))
现在，如果其中一个特征的范围比所有其他特征（x 或 sv，或更糟糕的是，两者都具有更大的范围），那么与此特征对应的术语将主导总和。
多项式和 RBF 内核也会出现类似的情况。多核只是线性核的（移位）幂：
def poly_kernel(x, sv, d, gamma):
return (dot(x, sv) + gamma) ** d
RBF 内核是x 和sv 之间距离的平方乘以一个常数：
def rbf_kernel(x, sv, gamma):
diff = [x_i - sv_i for x_i, sv_i in zip(x, sv)]
return gamma * dot(diff, diff)
在每种情况下，如果一个特征具有极端范围，它将主导结果，而其他特征将被有效地忽略，除非打破平局。
在sklearn.preprocessing 模块中处理此问题的 scikit-learn 工具：MinMaxScaler、StandardScaler、Normalizer。
【讨论】：
是的，这是您应该关心的事情。 SVM 受到任何特征尺度差异的严重影响，因此您需要一种预处理技术，以降低最流行的可能性：
sigma^(-1/2)*X 其中sigma = cov(X)（数据协方差矩阵）对值进行去相关每个都可以使用 scikit-learn 轻松执行（尽管为了实现第三个，您需要一个用于矩阵平方根和求逆的 scipy）
【讨论】：