标准偏差为零的归一化答案

【问题标题】：Normalisation with a zero in the standard deviation标准偏差为零的归一化
【发布时间】：2016-07-28 22:07:00
【问题描述】：

我正在尝试使用以下代码在 python 中对数据集进行居中和规范化

mean = np.mean(train, axis=0)
std = np.std(train, axis=0)
norm_train = (train - mean) / std

问题是我得到了一个零错误的划分。数据集中的两个值最终具有零标准。数据集的形状为 (3750, 55)。我的统计技能不是那么强，所以我不知道如何克服这一点。有什么建议吗？

【问题讨论】：

两个值是指两个变量/特征？如果它们的标准偏差为零，则意味着所有值都相同，因此它们对于任何类型的分析基本上都是无用的。如果你应该保留它们，考虑到所有其他变量的均值均为 0，你也可以将它们转换为零。
我所说的两个值的意思是 np.std(trainData, axis=0)[28] = 0 和 np.std(trainData, axis=0)[49] = 0 是明确的.我刚刚又看了一下数据，我可以看到 trainData[:, 28] 和 trainData[:, 49] 都是零。那么你是在建议我将它们从数据集中删除吗？
是否应该删除它们取决于您想对它们做什么。但是您不能将它们除以标准偏差。因为他们没有。
我们的目标是训练和 k-mans 分类器。在 std 的结果中将 thou 个特定索引的零值高估为 1 以使除法后的剩余值仅为 0 是否有效？
既然这叫train，你能不能也检查一下测试数据集，如果它们也都是零？如果是这样的话，它们就没有辨别力，所以我会说删除它们是安全的（大多数算法都会删除它们，或者无论如何都不能使用它们）。

标签： python numpy statistics data-science

【解决方案1】：

由于standard deviation 是通过对均值的平方偏差求和来计算的，因此只有当变量的所有值都相同（全部相等）时，零标准偏差才有可能平均而言）。在这种情况下，这些变量没有区分能力，因此可以从分析中删除。它们无法改进任何分类、聚类或回归任务。许多实现会为您执行此操作，否则会引发有关矩阵计算的错误。

【讨论】：

【解决方案2】：

一个标准是包含一个防止被零除的 epsilon 变量。理论上，它是不需要的，因为进行这样的计算在逻辑上没有意义。实际上，机器只是计算器，除以零变成 NaN 或 +/-Inf。

简而言之，像这样定义你的函数：

def z_norm(arr, epsilon=1e-100):
    return (arr-arr.mean())/(arr.std()+epsilon)

这假定为一维数组，但很容易更改为二维数组的按行或按列计算。

Epsilon 是故意添加到计算中的错误，以防止创建 NaN 或 Inf。在 Inf 的情况下，您仍然会得到非常大的数字，但以后的计算不会传播 Inf 并且可能仍然保留一些含义。

1/(1 x 10^100) 的值非常小，不会对结果产生太大影响。如果需要，您可以降至 1e-300 左右，但在进一步计算后您可能会遇到最低精度值。请注意您使用的精度和它可以处理的最小精度。我使用的是 float64。

2021-11-03 更新：添加测试代码。此 epsilon 的目标是最大程度地减少损坏并消除数据管道中随机 NaN 的机会。将 epsilon 设置为正值可以解决问题。

for arr in [
        np.array([0,0]),
        np.array([1e-300,1e-300]),
        np.array([1,1]),
        np.array([1,2])
    ]:
    for epi in [1e-100,0,1e100]:
        stdev = arr.std()
        mean = arr.mean()
        result = z_norm(arr, epsilon=epi)
        print(f' z_norm(np.array({str(arr):<21}),{epi:<7}) ### stdev={stdev}; mean={mean:<6}; becomes --> {str(result):<19} (float-64) --> Truncate to 32 bits. =', result.astype(np.float32))

z_norm(np.array([0 0]                ),1e-100 ) ### stdev=0.0; mean=0.0   ; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([0 0]                ),0      ) ### stdev=0.0; mean=0.0   ; becomes --> [nan nan]           (float-64) --> Truncate to 32 bits. = [nan nan]
z_norm(np.array([0 0]                ),1e+100 ) ### stdev=0.0; mean=0.0   ; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([1.e-300 1.e-300]    ),1e-100 ) ### stdev=0.0; mean=1e-300; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([1.e-300 1.e-300]    ),0      ) ### stdev=0.0; mean=1e-300; becomes --> [nan nan]           (float-64) --> Truncate to 32 bits. = [nan nan]
z_norm(np.array([1.e-300 1.e-300]    ),1e+100 ) ### stdev=0.0; mean=1e-300; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([1 1]                ),1e-100 ) ### stdev=0.0; mean=1.0   ; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([1 1]                ),0      ) ### stdev=0.0; mean=1.0   ; becomes --> [nan nan]           (float-64) --> Truncate to 32 bits. = [nan nan]
z_norm(np.array([1 1]                ),1e+100 ) ### stdev=0.0; mean=1.0   ; becomes --> [0. 0.]             (float-64) --> Truncate to 32 bits. = [0. 0.]
z_norm(np.array([1 2]                ),1e-100 ) ### stdev=0.5; mean=1.5   ; becomes --> [-1.  1.]           (float-64) --> Truncate to 32 bits. = [-1.  1.]
z_norm(np.array([1 2]                ),0      ) ### stdev=0.5; mean=1.5   ; becomes --> [-1.  1.]           (float-64) --> Truncate to 32 bits. = [-1.  1.]
z_norm(np.array([1 2]                ),1e+100 ) ### stdev=0.5; mean=1.5   ; becomes --> [-5.e-101  5.e-101] (float-64) --> Truncate to 32 bits. = [-0.  0.]

【讨论】：

1e-100 的 epsilon 非常小，导致该术语急剧上升。你可能想要更多像1e100。
我添加了测试代码和说明。

【解决方案3】：

您可以将该功能的 0 std 替换为 1。这基本上意味着该特征的所有数据点的缩放值将为零。这是有道理的，因为这意味着特征值不会偏离平均值（因为值是常数，常数就是平均值。）

仅供参考-这就是 sklearn 所做的！ https://github.com/scikit-learn/scikit-learn/blob/7389dbac82d362f296dc2746f10e43ffa1615660/sklearn/preprocessing/data.py#L70

【讨论】：

【解决方案4】：

回到它的定义，z_score 背后的想法是根据标准差给出元素与样本均值之间的距离。如果所有元素都相同，则意味着它们与平均值的距离为 0，因此 zscore 是标准偏差的 0 倍，因为所有数据点都处于平均值。标准除法的除法是将距离与数据的分散联系起来的一种方式。视觉上很容易理解，得出这样的结论：https://en.wikipedia.org/wiki/Standard_score#/media/File:The_Normal_Distribution.svg

【讨论】：