两样本 Kolmogorov-Smirnov 检验，原始数据和预先计算的百分比数据之间的结果差异答案

【问题标题】：Two-sample Kolmogorov-Smirnov test, difference in result between raw data and precomputed percentage data两样本 Kolmogorov-Smirnov 检验，原始数据和预先计算的百分比数据之间的结果差异
【发布时间】：2017-11-05 12:06:33
【问题描述】：

我正在尝试从 Scipy 包中实施两样本 Kolmogorov-Smirnov 测试，以测试两个样本的分布是否存在差异。样品是在两个不同时期出售的 T 恤尺寸（S、M、L、XL 和 XXL）。我想测试两个时期的尺寸分布是否不同。

我遇到的问题是，与使用原始数据相比，当我预先计算每种尺寸的总百分比时，我得到的结果非常不同。我不明白这一点，因为百分比仍然代表相同的分布。

这是我使用的代码（x 和 y 是原始数据，x1 和 y1 是计算的百分比）：

from scipy.stats import ks_2samp

x = (254, 526, 576, 622, 409)
y = (92, 214, 366, 365, 287)

x1 = (10.6, 21.9, 24.0, 25.9, 17.1)
y1 = (7.0, 16.2, 27.7, 27.7, 21.7)


print(ks_2samp(x, y))
print(ks_2samp(x1, y1))

这是我得到的两个不同的结果：

Ks_2sampResult(统计=0.80000000000000004, pvalue=0.03614619076928504) Ks_2sampResult(statistic=0.40000000000000002, pvalue=0.69740487802059081)

【问题讨论】：

标签： python scipy statistics kolmogorov-smirnov

【解决方案1】：

如果相同缩放应用于两个样本，则测试在数据缩放下是不变的。通过将样本转换为百分比，您对两个样本应用了不同的缩放比例。具体来说，您将第一个数据集乘以 100/2387，同时将第二个数据集乘以 100/1324。

顺便说一句，我认为 Kolmogorov-Smirnov (KS) 检验不适用于此数据。 KS 检验适用于来自连续分布的样本。我希望将您的数据建模为样本空间为 {S、M、L、XL、XXL} 的离散分布中的样本中观察到的频率。分析此类数据的一种常用工具是 contingency table 的卡方检验，它在 scipy 中实现为 scipy.stats.chi2_contingency：

In [110]: x
Out[110]: array([254, 526, 576, 622, 409])

In [111]: y
Out[111]: array([ 92, 214, 366, 365, 287])

In [112]: a = np.vstack((x, y))

In [113]: a
Out[113]: 
array([[254, 526, 576, 622, 409],
       [ 92, 214, 366, 365, 287]])

In [114]: from scipy.stats import chi2_contingency

In [115]: chi2, p, dof, expected = chi2_contingency(a)

In [116]: p
Out[116]: 2.1980217327784848e-08

请注意您如何解释这一点，因为"with enough data, everything is significant"。

【讨论】：

谢谢你的回答，让我明白了。