Kolmogorov-Smirnov 2 Sample Test Java 给出 0 p 值答案

【问题标题】：Kolmogorov-Smirnov 2 Sample Test Java give 0 p-valueKolmogorov-Smirnov 2 Sample Test Java 给出 0 p 值
【发布时间】：2020-08-07 05:22:35
【问题描述】：

我正在使用 Apache Commons Math Kolmogorov-Smirnov 测试来确定我的 RNG 生成的样本是否是均匀分布。

我正在使用UniformIntegerDistribution 来产生均匀分布，我得到了一个包含 2000000 个整数的样本。然后我把它们放到double[]

我也从我的 RNG 2000000 号码中生成并将它们放入 double[]。

我已经绘制了样本，我看到它是均匀的，但 K-S 检验给我的 p 值为 0.0，这表明两者的零假设来自同一分布（即均匀）是无效的。这意味着我的 RNG 样本不符合均匀分布。

double alpha = test.kolmogorovSmirnovTest(a, b);给我alpha = 0.0

该方法的 Javadoc 显示为：

计算两样本 Kolmogorov-Smirnov 检验的 p 值或观察到的显着性水平，该检验评估 x 和 y 是从相同概率分布中抽取的样本的原假设。

所以我预计 p 值会很高，因为我看到该图显然是均匀的。

    IntegerDistribution uniform = new UniformIntegerDistribution(1, 81);

    ArrayList<Integer> lis = new ArrayList<>();
    int i = 0;
    while (i < 100000) {

        //Creates a list of 20 numbers ε [1,80]
        List<Integer> l = ls.createRandomNumbersInclusive(80, 20);
        lis.addAll(l);
        Assertions.assertFalse(l.stream().anyMatch(it -> it > 80));
        Assertions.assertFalse(l.stream().anyMatch(it -> it < 1));

        i++;
    }

    KolmogorovSmirnovTest test = new KolmogorovSmirnovTest();

    var sample = uniform.sample(2000000);

    List<Integer> ll = new ArrayList<>();
    double[] a = new double[2000000];

    for(var j = 0; j<2000000; j++) {
        a[j] = sample[j];
    }

    double[] b = lis.stream().map(it -> Double.valueOf(it)).mapToDouble(Double::doubleValue).toArray();

    var alpha = test.kolmogorovSmirnovTest(a, b); 

    System.out.println("Alpha "+ alpha); //This gives me 0.0

     /** I am doing the below to get the count per numbers [1,80] and plot them.
     * I see them being uniform 
     * 1 ===
     * 2 ===
     *  ...
     * 80 === 
     */
     Map<Integer, Long> result = lis.stream().collect(Collectors.groupingBy(it -> it, Collectors.counting()));

让我担心的是，如果我创建一个新的 UniformIntegerDistribution 并获得一个 sample2，然后将其放入 test.kolmogorovSmirnovTest(a, b);，我确实会得到一个接近 1 的 p 值，这正是我所期望的。

我在 Java 上做错了，或者我没有得到 RNG 生成的数字中的某些内容。

createRandomNumbersInclusive 的代码是

public List<Integer> fetchNumberList(final int drawNumberMin, final int drawNumberMax, final int drawNumberCount) {

    final List<Integer> range = new ArrayList<Integer>();
    for (int i = drawNumberMin; i <= drawNumberMax; i++) {
        range.add(i);
    }

    Collections.shuffle(range, rng);

    return new ArrayList<Integer>(range.subList(0, drawNumberCount));
}

RNG 是rng = SecureRandom.getInstance("NativePRNGNonBlocking");

【问题讨论】：

标签： java math random kolmogorov-smirnov

【解决方案1】：

我找到了问题背后的原因。我最初使用的 UniformRealDistribution 与 kolmogorovSmirnovTest(RealDistribution distribution, double[] data) 一起使用

然而，出于某种原因，UniformIntegerDistribution 是包容性的。

当我将 IntegerDistribution uniform = new UniformIntegerDistribution(1, 81); 更改为 IntegerDistribution uniform = new UniformIntegerDistribution(1, 80); 成功了。

【讨论】：