测试两个数组之间的统计显着差异答案

【问题标题】：Test for statistically significant difference between two arrays测试两个数组之间的统计显着差异
【发布时间】：2012-12-20 00:30:36
【问题描述】：

我有两个具有相同形状 (105,234) 的二维数组，名为 A 和 B，基本上由其他数组的平均值组成。我熟悉 Python 的 scipy 包，但我似乎无法找到一种方法来测试两个数组在每个单独的数组索引处是否在统计上显着不同。我认为这只是一个大型的 2D 配对 T 检验，但我遇到了困难。有什么想法或其他要使用的软件包吗？

【问题讨论】：

“每个单独的数组索引”是指每一行是否不同？另外，您能否提供一个可重现的示例来说明您正在使用的数据类型？
要进行 T 检验，您将需要计算均值的总体方差。你打算如何获得这些？或者，请提供一个原始数据示例以及您如何处理这些数据，然后再提出问题，我们或许可以为您指明正确的方向。
不，我实际上需要针对不同阵列中的另一个网格点测试每个单独的网格点。
所以，本质上是两个非常大的二维数组。在每个单独的位置测试它们在统计上是否存在显着差异。
与 Matlab 的 ttest2 等效的 SciPy 函数是 scipy.stats.ttest_ind。但是他们都没有检查数组是否“在每个单独的数组索引处有统计学上的显着差异”。他们所做的是将数组列与列进行比较（对于 Matlab，默认 SciPy 中的行）。如果您不了解仅通过两种方式无法计算出统计显着性，我建议使用random 模块来生成您的测试结果：至少您不会有确定性的错觉......跨度>

标签： python arrays numpy statistics scipy

【解决方案1】：

我假设 x,y 坐标无关紧要，我们只有两组巨大的独立测量值。

其中一种可能的方法可能是计算每个数组的平均值的标准差，将此值乘以学生系数（对于您的天文样本数和 95 % 的置信水平，可能大约为 1.645）并获得周围的置信范围这种方式的意思。如果两个不同数组的置信范围重叠，则它们之间的差异不显着。公式可以在here 找到。

【讨论】：

是的，坐标很重要。我基本上有两个非常大的二维数组。我需要测试它们在数组中的每个单独位置是否在统计上显着不同（例如，array1 [33,133] 与 array2 [33,133] 不同。对整个数组执行此操作并输出一个新的二维数组（我猜是 p 或 t 值）。
我的答案是如果两个数组不同，如何比较它们。这里似乎更棘手。由于没有更好的想法，也许我们可以随机选择 50x50 的部分，这些部分的置信区间可能在平均值附近，并且可以进行比较，如果它们有显着差异或没有显着差异。否则，一个数组中的一个单元格和另一个数组中的另一个单元格似乎无法为我描述的统计数据提供足够的数据。

【解决方案2】：

如果我们假设网格点上每个均值的基础方差相同，并且观测值的数量相同或已知，那么我们可以使用均值数组直接估计均值的标准差。

将网格点之间的差异除以标准差，然后给出t个分布的随机变量，可以直接测试，即可以计算p值。

作为多点测试，我们会遇到多重测试问题http://en.wikipedia.org/wiki/Multiple_comparisons#Large-scale_multiple_testing，并且应该更正 p 值。

【讨论】：

【解决方案3】：

如果您的问题是“二维分布是否不同？”，请参阅 Numerical Recipes p. 763
（并进一步询问如何在 numpy / scipy 中做到这一点）。您也可以在stats.stackexchange 上提问。

【讨论】：

【解决方案4】：

转到 MS Excel。如果你没有你的工作，还有其他选择

在 Excel 工作表中输入数字数组。在输入字段中运行公式 =TTEST (array1,array2,tail)。一尾是一，二尾是二……很简单。这是一个简单的学生 T，我相信您可能仍然需要一个 t 表来解释统计数据（互联网）。然而，它可以快速比较样本。

【讨论】：