如何在 python 中进行 F 测试

Question

如何进行 F 检验以检查 Python 中两个向量的方差是否相等？

例如，如果我有

a = [1,2,1,2,1,2,1,2,1,2]
b = [1,3,-1,2,1,5,-1,6,-1,2]

有没有类似的东西

scipy.stats.ttest_ind(a, b)

我找到了

sp.stats.f(a, b)

但这似乎与 F 检验不同

Answer 1

等方差的检验统计量 F 检验很简单：

F = Var(X) / Var(Y)

F 分发为df1 = len(X) - 1, df2 = len(Y) - 1

您在问题中提到的scipy.stats.f 具有CDF 方法。这意味着您可以为给定的统计数据生成一个 p 值并测试该 p 值是否大于您选择的 alpha 水平。

因此：

alpha = 0.05 #Or whatever you want your alpha to be.
p_value = scipy.stats.f.cdf(F, df1, df2)
if p_value > alpha:
    # Reject the null hypothesis that Var(X) == Var(Y)

请注意，F 检验对 X 和 Y 的非正态性极为敏感，因此您最好进行更稳健的检验，例如 Levene's test 或 Bartlett's test，除非您有理由确定 X和 Y 正态分布。这些测试可以在scipy api 中找到：

• Bartlett's test
• Levene's test

Answer 2

对于任何来这里搜索方差分析 F 检验或比较模型以进行特征选择的人

• sklearn.feature_selection.f_classif 进行 ANOVA 测试，并且
• sklearn.feature_selection.f_regression 对回归进行顺序测试

Answer 3

要做一个你可以使用的单一方法 anova

import scipy.stats as stats

stats.f_oneway(a,b)

Anova 检查组间方差是否大于组内方差的一种方法，并使用 F 分布计算观察到此方差比的概率。一个很好的教程可以在这里找到：

https://www.khanacademy.org/math/probability/statistics-inferential/anova/v/anova-1-calculating-sst-total-sum-of-squares

Answer 4

如果你需要一个双尾测试，你可以按照下面的方法进行，我选择了 alpha =0.05：

a = [1,2,1,2,1,2,1,2,1,2]
b = [1,3,-1,2,1,5,-1,6,-1,2]
print('Variance a={0:.3f}, Variance b={1:.3f}'.format(np.var(a, ddof=1), np.var(b, ddof=1)))
fstatistics = np.var(a, ddof=1)/np.var(b, ddof=1) # because we estimate mean from data
fdistribution = stats.f(len(a)-1,len(b)-1) # build an F-distribution object
p_value = 2*min(fdistribution.cdf(f_critical), 1-fdistribution.cdf(f_critical))
f_critical1 = fdistribution.ppf(0.025)
f_critical2 = fdistribution.ppf(0.975)
print(fstatistics,f_critical1, f_critical2 )
if (p_value<0.05):
    print('Reject H0', p_value)
else:
    print('Cant Reject H0', p_value)

如果您想进行类似方差分析的测试，只有较大的值会导致拒绝，您可以进行右尾测试，您需要注意方差的顺序（fstatistics = var1/var2 或 var2/var1 ):

a = [1,2,1,2,1,2,1,2,1,2]
b = [1,3,-1,2,1,5,-1,6,-1,2]
print('Variance a={0:.3f}, Variance b={1:.3f}'.format(np.var(a, ddof=1), np.var(b, ddof=1)))
fstatistics = max(np.var(a, ddof=1), np.var(b, ddof=1))/min(np.var(a, ddof=1), np.var(b, ddof=1)) # because we estimate mean from data
fdistribution = stats.f(len(a)-1,len(b)-1) # build an F-distribution object 
p_value = 1-fdistribution.cdf(fstatistics)
f_critical = fd.ppf(0.95)
print(fstatistics, f_critical)
if (p_value<0.05):
    print('Reject H0', p_value)
else:
    print('Cant Reject H0', p_value)

左尾可以做如下：

a = [1,2,1,2,1,2,1,2,1,2]
b = [1,3,-1,2,1,5,-1,6,-1,2]
print('Variance a={0:.3f}, Variance b={1:.3f}'.format(np.var(a, ddof=1), np.var(b, ddof=1)))
fstatistics = min(np.var(a, ddof=1), np.var(b, ddof=1))/max(np.var(a, ddof=1), np.var(b, ddof=1)) # because we estimate mean from data
fdistribution = stats.f(len(a)-1,len(b)-1) # build an F-distribution object
p_value = fdistribution.cdf(fstatistics)
f_critical = fd.ppf(0.05)
print(fstatistics, f_critical)
if (p_value<0.05):
    print('Reject H0', p_value)
else:
    print('Cant Reject H0', p_value)

Answer 5

这是一个使用 Python 和 SciPy 计算单面或双面 F 检验的简单函数。已根据 R 中 var.test() 函数的输出检查了结果。请记住其他答案中提到的有关 F 检验对非正态性的敏感性的警告。

import scipy.stats as st

def f_test(x, y, alt="two_sided"):
    """
    Calculates the F-test.
    :param x: The first group of data
    :param y: The second group of data
    :param alt: The alternative hypothesis, one of "two_sided" (default), "greater" or "less"
    :return: a tuple with the F statistic value and the p-value.
    """
    df1 = len(x) - 1
    df2 = len(y) - 1
    f = x.var() / y.var()
    if alt == "greater":
        p = 1.0 - st.f.cdf(f, df1, df2)
    elif alt == "less":
        p = st.f.cdf(f, df1, df2)
    else:
        # two-sided by default
        # Crawley, the R book, p.355
        p = 2.0*(1.0 - st.f.cdf(f, df1, df2))
    return f, p