如何计算两个数据集之间的 Spearman 等级相关性

Question

如果我们有：

X = pd.DataFrame({"A":[34,12,78,84,26], "B":[54,87,35,25,82], "C":[56,78,0,14,13], "D":[0,23,72,56,14], "E":[78,12,31,0,34]})
Y = pd.DataFrame({"A":[45,24,65,65,65], "B":[45,87,65,52,12], "C":[98,52,32,32,12], "D":[0,23,1,365,53], "E":[24,12,65,3,65]})

我们如何计算两个数据集之间的Spearman's Rank Correlation（但不在每个数据集中），这样最终我们就有了一个 5x5 的矩阵？ 像这样：

    A  B  C  D  E
A   .  .  .  .  .
B   .  .  .  .  .
C   .  .  .  .  .
D   .  .  .  .  .
E   .  .  .  .  .

Answer 1

使用 pandas 的 concat 和 corr 函数，您可以将所有内容放在一个 DataFrame 中，从而将其变成一个衬里：

import pandas as pd

X = pd.DataFrame({"A":[34,12,78,84,26], "B":[54,87,35,25,82], "C":[56,78,0,14,13], "D":[0,23,72,56,14], "E":[78,12,31,0,34]})
Y = pd.DataFrame({"A1":[45,24,65,65,65], "B1":[45,87,65,52,12], "C1":[98,52,32,32,12], "D1":[0,23,1,365,53], "E1":[24,12,65,3,65]})

pd.concat([X,Y], axis=1).corr(method="spearman").iloc[5:,:5]

请注意，在我的示例中，我为第二组列指定了不同的名称，以使它们更易于区分。使用 pandas 的索引功能，您可以想出一种比我的 .iloc[5:,:5] 更复杂的方法来从相关表中挑选所需的行/列，但在这种情况下它可以工作。

---

编辑以添加结果：

Answer 2

这应该可以解决问题！不过可能会更短：

import pandas as pd
import numpy as np
from scipy.stats import linregress


X = pd.DataFrame({"A":[34,12,78,84,26], "B":[54,87,35,25,82], "C":[56,78,0,14,13], "D":[0,23,72,56,14], "E":[78,12,31,0,34]})
Y = pd.DataFrame({"A":[45,24,65,65,65], "B":[45,87,65,52,12], "C":[98,52,32,32,12], "D":[0,23,1,365,53], "E":[24,12,65,3,65]})

row = 0
col = 0
m = np.zeros( (len(X), len(Y) ))
for key_x, val_x in X.iteritems():
    for key_y, val_y in Y.iteritems():
        if( col == 5 ):
            col = 0 
        m[row][col] = linregress(val_x, val_y).rvalue
        col += 1
    row += 1

print m

为了计算相关性，我使用的是 linregress，但还有其他替代方法，例如：

• numpy.corrcoef
• pandas.DataFrame.corr

可能还有其他一些人；）