如何在分类列之间执行相关性

Question

我在数据框 df1 中有一组列 (col1,col2,col3) 我在数据框 df2 中有另一组列 (col4,col5,col6) 假设这两个数据帧的行数相同。

如何生成在 df1 和 df2 之间进行成对相关的相关表？

表格看起来像

    col1 col2 col3
col4 ..   ..   ..
col5 ..   ..   ..
col6 ..   ..   ..

我用df1.corrwith(df2)，好像没有按要求生成表格。

我在这里问了一个类似的问题： How to perform Correlation between two dataframes with different column names 但现在我正在处理分类列。

如果不能直接比较，是否有标准方法可以使其可比较（例如使用 get_dummies）？这是自动处理所有字段（假设所有字段都是分类的）并计算它们的相关性的更快方法吗？

Answer 1

您是正确的，需要pd.get_dummies 才能获得相关性。下面，我将创建一些带有两个分类列的假数据，然后使用corrwith

df = pd.DataFrame({'col1':np.random.choice(list('abcde'),100),
                  'col2':np.random.choice(list('xyz'),100)}, dtype='category')
df1 = pd.DataFrame({'col1':np.random.choice(list('abcde'),100),
                   'col2':np.random.choice(list('xyz'),100)}, dtype='category')

dfa = pd.get_dummies(df)
dfb = pd.get_dummies(df1)
dfa.corrwith(dfb)

col1_a   -0.057735
col1_b    0.002513
col1_c    0.137956
col1_d   -0.095050
col1_e   -0.114022
col2_x    0.022568
col2_y   -0.081699
col2_z   -0.128350