n个数据帧的行交集的并集

Question

假设我有 n dataframes，在这个例子中 n = 3。

**df1**
       A  B     C
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
4  False  1  25.0
5  True   0  26.0

**df2**
       A  B     C
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
4  True   2  19.0

**df3**
       A  B     C
0   True  3  21.0
1   True  2  23.0
2  False  2  25.0
3  False  1  25.0
4  False  4  25.5
5  True   0  27.50

**dfn** ...

我想要一个dataframe，其中包含每个dataframe dfn 中出现C 列值的所有行。所以这是intersection 的dataframes 在列上的一种union，在这种情况下是C 列。因此对于上述数据帧，具有19.0、26.0 和27.50 的行不会进入最终的dataframe 是：

**Expected df**
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
4  False  1  25.0
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
0   True  3  21.0
1   True  2  23.0
2  False  2  25.0
3  False  1  25.0
4  False  4  25.5

所以一行继续存在到finaldataframe，当且仅当，在all中可以看到C列中的值dataframes.

可重现的代码：

import pandas as pd
df1 = pd.DataFrame({'A': [True,True,False,False,False,True], 'B': [3,1,2,4,1,0],
                    'C': [21.0,23.0,25.0,25.5,25.0,26.0]})
df2 = pd.DataFrame({'A': [True,True,False,False,False], 'B': [3,1,2,4,2],
                    'C': [21.0,23.0,25.0,25.5,19.0]})
df3 = pd.DataFrame({'A': [True,True,False,False,False,True], 'B': [3,2,2,1,4,0],
                    'C': [21.0,23.0,25.0,25.0,25.5,27.5]})
dfn = ...

Answer 1

直接的方法似乎是计算（n 路交点）公共 C 值（作为集合/列表），然后使用 .isin 过滤：

common_C_values = set.intersection(set(df1['C']), set(df2['C']), set(df3['C']))
df_all = pd.concat([df1,df2,df3])
df_all = df_all[ df_all['C'].isin(common_C_values) ]

Answer 2

你可以使用 pd.concat:

# merge column C from all DataFrames
df_C = pd.concat([df1,df2,df3],1)['C']
# concat all DataFrames
df_all = pd.concat([df1,df2,df3])
# only extract rows with its C value appears in all DataFrames C columns.
df_all.loc[df_all.apply(lambda x: df_C.eq(x.C).sum().all(), axis=1)]
Out[105]: 
       A  B     C
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
4  False  1  25.0
0   True  3  21.0
1   True  1  23.0
2  False  2  25.0
3  False  4  25.5
0   True  3  21.0
1   True  2  23.0
2  False  2  25.0
3  False  1  25.0
4  False  4  25.5

Answer 3

为简单起见，请将您的数据框存储在一个列表中。我们将使用集合操作来尽可能加快速度。

df_list = [df1, df2, df3, ...]
common_idx = set.intersection(*[set(df['C']) for df in df_list]) 

print(common_idx)
{21.0, 23.0, 25.0, 25.5}

感谢@smci 的改进！ set.intersection 将找到所有索引的交集。最后调用pd.concat，将dataframes垂直加入，然后使用query过滤上一步得到的公共索引。

pd.concat(df_list, ignore_index=True).query('C in @common_idx')

        A  B     C
0    True  3  21.0
1    True  1  23.0
2   False  2  25.0
3   False  4  25.5
4   False  1  25.0
5    True  3  21.0
6    True  1  23.0
7   False  2  25.0
8   False  4  25.5
9    True  3  21.0
10   True  2  23.0
11  False  2  25.0
12  False  1  25.0
13  False  4  25.5