Python - 计算一个列表和多个列表之间的完全匹配数

Question

首先，我有一个已转换为数据框 (df) 的 excel 文件（或 csv 文件）。

接下来，第一列中有一个字符串主列表，其中包含字母数字字符。

然后，在后续列中有字符串列表，可以是相同长度 (list1)、更短 (list2) 或更长 (list3)。

我想count（或sum）master_list 与其他列表之间完全匹配的数量。

---

# Assign spreadsheet filename to `file`
file = "list_match.xlsx"

# Load spreadsheet
import pandas as pd
df = pd.read_excel(file)

print (df)
master_list list1   list2   list3
abc         abc     abc     stu
def         xxx     def     zzz
ghi         xxx     yyy     zzz
jkl         xxx     yyy     zzz
mno1        xxx     yz1     zzz
pqr         xxx             zzz
stu         xxx             zzz
vwx         xxx             zzz
yz1         xxx             zzz
yz2         xx1             zzz
yz3         xx1             zzz
                            zzz
                            mno1
                            zzz

---

目标是创建这个结果：

List     Count
list1    1
list2    3
list3    2

结果说明：

• list1 中有一个匹配项：'abc'
• list2 中有三个匹配项：'abc'、'def'、'yz1'
• list3 中有两个匹配项：'stu'、'mno1'

---

我的问题类似于this question，除了数据被转置并且有多个列表需要比较，这可能需要循环。

Answer 1

与：

   master_list list1 list2 list3
0          abc   abc   abc   stu
1          def   xxx   def   zzz
2          ghi   xxx   yyy   zzz
3          jkl   xxx   yyy   zzz
4         mno1   xxx   yz1   zzz
5          pqr   xxx   NaN   zzz
6          stu   xxx   NaN   zzz
7          vwx   xxx   NaN   zzz
8          yz1   xxx   NaN   zzz
9          yz2   xx1   NaN   zzz
10         yz3   xx1   NaN   zzz
11         NaN   NaN   NaN   zzz
12         NaN   NaN   NaN  mno1
13         NaN   NaN   NaN   zzz

使用df.apply 和np.isin：

df.apply(lambda col:np.isin(col,df.master_list).sum())
and 

或df.isin:

df.isin(df.master_list.dropna().tolist()).sum()

结果：

master_list    11
list1           1
list2           3
list3           2
dtype: int64

Answer 2

创建主列表的非空值列表并使用dataframe.isin

master_list = df.loc[df['master_list'].notnull(), 'master_list'].tolist()
df.iloc[:, 1:].isin(master_list).sum()



list1    1
list2    3
list3    2

Answer 3

使用numpy广播

s1=df.iloc[:,1:].values
s2=df['master_list'].values[:,None]
np.sum(s1==s2[:,None],1).sum(0)
Out[409]: array([1, 3, 2])

Answer 4

你可以在用NaN替换空字符串后使用df.isin

df.replace(r'^\s*$', 'NaN', regex=True).isin(df.master_list.values).sum()

这会计算所有出现在列df.master_list 中的df 元素。请注意，[sum()][1] 默认情况下沿 0 轴（按列），默认情况下会跳过 null/NaN 值，因此这与以下内容相同：

df.replace(r'^\s*$', 'NaN', regex=True).isin(df.master_list.values).sum(axis=0, skipna=True)

例子：

>>> df
  list1 list2 master_list
0   abc   stu         abc
1   yyy   xxx         def
2         xxx
3         xxx
4         xxx
>>> df.replace(r'^\s*$', 'NaN', regex=True).isin(df.master_list.values).sum()
list1          1
list2          0
master_list    2
dtype: int64