Pandas/Python 相当于 R 中的复杂 ifelse 匹配

Question

我的目标是获得以下 R 代码的 pandas 等效项：

df1$String_1_check = ifelse(df1$String_1 == df2[match(df1$String_2, df2$String_2), 1], TRUE, FALSE)

如果 df1 的 String_1 列第 n 行的值等于 df1 的 String_2 列的第 n 行与 df2 的 String_2 匹配的 df2 的第一列，则在新列 String_1_check 中为 True，否则在 String_1_check 中为 False。

df1 在 String_1 和 String_2 中有许多相同值的实例，而 df2 在 String_1 中只有一个可能值的实例。 String_3 不是唯一的。使用这些示例数据框：

df1 = pd.DataFrame({'String_1': ['string 1', 'string 1', 'string 2', 'string 3', 'string 1'], 'String_2': ['string a', 'string a', 'string b', 'string a', 'string c']})
df2 = pd.DataFrame({'String_3': ['string 1', 'string 2', 'string 3'], 'String_2': ['string a', 'string b', 'string c']})

   String_1  String_2
0  string 1  string a
1  string 1  string a
2  string 2  string b
3  string 3  string a
4  string 1  string c

   String_3  String_2
0  string 1  string a
1  string 2  string b
2  string 3  string c

期望的输出是：

   String_1  String_2  String_1_check
0  string 1  string a  True
1  string 1  string a  True
2  string 2  string b  True
3  string 3  string a  False
4  string 1  string c  False

我尝试了np.where、isin、pd.match（现已弃用），但没有找到解决方案。

Answer 1

将值分配回df1，就像原来的R一样，您可以这样做：

In []:
df1['String_1_check'] = df1.merge(df2, how='left')['String_3'] == df1['String_1']
df1

Out:
   String_1  String_2  String_1_check
0  string 1  string a            True
1  string 1  string a            True
2  string 2  string b            True
3  string 3  string a           False
4  string 1  string c           False

Answer 2

您可以使用map，而无需更改原来df的顺序

df1['String_1_check']=list(zip(df1['String_1'],df1['String_2']))
df2.index=list(zip(df2['String_3'],df2['String_2']))
df2['Check']=True
df1['String_1_check']=df1['String_1_check'].map(df2['Check']).fillna(False)

Out[764]: 
   String_1  String_2  String_1_check
0  string 1  string a            True
1  string 1  string a            True
2  string 2  string b            True
3  string 3  string a           False
4  string 1  string c           False

Answer 3

合并两个数据框并检查字符串 1 和 3 是否匹配（经过编辑以纳入 AChampion 的建议）：

dfnew = df1.merge(df2, how='left')
dfnew["String_1_check"] = (dfnew.String_1 == dfnew.String_3)
del dfnew["String_3"]
print(dfnew)
#   String_1  String_2 String_1_check
#0  string 1  string a           True
#1  string 1  string a           True
#2  string 3  string a          False
#3  string 2  string b           True
#4  string 1  string c          False

Answer 4

假设df2.String_3 是唯一的，从df2 创建一个系列，并在map 中使用它来与df1.String_2 进行比较。考虑到与merge 相比，map 是恒定时间查找，这将很快。

如果 df2.String_3 不是唯一的，请注意 OP 要求我们只关注从 df1.String_1 中找到第一个匹配项的行。这意味着我们可以使用drop_duplicates 使df2.String_3 独一无二

df1.String_1.map(df2.set_index('String_3').String_2).eq(df1.String_2)

0     True
1     True
2     True
3    False
4    False
dtype: bool

非唯一性的修改版本

df1.String_1.map(
    df2.drop_duplicates('String_3').set_index('String_3').String_2
).eq(df1.String_2)

使用pd.DataFrame.assign 创建包含新列的df1 的副本。

df1.assign(
    String_1_check=df1.String_1.map(
        df2.drop_duplicates('String_3').set_index('String_3').String_2
    ).eq(df1.String_2)
)

   String_1  String_2  String_1_check
0  string 1  string a            True
1  string 1  string a            True
2  string 2  string b            True
3  string 3  string a           False
4  string 1  string c           False

---

时机
在这个模拟中，df2 的大小是静态的。我不想为独特的价值观建模。
下面的代码

pir = lambda df1, df2: df1.assign(String_1_check=df1.String_1.map(df2.drop_duplicates('String_3').set_index('String_3').String_2).eq(df1.String_2))
achamp = lambda df1, df2: df1.assign(String_1_check=df1.merge(df2, how='left').eval('String_3 == String_1'))

results = pd.DataFrame(
    index=pd.Index([10, 30, 100, 300, 1000, 3000, 10000, 30000]),
    columns='pir achamp'.split()
)

for i in results.index:
    d1 = pd.concat([df1] * i, ignore_index=True)
    for j in results.columns:
        stmt = '{}(d1, df2)'.format(j)
        setp = 'from __main__ import d1, df2, {}'.format(j)
        results.set_value(i, j, timeit(stmt, setp, number=20))

results.plot(loglog=True)