Python - 根据另一个数据集的列值过滤数据集

Question

我有两个数据集：

第一个数据集如下所示：

| Key 1 | Value 1 | Key 2 | Value 2 | Key 3 | Value 3|

| abc   |  True   | bcd   | False   | cde   | False  |
| bcd   |  False  | cde   | True    | def   | False  |
| def   |  False  | abc   | True    | None  | N/A    |

第二个数据如下：

| abc    | bcd     | cde   | def     | status    |

| False  |  False  | True  | False   |  Success  |
| True   |  False  | False | False   |  Failure  |
| False  |  True   | True  | True    |  Success  |
| False  |  False  | True  | False   |  Failure  |
| True   |  False  | False | False   |  Success  |
| False  |  True   | True  | True    |  Success  |
| False  |  False  | True  | True    |  Success  |
| True   |  False  | False | False   |  Failure  |
| True   |  True   | True  | False   |  Failure  |

现在对于第一个数据集中的每一行，我想提取键值对并将它们作为过滤器应用到第二个数据集中，即从第二个子集中子集的行。然后计算适用的行数，成功次数，失败次数。

所以第一个数据集转换为：

| Key 1| Value 1| Key 2| Value 2| Key 3| Value 3| Row Count | Successes| Failures|

| abc  |  True  | bcd  | False  | cde  | False  | 3         |1         |2   |
| bcd  |  False | cde  | True   | def  | False  | 2         |1         |1   |
| def  |  False | abc  | True   | None | N/A    | 4         |1         |3   |

说明：

在第一行（第一个数据集）：abc - True； bcd - 错误； cde - 错误。在第二个数据集中应用这些过滤器，我们将遗漏以下行：

| abc    | bcd     | cde   | def     | status    |

| True   |  False  | False | False   |  Failure  |
| True   |  False  | False | False   |  Success  |
| True   |  False  | False | False   |  Failure  |

行数：3 失败：2 成功：1

Answer 1

我相信你需要：

from collections import Counter

#create dictionaries of boolean values for each row
L = [{a:b for a, b in (zip(v[::2], v[1::2])) if isinstance(b, bool)} 
          for k, v in df1.T.to_dict('l').items()]
print (L)
[{'abc': True, 'bcd': False, 'cde': False}, 
 {'bcd': False, 'cde': True, 'def': False}, 
 {'def': False, 'abc': True}]

#match with df2 and count index values by Counter
df22 = df2.set_index('status')
out = [Counter(df22.index[np.logical_and.reduce([df22[k] == v 
       for k, v in x.items()])]) for x in L]
print (out)
[Counter({'Failure': 2, 'Success': 1}), 
 Counter({'Success': 1, 'Failure': 1}),
 Counter({'Failure': 3, 'Success': 1})]

#create DataFrame
df2 = pd.DataFrame(out, index=df1.index).fillna(0).astype(int)
#insert total row for first position
df2.insert(0, 'Row Count', df2.sum(axis=1))
#join together
df = df1.join(df2)
print (df)
  Key 1  Value 1 Key 2  Value 2 Key 3 Value 3  Row Count  Failure  Success
0   abc     True   bcd    False   cde   False          3        2        1
1   bcd    False   cde     True   def   False          2        1        1
2   def    False   abc     True  None     NaN          4        3        1