Pandas 数据框：将每列中的唯一值更改为 NaN

Question

我有一个 DataFrame 以类似于这样的方式排列：

ID   Sample_1   Sample_2
A    0.182      0.754
B    0.182      0.754
C    0.182      0.01
D    0.182      0.2
E    0.9        0.2

如您所见，有一些重复值（“真实”测量值）和单个值（实际上是“坏”测量值）。我需要做的是用 NA 替换所有唯一值（即所谓的“坏”）。这需要对所有列完成。

换句话说，最终的数据框应该是这样的：

ID   Sample_1   Sample_2
A    0.182      0.754
B    0.182      0.754
C    0.182      NaN
D    0.182      0.2
E    NaN        0.2

我考虑过的一个可能的解决方案涉及 groupby 和 filter 以获取索引值（如 Get indexes of unique values in column (pandas)）然后替换值，但问题是它一次仅适用于一列：

unique_loc = df.groupby("Sample_1").filter(lambda x: len(x) == 1).index
df.loc[unique_loc, "Sample_1"] = np.nan

这意味着它需要对许多列重复（我在实际数据中有很多）。有没有更有效的解决方案？

Answer 1

使用DataFrame.where来设置NaNs，掩码由Series.duplicated在DataFrame.apply中的每列创建，用于选择所有列而不首先使用DataFrame.iloc：

df.iloc[:, 1:]=df.iloc[:, 1:].where(df.iloc[:, 1:].apply(lambda x:x.duplicated(keep=False)))
print (df)
  ID  Sample_1  Sample_2
0  A     0.182     0.754
1  B     0.182     0.754
2  C     0.182       NaN
3  D     0.182     0.200
4  E       NaN     0.200

如果 ID 是索引：

df = df.set_index('ID')

df = df.where(df.apply(lambda x: x.duplicated(keep=False)))
print (df)
    Sample_1  Sample_2
ID                    
A      0.182     0.754
B      0.182     0.754
C      0.182       NaN
D      0.182     0.200
E        NaN     0.200

Answer 2

一种选择是通过np.unique获取值，并将它们替换为pd.DataFrame.mask：

arr, counts = np.unique(df.filter(like='Sample').to_numpy(), return_counts=True)
df.mask(df.isin(arr[counts==1]))

  ID  Sample_1  Sample_2
0  A     0.182     0.754
1  B     0.182     0.754
2  C     0.182       NaN
3  D     0.182     0.200
4  E       NaN     0.200