Pandas：将多列子集映射到单列子集的有效方法

Question

问题

我正在尝试将具有相同名称的多列集合/组合成单列集合。例如：

我有一个数据框，其中包含多个列名重复的列。例如，考虑这个例子，我有两次具有相同列名的多个列的子集，如下所示：

    A    A     A     B     B
  0 cute tall tall  NaN   old
  1 NaN  NaN   5    NaN   NaN
  2  1   old   NaN  cute  big

我的目标是将每个子集（AAA 和 BB）映射到其自己的单列子集。以下期望的输出说明了这个想法：

      A_new          B_new
 0   "cute, tall"    "old"
 1   "5"              NaN
 2   "1, old"        "cute, big"

为了到达这里，我在输入数据帧上应用了以下 3 个简单的逻辑：

1. 将所有非 NaN 值组合成一个字符串并将其保存到一个新列中。
2. 在组合非 NaN 值时，检查重复项并仅返回那些不重复的值
3. 如果所有值都是 NaN，则返回 NaN

我当前的解决方案是基于 for 循环，遍历每一行。但是，这种方法非常慢，而且我的数据框很大，因此我想知道是否有更有效/更快的方法来实现这一点？

这是我目前（非常慢）的解决方案：

for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names
    merged_values = []
    for i in (range(0,len(df))):
        values = [x for x in df[j].iloc[i] if x is not np.nan]
        values = list(set(values))
        if values == []:
            values = np.nan
        #print(values)
        elif len(values) > 1:
            values = ", ".join(values)
        else:
            values = values[0]
        merged_values.append(values)
    if c == 0:
        data = pd.DataFrame(merged_values,columns=[j+"_new"])
    else:
        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])

Answer 1

您只需要先使用stack，然后使用groupby 和join，然后使用unstack 转换回来

df.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()
Out[237]: 
           A         B
0  cute,tall       old
1          5       NaN
2      1,old  big,cute