如何计算 groupby 对象中包含的多个列表并将该组列表中的每个值的计数相加

Question

我有以下问题。我有一个数据框，我将groupby 列为一列，然后将strings 的list 包含在另一列中。由于它是分组的，因此我有来自组中多个列的多个列表。现在我想遍历组中的每个列表并计算这些列表中包含的值。最后，对于每个值，我创建一个新列，并希望它包含该组中每个列表中值的总计数。这是我的示例数据框：

df1:
      Column1 Column2   
    0   L17      a,b,c,d,e
    1   L7       a,b,c
    2   L6       a,b,f
    3   L6       a,b,e

我想出来的是：

   Column1  Column2     a   b   c   d   e   f   h
0   L17      a,b,c,d,e  1   1   1   1   1   nan nan
1   L7       a,b,c      1   1   1   nan nan nan nan
2   L6       a,b,f      2   2   nan nan 1   1   nan

到目前为止，我编写的代码是：

def NewCols(x):
    for key, group in UngroupedResGenesLineage.groupby('Column1'):
        for item, frame in group['Column2'].iteritems():
            Genes = frame.split(',')
            counter = collections.Counter(Genes)
            for value in Genes:
                string = value
                x[string] = sum(counter.values())
    return x

X = df1.groupby('Column1').apply(NewCols)

到目前为止，该代码的工作原理是我获得了新列和组中包含的所有值的列表。问题是它们都填充了相同的值，这绝对是不正确的。我最近才发现 Counter 并认为它可能有用，但我不知道如何计算一个组的所有 frame 列表（代码中的“基因”）中的所有值并将每个值加在一起列表中的值。

有人知道我应该如何更改我的代码以实现我想要的吗？提前致谢！

Answer 1

如果在生成的 DataFrame 中，您需要 Column2 的所有行中的组合（唯一元素）。然后您可以使用以下函数，该函数使用 Counter 计算所有元素并从 Column2 中的元素创建新列。示例 -

def func(row):
    slist = np.array(row['Column2'].str.split(',').tolist()).flatten()
    count = Counter(slist)
    res = pd.Series()
    res['Column2'] = ','.join(sorted(count))
    for key,val in count.items():
        res[key] = val
    return pd.DataFrame(res).T

然后你可以分组然后重置索引。示例 -

result = df.groupby('Column1').apply(func).reset_index().drop('level_1',axis=1)

---

演示 -

In [130]: def func(row):
   .....:     slist = np.array(row['Column2'].str.split(',').tolist()).flatten()
   .....:     count = Counter(slist)
   .....:     res = pd.Series()
   .....:     res['Column2'] = ','.join(sorted(count))
   .....:     for key,val in count.items():
   .....:         res[key] = val
   .....:     return pd.DataFrame(res).T
   .....:

In [131]: df
Out[131]:
  Column1    Column2
0     L17  a,b,c,d,e
1      L7      a,b,c
2      L6      a,b,f
3      L6      a,b,e

In [135]: df.groupby('Column1').apply(func).reset_index().drop('level_1',axis=1)
Out[135]:
  Column1    Column2  a  b    c    d    e    f
0     L17  a,b,c,d,e  1  1    1    1    1  NaN
1      L6    a,b,e,f  2  2  NaN  NaN    1    1
2      L7      a,b,c  1  1    1  NaN  NaN  NaN

Answer 2

您可以使用pandas str.get_dummies

In[3]: cntr = df.Column2.str.get_dummies(',').groupby(df.Column1).sum()
In[4]: print cntr
         a  b  c  d  e  f
Column1                  
L17      1  1  1  1  1  0
L6       2  2  0  0  1  1
L7       1  1  1  0  0  0

现在，您可以将其与原始数据框连接起来，并将 0 替换为 nan。

In[5]: x = pd.merge(df.drop_duplicates('Column1'), cntr.replace(0, pd.np.nan).reset_index())
In[6]: print x

  Column1    Column2  a  b   c   d   e   f
0     L17  a,b,c,d,e  1  1   1   1   1 NaN
1      L7      a,b,c  1  1   1 NaN NaN NaN
2      L6      a,b,f  2  2 NaN NaN   1   1