熊猫计算 str 系列中的频率

Question

给定一个 str 类型的 Pandas 系列，我想获取 str.split 返回的结果的频率。

例如，给定系列

s = pd.Series(['abc,def,ghi','ghi,abc'])

我想得到

abc: 2
def: 1
ghi: 2

结果。我怎样才能得到这个？

编辑：该解决方案应该有效地处理包含 5000 万行的大型 Series。

Answer 1

str.split、sum 和 value_counts 的另一个 pandas 解决方案：

print pd.Series(s.str.split(',').sum()).value_counts()
abc    2
ghi    2
def    1
dtype: int64

编辑：

更有效的方法：

import pandas as pd
s = pd.Series(['abc,def,ghi','ghi,abc'])
s = pd.concat([s]*10000).reset_index(drop=True)

In [17]: %timeit pd.Series(s.str.split(',').sum()).value_counts()
1 loops, best of 3: 3.1 s per loop

In [18]: %timeit s.str.split(',', expand=True).stack().value_counts()
10 loops, best of 3: 46.2 ms per loop

In [19]: %timeit pd.DataFrame([ x.split(',') for x in s.tolist() ]).stack().value_counts()
10 loops, best of 3: 22.2 ms per loop

In [20]: %timeit pd.Series([item for sublist in [ x.split(',') for x in s.tolist() ] for item in sublist]).value_counts()
100 loops, best of 3: 16.6 ms per loop

Answer 2

这就是你想要的吗？

In [29]: from collections import Counter

In [30]: Counter(s.str.split(',').sum())
Out[30]: Counter({'abc': 2, 'def': 1, 'ghi': 2})

或

In [34]: a = pd.Series(s.str.split(',').sum())

In [35]: a
Out[35]:
0    abc
1    def
2    ghi
3    ghi
4    abc
dtype: object

In [36]: a.groupby(a).size()
Out[36]:
abc    2
def    1
ghi    2
dtype: int64