Python - 性能问题 - 过滤 pandas 数据帧与过滤器列表的 dics 与 numpy recs

Question

我是 Python 新手，对 pandas 也很陌生。

我想使用它，但是将两个 cols 的 pandas 过滤与字典列表（均为 80 行）进行比较，它似乎有巨大的性能差异。我最大的问题是为什么 pandas 需要这么长时间才能运行。

熊猫数据框

timeit a = dfEnts[(dfEnts["col"]=="ro") & (dfEnts["sty"]=="hz")]

1000 次循环，最好的 3 次：239 us 每个循环

vs 简单的 dics 列表

timeit b = [ix for ix,ent in enumerate(ents) if (ent['col']=="ro") & (ent["sty"]=="hz")]

100000 次循环，最好的 3 次：11.4 us 每个循环

vs numpy 结构化/记录数组

timeit a = entsRec[(entsRec["col"]=="ro") & (entsRec["sty"]=="hz")]

100000 次循环，3 次取胜：18.2 us 每个循环

还有其他使用 pandas 但响应时间相似的好方法吗？

---

脚本是这样的..

ents = []

for idx in xrange(0,80)

    dic = {'n':f, 'p':props,'li':li,'col':col,'sty':sty,'nu':nu,'ge':ge,'rr':rr,'ssty':ssty} 
    ents.append(dic)

# DataFrame
dfEnts = pd.DataFrame(ents)

# np rec array
entsTuples = [(ent[ 'n'],ent['p'], ent[ 'li'],ent['col'], ent[ 'sty'], ent['nu'],ent['ge'],ent[ 'rr'], ent['ssty']) for ent in ents]
ents_dt = dtype([('n', 'O'), ('p', 'O'), ('li', 'i1'), ('col', 'O'), ('sty', 'O'), ('nu', 'i1'), ('ge', 'i1'), ('rr', 'i1'), ('ssty', '<i4')])
entsRec = np.array(entsTuples,ents_dt)

然后我计时。

---

Answer 1

当您处理小型数据集时，列表可能对性能有一点好处，因为列表推导和字典查找在 Python 中进行了非常优化。但这通常是微不足道的差异。一旦您尝试使用更大的数据集，您会发现更大的差异并开始感受到 pandas 库提供的好处。

ents = []
for i in xrange(0, 10000000):
    dic = {
        'n': i, 'p': i, 'li': i, 'col': i, 'sty': i,
        'nu': i, 'ge': i, 'rr': i, 'ssty': i
    } 
    ents.append(dic)
dfEnts = pd.DataFrame(ents)

%%timeit
a = dfEnts[(dfEnts["col"] == 44) & (dfEnts["sty"]== 44)]
10 loops, best of 3: 96.1 ms per loop

%%timeit
b = [ix for ix,ent in enumerate(ents) if (ent['col'] == 44) & (ent["sty"] == 44)]
1 loops, best of 3: 1.68 s per loop

此外，pandas DataFrame 提供的功能比字典列表多得多，所以我认为它们甚至没有可比性。