为什么我会收到此 MemoryError？

Question

我遇到了一个奇怪的MemoryError，我不明白它为什么会在那里。代码示例：

# some setup
import numpy as np
import pandas as pd
import random

blah = pd.DataFrame(np.random.random((100000,2)), columns=['foo','bar'])
blah['cat'] = blah.apply(lambda x: random.choice(['A','B']), axis=1)
blah['bat'] = blah.apply(lambda x: random.choice([0,1,2,3,4,5]), axis=1)

# the relevant part:
blah['test'] = np.where(blah.cat == 'A',
    blah[['bat','foo']].groupby('bat').transform(sum),
    0)

以这种方式分配blah['test'] 会导致MemoryError 崩溃，但是：如果我改为这样做：

blah['temp'] = blah[['bat','foo']].groupby('bat').transform(sum)
blah['test'] = np.where(blah.cat == 'A',
    blah['temp'],
    0)

一切正常。我的猜测是 np.where 和 .groupby() 的交互方式导致了这种情况。

但是，如果我最初的 blah 只有列 'foo', 'cat', 'bat' （所以没有列 bar 不直接参与失败的代码部分），第一种方法也可以，所以这让我更加困惑。

这是怎么回事？

Answer 1

您的代码的第一部分根本不正确。如果你减少数据框大小，你会得到

ValueError: Wrong number of items passed 1000, placement implies 1

这表明np.where 无法遍历由返回的单列数据帧

blah[['bat','foo']].groupby('bat').transform(sum)

并尝试将整个列放到blah['test'] 的每个元素中，这可能会提前为整个操作分配内存，从而导致MemoryError。

将您的实现更改为

blah['test'] = np.where(blah.cat == 'A',
                        blah[['bat','foo']].groupby('bat')['foo'].transform(sum),
                        0)

应该有帮助。

Answer 2

blah['test'] = np.where(blah['cat'] == 'A',
    blah[['bat','foo']].groupby('bat')['bat'].transform(sum),
    0)

请注意，我在groupby('bat') 的末尾添加了一个['bat']。

我的理由是你的 python 遇到 MemoryError 是因为它试图 sum 数据框中的所有内容，因为它没有具体定义你想要的 sum