python - 使用带有大 csv 的 pandas 结构（迭代和块大小）

Question

我有一个大的 csv 文件，大约 600mb 有 1100 万行，我想创建统计数据，如数据透视图、直方图、图表等。显然只是想正常读取它：

df = pd.read_csv('Check400_900.csv', sep='\t')

不起作用，所以我在类似的帖子中发现了 iterate 和 chunksize，所以我使用了

df = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)

一切都好，例如，我可以 print df.get_chunk(5) 搜索整个文件

for chunk in df:
    print chunk

我的问题是我不知道如何将下面这些东西用于整个 df 而不仅仅是一个块

plt.plot()
print df.head()
print df.describe()
print df.dtypes
customer_group3 = df.groupby('UserID')
y3 = customer_group.size()

我希望我的问题没有那么令人困惑

Answer 1

这可能不会直接回答问题，但是当您必须加载大数据集时，这是一个很好的做法，在读取数据集时隐藏列的 dtypes。此外，如果您知道需要哪些列，请使用 usecols 参数仅加载这些列。

df = pd.read_csv("data.csv", 
            usecols=['A', 'B', 'C', 'Date'],
            dtype={'A':'uint32',
                    'B':'uint8',
                    'C':'uint8'
                    },
            parse_dates=['Date'],  # convert to datetime64          
            sep='\t'
           )

Answer 2

解决方案，如果需要创建一个大的DataFrame，如果需要一次处理所有数据（有什么可能，但不是recommended）：

然后对所有块使用concat 到df，因为函数的输出类型：

df = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)

不是数据框，而是pandas.io.parsers.TextFileReader - source。

tp = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)
print tp
#<pandas.io.parsers.TextFileReader object at 0x00000000150E0048>
df = pd.concat(tp, ignore_index=True)

我认为有必要将参数ignore index 添加到函数concat，因为避免索引的重复。

编辑：

但是如果想要处理像聚合这样的大数据，最好使用dask，因为它提供了先进的并行性。

Answer 3

你确实不需要在这里需要concat。这就像写sum(map(list, grouper(tup, 1000))) 而不是list(tup)。 iterator 和 chunksize=1000 所做的唯一事情就是为您提供一个读取器对象，该对象可以迭代 1000 行 DataFrame，而不是读取整个数据。如果您想要一次完成所有操作，请不要使用这些参数。

但是如果一次将整个文件读入内存太昂贵（例如，占用太多内存以至于你得到一个MemoryError，或者通过把它扔进交换地狱来减慢你的系统爬行），这正是@ 987654327@是为了。

问题是您将生成的迭代器命名为df，然后尝试将其用作DataFrame。它不是数据框；它是一个迭代器，可以一一提供 1000 行 DataFrame。

当你这样说时：

我的问题是我不知道如何在整个 df 中使用下面这些东西，而不是只在一个块中使用

答案是你不能。如果你不能将整个东西加载到一个巨大的 DataFrame 中，你就不能使用一个巨大的 DataFrame。你必须围绕块重写你的代码。

而不是这个：

df = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)
print df.dtypes
customer_group3 = df.groupby('UserID')

……你必须这样做：

for df in pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000):
    print df.dtypes
    customer_group3 = df.groupby('UserID')

通常，您需要做的是汇总一些数据 - 将每个数据块缩减为更小的数据，仅包含您需要的部分。例如，如果要按组对整个文件求和，可以groupby 每个块，然后按组对块求和，并为每个组存储一个系列/数组/列表/字典。

当然，这比一次汇总一个巨大的系列要复杂一些，但没有办法解决。 （除非购买更多 RAM 和/或切换到 64 位。）这就是 iterator 和 chunksize 解决问题的方法：允许您在需要时进行权衡。

Answer 4

您需要连接夹头。例如：

df2 = pd.concat([chunk for chunk in df])

然后在df2上运行你的命令