使用 pandas 为大尺寸 csv 数据文件创建字典

Question

我正在尝试为一个大尺寸的 csv 文件创建一个字典文件，该文件被分成要处理的块，但是当我创建字典时它只是为一个夹头做它，当我尝试附加它时它将 epmty 数据帧传递给新的 df。这是我使用的代码

wdata = pd.read_csv(fileinput, nrows=0,).columns[0]
skip = int(wdata.count(' ') == 0)
dic = pd.DataFrame()
for chunk in pd.read_csv(fileinput, names=['sentences'], skiprows=skip, chunksize=1000):
    dic_tmp = (chunk['sentences'].str.split(expand=True).stack().value_counts().rename_axis('word').reset_index(name='freq'))


    dic.append(dic_tmp)
dic.to_csv('newwww.csv', index=False)

如果我保存的 dic_tmp 只是一个块的字典而不是整个集合，并且 dic 需要大量时间来处理但最后返回空数据帧，我的代码有什么错误吗？

输入 csv 就像

输出 csv 就像

预期的输出应该是

所以它不会将块添加在一起，它只是粘贴新块，无论前一个块或 csv 中有什么。

Answer 1

为了将列拆分为单词并计算出现次数： df['sentences'].apply(lambda x: pd.value_counts(x.split(" "))).sum(axis=0)

或

from collections import Counter result = Counter(" ".join(df['sentences'].values.tolist()).split(" ")).items()

两者似乎都同样慢，但可能比你的方法更好。 取自这里： Count distinct words from a Pandas Data Frame

Answer 2

我看到的几个问题是

1. 为什么要读取 csv 文件两次？ 第一次在这里wdata = pd.read_csv(fileinput, nrows=0,).columns[0]，第二次在for 循环中。

2. 如果您不进一步使用组合数据框。我认为最好以追加模式将块写入 csv 文件，如下所示

for chunk in pd.read_csv(fileinput, names=['sentences'], skiprows=skip, chunksize=1000):
    dic_tmp = (chunk['sentences'].str.split(expand=True).stack().value_counts().rename_axis('word').reset_index(name='freq'))
    dic_tmp.to_csv('newwww.csv', mode='a', header=False)