如何在大数据文件中使用 pandas 删除重复的行？

Question

我有一个 csv 文件太大而无法加载到内存中。我需要删除文件的重复行。所以我按照这种方式：

chunker = pd.read_table(AUTHORS_PATH, names=['Author ID', 'Author name'],      encoding='utf-8', chunksize=10000000)

for chunk in chunker:
    chunk.drop_duplicates(['Author ID'])

但是如果重复的行分布在不同的块中，上面的脚本似乎无法得到预期的结果。

有没有更好的办法？

Answer 1

你可以试试这样的。

首先，创建你的分块器。

chunker = pd.read_table(AUTHORS_PATH, names=['Author ID', 'Author name'], encoding='utf-8', chunksize=10000000)

现在创建一组 id：

ids = set()

现在遍历块：

for chunk in chunker:
    chunk.drop_duplicates(['Author ID'])

但是，现在，在循环体中，还删除已知 id 集中已经存在的 id：

    chunk = chunk[~chunk['Author ID'].isin(ids)]

最后，还是在循环体内，添加新的 ids

    ids.update(chunk['Author ID'].values)

---

如果ids 太大而无法放入主内存，您可能需要使用一些基于磁盘的数据库。