如何在不使用太多内存的情况下打乱大型 csv 文件的行并将结果写入新的 csv 文件？

Question

所以如果我有一个csv文件如下：

User  Gender
 A    M
 B    F
 C    F

然后我想写另一个 csv 文件，其中的行像这样打乱（例如）：

User  Gender
 C    F
 A    M
 B    F

我的问题是我不知道如何随机选择行并确保我从原始 csv 文件中获取每一行。作为参考，我的 csv 文件大约为 3gb。如果我将整个数据集加载到数据框中并使用随机包对其进行洗牌，我的电脑会由于 RAM 的使用而崩溃。

Answer 1

可能最简单（也是最快）的方法是在 bash 中使用 shuf！

shuf words.txt > shuffled_words.txt

（我知道您要求提供 Python 解决方案，但我认为这仍然是一个更好的答案）

通过 Python 以编程方式完成：

import sh
sh.shuf("words.txt", out="shuffled_words.txt")

Answer 2

您可以将 chunk_size 参数用于块中的 csv

df_chunks = pandas.read_csv("your_csv_name.csv", chunk_size=10)

然后你可以只打乱块，所以它占用更少的内存

for chunk in df_chunks:
    do stuff

然后您可以将它们连接起来并将其保存到另一个 csv 中：

new_df = pandas.concat(new_chunks)
new_df.to_csv("your_new_csv_name.csv")

如果您有内存问题，在创建 new_chunks 时不要忘记擦除旧的，因为您不希望它们无缘无故地留在 RAM 中，您可以使用 chunk=None

Answer 3

• 通过将文件读取一次作为随机访问或内存映射文件，创建一个行数组作为行开始的文件位置。该数组有一个带有文件长度的额外条目， 所以 i 行包含字节 [array[i], array[i+1]>。
• 随机排列索引 0 .. 行数 - 1。
• 现在您可以使用随机访问定位（查找）来读取行缓冲区。