如何将带有.txt扩展名的逗号sep值作为数组读入python？

Question

我是生物学家，对 Python 非常陌生，在此之前，我学了一点 R。

所以我有一个非常大的文本文件（3 GB，在 R 中太大而无法处理），所有值都用逗号分隔，但扩展名是 .txt（我不知道这是否是必要的信息）。我想做的是：

将它作为一个对象读入python，相当于R中的数据框， 摆脱中间的列 减小对象的大小 写成txt文件

把剩下的带到 R.

如果你能帮助我，我会很高兴。 谢谢

Answer 1

这将占用最少的内存，因为它不会一次加载整个文件。

import csv
with open('in.txt', 'rb') f_in, open('out.csv', 'wb') as f_out:
    reader = csv.reader(f_in)
    writer = csv.writer(f_out)
    for row in reader:
        # keep first two columns and last three columns
        writer.writerow(row[:2] + row[-3:])

注意：如果使用 Python 3，请将文件模式分别更改为 'r' 和 'w'。

Answer 2

根据CRAN（新功能和错误修复重新：开发）新的开发版本 3.0.0 应该允许 R 使用页面文件/交换。在 Windows 中，您需要将 R_MAX_MEM_SIZE 设置为适当大的值。

Answer 3

如果您坚持使用预处理步骤，使用 linux 命令工具是一个非常好的快速选择。如果你使用 Linux，这些工具已经安装好了，在 Windows 下你需要先安装 MinGW 或 Cygwin。 This SO question 已经提供了一些不错的指针。本质上，您使用awk 工具来迭代处理文本文件，同时创建一个输出文本文件。复制我链接的 SO 问题的已接受答案：

awk -F "," '{ split ($8,array," "); sub ("\"","",array[1]); sub (NR,"",$0); sub (",","",$0); print $0 > array[1] }' file.txt 

这会读取文件，抓取第八列，然后将其转储到文件中。详情请查看答案。

Answer 4

没有必要先进入python。你的问题看起来很像this question。标记为正确答案的答案迭代地读取大文件，并创建一个新的较小的文件。其他好的替代方案是使用sqlite 和sqdf 包，或使用ff 包。最后一种方法效果特别好，因为与行数相比，列数很小。

Answer 5

我不熟悉 r 数据框，但 pandas 提供 helpers 将 csv 读入 pandas 数据框：

from pandas import read_csv    
df = read_csv('yourfile.txt')
print df
print df['Line']

如果这不是您需要的，您可以使用csv 模块将 csv 的每一行作为 python 列表进行迭代，并将其放入您想要的任何数据结构中。