与 pandas read_csv() 相比，加载 1 000 000+ 行的 1 列更有效的方法是什么？

Question

我正在尝试在 Python 中导入大文件（.tab/.txt、300 多列和 1 000 000 多行）。该文件是制表符分隔的。这些列用整数值填充。我的目标之一是对每一列求和。但是，文件太大而无法使用 pandas.read_csv() 导入，因为它消耗了太多 RAM。 样本数据：

因此，我编写了以下代码来导入 1 列，对该列进行求和，将结果存储在数据框 (= summed_cols) 中，删除该列，然后继续处理文件的下一列：

x=10 ###columns I'm interested in start at col 11

#empty dataframe to fill
summed_cols=pd.DataFrame(columns=["sample","read sum"])

while x<352:
    x=x+1
    sample_col=pd.read_csv("file.txt",sep="\t",usecols=[x])
    summed_cols=summed_cols.append(pd.DataFrame({"sample":[sample_col.columns[0]],"read sum":sum(sample_col[sample_col.columns[0]])}))
    del sample_col

每一列代表一个样本，“读取总和”是该列的总和。所以这段代码的输出是一个有 2 列的数据帧，第一列每行一个样本，第二列是相应的读取总和。

这段代码完全符合我的要求，但是效率不高。对于这个大文件，完成计算大约需要 1-2 小时。尤其是仅加载 1 列需要很长时间。

我的问题：有没有更快的方法来导入这个大标签文件的一列，并执行与上面代码相​​同的计算？

Answer 1

你可以试试这样的：

samples = []
sums = []

with open('file.txt','r') as f:
    for i,line in enumerate(f):
        columns = line.strip().split('\t')[10:] #from column 10 onward
        if i == 0: #supposing the sample_name is the first row of each column
            samples = columns #save sample names
            sums = [0 for s in samples] #init the sums to 0
        else:
            for n,v in enumerate(columns):
                sums[n] += float(v)

result = dict(zip(samples,sums)) #{sample_name:sum, ...}

我不确定这是否可行，因为我不知道您输入文件的内容，但它描述了一般过程。您只打开一次文件，遍历每一行，拆分以获取列，并存储您需要的数据。 请注意，此代码不处理缺失值。

else 块可以使用 numpy 进行改进：

import numpy as np
...
else:
    sums = np.add(sums, map(float,columns))