python内存，刷新，csv大小问题

Question

在解决了数据集的排序后，我的代码出现了问题。

with open(fns_land[xx]) as infile:
    lines = infile.readlines()
    for line in lines:
        result_station.append(line.split(',')[0])
        result_date.append(line.split(',')[1])
        result_metar.append(line.split(',')[-1])

我的线路有问题。在这一行中，数据有时会很大，我得到一个终止错误。

有没有一种简短/好方法来重写这一点？

Answer 1

改用readline，这样一次读取一行而不会将整个文件加载到内存中。

with open(fns_land[xx]) as infile:
    while True:
        line = infile.readline()
        if not line:
            break
        result_station.append(line.split(',')[0])
        result_date.append(line.split(',')[1])
        result_metar.append(line.split(',')[-1])

Answer 2

如果您正在处理数据集，我建议您查看pandas，我非常适合处理数据争论。

如果您的问题是大型数据集，您可以分块加载数据。

import pandas as pd
tfr = pd.read_csv('fns_land{0}.csv'.format(xx), iterator=True, chunksize=1000)

1. 行：进口熊猫模块
2. 行：以 1000 行为单位从 csv 文件中读取数据。

这将是 pandas.io.parsers.TextFileReader 类型。要加载整个 csv 文件，请执行以下操作：

df = pd.concat(tfr, ignore_index=True)

添加参数ignore_index=True是为了避免索引重复。

您现在已将所有数据加载到数据框中。然后将列上的数据作为向量进行处理，这也比常规的逐行更快。

看看这里question，它处理了类似的事情。