在 python 中使用 csv.writer 后如何释放内存？

Question

我有 1.6GB 可用于 python 进程。我正在编写一个大型 csv 文件，其中数据来自数据库。问题是：文件写入后，内存（>1.5GB）没有立即释放，导致下一段代码出错（分配内存失败，因为操作系统找不到足够的内存分配）。

是否存在任何可以帮助我释放内存的函数？ 或者，您有更好的方法吗？

这是我用来写入文件的脚本，正在分块写入以处理内存问题：

size_to_read = 20000
sqlData = rs_cursor.fetchmany(size_to_read)

c = csv.writer(open(fname_location, "wb"))
c.writerow(headers)

print("- Generating file %s ..." % out_fname)

while sqlData:
  for row in sqlData:
     c.writerow(row)
  sqlData = rs_cursor.fetchmany(size_to_read)

Answer 1

我认为问题在于您从未关闭过文件。试一试。

size_to_read = 20000
sqlData = rs_cursor.fetchmany(size_to_read)

with open(fname_location, "wb")) as f:
    c = csv.writer(f)
    c.writerow(headers)

print("- Generating file %s ..." % out_fname)

while sqlData:
    with open(fname_location, "a") as f: # "a" means to append
        c = csv.writer(f)
        for row in sqlData:
            c.writerow(row)
    sqlData = rs_cursor.fetchmany(size_to_read)

使用with 可以自动关闭文件并释放内存。避免了显式调用c.close()

另外我相信你可以通过这样的方式避免循环......

while sqlData:
    with open(fname_location, "wb") as f:
        c = csv.writer(f)
        c.writerows(sqlData) # .writerows
    sqlData = rs_cursor.fetchmany(size_to_read)

因为我没有数据，所以很难复制 :(

编辑

我知道这不是一个真正的答案，但请查看包 memory_profiler 进行逐行评估，看看您在哪里使用了大量内存。 https://pypi.python.org/pypi/memory_profiler

编辑 2

这是一个使用生成器来降低内存使用率的示例。

def results_iter(cursor, n=10000):
    while True:
        results = cursor.fetchmany(n)
        if not results:
            break
        for result in results:
            yield result

with open('file.csv') as f:
    c = csv.writer(f)
    for result in results_iter(rs_cursor, size_to_read)
        c.writerow(result)

通过http://code.activestate.com/recipes/137270-use-generators-for-fetching-large-db-record-sets/

如果其中任何一项有效，请告诉我们！