写入文件不会自动刷新内容并导致 Python 内存不足答案

【问题标题】：Writing to file doesn't flush content automatically and cause out of memory in Python写入文件不会自动刷新内容并导致 Python 内存不足
【发布时间】：2011-01-21 13:32:48
【问题描述】：

我做了一个简单的python程序来生成大文本文件：

import sys
import random

f = open('data.txt', 'w')
for i in range(100000000):
        f.write(str(i) + "\t" + str(random.randint(0,1000)) + "\n")
f.close()

当我使用 CPython 启动它时，它会吃掉所有可用的操作系统内存，并且不会向文件写入任何内容。

当我在 Jython 上启动它时，我会收到 OutOfMemoryException。

据我了解，它将所有内容都存储在内存缓冲区中，并且在 close() 调用之前从未刷新过。

我的问题是：如何限制文件缓冲区并触发自动刷新？我不想手动调用flush()，我认为从性能角度来看这是错误的。我希望在文件缓冲区超载时自动调用flush()。

谢谢！

【问题讨论】：

请注意，str(i) + "\t" + str(random.randint(0,1000)) + "\n" 通常写作%d\t%d\n" % (i, random.randint(0,1000))。这是一种更常见的样式，更健壮，并且可以有更好的性能。

标签： python file buffer flush

【解决方案1】：

缓冲不是问题。问题是使用巨大的参数调用range() 函数，该函数将尝试分配一个包含大量元素的数组。如果你只是说，你会得到同样的错误

r = range(100000000)

【讨论】：

感谢您的快速回答，您能否给 python 新手建议，正确实现此功能的 python 样式是什么？
尝试使用for i in xrange(10000000)。

【解决方案2】：

你试过passing in a buffer size到open函数吗？

f = open('data.txt', 'w', 5000)

【讨论】：