Python：从标准输入读取大量行答案

【问题标题】：Python: Read huge number of lines from stdinPython：从标准输入读取大量行
【发布时间】：2011-12-16 22:45:23
【问题描述】：

我正在尝试使用 python 从标准输入中读取大量行。

more hugefile.txt | python readstdin.py

问题是程序在我只读了一行后就冻结了。

print sys.stdin.read(8)
exit(1)

这会打印前 8 个字节，但我希望它会终止，但它永远不会终止。我认为这不仅仅是读取第一个字节，而是尝试将整个文件读入内存。

sys.stdin.readline() 也有同样的问题

我真正想要做的当然是读取所有行，但要使用缓冲区，这样我就不会耗尽内存。

我正在使用 python 2.6

【问题讨论】：

为什么你使用 more 而不是 cat 甚至只是一个简单的 stdin 重定向？
我看不出您的程序会“冻结”的任何原因。你是如何检测到它冻结的？
啊，我是从 Windows 命令行运行它的。窗户上没有猫。
我和 Mark 有同样的想法，但后来发现 more 在重定向 stdout 时表现得就像 cat。尽管如此，cat 绝对是一个更好的选择。（我相信它是 Windows 上的 type 或类似的东西）
为什么选择不使用重定向？即使在 Windows 上也不需要使用 type。 The purpose of cat is to concatenate (or "catenate") files. If it's only one file, concatenating it with nothing at all is a waste of time, and costs you a process.

【解决方案1】：

这应该在现代 Python 中有效地工作：

import sys

for line in sys.stdin:
    # do something...
    print line,

然后您可以像这样运行脚本：

python readstdin.py < hugefile.txt

【讨论】：

【解决方案2】：

当然，这仅在您实际一次处理一条线时才有帮助。如果您只是读取大二进制 blob 以传递给其他东西，那么您的其他机制可能同样有效。

【讨论】：