关闭缓冲

Question

下面的缓冲区在哪里...以及如何关闭它？

我正在像这样的 python 程序中写出到标准输出：

for line in sys.stdin:
    print line

这里有一些缓冲：

tail -f data.txt | grep -e APL | python -u Interpret.py

我尝试了以下方法来摆脱可能的缓冲......但没有运气：

• 如上使用带有 python 调用的 -u 标志
• 在每次 sys.stdout.write() 调用后调用 sys.stdout.flush() ...所有这些都创建了一个缓冲流，python 等待大约一分钟才能打印出前几行。

• 使用了以下修改后的命令：

  stdbuf -o0 tail -f data.txt | stdbuf -o0 -i0 grep -e APL | stdbuf -i0 -o0 python -u Interpret.py

为了衡量我的期望，我尝试了：

tail -f data.txt | grep -e APL 

这会产生稳定的行流......它肯定不像 python 命令那样缓冲。

那么，如何关闭缓冲？ ANSWER: 原来管道的两端都有缓冲。

Answer 1

file.readlines() 和for line in file 具有不受-u 选项影响的内部缓冲（请参阅-u option note）。使用

while True:
   l=sys.stdin.readline()
   sys.stdout.write(l)

改为。

顺便说一句，如果sys.stdout 指向终端并且sys.stderr 是非缓冲的（参见stdio buffering），则默认情况下是行缓冲的。

Answer 2

问题出在你的 for 循环中。在继续之前，它将等待 EOF。你可以用这样的代码来修复它。

while True:
    try:
        line = sys.stdin.readline()
    except KeyboardInterrupt:
        break 

    if not line:
        break

    print line,

试试这个。

Answer 3

我相信问题在于grep 缓冲其输出。当您使用管道tail -f | grep ... | some_other_prog 时，它就是这样做的。要让grep 每行刷新一次，请使用--line-buffered 选项：

% tail -f data.txt | grep -e APL --line-buffered | test.py
APL

APL

APL

test.py 在哪里：

import sys
for line in sys.stdin:
    print(line)

（在 linux、gnome-terminal 上测试。）

Answer 4

sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', 0) 并确保在您的环境中设置了PYTHONUNBUFFERED。