python中的dup、dup2、tmpfile和stdout

Question

这是来自here 的后续问题。

---

我想去的地方

我希望能够暂时将标准输出重定向到一个临时文件，而 python 仍然能够打印到标准输出。这将涉及以下步骤：

1. 创建标准输出的副本 (new)
2. 创建一个临时文件 (tmp)
3. 将标准输出重定向到tmp
4. 告诉python使用new作为标准输出
5. 将tmp 重定向到“真正的”标准输出中
6. 告诉 python 再次使用“真正的”标准输出
7. 阅读并关闭tmp

实施

我尝试通过以下方式实现上述内容：

import os
import subprocess
import sys

#A function that calls an external process to print to stdout as well as
#a python print to pythons stdout.
def Func(s, p = False):
    subprocess.call('echo "{0}"'.format(s), shell = True)
    if p:
        print "print"

sil = list() # <-- Some list to store the content of the temp files

print "0.1" # Some testing of the
Func("0.2") # functionality

new = os.dup(1)    # Create a copy of stdout (new)
tmp = os.tmpfile() # Create a temp file (tmp)

os.dup2(tmp.fileno(), 1)            # Redirect stdout into tmp
sys.stdout = os.fdopen(new, 'w', 0) # Tell python to use new as stdout

Func("0.3", True) # <--- This should print "0.3" to the temp file and "print" to stdout

os.dup2(new, 1)                   # Redirect tmp into "real" stdout
sys.stdout = os.fdopen(1, 'w', 0) # Tell python to use "real" stdout again

# Read and close tmp
tmp.flush()
tmp.seek(0, os.SEEK_SET)
sil.append(tmp.read())
tmp.close()

我想在这里休息一下做个总结。
到这里的控制台输出应该是：

0.1
0.2
print

而sil 应如下所示：['0.3\n']。所以直到这里，一切都像魅力一样运作。但是，如果我像这样再次重做上面的脚本：

print "1.1" # Some testing of the
Func("1.2") # functionality

new = os.dup(1)    # Create a copy of stdout (new)
tmp = os.tmpfile() # Create a temp file (tmp)

os.dup2(tmp.fileno(), 1)            # Redirect stdout into tmp
sys.stdout = os.fdopen(new, 'w', 0) # Tell python to use new as stdout

# This should print "0.3" to the temp file and "print" to stdout and is the crucial point!
Func("1.3", True) 

os.dup2(new, 1)                   # Redirect tmp into "real" stdout
sys.stdout = os.fdopen(1, 'w', 0) # Tell python to use "real" stdout again

# Read and close tmp
tmp.flush()
tmp.seek(0, os.SEEK_SET)
sil.append(tmp.read())

发生错误，输出如下所示：

1.1
1.2
/bin/sh: line 0: echo: write error: Bad file descriptor
print

而sil 读取为：['0.3\n', '']。

换句话说：第二个Func("1.3", True) 无法写入临时文件。

问题

1. 首先，我想知道为什么我的脚本不能像我希望的那样工作。意思是，为什么只能在脚本的前半部分写入临时文件？
2. dup和dup2的用法我还是有点疑惑。虽然我认为我了解将 stdout 重定向到临时文件的工作原理，但我现在完全知道为什么 os.dup2(new, 1) 正在做它正在做的事情。也许答案可以详细说明我脚本中的所有dup 和dup2s 正在做什么^^

Answer 1

您得到“错误文件描述符”的原因是垃圾收集器为您关闭了标准输出 FD。考虑这两行：

sys.stdout = os.fdopen(1, 'w', 0)    # from first part of your script
...
sys.stdout = os.fdopen(new, 'w', 0)  # from second part of your script

现在，当执行这两个中的第二个时，第一个文件对象的引用计数降至零，垃圾收集器将其销毁。文件对象在销毁时关闭其关联的 fd，而 fd 恰好是 1 = stdout。因此，您需要非常小心地销毁使用os.fdopen 创建的对象。

这里有一个小例子来说明问题。 os.fstat 仅用作示例函数，当您将关闭的 fd 传递给它时会触发“错误文件描述符”错误。

import os
whatever = os.fdopen(1, 'w', 0)
os.fstat(1)
del whatever
os.fstat(1)

我实际上碰巧有一个上下文管理器，我认为它完全可以（或几乎至少，在我的情况下，我碰巧需要一个命名的临时文件）你正在寻找什么。可以看到它重用了原来的 sys.stdout 对象来避免关闭问题。

import sys
import tempfile
import os

class captured_stdout:
    def __init__(self):
        self.prevfd = None
        self.prev = None

    def __enter__(self):
        F = tempfile.NamedTemporaryFile()
        self.prevfd = os.dup(sys.stdout.fileno())
        os.dup2(F.fileno(), sys.stdout.fileno())
        self.prev = sys.stdout
        sys.stdout = os.fdopen(self.prevfd, "w")
        return F

    def __exit__(self, exc_type, exc_value, traceback):
        os.dup2(self.prevfd, self.prev.fileno())
        sys.stdout = self.prev

## 
## Example usage
##

## here is a hack to print directly to stdout
import ctypes
libc=ctypes.LibraryLoader(ctypes.CDLL).LoadLibrary("libc.so.6")
def directfdprint(s):
    libc.write(1, s, len(s))


print("I'm printing from python before capture")
directfdprint("I'm printing from libc before captrue\n")

with captured_stdout() as E:
    print("I'm printing from python in capture")
    directfdprint("I'm printing from libc in capture\n")

print("I'm printing from python after capture")
directfdprint("I'm printing from libc after captrue\n")

print("Capture contains: " + repr(file(E.name).read()))