捕捉通用换行符但保留原始换行符

Question

所以这是我的问题，

我正在尝试使用 Python 的 subprocess 模块编写一个运行另一个进程的简单程序，并且我想捕获该进程的实时输出。

我知道可以这样做：

proc = subprocess.Popen(cmd, stdout=subprocess.PIPE)

for line in iter(proc.stdout.readline, ""):
    line = line.rstrip()
    if line != "":
        print(line)

问题是，该过程可能会生成带有回车符\r 的输出，我想在我的程序中模拟这种行为。

如果我在Popen 中使用universal_newlines 标志，那么我可以捕获由回车生成的输出，但我不知道它是这样的，我只能“定期”打印它换行。我想避免这种情况，因为这可能会产生很多输出。

我的问题基本上是我是否可以像\n 一样捕捉\r 输出，但将其与实际\n 输出区分开来

编辑

这是我尝试过的一些简化代码：

文件download.py：

import subprocess

try:
    subprocess.check_call(
        [
            "aws",
            "s3",
            "cp",
            "S3_LINK",
            "TARGET",
        ]
    )

except subprocess.CalledProcessError as err:
    print(err)
    raise SystemExit(1)

文件process_runner.py：

import os
import sys

import subprocess

proc = subprocess.Popen(cmd, stdout=subprocess.PIPE)

for char in iter(lambda: proc.stdout.read(1), ""):
    sys.stdout.write(char)

download 中的代码使用aws s3 cp，它给出下载进度的回车。我想在我的程序process_runner 中模拟这种输出行为，它接收download 的输出。

起初我尝试迭代 readline 而不是 read(1)。由于忽略了 CR，这不起作用。

Answer 1

一种可能的方法是使用 Popen 的二进制接口，既不指定 encoding 也不指定 error，当然也不指定 universal_newline。然后，我们可以在二进制流周围使用TextIOWrapper，和newline=''。因为 TextIOWrapper 的文档说：

...如果换行符是None...如果是''，则启用通用换行符模式，但行尾返回给调用者未翻译

（符合 PEP 3116）

您的原始代码可以更改为：

proc = subprocess.Popen(cmd, stdout=subprocess.PIPE)
out = io.TextIOWrapper(proc.stdout, newline='')

for line in out:
    # line is delimited with the universal newline convention and actually contains
    #  the original end of line, be it a raw \r, \n of the pair \r\n
    ...