Python subprocess grep 命令每次返回不同的答案

Question

我正在尝试使用 python 对文件启动 grep 代码：

def runProcess(self, cmd):
    p = subprocess.Popen(cmd, bufsize=16000, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
    return iter(p.stdout.readline, b'')

问题是我每次启动它时都会得到不同的匹配。一些行在返回对象中被简单地跳过。就像缓冲区已被覆盖一样。我已经尝试了我在子流程中找到的所有方法来完成这项工作，但都导致了同样的问题。

有关信息，我已直接在 shell 中测试了我的 grep 命令，它运行良好，这是我作为 cmd 参数传递给我的函数的内容

['egrep', '-wi', '-nr', "'keyword1|keyword2|blabla'", 'test/match_inside.txt']

我也尝试过使用不同的 bufsize 值（并且没有 c 值）

Answer 1

当您改为调用时，问题就消失了（在我的测试中）：

['egrep', '-wi', '-nr', 'keyword1|keyword2|blabla', 'test/match_inside.txt']

docs for Popen 表示 shlex.split() 演示了如何将命令行参数转换为字符串列表。在他们的示例中，外部引号从单个参数中删除。

编辑：我们对 bash 的熟悉可能会误导我们。但是 Bash 只是另一种脚本语言。如果你输入

grep 'a|b|c' target.txt

bash 正在调用操作系统调用（Linux 上的 exec 或某些变体）来创建新的 grep 进程。 Bash 解析该命令并删除引号；它们不是 grep 选项的一部分，它们可以通过对标记进行分组来帮助 bash 扫描您的输入。 grep 将被传递一个参数的字符串数组（这就是 argv 在 C 中的含义），因此参数不需要包含引号；参数的结构和分组由字符串数组创建。

当你使用

"'keyword1|keyword2|blabla'"

在 python 中，你实际上是在传递

'keyword1|keyword2|blabla'

当你真的只希望 grep 拥有时，将 grep 作为完整的字符串

keyword1|keyword2|blabla

作为 argv 的索引 3 中的字符串（取决于前面的 args 的数量）。

Answer 2

我无法发表评论，但我无法阻止自己提问：

为什么要在 Python 中运行 grep？和子进程？？如果您正在使用 Python，那么我强烈建议您阅读 Python RE。它比 grep 强大得多，总而言之（在我看来）更易于理解和控制。

编辑：这个问题是务实的。我想知道为什么。