如何遍历 shell 命令的输出？

Question

我想编写一个循环遍历 shell 命令ps 的输出（可能是数组？）的脚本。

这是命令和输出：

$ ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh
 3089 python /var/www/atm_securit       37:02
17116 python /var/www/atm_securit       00:01
17119 python /var/www/atm_securit       00:01
17122 python /var/www/atm_securit       00:01
17125 python /var/www/atm_securit       00:00

将其转换为 bash 脚本（sn-p）：

for tbl in $(ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh)
do
   echo $tbl
done

但是输出变成：

3089
python
/var/www/atm_securit
38:06
17438
python
/var/www/atm_securit
00:02
17448
python
/var/www/atm_securit
00:01

如何像在 shell 输出中一样循环遍历每一行，但在 bash 脚本中？

Answer 1

如果您想逐行处理 shell 命令的结果，请不要 for 循环遍历它，除非您将 内部字段分隔符 $IFS 的值更改为 \n。这是因为这些行将获得 分词 的主题，这会导致您看到的实际结果。意思是如果你有一个这样的文件：

foo bar
hello world

下面的for循环

for i in $(cat file); do
    echo "$i"
done

给你：

foo
bar
hello
world

即使您使用IFS='\n'，这些行仍可能获得Filename expansion 的主题

---

我建议改用while + read，因为read 逐行读取。

此外，如果您正在搜索属于某个二进制文件的 pid，我会使用 pgrep。但是，由于 python 可能显示为不同的二进制文件，例如python2.7 或python3.4，我建议将-f 传递给pgrep，这使得它可以搜索整个命令行，而不仅仅是搜索名为python 的二进制文件。但这也会找到已经启动的进程，如cat foo.py。你被警告了！最后，您可以根据需要优化传递给pgrep 的正则表达式。

例子：

pgrep -f python | while read -r pid ; do
    echo "$pid"
done

或者如果您还想要进程名称：

pgrep -af python | while read -r line ; do
    echo "$line"
done

如果您希望进程名称和 pid 在单独的变量中：

pgrep -af python | while read -r pid cmd ; do
    echo "pid: $pid, cmd: $cmd"
done

你看，read 提供了一种灵活而稳定的方式来逐行处理命令行的输出。

---

顺便说一句，如果您更喜欢 ps .. | grep 命令行而不是 pgrep，请使用以下循环：

ps -ewo pid,etime,cmd | grep python | grep -v grep | grep -v sh \
  | while read -r pid etime cmd ; do
    echo "$pid $cmd $etime"
done

注意我是如何更改etime 和cmd 的顺序的。因此能够将可以包含空格的cmd 读取到单个变量中。这是有效的，因为read 会将行分解为变量，次数与您指定的变量一样多。该行的剩余部分（可能包括空格）将分配给命令行中指定的最后一个变量。

Answer 2

我发现你可以使用双引号来做到这一点：

while read -r proc; do
     #do work
done <<< "$(ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh)"

这会将每一行而不是每个项目保存到数组中。

Answer 3

当在 bash 中使用 for 循环时，它默认将给定列表拆分为 whitespaces，这可以通过使用所谓的 内部字段分隔符 或简而言之 IFS 进行调整。

IFS 用于分词的内部字段分隔符 扩展并使用 read 内置命令将行拆分为单词。 默认值为“”。

对于您的示例，我们需要告诉 IFS 使用 new-lines 作为断点。

IFS=$'\n'

for tbl in $(ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh)
do
   echo $tbl
done

此示例在我的机器上返回以下输出。

  668 /usr/bin/python /usr/bin/ud    03:05:54
27892 python                            00:01

Answer 4

这是另一个基于 bash 的解决方案，灵感来自 @Gordon Davisson 的评论。

为此我们需要（至少 bash v1.13.5 (1992) 或更高版本），因为使用了 Process-Substitution^2,3,4while read var; do { ... }; done < <(...); 等.

#!/bin/bash
while IFS= read -a oL ; do {  # reads single/one line
    echo "${oL}";  # prints that single/one line
};
done < <(ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh);
unset oL;

注意：您可以在<(...) 中使用任何简单或复杂的命令/命令集，它可能有多个输出行。
什么代码做什么功能显示here。

这是一种单线/单线方式：
while IFS= read -a oL ; do { echo "${oL}"; }; done < <(ps -ewo pid,cmd,etime | grep python | grep -v grep | grep -v sh); unset oL;

( 由于 Process-Substitution 还不是 POSIX 的一部分，因此它在许多 POSIX 兼容 shell 或 bash-shell 的 POSIX shell 模式中不受支持。Process-Substitution 自 1992 年以来就存在于 bash 中（所以从现在起 28 年前/ 2020），& 存在于 ksh86（1985 年之前）¹。所以 POSIX 应该包含它。）
如果您或任何用户想在符合 POSIX 的 shell 中使用类似于 Process-Substitution 的东西（即：sh、ash、dash、pdksh/mksh 等），请查看NamedPipes。