While 循环在 Bash 的第一行之后停止读取

Question

我有以下 shell 脚本。目的是循环遍历目标文件的每一行（其路径是脚本的输入参数）并对每一行进行处理。现在，它似乎只适用于目标文件中的第一行，并在该行被处理后停止。我的脚本有什么问题吗？

#!/bin/bash
# SCRIPT: do.sh
# PURPOSE: loop thru the targets 

FILENAME=$1
count=0

echo "proceed with $FILENAME"

while read LINE; do
   let count++
   echo "$count $LINE"
   sh ./do_work.sh $LINE
done < $FILENAME

echo "\ntotal $count targets"

在do_work.sh 中，我运行了几个ssh 命令。

Answer 1

问题在于do_work.sh 运行ssh 命令，默认情况下ssh 从您的输入文件stdin 读取。结果，您只会看到第一行已处理，因为该命令会消耗文件的其余部分并且您的 while 循环终止。

这种情况不仅发生在ssh，还发生在任何读取标准输入的命令上，包括mplayer、ffmpeg、HandBrakeCLI等等。

为防止这种情况发生，请将-n 选项传递给您的ssh 命令，使其从/dev/null 而非标准输入中读取。其他命令有类似的标志，也可以通用< /dev/null。

Answer 2

一个非常简单且强大的解决方法是更改​​read 命令接收输入的文件描述符。

这是通过两个修改来实现的：read 的 -u 参数和< $FILENAME 的重定向运算符。

在 BASH 中，默认的文件描述符值（即 read 中的 -u 的值）是：

• 0 = 标准输入
• 1 = 标准输出
• 2 = 标准错误

因此，只需选择一些其他未使用的文件描述符，例如 9 只是为了好玩。

因此，解决方法如下：

while read -u 9 LINE; do
   let count++
   echo "$count $LINE"
   sh ./do_work.sh $LINE
done 9< $FILENAME

注意两个修改：

1. read 变为 read -u 9
2. < $FILENAME 变为 9< $FILENAME

作为最佳实践，我对我在 BASH 中编写的所有 while 循环执行此操作。 如果您有使用read 的嵌套循环，请为每个循环使用不同的文件描述符 (9,8,7,...)。

Answer 3

这发生在我身上，因为我有 set -e 和 grep 在循环中返回没有输出（这给出了一个非零错误代码）。

Answer 4

更一般地说，不特定于ssh 的解决方法是为任何可能消耗while 循环输入的命令重定向标准输入。

while read -r LINE; do
   let count++
   echo "$count $LINE"
   sh ./do_work.sh "$LINE" </dev/null
done < "$FILENAME"

添加</dev/null 是这里的关键点（尽管更正的引用也有些重要；另请参阅When to wrap quotes around a shell variable?）。您将希望使用 read -r，除非您特别需要在没有 -r 的情况下获得的旧式稍微奇怪的行为。

另一种特定于ssh 的解决方法是确保任何ssh 命令都绑定了其标准输入，例如通过改变

ssh otherhost some commands here

改为从此处的文档中读取命令，这很方便（对于此特定场景）将ssh 的标准输入绑定到命令：

ssh otherhost <<'____HERE'
    some commands here
____HERE

Answer 5

ssh -n 选项可防止在使用 HEREdoc 将输出传输到另一个程序时检查 ssh 的退出状态。 所以最好使用 /dev/null 作为标准输入。

#!/bin/bash
while read ONELINE ; do
   ssh ubuntu@host_xyz </dev/null <<EOF 2>&1 | filter_pgm 
   echo "Hi, $ONELINE. You come here often?"
   process_response_pgm 
EOF
   if [ ${PIPESTATUS[0]} -ne 0 ] ; then
      echo "aborting loop"
      exit ${PIPESTATUS[0]}
   fi
done << input_list.txt