xargs 输出缓冲 -P 并行

Question

我有一个 bash 函数，我像这样使用 xargs -P 并行调用它

 echo ${list} | xargs -n 1 -P 24 -I@ bash -l -c 'myAwesomeShellFunction @'

一切正常，但输出因明显原因而混乱（无缓冲）

试图找出一种有效缓冲输出的方法。我在想我可以使用 awk，但我还不足以编写这样的脚本，而且我在 google 上找不到任何有价值的东西？有人可以帮我在 sed 或 awk 中编写这个“输出缓冲区”吗？没什么特别的，只是累积输出并在进程终止后将其吐出。我不在乎 shell 函数的执行顺序，只需要缓冲它们的输出......就像：

 echo ${list} | xargs -n 1 -P 24 -I@ bash -l -c 'myAwesomeShellFunction @ | sed -u ""'

附：我尝试按照标准使用 stdbuf https://unix.stackexchange.com/questions/25372/turn-off-buffering-in-pipe 但没用，我在 o 和 e 上指定了缓冲但输出仍然没有缓冲：

 echo ${list} | xargs -n 1 -P 24 -I@ stdbuf -i0 -oL -eL bash -l -c 'myAwesomeShellFunction @'

这是我的第一次尝试，这只捕获第一行输出：

 $ bash -c "echo stuff;sleep 3; echo more stuff" | awk '{while (( getline line) > 0 )print "got ",$line;}'
 $ got  stuff

Answer 1

如果您的输出长度超过一页（通常为 4kb），这不是相当原子的，但在大多数情况下它会这样做：

xargs -P 24 bash -c 'for arg; do printf "%s\n" "$(myAwesomeShellFunction "$arg")"; done' _

这里的神奇之处在于命令替换：$(...) 创建一个子shell（您的shell 的fork()ed-off 副本），在其中运行代码...，然后将其读入以替换为外部脚本中的相关位置。

请注意，我们不需要 -n 1（如果您要处理大量参数 - 对于少量参数，它可能会提高并行性），因为我们迭代的参数数量与您的每个参数一样多通过了 24 个并行 bash 实例。

---

如果你想让它真正原子化，你可以使用锁文件来做到这一点：

# generate a lockfile, arrange for it to be deleted when this shell exits
lockfile=$(mktemp -t lock.XXXXXX); export lockfile
trap 'rm -f "$lockfile"' 0

xargs -P 24 bash -c '
  for arg; do
    {
      output=$(myAwesomeShellFunction "$arg")
      flock -x 99
      printf "%s\n" "$output"
    } 99>"$lockfile"
  done
' _