Gnu 并行组合来自标准输入和文件的参数

Question

我正在使用 gnu 并行命令来监控几个 redis 端点，然后在新端点上执行所有命令。 当前命令如下所示：

parallel --ungroup redis-cli -h {} monitor :::: old-server-list | cut -d  "]" -f 2 | parallel --ungroup -k ./writter.sh {}

和writer.sh

parallel redis-cli -h {} $1 ::: redis-host-1 redis-host-2 

但是我在旧端点和新端点上执行的命令所需的时间不一致，导致与新 redis 的连接一直在关闭和打开。是否可以同时将参数从标准输入和文件传递给并行命令？将“new-server-list”中的每条记录与相同的标准输入结合起来以避免调用脚本？

类似：

parallel ... | cut ... | parallel redis-cli -h {<line from new-server-list>} {<stdin from pipe>}

应该被执行为：

redis-cli -h redis-host-1 stdin_output1
redis-cli -h redis-host-2 stdin_output1
redis-cli -h redis-host-1 stdin_output2
redis-cli -h redis-host-2 stdin_output2

Answer 1

您可以使用paste 并排粘贴两列，一列来自文件，一列来自命令：

那么，看看这个：

seq 10
1
2
3
4
5
6
7
8
9
10

还有一个名为 list.txt 的文件以另一种方式运行：

10
9
8
7
6
5
4
3
2
1

现在paste 这样做了：

paste list.txt <(seq 10)
10  1
9   2
8   3
7   4
6   5
5   6
4   7
3   8
2   9
1   10

您可以输入 GNU Parallel：

paste list.txt <(seq 10) | parallel -k --colsep '\t' echo {2} {1}
1 10
2 9
3 8
4 7
5 6
6 5
7 4
8 3
9 2
10 1

Answer 2

您是否正在考虑从文件“-”中读取？

parallel --line-buffer redis-cli -h {} monitor :::: old-server-list |
  cut -d  "]" -f 2 |
  parallel --line-buffer -k redis-cli -h {2} {1} :::: - ::: redis-host-1 redis-host-2

使用--dry-run 查看是否是您要运行的命令：

parallel --line-buffer redis-cli -h {} monitor :::: old-server-list |
  cut -d  "]" -f 2 |
  parallel --dry-run --line-buffer -k redis-cli -h {2} {1} :::: - ::: redis-host-1 redis-host-2

（如果您要实际使用输出，切勿使用-u。存在半行混合的风险 - 从而弄乱您的输出。改用--line-buffer，它可以保证全行）。