使用 GNU 并行运行带有两个参数的命令

Question

我有一个 perl 程序，它接受两个参数，字典文件由 英文单词每行一个，并且包含连接单词的文件也每行一个 行，类似这样：

lovetoplayguitar
...
...

所以通常程序是这样使用的：

perl ./splitwords.pl words-en.txt bigfile.txt

它将结果打印到stdout。

我试图通过GNU parallel 像这样：

time parallel -n 2 -j8 -k perl ./splitwords.pl {1} {2} ::: words-en.txt bigfile.txt > splitted.txt

但它不能那样工作.. 到目前为止尝试了许多组合但无法 使用并行运行它。

编辑

实际上这似乎有效，但它只使用一个核心..？为什么..？

Answer 1

这会将大文件分成 1 MB 的块：

cat bigfile.txt | parallel --pipe --cat -k perl ./splitwords.pl words-en.txt {}

如果 perlscript 只读取文件，那么这会更快：

cat bigfile.txt | parallel --pipe --fifo -k perl ./splitwords.pl words-en.txt {}