GNU Parallel 替换管道 xargs -n 1

Question

我有一个 python 脚本，它对一个状态缩写列表作为其单个参数进行操作，以及一个包含所有状态缩写字符串的文本文件。

正常通话是……

$ mypy.py "AK"

...在阿拉斯加运行脚本。

我目前正在使用以下内容对从我的 statelist.txt 文件中获取的每个州缩写运行脚本：

$ cat statelist.txt | xargs -n 1 ./mypy.py

我现在想要并行化执行，而 GNU Parallels 看起来是正确的选择。我看到from here这应该是替换xargs -n1的语法：

$ find . -name '*.html' | parallel gzip --best

所以，我的尝试是

$ cat statelist.txt | parallel python mypy.py

和

$ cat statelist.txt | parallel python mypy.py {}

但是这两个都返回了：

/bin/bash: mypy.py: command not found
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'AK' is not defined

它似乎是在未引用的情况下传递它？但是当我在 '{}' 中添加引号时，它会传入文字“{}”。

Answer 1

cat statelist.txt | parallel --gnu python mypy.py 

如果没有--gnu，GNU parallel 可能会选择模拟同名的旧工具（Tollef 的并行）。 --tollef 是许多发行版的默认行为，这也是为什么您原本有效的 GNU 样式调用失败的原因。

PS：你的 xargs 也有可能有一个 -C 或 -P 用于并行化。