使用 GNU parallel 并行化多线程命令

Question

我刚刚写了一个涉及多线程的python脚本，比如：

    python myScript.py -cpu_n 5 -i input_file

为了为我的数百个输入文件运行命令，我正在为每个文件生成一个命令列表 (commands.list)：

    python myScript.py -cpu_n 5 -i input_file1
    python myScript.py -cpu_n 5 -i input_file2
    python myScript.py -cpu_n 5 -i input_file3
    ...

我正在尝试使用命令“parallel”和三台不同机器的 10 个 CPU 来安排它们：

   parallel -S 10/$server1 -S 10/$server2 -S 10/$server3 < commands.list

我的问题是：并行命令在每台服务器上使用的最大 CPU 数是多少？是 5*10=50 还是只有 10 个 CPU？

Answer 1

来自man parallel：

   --jobs N
   -j N
   --max-procs N
   -P N     Number of jobslots on each machine. Run up to N
            jobs in parallel.  0 means as many as possible.
            Default is 100% which will run one job per CPU
            core on each machine.


   -S
   [@hostgroups/][ncpu/]sshlogin[,[@hostgroups/][ncpu/]sshlogin[,...]]
   :
            GNU parallel will determine the number of CPU
            cores on the remote computers and run the number
            of jobs as specified by -j.  If the number ncpu
            is given GNU parallel will use this number for
            number of CPU cores on the host. Normally ncpu
            will not be needed.

因此，您的命令将在每台服务器上并行运行多达 10 个作业。

您的每个命令是否将使用 5 个 CPU 内核尚不清楚。如果您的每个命令使用 5 个核心，则每台服务器将使用 50 个核心，在这种情况下，我建议您不要使用 ncpu/server 语法，而是使用：

parallel -j 20% -S $server1,$server2,$server3 < commands.list

这样您可以混合具有不同内核数量的服务器，GNU Parallel 将并行启动其中的 1/5。