GNU Parallel 中的 for 循环

Question

我正在尝试从网页下载大量文件（其中仅包含一个图像，因此我可以使用简单的 wget），但想使用 GNU Parallel 加快速度。谁能帮我并行化这个for循环？谢谢。

    for i in `seq 1 1000`
    do
    wget -O "$i.jpg" www.somewebsite.com/webpage
    done

Answer 1

你可以这样做：

 seq 1 1000 | parallel wget www.somewebsite.com/webpage/{}.jpg

您还可以使用-P 选项来指定要同时运行的作业数。

你也可以决定使用 curl 代替：

parallel -P 1000 curl -o {}.jpg www.somewebsite.com/webpage/{}.jpg ::: {1..1000}