如何使用 cURL 从文本文件下载 URL 列表并更改文件名？答案

【问题标题】：How can I use cURL to download a list of URLs from a text file and change the file name?如何使用 cURL 从文本文件下载 URL 列表并更改文件名？
【发布时间】：2021-10-25 03:37:15
【问题描述】：

我在一个名为 urls.txt 的文件中有一个 URL 列表。每行包含一个 URL。（见下面的例子）

https://website.com/media/r/x/3/rx34aw3/normal.jpg
https://website.com/media/q/3/c/q3cciw3/normal.jpg
https://website.com/media/f/7/e/f7eciw3/normal.jpg

每个 URL 都指向一个图像文件。 (normal.jpg) 我想使用 cURL 下载所有图像文件，并让每个文件都有一个单独的名称。

以下工作，但是因为每个图像在下载时都被命名为相同（normal.jpg），每个图像都会覆盖前一个。

xargs -n 1 curl -O < urls.txt

短期解决方法：我想在当前名称后附加一个数字，以便在下载它们时不会覆盖前一个。

将下载为：

normal01.jpg
normal02.jpg
normal03.jpg

长期解决方案：我想在文件中的 URL 后面使用一个单独的名称来命名每个图像。

https://website.com/media/r/x/3/rx34aw3/normal.jpg 2435955711
https://website.com/media/q/3/c/q3cciw3/normal.jpg 2445739418
https://website.com/media/f/7/e/f7eciw3/normal.jpg 2445741718

将下载为：

2435955711.jpg
2445739418.jpg
2445741718.jpg

【问题讨论】：

标签： macos shell curl terminal scripting

【解决方案1】：

我建议运行以下小脚本。

这包含您的所有网址：

$ cat url_images
https://website.com/media/r/x/3/rx34aw3/normal.jpg
https://website.com/media/q/3/c/q3cciw3/normal.jpg
https://website.com/media/f/7/e/f7eciw3/normal.jpg

这将为 url_images 文件中的每一行创建一个 for 循环，并根据 URL 名称生成名称。

URL: https://website.com/media/r/x/3/rx34aw3/normal.jpg
File name: website.com_media_r_x_3_rx34aw3_normal.jpg

$ for URL in $(cat url_images); do xFNAME="$(echo $URL | sed 's/^https*:\/\///' | tr '/' '_')"; curl $URL -o $xFNAME; done

最后你会得到这些文件：

website.com_media_q_3_c_q3cciw3_normal.jpg
website.com_media_f_7_e_f7eciw3_normal.jpg
website.com_media_r_x_3_rx34aw3_normal.jpg

【讨论】：