从 url 下载图像列表

【问题标题】：download list of images from urls从 url 下载图像列表
【发布时间】：2015-06-15 13:57:25
【问题描述】：

我需要找到（最好）或为大量图像构建应用程序。每个图像都有一个不同的 URL。有成千上万，因此手动操作是一项巨大的工作。该列表当前位于 csv 文件中。（它本质上是一个产品列表，每个产品都有识别信息（名称、品牌、条形码等）和产品图片的链接。我想遍历列表，并下载每个图像文件。理想情况下，我想重命名每一个——比如barcode.jpg。我已经查看了许多图像抓取工具，但还没有找到一个可以完全以这种方式工作的工具。非常感谢任何导致正确工具或想法的线索...

【问题讨论】：

构建这样的应用程序听起来很简单。加载 URL 列表，遍历列表，下载每个文件。几乎任何编程语言都具有执行此操作的本机功能。

标签： image url download scrape

【解决方案1】：

您使用的是 Windows 还是 Mac/Linux？在 Windows 中，您可以为此使用 powershell 脚本，在 mac/linux 上，您可以使用大约 1-5 行代码的 shell 脚本。

这是一种方法：

# show what's inside the file
cat urlsofproducts.csv

http://bit.ly/noexist/obj101.jpg, screwdriver, blackndecker
http://bit.ly/noexist/obj102.jpg, screwdriver, acme

# this one-liner will GENERATE one download-command per item, but will not execute them
perl -MFile::Basename -F", " -anlE "say qq(wget -q \$F[0] -O '\$F[1]--\$F[2]--).  basename(\$F[0]) .q(')" urlsofproducts.csv 



# Output :
wget http://bit.ly/noexist/obj101.jpg -O ' screwdriver-- blackndecker--obj101.jpg'
wget http://bit.ly/noexist/obj101.jpg -O ' screwdriver-- acme--obj101.jpg'

现在将 wget 命令替换为 shell。

【讨论】：