【发布时间】:2015-09-04 18:58:18
【问题描述】:
是否可以只下载大于给定 kb 的图像?
我现在有这个: wget -r -P 下载/位置 -U Mozilla -A jpeg,jpg,bmp,gif,png http://www.website.com
亲切的问候, 很不错
【问题讨论】:
标签: linux image macos download wget
是否可以只下载大于给定 kb 的图像?
我现在有这个: wget -r -P 下载/位置 -U Mozilla -A jpeg,jpg,bmp,gif,png http://www.website.com
亲切的问候, 很不错
【问题讨论】:
标签: linux image macos download wget
wget 的递归下载没有大小选项,但您可以爬取图片 URL 列表,您可以查看它们的 Content-Length 以进行下载。您可以在 bash 脚本中执行此操作。
#Retrieve image URLs from site
image_urls=`wget --spider --force-html -r -l2 "http://www.website.com" 2>&1 | grep '^--' | awk '{ print $3 }' | grep '\.\(jpeg\|jpg\|bmp\|gif\|png\)$'`
for image_url in $image_urls
do
size=`wget -d -qO- "$image_url" 2>&1 | grep 'Content-Length' | awk {'print $2'}`
#download only download images less than 100,000 bytes
if [[ $size < 100000 ]] ;then
wget $image_url
fi
done
【讨论】: