将网站上使用正则表达式找到的所有图像文件下载到我计算机中python的指定目录

Question

我在这里有一个代码，它通过查找文件扩展名来使用正则表达式查找所有图像文件。现在我要做的是将它保存到我计算机上的指定路径并保留其原始文件名。我当前的代码找到了图像，因为我通过打印 'source' 进行了测试，但没有将其保存到指定的目录，也许任何人都可以帮助我调整代码。

提前致谢。

这是我的代码：

import urllib,re,os

_in = raw_input('< Press enter to download images from first page >')
if not os.path.exists('FailImages'): # Directory that I want to save the image to
        os.mkdir('FailImages') # If no directory create it

source = urllib.urlopen('http://www.samplewebpage.com/index.html').read()

imgs = re.findall('\w+.jpg',source) # regex finds files with .jpg extension

# 这一点需要调整

for img in imgs:
        filename = 'src="'+ img.split('/')[0]
        if not os.path.exists(filename):
                urllib.urlretrieve(img,filename)

Answer 1

这应该会让你继续前进。它不处理是否是外部链接，但它会抓取本地图像，

可选

1. 安装依赖请求来自 http://requests.readthedocs.org/en/latest/
2. 从命令行执行：
3. $ sudo easy_install requests

如果使用请求，取消注释 3 f.____ 行并#comment 去掉最后一个 urllib.urlretrieve 行：

import urllib2,re,os
#import requests

folder = "FailImages"

if not os.path.exists(folder): # Directory that I want to save the image to
    os.mkdir(folder) # If no directory create it

url = "http://www.google.ca"
source = urllib2.urlopen(url).read()

imgs = re.findall(r'(https?:/)?(/?[\w_\-&%?./]*?)\.(jpg|png|gif)',source, re.M) # regex finds files with .jpg extension


for img in imgs:
    remote = url + img[1] + "." + img[2];
    filename = folder + "/" + img[1].split('/')[-1] + "." + img[2]
    print "Copying from " + remote + " to " + filename
    if not os.path.exists(filename):
        f = open(filename, 'wb')
        f.write(urllib2.urlopen(remote).read())
        #f.write(requests.get(remote).content)
        f.close()

注意：Requests 工作得更好，并确保发送正确的标头，urllib 可能在很多时候无法工作。