Python中从网站上抓取的图像的绝对路径的相对路径

Question

Iv 抓取了一个网站以获取随后将被下载的图像，但是为了能够下载它们，我需要找到图像的绝对路径，因为这是 iv 设法抓取的：

2001.JPG big.jpg pics.gif gchq.jpg

所有这些图像都存储在变量images 中，我正在寻找一个可以一次找到所有绝对路径并将它们存储在变量中的函数？

这是我用来抓取图像的代码：

images = re.findall(r'src=[\"|\']([^\"|\']+)[\"|\']',webpage.decode())

（我在这里查看了各种其他类似的问题，但似乎没有一个可以同时处理多个图像）

如果有人能指出我正确的方向，那就太好了，还有任何关于下载它们的建议。

Answer 1

使用 BeautifulSoup 和 urllib，您应该能够收集网页中的图像，迭代并下载它们。

from urllib import urlretrieve
import urlparse
from bs4 import BeautifulSoup
import urllib2

url = "<your_url>"
soup = BeautifulSoup(urllib2.urlopen(url))
for img in soup.select('img'):
    img_url = urlparse.urljoin(url, img['src'])
    file_name = img['src'].split('/')[-1]
    urlretrieve(img_url, file_name)

Python 3 兼容代码，

from bs4 import BeautifulSoup
from urllib.request import urlopen, urlretrieve
from urllib.parse import urljoin

url = "<url>"
soup = BeautifulSoup(urlopen(url))

for img in soup.find_all('img'):
    img_url = urljoin(url, img['src'])
    file_name = img['src'].split('/')[-1]
    urlretrieve(img_url, file_name)