使用 Scrapy 从网站抓取图片

Question

我想从 vinnicolas 的网站上抓取每瓶葡萄酒的图像并将其保存在 svc 文件中。

不幸的是，我遇到了一些错误：

蜘蛛：https://gist.github.com/anonymous/6424305

管道.py。 ：https://gist.github.com/nahali/6434932

settings.py：

Answer 1

你的parse_wine_page没有在items中设置“image_urls”字段值，所以中间件不会下载任何图片

import urlparse
...

    def parse_wine_page(self, reponse):
        ...
        hxs = HtmlXPathSelector(response)
        content = hxs.select('//*[@id="glo_right"]')
        for res in content:
            ...
            #item ["Image"]= map(unicode.strip, res.select('//div[@class="pro_detail_tit"]//div[@class="pro_titre"]/h1/text()').extract())
            item['image_urls'] = map(lambda src: urlparse.urljoin(response.url, src), res.select('./div[@class="pro_col_left"]/img/@src').extract())
            items.append(item)
        return items

还要确保您的 Projetvinnicolas3Item 类具有“images”和“image_urls”字段（）