【问题标题】:downloading dynamic webcontent through Scrapy (python 2.7)通过 Scrapy (python 2.7) 下载动态网页内容
【发布时间】:2012-02-27 22:45:39
【问题描述】:

我回到了这个项目(网络抓取动态内容),并按照本教程进行了操作,但是我无法完成它。

我正在使用 python 2.7 和 scrapy 框架 0.14

在我的项目中,获取数据显然是最重要的一点,我开始了解使用 ajax 抓取动态数据的网站的技术,但是在这个示例中,我无法实际下载图像。

爬虫使用命令运行(在 windows 7 的 cmd.exe 中):

scrapy runpider nasa.py

但它实际上并没有下载任何东西(它只是解析数据)

我错过了什么吗?这是我冒险进入非初学者领域的第一个真正的编程项目,并且肯定会迷路。

这是教程:

Scraping ajax with Scrapy

关于允许脚本将图像下载到本地存储的正确代码有什么建议吗?

谢谢:)

【问题讨论】:

    标签: python web-scraping scrapy


    【解决方案1】:

    在你的setting.py中

    添加

    IMAGES_STORE = 'you dir path where you want to download images'
    ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline
    

    在您的项目中定义 image_urls

    image_urls 中添加图片 url # 应该被视为程序中的列表

    suggested study

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2012-10-07
      • 1970-01-01
      • 1970-01-01
      • 2020-05-24
      • 2018-07-24
      • 2011-08-16
      • 2017-04-05
      相关资源
      最近更新 更多