【问题标题】:Crawl website with scrapy within application在应用程序中使用scrapy抓取网站
【发布时间】:2015-11-04 17:59:21
【问题描述】:

我正在开发一个使用 Scrapy 抓取网站的应用程序。我遇到了一个问题,我想在应用程序中运行 scrapy crawl website 命令。因为爬虫将从浏览器运行。

有什么想法吗??

【问题讨论】:

    标签: python scrapy scrapy-spider


    【解决方案1】:

    您应该在 Python 代码中调用命令。看这里是怎么做到的: Calling an external command in Python

    【讨论】:

    • 而且,它有效吗?那么请将此标记为答案:)
    • 虽然我同意@user1797792 并且做过一些类似的事情,只是想知道您使用的是什么网络框架?我喜欢 Flask,但这意味着你想从头开始做一些事情,而 Django 有大量的应用程序,比如 Django dynamic scraper 和可能更多。
    • 我使用 Django 。但我使用 scrappy 进行报废
    猜你喜欢
    • 2013-05-09
    • 2020-10-12
    • 2014-11-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多