从 Flask 路由开始scrapy

Question

我想构建一个爬虫，它获取要抓取的网页的 URL，并将结果返回给网页。现在我从终端开始scrapy并将响应存储在一个文件中。当一些输入发布到 Flask、处理并返回响应时，如何启动爬虫？

Answer 1

您需要在 Flask 应用程序中创建 CrawlerProcess 并以编程方式运行爬网。请参阅docs。

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # The script will block here until the crawl is finished

在继续您的项目之前，我建议您查看 Python 任务队列（例如 rq）。这将允许您在后台运行 Scrapy 抓取，并且您的 Flask 应用程序在抓取运行时不会冻结。