【发布时间】:2019-03-31 12:54:54
【问题描述】:
我想抓取一个通过 AJAX 发布实时数据的网站,并将该数据传递给 警报系统。
据我了解,我只能执行针对 splash 的请求,并且这些必须在一定时间后完成,否则请求将失败。此外,我不知道如何在不退出 request/script 的情况下返回数据。
我将不胜感激。
【问题讨论】:
-
什么是无限抓取?
标签: python lua scrapy web-crawler scrapy-splash