ScraperWiki 是否会限制它正在抓取的网站？

Question

ScraperWiki 会以某种方式自动限制抓取速度，还是应该在循环中添加类似 sleep(1 * random.random()) 的东西？

Answer 1

没有自动速率限制。您可以添加一个用您的语言编写的睡眠命令来添加速率限制。

很少有服务器会检查速率限制，通常包含公共数据的服务器不会。

但是，确保您不会超出远程服务器是一种很好的做法。默认情况下，scraper 仅在一个线程中运行，因此您可以产生的负载存在内置限制。