分析来自 StackOverflow 的一些 html 页面 [关闭]

Question

我需要一次从 500 个 stackoverflow 问题中提取答案，但突然我在 Eclipse 控制台上看到了这个错误：

服务器返回 HTTP 响应代码：503 用于 URL： https://stackoverflow.com/search?q=lucene+IndexWriter+registerMerge%28

如果之后我使用浏览器，我会阅读此消息：

来自该 IP 地址的请求数量异常。

为了保护我们的用户，我们现在无法处理来自该 IP 地址的更多请求。

我们会尽快恢复访问权限，因此请尽快重试。

我这样做是为了研究工作。我是否违反了某些 SO 规则？

Answer 1

消息很简单：您正在截屏 StackOverflow，而 SO 不希望您这样做。

如果您仍然想爬取该站点，那么只需限制您的访问速度，也许每 100 毫秒甚至 250 毫秒发出一个请求，而不是一次 500 个（我假设您正在这样做）。