【发布时间】:2018-03-25 14:22:39
【问题描述】:
该应用程序是基于 Node.js 的网络爬虫,它通过 request 库向远程服务器发出请求。
请求是通过第三方供应商提供的具有 99% 及更高正常运行时间的经过身份验证的 HTTP 代理服务器发出的。
我正在尝试处理可能由代理故障引起的请求错误响应的 HTTP 代码。预计在达到这些 HTTP 代码的阈值后,将触发代理不可靠的标志,因此代理将排队等待诊断。而且我希望一些代码有更多的权重。
目前我正在处理代理的 407(代理身份验证)和 408(请求超时)HTTP 代码。
是否还有其他通常由 HTTP 代理故障引起的 HTTP 代码?
我希望这个问题足够具体。我假设可能的故障(以及一组可能的 HTTP 错误状态代码)取决于实际的代理及其环境。我们应该考虑这些代理黑盒,因为它们是由第三方提供的。
问题不是一般的 HTTP 状态代码,只有错误代码可能是由故障代理(转发代理)引起的。
【问题讨论】:
-
我无法提供完整的错误状态代码列表,但也许docs.aws.amazon.com/apigateway/api-reference/handling-errors 将是一个很好的参考起点
标签: node.js web-crawler http-status-codes http-proxy node-request