【发布时间】:2017-11-12 17:35:52
【问题描述】:
我正在构建一个网络爬虫,目标站点不允许来自同一 IP 的超过 2 个并发连接。
我的计划是:我会购买一个带有 4 个额外弹性 IP 的 EC2,以更快地获取数据(将是 10 个并发连接,8 个来自其他 IP,2 个来自“主”IP)。
我会使用BindIPEndPointDelegate(取自here)来设置源IP,然后开始下载页面。
所以我的问题来了:DefaultConnectionLimit 将应用于每个源 IP 还是将整个应用程序限制为 2 个并发连接?
【问题讨论】:
-
从技术上讲,它是 per ServicePoint,实际上应该与 per IP 相同。