【发布时间】:2012-04-18 00:17:07
【问题描述】:
我正在用 C 编写一个 web-spider 程序。现在我得到一个 url 列表,首先我需要使用函数:getaddrinfo 获取服务器 IP 地址,然后发生了一件可笑的事情:
url的列表中大约有400万个url,前6000个url处理得很好,然后突然后面的url都失败了! getaddrinfo 为每个 url 返回“名称解析中的临时失败”。此外,如果我从第一个“坏”网址重新启动程序,它会再次运行。
我真的很困惑,卡了2天,感觉DNS运行良好,但是一些有限的资源已经用完了,谁能给我一些建议?
【问题讨论】:
-
当您重新启动查找时,它是否适用于所有其他主机名,还是仅适用于 6000 个?真的是6000吗?每次都是一样的数量(即6000)吗?
-
每次大约6000个url,但不完全相同
标签: c linux web-crawler