【发布时间】：2017-12-26 11:07:53
【问题描述】：
我遇到了error 24: too many open files. 的问题
搜索后我已将 ulimit 更改为 102400...
但是我的蜘蛛在运行 1 周后仍然出现此错误。
一开始我以为是我的管道引起的（我改了这个），所以我检查了/proc/{pid}/fd，发现打开了这么多socket。
顺便说一句，你可以在这里找到代码：https://github.com/yz21606948/sinaSpider/tree/master/sina
【问题讨论】：
-
质疑完整的追溯。还有其他有用的信息。
-
您是否一直运行它而不停止脚本？它可能会为每个项目打开与 Mongo 的新连接。请参阅示例 Write items to MongoDB - 它关闭客户端。
-
@furas 谢谢~实际上我将管道从 MongoDB 更改为单个文件。另外，我检查了 fd，我可以确保这个文件只打开一次。我不知道这个错误是由代理连接失败还是其他原因引起的......