网络爬虫需要多少线程？

Question

我要编写一个使用代理的网络scraper。阅读了有关 std::thread 和 std::async 的信息后，我不确定在通过慢速代理下载内容时内核会做什么。如果线程数量与内核数量相等，或者我可以使用额外的大量线程，它们就不会挂起 RAM，等待轮到它们获得一些 cpu 时间。

如果我应该使用更多的线程然后有 cpu 核心，我如何定义最佳线程数量？

Answer 1

如何定义最佳线程数？

您可以尝试不断增加线程数，直到您的抓取工具的性能（例如每秒处理多少个网站）停止增长。