为 IO 绑定任务创建的最佳线程数是多少？

Question

我想下载一堆很小的 MP3 文件，然后将它们合并成一个大文件。我想知道，如果拥有一个具有四个内核的 CPU，创建多个线程是否会缩短下载所有文件所需的时间。如何确定要创建的最佳线程数？还是有用吗？

Answer 1

（大量编辑，请参阅 cmets 了解原因）

是的，它会有所帮助。但是，瓶颈更有可能是文件的来源。我假设对于本答案的其余部分，您的数据将全部托管在一个来源上。

具有更多多线程经验的人可能在线程与内核方面有更好的输入，但我不确定这是否重要。

您可能需要进行一些试验才能找到最合适的方案，但这取决于很多因素，例如带宽、服务器配置、源服务器的数量以及同时使用该应用的人数是时候访问这些文件了（假设不只是你）。

根据我所做的假设，我会说 3-6 将是一个神奇的数字。以下是我对原因的看法：

• 如果您运行的数量超过该数量，下载速度很可能会变慢。
• 因为我们讨论的是较小的文件，所以启动和停止传输会产生很多开销。
• 如果是大文件，我会说从 3 开始，但由于上面提到的开销，您可能需要加倍。
• 正如 cmets 中所述，您的线程将有很多 CPU 使用率较低的时期，因此带宽和服务器的瓶颈可能比 CPU 内核的数量更重要。