用于目录遍历的任务并行库答案

【问题标题】：Task Parallel Library for directory traversal用于目录遍历的任务并行库
【发布时间】：2010-11-10 22:48:13
【问题描述】：

我想遍历我硬盘上的一个目录并在所有文件中搜索特定的搜索字符串。这听起来像是可以（或应该）并行完成的事情的完美候选者，因为 IO 相当慢。

传统上，我会编写一个递归函数来查找和处理当前目录中的所有文件，然后递归到该目录中的所有目录。我想知道如何将其修改为更加并行。一开始我只是简单地修改了一下：

foreach (string directory in directories) { ... }

到

Parallel.ForEach(directories, (directory) => { ... })

但我觉得这可能会创建太多任务并让自己陷入困境，尤其是在尝试分派回 UI 线程时。我也觉得任务的数量是不可预测的，这可能不是并行化（这是一个词吗？）这个任务的有效方法。

以前有没有人成功地做过这样的事情？您对此有何建议？

【问题讨论】：

+1 我很高兴乔恩消除了这个理论，因为我也认为这将是一个很好的候选人。似乎微软甚至不能正确地做到这一点：msdn.microsoft.com/en-us/library/ff477033.aspx -> 阅读底部的评论 :)

【解决方案1】：

不，这听起来不太适合并行性准确地说，因为 IO 很慢。你将被磁盘绑定。假设您只有一个磁盘，您并不想让它同时寻找多个不同的位置。

这有点像尝试将多根软管连接到同一个水龙头以更快地排出水 - 或者尝试在单个内核上运行 16 个 CPU 绑定线程:)

【讨论】：

这是有道理的。那么让一个线程完成所有磁盘 IO 并由多个其他线程解析文件会更有益吗？
@rein：如果解析数据需要花费大量时间，那么将其与同步读取分开可能是有意义的，是的。但是，如果 IO 是最重要的瓶颈，它实际上可能不会给您带来太多收益 - 但会使代码变得更加复杂。您可能会考虑让一个线程执行同步 IO 并将数据交给另一个线程来完成所有解析。值得尝试。