Parallel.ForEach 期间的 CPU 和内存峰值

Question

我正在构建一个用于复制文件和文件夹的应用程序，还有一些选项，但在此问题中没有使用这些选项。

有问题的函数遍历目录中的每个文件，然后将文件复制到相同目录的新位置（因此它保留嵌套的文件结构）。

应用程序是一个 Windows 窗体，由于同时写入文本框的问题，我将并行函数包围在 Task.Factory.StartNew() 中，从而解决了该问题。

Task.Factory.StartNew(() =>
{
    Parallel.ForEach(Directory.GetFiles(root, "*.*", SearchOption.AllDirectories), newPath =>
    {
        try
        {
            File.Copy(newPath, newPath.Replace(root, destination), false);
            WriteToOutput("recreated the file '" + newPath.Replace(root, destination) + "'");                                
         }
         catch (Exception e)
         {
             WriteToOutput(e.Message);
         }
     });
});

运行时，诊断工具每隔几秒就会显示一次峰值。我怎样才能“平衡”这些尖峰并使性能保持一致？我还在为每个移动的文件写入屏幕，并且每隔 20/25 个文件之间会有一个明显的秒左右的暂停。

以下屏幕截图是来自诊断工具的示例。

Answer 1

您的工作主要受 IO 限制，而不是 CPU 限制。在大多数情况下，您没有任何工作需要 CPU 完成。您只是在等待硬盘驱动器完成其工作。 CPU 中的尖峰只是磁盘完成操作后的一小段时间，CPU 试图弄清楚接下来要做什么，这需要很少的时间，因此您会看到尖峰，而不是平台期。

Answer 2

我很关心这句话：

由于同时写入文本框的问题，我将并行函数包围在 Task.Factory.StartNew() 中，从而解决了该问题

老实说，我怀疑这是否解决了问题。大概是把它藏起来了。您似乎没有在等待或检查任务，因此您没有观察到任何异常。短暂的 CPU 峰值和输出延迟很容易由某种堆栈展开引起。

如果您在从工作线程更新 UI 时遇到问题，请确保您了解 Invoke 的用途并确保您正在使用它。然后摆脱StartNew，或者确保您正在处理任何异常。

Answer 3

您正在做的是用许多并行文件读取请求来按下磁盘。好吧，磁盘和任何其他 I/O 设备一样，在该模式下无法正常工作。

一方面，如果您正在读取 HDD，那么它肯定无法响应并行请求，因为它必须同时将读取头移动到多个位置。

即使使用 SDD，设备也无法以 CPU 可以请求的相同速率响应请求。

无论如何，磁盘肯定无法匀速返回数据。许多文件读取请求将永久挂起（以 CPU 时间衡量），使这些任务被阻塞。这就是为什么在使用许多并行操作冲击磁盘时性能不均衡的原因。

当尝试处理许多文件时，您可能会选择分配一个任务来读取它们，然后并行处理加载的数据。想想那个设计。 I/O-bound 任务将只有一个，并且不会被超过必要的阻塞。这将使驱动器以当时可以达到的最大速度返回数据。显然，受 CPU 限制的任务将是非阻塞的，因为在任何任务启动时它们的数据已经在内存中。我希望这种设计能够提供流畅的性能。