强制 TPL 任务在单核上运行

Question

我有一个包含一些处理组件的 ETL 项目。单个组件是基于 BlockingCollection 的生产者-消费者。所有组件都通过 Task.Run 并行执行，等待项目从其他组件到达，处理它们并将结果放入它们的输出集合（想想管道）。所有组件都通过 Task.Run() 执行。

是否可以在不为进程设置处理器亲和性的情况下强制任务在单核上运行（我不希望它们占用 100% 的多核 CPU）（这似乎有点矫枉过正）？

请注意，我仍然希望任务以并行方式运行 - 仅在单个内核上。

Answer 1

任务在线程上执行，操作系统决定它执行哪个内核。

我认为除了设置处理器关联之外没有其他方法。

请看这里：https://msdn.microsoft.com/en-us/library/system.diagnostics.processthread.processoraffinity.aspx

您确定在一个内核上并行运行它们会使您的性能受益吗？为什么您不想让进程在需要时使用 100% 的 CPU？操作系统仍将优先考虑它与其他进程，而不是 necceserily 允许这样做

如果您担心您的进程对其他操作系统进程造成压力，您也可以降低线程/进程优先级：

进程优先级：https://msdn.microsoft.com/en-us/library/system.diagnostics.process.priorityclass.aspx 线程优先级：https://msdn.microsoft.com/en-us/library/system.threading.thread.priority(v=vs.110).aspx

Answer 2

是的，这是完全可能的。你只需要实现你自己的TaskScheduler。

事实上，TaskSchduler 的 API 文档中的示例说明了如何准确地完成您想要的 - 他们实现了一个 LimitedConcurrencyLevelTaskScheduler，让您可以设置您想要使用的工作线程的数量。

API 文档的备注部分中的链接也很有价值。 Samples for Parallel Programming with the .NET Framework 4 项目包含大量替代线程调度程序，详细描述了here。它们可能会启发您思考安排这些任务的替代方法。

这里唯一的转折是你不能再使用Task.Run() 快捷方式——你需要通过一个TaskFactory instead。

Answer 3

使用Task.Run() 时，您对作业的控制非常低，并且一切都是并行的，除非您使用自定义调度程序。

我建议使用Task Parallel Library (TPL)，而不是这种技术解决方案，这可以被视为处理线程作业的更高层。

在 TPL 中，您可以选择块类型来处理您的数据，甚至可以在它们之间连接块，因此当一个项目刚刚完成处理时，结果可以在下一个 TPL 块中排队。

您可以使用ActionBlock<T>：您定义要为每个要处理的项目执行的代码，当数据可用于带有.Post() 的ActionBlock 时，它会自动处理...在平行下。但根据您的需要，您可以指定MaxDegreeOfParallelism=1。

因此，使用此方法您无法控制执行代码的核心，但您可以确保所有项目都将按顺序处理，并且一次不会使用多个核心。

var workerBlock = new ActionBlock<int>(
      // Simulate work by suspending the current thread.
      millisecondsTimeout => Thread.Sleep(millisecondsTimeout),
      // Specify a maximum degree of parallelism.
      new ExecutionDataflowBlockOptions
      {
         MaxDegreeOfParallelism = 1
      });
// Source: https://docs.microsoft.com/fr-fr/dotnet/api/system.threading.tasks.dataflow.actionblock-1?view=netcore-3.1

你也可以看这个complete article about TPL，很有意思。