并发执行有限数量的任务

Question

鉴于我有一个IEnumerable<Func<Task>> 来生成一些我想要并发执行的（爬虫）任务，我该如何设置并发的上限？

例如，我不希望超过 5 个这些任务同时运行。另一方面，如果可能，应该始终运行 5 个任务。

我目前的方法是这段代码：

    public static async Task ExecuteConcurrent(IEnumerable<Func<Task>> taskGenerators, int maxDegreeOfConcurrency)
    {
        var executingTasks = new HashSet<Task>();
        foreach (var taskGenerator in taskGenerators) {
            while (executingTasks.Count >= maxDegreeOfConcurrency) {
                executingTasks.Remove(await Task.WhenAny(executingTasks));
            }

            executingTasks.Add(taskGenerator());
        }

        await Task.WhenAll(executingTasks);
    }

我想知道是否有更好的方法来做到这一点？也许，已经有可用的方法了？

谢谢

Answer 1

听起来像是TPL Dataflow 的工作

优点是：

1. 它适用于 async 和 await 以及 CPU 限制 和 IO 限制 工作负载
2. 您可以使用MaxDegreeOfParallelism 和许多其他选项来限制并发
3. 您可以将其链接成更复杂的管道
4. 与反应式扩展配合得很好
5. 这一切都是由 Parallel 先生为您打造的Stephen Toub

Nuget System.Threading.Tasks.Dataflow

---

非常基本的示例

public static async Task DoWorkLoads(List<IPAddress> addresses)
{
   var options = new ExecutionDataflowBlockOptions
                     {
                        MaxDegreeOfParallelism = 50 // limit here
                     };

   var block = new ActionBlock<SomeObject>(MyMethodAsync, options);

   foreach (var ip in addresses)
      block.Post(ip);

   block.Complete();
   await block.Completion;

}

...

public async Task MyMethodAsync(SomeObject obj)
{
    // await something here
}