使用 Parallel Foreach 和 WhenAny 的多个任务。那可能吗？

Question

我想同时抓取几个网站，但只是将信息一个一个添加到数据库中。同时我的代码看起来与此类似：

        List<SiteMetadata> sitesList = GetSites();
        var tasks = new List<Task<SiteMetadata>>();

        foreach (var item in sitesList)
            tasks.Add(item.LoadMetaDataAsync());

        int totalSites = sitesList.Count;
        int finishedSites = 0;

        int errors = 0;
        while (totalSites != finishedSites)
        {
            var tempSite = await Task.WhenAny(tasks.ToArray());
            //WRITE HERE TO DB!!!!!!!!!!!!!!!!!
            tasks.Remove(tempSite);

            var tempLog = apiHandler.WriteToDatabase(tempSite.Result);

            if (tempLog.Type == LogType.Error)
            {
                errors++;
                LogsHandler.AddToLog(tempLog);
            }

            finishedSites++;
        }

我要的是提高这里的效率并替换掉：

    var tasks = new List<Task<SiteMetadata>>();
    foreach (var item in sitesList)
        tasks.Add(item.LoadMetaDataAsync());

到这样的事情：

    var runAll = Task.Factory.StartNew(() => Parallel.ForEach(sitesList, item => item.LoadMetaDataAsync()));

但问题是我不知道如何将完成的第一个任务逐个获取到数据库。无论如何，使用 Parallel 或类似的东西，甚至比我现在正在做的更有效的东西来做到这一点？ 提前致谢。

Answer 1

我认为您正面临“多提供者 - 一个消费者”的问题。我建议你使用Thread-Safe Collections。

在下面的控制台示例中，我使用ConcurrentBag 来存储任务结果，然后在主线程中，我使用while 循环来获取结果并将其打印出来（您可以在自己的工作线程中执行此操作）。注意整个程序中没有任何锁：

    private static readonly Random Random = new Random(DateTime.Now.Millisecond);
    private static readonly ConcurrentBag<int> Bag = new ConcurrentBag<int>();

    private static void Main(string[] args)
    {
        for (int i = 0; i < 10; i++)
        {
            Task.Run(async () => await SampleTask());
        }

        while (true)
        {
            if (Console.KeyAvailable && Console.ReadKey(true).Key == ConsoleKey.Escape) break;
            int item;
            if (Bag.TryTake(out item))
                Console.WriteLine(item);
        }
    }

    private static async Task SampleTask()
    {
        await Task.Delay(Random.Next(1000));
        Bag.Add(Random.Next(10));
    }

Answer 2

我想同时抓取几个网站，但只是将信息一个一个添加到数据库中。

您的代码已经这样做了。

我要的是提高这里的效率并替换

这不会提高效率；它会减少它。 Parallel.ForEach 是并行操作，其中“并行”表示“使用多个线程并发”。启动多个任务，然后将它们与Task.WhenAll 组合是您如何在不使用多个线程的情况下进行并发。 不使用不必要的线程更有效。

但是，您正在做的事情似乎可以从 TPL 数据流中受益，它允许您定义一个“管道”来发送数据。它不会增加你的“效率”，但它可能会澄清代码。