大量 XML 文档的 C# 多线程合并

Question

我有一些合并 XML 文档的代码。它可以根据需要合并任意数量的文档，但是一旦数量开始增加，它就会变得有点慢。

    private string MergeList(List<string> documents)
    {
        string result = string.Empty;

        for (int i = 0; i < documents.Count; i++)
        {
            switch (i)
            {
                case 0: // Do nothing on first elapse
                    break;
                case 1: // Use first and second
                    result = Merge(documents[0], documents[i]);
                    break;
                default: // Now just keep merging until no more documents in list
                    result = Merge(result,documents[i]);
                    break;
            }
        }

        return result;
    } 

有没有什么聪明的方法来做这个多线程？我需要做的就是最终将所有文档合并到同一个字符串中。它们合并的顺序无关紧要。

我可以想象一定有某种模式可以做到这一点？

Answer 1

为简单起见，假设您有一些合并功能（这里只是连接，您当然可以在这里进行 XML 处理等）：

public static string Merge(string a, string b)
{
    return a + b;
}

您可以通过将输入集合分成两个并递归合并它们来通过递归创建一组Task<>。可以看作是创建Tasks的等待图：

public static async Task<string> MergeRecursive(IEnumerable<string> strings)
{
    if (strings.Count() == 1)
        return strings.First();
    // Here we make a real merging
    if (strings.Count() == 2)
        return Merge(strings.First(), strings.Last());

    var parts = strings.Select((s, i) => new { s, i })
                       .GroupBy(g => g.i % 2, g => g.s, (k, v) => v)
                       .ToList();
    var results = await Task.WhenAll(parts.Select(p => Task.Run(() => MergeRecursive(p))));
    return await MergeRecursive(results);
}

那么你就可以得到结果：

List<string> documents = new List<string>();
for (int i = 0; i < 100000; ++i)
    documents.Add(i.ToString("X"));

var merge = MergeRecursive(documents).Result;    

对于这种情况，Concurrency Visualizer 显示 5 个工作的 CLR 线程并行进行合并。

Answer 2

一种简单的方法是将List<string> 文档设置为全局并添加BackgroundWorker 并将事件DoWork 设置为将文档和事件RunWorkCompleted 合并到程序末尾的函数。

Answer 3

如果您所做的只是将字符串连接在一起，那么多线程可能是矫枉过正。相反，使用 StringBuffer 并预先计算大小以避免内存重新分配：

private string MergeList(List<string> documents)
{
  int size=0;

  foreach(var doc in documents)
  {
    size+=doc.Length;
  }

  StringBuffer buffer = new StringBuffer(size);

  foreach(var doc in documents)
  {
    buffer.append(doc);
  }

  return buffer.ToString();
}