为 N 个排序的文件实现 N 路合并的最佳方法是什么？
假设我有 9 个已排序的文件，每个文件有 10 条记录？如何合并这些文件以创建一个包含 90 条已排序记录的大文件？
【问题讨论】：
我假设可能有比您在示例中提供的更多数据。如果您可以同时打开所有文件，则可以使用此算法：
请注意，您不必一次将所有文件读入内存，因此如果您有合理数量的大文件，这将很有效，但如果您有很多小文件，则不会。
如果您有很多小文件，您应该将它们合并成组，为每个组制作一个输出文件，然后重复该过程以合并这些新组。
在 C# 中，您可以使用例如 SortedDictionary 来实现优先级队列。
【讨论】：
解决另一个答案中的 cmets：
如果您的文件数量不定，我会这样做。这只是一个草图。此代码无法编译，我的方法名称错误，等等。
// initialize the data structures
var priorityQueue = new SortedDictionary<Record, Stream>();
var streams = new List<Stream>();
var outStream = null;
try
{
// open the streams.
outStream = OpenOutputStream();
foreach(var filename in filenames)
streams.Add(GetFileStream(filename));
// initialize the priority queue
foreach(var stream in streams)
{
var record = ReadRecord(stream);
if (record != null)
priorityQueue.Add(record, stream);
// the main loop
while(!priorityQueue.IsEmpty)
{
var record = priorityQueue.Smallest;
var smallestStream = priorityQueue[record];
WriteRecord(record, outStream);
priorityQueue.Remove(record);
var newRecord = ReadRecord(smallestStream);
if (newRecord != null)
priorityQueue.Add(newRecord, smallestStream);
}
}
finally { clean up the streams }
这有意义吗？您只需继续从优先级队列中抓取最小的东西，并将其替换为该流中的下一条记录（如果有的话）。最终队列将是空的，您将完成。
【讨论】：
策略可能取决于数据量。
这是一个代码示例，它读取 N 个排序的文本文件并将它们合并。我没有包括重复检查，但它应该很容易实现。
首先是一个辅助类。
class MergeFile : IEnumerator<string>
{
private readonly StreamReader _reader;
public MergeFile(string file)
{
_reader = File.OpenText(file);
Current = _reader.ReadLine();
}
public string Current { get; set; }
public void Dispose()
{
_reader.Close();
}
public bool MoveNext()
{
Current = _reader.ReadLine();
return Current != null;
}
public void Reset()
{
throw new NotImplementedException();
}
object IEnumerator.Current
{
get { return Current; }
}
}
然后是读取和合并的代码（为了在生产中清晰起见，应该对其进行重构）：
// Get the file names and instantiate our helper class
List<IEnumerator<string>> files = Directory.GetFiles(@"C:\temp\files", "*.txt").Select(file => new MergeFile(file)).Cast<IEnumerator<string>>().ToList();
List<string> result = new List<string>();
IEnumerator<string> next = null;
while (true)
{
bool done = true;
// loop over the helpers
foreach (var mergeFile in files)
{
done = false;
if (next == null || string.Compare(mergeFile.Current, next.Current) < 1)
{
next = mergeFile;
}
}
if (done) break;
result.Add(next.Current);
if (!next.MoveNext())
{
// file is exhausted, dispose and remove from list
next.Dispose();
files.Remove(next);
next = null;
}
}
【讨论】：
我想说不要使用优先队列，不要使用 IEnumerable。两者都很慢。
这是一种在外部存储器中对已排序文件进行排序或合并的快速方法：
http://www.codeproject.com/KB/recipes/fast_external_sort.aspx
【讨论】：