使用空间约束对数据进行排序

Question

现在问题很简单。您有 1000 MB，您必须对其进行排序。现在的问题是您只有 100 MB 的空间来对数据进行排序。 （假设 1000 MB 存储在磁盘中，而您只有 100 MB 的 RAM 来对数据进行排序。-任何时候，您的 RAM 中只能有 100 MB 的数据。）

现在我想出了这个解决方案：

1. 将数据分成 10 部分 - 每部分 100 MB，然后使用快速排序对其进行排序。
2. 然后将所有数据块写入硬盘。
3. 现在从每个块中选择前 10 MB，然后合并。现在你有 100 MB。现在将这 100 MB 分开。
4. 现在做同样的事情。从每个块中选择接下来的 10 MB 并合并。
5. 继续这样做，然后连接数据。

现在我面临的问题是，每次连接时我们都会单独合并 100 MB，我们会出错。 （这 100 MB 也应该合并在一起。）

我该如何解决这个问题？

Answer 1

外部合并排序在合并阶段与内部版本不同。在您的问题中，您尝试将内部合并算法直接应用于外部合并。

因此，您最终不得不合并两个大小为n / 2 的块。正如您正确指出的那样，这是行不通的，因为您的内存不足。

假设您有足够的内存对所有元素中的1/k 进行排序。这将为您留下k 排序列表。您无需合并两个列表，而是一次合并所有 k：

1. 选择一个输出缓冲区大小。一个不错的价值似乎是n / 2。这会为每个子块留下 n / 2 内存用于输入缓冲或 m = n / (2 x k)。
2. 从每个子块中读取第一个m 元素。现在所有内存都已使用，并且您在内存中的每个子块中拥有最低的 m 元素。
3. 从每个k 输入缓冲区中，选择最小值。将此值附加到输出缓冲区中。重复直到您的输入缓冲区之一用完。
4. 如果您的输入缓冲区之一用完，请从磁盘上的子块中读取下一个 m 元素。如果没有更多元素，您就完成了子块。
5. 如果输出缓冲区已满，请将其附加到输出文件并将其位置重置为开头。
6. 冲洗并从 (3) 开始重复，直到所有子块用完。

现在输出文件已排序。

您可以将输入缓冲区视为已排序存储桶上的一组流式缓冲区。检查流并从所有流中选择最佳（即最低）元素并将其保存到输出列表中。从外部看，它是一个带有智能预取和输出缓冲的流合并。

Answer 2

您需要重复步骤 3 和 4。N-1 次。