内存映射驱动器的预定义区域

Question

我想使用内存映射 io 读取非常大的数据块。

这些大块数据来自硬盘，没有文件系统，只有数据。

在我开始这整个考验之前，我想知道两件事。

1. 是否可以将特定部分的内存映射到内存中，然后依次读取？首先，我有一个硬盘驱动器，我想读取 10 个 100mb 的块，但每个块由 1gb 的数据分隔。是否可以将这 10 个 100mb 的块一个接一个地进行内存映射，这样我就可以像它们一个接一个一样访问它？

2. 我可以内存映射大量数据吗？例如，假设我有一个 10tb 的磁盘。是否可以存储整个磁盘？我使用的是 64 位操作系统。

希望有人能澄清一下！

Answer 1

在 Linux 上，您可以使用 mmap() 系统调用将文件（甚至是块设备）映射到内存中。如果您不知道mmap() 的工作原理，请在继续回答此问题之前咨询man page。

mmap() 调用允许您为要创建的映射指定基地址。 POSIX 指定操作系统可以将此基地址作为在何处放置映射的提示。在 Linux 上，mmap() 会将映射放置在您请求的地址上，如果它是页边界（即可被 4096 整除）。您可以指定MAP_FIXED 以确保将映射放置在您想要的位置，但内核可能会告诉您这是不可能的。

您可以尝试使用上述方法一个接一个地映射您想要的块，但这显然只有在您的块的大小是页面大小的倍数（即 4096 字节）时才有效。我不建议您这样做，因为它可能会在不同的页面大小/配置上中断。

应该可以映射整个磁盘，具体取决于您的内存配置。您可能需要为此配置系统的过度使用行为。

我建议你试试映射整个磁盘是否有效。