mmap() 整个大文件

Question

我正在尝试使用以下代码 (test.c) “映射”一个二进制文件 (~ 8Gb)。

#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

#define handle_error(msg) \
  do { perror(msg); exit(EXIT_FAILURE); } while (0)

int main(int argc, char *argv[])
{
   const char *memblock;
   int fd;
   struct stat sb;

   fd = open(argv[1], O_RDONLY);
   fstat(fd, &sb);
   printf("Size: %lu\n", (uint64_t)sb.st_size);

   memblock = mmap(NULL, sb.st_size, PROT_WRITE, MAP_PRIVATE, fd, 0);
   if (memblock == MAP_FAILED) handle_error("mmap");

   for(uint64_t i = 0; i < 10; i++)
   {
     printf("[%lu]=%X ", i, memblock[i]);
   }
   printf("\n");
   return 0;
}

test.c 使用gcc -std=c99 test.c -o test 和file 编译，测试返回：test: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.15, not stripped

虽然这对小文件很有效，但当我尝试加载大文件时会出现分段错误。程序实际返回：

Size: 8274324021 
mmap: Cannot allocate memory

我设法使用 boost::iostreams::mapped_file 映射整个文件，但我想使用 C 和系统调用来映射。我的代码有什么问题？

Answer 1

MAP_PRIVATE 映射需要保留内存，因为写入这些页面可能会导致写时复制分配。这意味着您不能映射比物理内存 + 交换大得多的东西。尝试改用MAP_SHARED 映射。这意味着对映射的写入将反映在磁盘上——因此，内核知道它总是可以通过写回来释放内存，所以它不会限制你。

我还注意到您正在使用PROT_WRITE 进行映射，但您随后继续从内存映射中读取。您还使用O_RDONLY 打开了文件 - 这本身可能对您来说是另一个问题；如果要将PROT_WRITE 与MAP_SHARED 一起使用，则必须指定O_RDWR。

至于PROT_WRITE，这恰好适用于 x86，因为 x86 不支持只写映射，但可能会导致其他平台上的段错误。请求PROT_READ|PROT_WRITE - 或者，如果你只需要阅读，PROT_READ。

在我的系统（具有 676MB RAM，256MB 交换空间的 VPS）上，我重现了您的问题；更改为MAP_SHARED 会导致EPERM 错误（因为我不允许写入使用O_RDONLY 打开的支持文件）。更改为PROT_READ 和MAP_SHARED 允许映射成功。

如果您需要修改文件中的字节，一种选择是将您要写入的文件的范围设为私有。也就是说，munmap 并使用 MAP_PRIVATE 重新映射您打算写入的区域。当然，如果您打算写入整个文件，那么您需要 8GB 内存。

或者，您可以将1 写入/proc/sys/vm/overcommit_memory。这将允许映射请求成功；但是，请记住，如果您真的尝试使用全部 8GB 的​​ COW 内存，您的程序（或其他一些程序！）将被 OOM 杀手杀死。

Answer 2

Linux（显然还有一些其他 UNIX 系统）具有用于 mmap(2) 的 MAP_NORESERVE 标志，可用于显式启用交换空间过度使用。当您希望映射的文件大于系统上可用的可用内存量时，这会很有用。

这在与MAP_PRIVATE 一起使用时特别方便，并且只打算写入内存映射范围的一小部分，否则会触发整个文件的交换空间预留（或导致系统返回ENOMEM ，如果尚未启用系统范围的过度使用并且您超出了系统的可用内存）。

需要注意的问题是，如果您确实写入该内存的大部分，惰性交换空间预留可能会导致您的应用程序消耗所有空闲 RAM 并在系统上进行交换，最终触发 OOM 杀手（ Linux）或导致您的应用收到SIGSEGV。

Answer 3

您没有足够的虚拟内存来处理该映射。

例如，我这里有一台 8G RAM 和 ~8G 交换的机器（因此可用的总虚拟内存为 16G）。

如果我在大约 8G 的 VirtualBox 快照上运行您的代码，它可以正常工作：

$ ls -lh /media/vms/.../snap.vdi
-rw------- 1 me users 9.2G Aug  6 16:02 /media/vms/.../snap.vdi
$ ./a.out /media/vms/.../snap.vdi
Size: 9820000256 
[0]=3C [1]=3C [2]=3C [3]=20 [4]=4F [5]=72 [6]=61 [7]=63 [8]=6C [9]=65 

现在，如果我放弃交换，我将剩下 8G 的总内存。 （不要在活动服务器上运行。）结果是：

$ sudo swapoff -a
$ ./a.out /media/vms/.../snap.vdi
Size: 9820000256 
mmap: Cannot allocate memory

因此，请确保您有足够的虚拟内存来保存该映射（即使您只触及该文件中的几页）。