Linux 内存映射文件消耗的磁盘比预期的要多

Question

上下文： 我在使用 ACE_Mem_Map 创建的代码中使用内存映射文件。观察到内存映射文件消耗的磁盘空间比预期的要多。

场景： 我有一个包含 15KB 字符数组的结构。我已经为这个结构的数组创建了一个内存映射文件，文件大小约为 2GB。

1. 如果我尝试访问 char 数组的几个字节（比如 256），则消耗的文件大小显示为 521 MB，但文件系统显示的实际磁盘使用量（使用 df -h）超过 3GB。
2. 如果我访问内存的所有字节，则文件大小和磁盘使用量均显示为 2 GB。

环境： 操作系统：Oracle Linux 7.3 内核版本：3.10.0/4.1.12

代码：

#include<ace/Mem_Map.h>
#include <stdio.h>

#define TEST_BUFF_SIZE 15*1024

typedef struct _test_struct_ {
    char test[TEST_BUFF_SIZE];

    _test_struct_() {
        reset();
    }

    void reset() {
        /* Issue replicating */
        memset(test, '\0', 256);

        /* Issue not replicating */
        memset(test, '\0', TEST_BUFF_SIZE);
    }
}TestStruct_t;

int main(int argc, char *argv[]) {

    if(3 != argc) {
        printf("Usage: %s <num of blocks> <filename>\n",
                argv[0]);
        return -1;
    }
    ACE_Mem_Map map_buf_;

    size_t num_of_blocks = strtoull(argv[1], NULL, 10);

    size_t MAX_SIZE = num_of_blocks*sizeof(TestStruct_t);

    char* mmap_file_name = argv[2];

    printf("num_of_blocks[%llu], sizeof(TestStruct_t)[%llu], MAX_SIZE[%llu], mmap_file_name[%s]\n",
            num_of_blocks,
            sizeof(TestStruct_t),
            MAX_SIZE,
            mmap_file_name);

    TestStruct_t *base_addr_;

    ACE_HANDLE fp_ = ACE_OS::open(mmap_file_name,O_RDWR|O_CREAT,
            ACE_DEFAULT_OPEN_PERMS,0);

    if (fp_ == ACE_INVALID_HANDLE)
    {
        printf("Error opening file\n");
        return -1;
    }
    map_buf_.map(fp_,MAX_SIZE,PROT_WRITE,MAP_SHARED);

    base_addr_ = (TestStruct_t*)map_buf_.addr();
    if (base_addr_ == MAP_FAILED)
    {
        printf("Map init failure\n");
        ACE_OS::close(fp_);
        return -1;
    }

    printf("map_buf_ size[%llu]\n",
            map_buf_.size());

    for(size_t i = 0; i < num_of_blocks; i++) {
        base_addr_[i].reset();
    }

    return 0;
}

谁能解释一下为什么会发生场景 1？？

注意：在场景 1 中，如果我复制生成的 mmap 文件然后删除该副本，那么额外的 2.5GB 磁盘空间将被释放。不知道原因

Answer 1

我将你的程序“升级”到接近 C 并减去任何 ACE 并得到这个：

$ ./a.out 32 fred
num_of_blocks[32], sizeof(TestStruct_t)[15360], MAX_SIZE[491520], mmap_file_name[fred]
Bus error: 10

这几乎是意料之中的。 Mmap 不会扩展映射文件的大小，因此当您尝试引用未填充的部分时会产生地址错误。 因此，答案是无论 ACE.map 做什么，它都可能会调用 ftruncate(2) 之类的东西来将文件扩展为您作为参数提供的大小。 @John Bollinger 通过询问 how are you measuring that: ls 或 du 来暗示这一点。你应该使用后者。 反正C版差不多：

#include <sys/mman.h>
#include <sys/types.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>

#define TEST_BUFF_SIZE 15*1024

typedef struct _test_struct_ {
    char test[TEST_BUFF_SIZE];

    _test_struct_() {
        reset();
    }

    void reset() {
        /* Issue replicating */
        memset(test, '\0', 256);

        /* Issue not replicating */
        memset(test, '\0', TEST_BUFF_SIZE);
    }
}TestStruct_t;

int main(int argc, char *argv[]) {

    if(argc < 3) {
        printf("Usage: %s <num of blocks> <filename>\n",
                argv[0]);
        return 1;
    }
    void *buf;

    size_t num_of_blocks = strtoull(argv[1], NULL, 10);

    size_t MAX_SIZE = num_of_blocks*sizeof(TestStruct_t);

    char* mmap_file_name = argv[2];

    printf("num_of_blocks[%zu], sizeof(TestStruct_t)[%zu], MAX_SIZE[%zu], mmap_file_name[%s]\n",
            num_of_blocks,
            sizeof(TestStruct_t),
            MAX_SIZE,
            mmap_file_name);


    int fp = open(mmap_file_name,O_RDWR|O_CREAT,0666);

    if (fp == -1)
    {
        perror("Error opening file");
        return 1;
    }
    /*SOMETHING CLEVER*/
    switch (argc) {
    case 3:
        break;
    case 4:
        if (ftruncate(fp, MAX_SIZE) != 0) {
            perror("ftruncate");
            return 1;
        }
        break;
    case 5:
        if (lseek(fp, MAX_SIZE-1, SEEK_SET) != MAX_SIZE-1 ||
            write(fp, "", 1) != 1) {
            perror("seek,write");
            return 1;
        }
    }
    void *b = mmap(0, MAX_SIZE, PROT_READ|PROT_WRITE, MAP_SHARED, fp, 0);
    if (b == MAP_FAILED)
    {
        perror("Map init failure");
        return 1;
    }
    TestStruct_t *base_addr = (TestStruct_t *)b;

    for(size_t i = 0; i < num_of_blocks; i++) {
        base_addr[i].reset();
    }

    return 0;
}

SOMETHING CLEVER 位允许您使用空文件 (argc == 3)、使用 ftruncate (argc == 4) 扩展它，或者使用 lseek && write (argc == 5) 扩展它。

在 UNIX-y 系统上，ftruncate 可能会也可能不会为您的文件保留空间；没有保留空间的加长文件称为 sparce。几乎普遍， lseek && write 将创建一个稀疏文件，除非您的系统不支持。

sparce 文件将在您写入时分配实际的磁盘块，但是，如果它失败，它会传递一个信号，而预分配的则不会。 底部的循环遍历整个范围，因此文件将始终增长；减少该循环，您可以查看这些选项是否会对您的系统产生影响。