read() 因地址错误而失败，valgrind 显示 Syscall 参数 read(buf) 指向不可寻址的字节

Question

我有一个函数可以使用read() 系统调用读取文件，并返回带有从文件读取的数据的char 指针。如有必要，该函数会重新分配空间。在特定点之后，读取失败并出现错误“错误地址”。失败的最小代码如下所示：

#include <errno.h>
#include <fcntl.h>
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>

const unsigned BUFSIZE = 8192;

typedef struct
{
    char* buffer;
    long size;
} string_t;

string_t read_file(const char* path)
{
    string_t error = { .buffer = NULL, .size = -1 };
    int fd = open(path, O_RDONLY);
    if (fd == -1) {
        perror("open() failed in read_file");
        return error;
    }

    string_t s;
    s.buffer = malloc(BUFSIZE * sizeof(char));
    s.size = 0;

    int nread = 0;
    long total_read = 0;

    while ((nread = read(fd, s.buffer + total_read, BUFSIZE)) != 0) {
        if (nread == -1) {
            if (errno == EINTR) {
                perror("error EINTR");
                continue;
            } else {
                perror("read() failed in read_file");
                close(fd);
                return error;
            }
        } else {
            printf("%ld %ld %d\n", total_read, s.size, nread);
            total_read += nread;
            s.size = total_read;
            if (nread == BUFSIZE) {
                if (realloc(s.buffer, s.size + BUFSIZE) == NULL) {
                    perror("out of memory...");
                    close(fd);
                    return error;
                }
            }
        }
    }

    close(fd);
    s.buffer[s.size] = 0;
    return s;
}

int main()
{
    const char* path = "/usr/share/dict/cracklib-small";

    string_t s = read_file(path);
    if (s.size == -1) {
        printf("error\n");
        return 1;
    }

    printf("%s\n", s.buffer);
    free(s.buffer);
    return 0;
}

运行它会得到以下结果：

0 0 8192
8192 8192 8192
16384 16384 8192
24576 24576 8192
32768 32768 8192
40960 40960 8192
49152 49152 8192
57344 57344 8192
65536 65536 8192
73728 73728 8192
81920 81920 8192
90112 90112 8192
98304 98304 8192
106496 106496 8192
114688 114688 8192
122880 122880 8192
131072 131072 8192
read() failed in read_file: Bad address
error

Valgrind 展示：

==4299== Syscall param read(buf) points to unaddressable byte(s)
==4299==    at 0x5184F00: __read_nocancel (in /usr/lib/libc-2.21.so)
==4299==    by 0x400A58: read_file (file_helpers.c:31)
==4299==    by 0x400AA3: main (file_helpers.c:64)
==4299==  Address 0x7568040 is 0 bytes after a block of size 8,192 free'd
==4299==    at 0x4C2C29E: realloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==4299==    by 0x400A12: read_file (file_helpers.c:46)
==4299==    by 0x400AA3: main (file_helpers.c:64)
==4299== 

我可以看到它抱怨 realloc，但我不明白是什么导致了错误的地址错误。 read() 写入的缓冲区是否在最后一个 realloc() 之后以某种方式损坏？

wc -c 报告运行函数的文件有 477238 个字节。

Answer 1

问题可能与您使用realloc 的方式有关。 realloc(s.buffer, s.size + BUFSIZE) == NULL 不是使用realloc 的正确方法。 realloc取自here的返回值为：

在大小不等于 0 的情况下成功完成后，realloc() 应 返回一个指向（可能移动）分配空间的指针。如果尺寸是 0，要么是空指针，要么是唯一指针，都可以成功 传递给 free() 应返回。如果没有足够的可用 内存，realloc() 将返回一个空指针和 将 errno 设置为 ENOMEM。

关键部分是realloc 可以移动分配的空间及其数据。所以你不能只检查返回值是否为NULL。你想做更多的事情：

void *tmp = realloc(s.buffer, s.size + BUFSIZE);
if (tmp == NULL) {
  perror("out of memory...");
  free(s.buffer);  // Release the memory to avoid a leak
  close(fd);
  return error;
}
s.buffer = tmp;

换句话说，用返回值realloc 更新指针。如果数据没有被移动，realloc 返回传递给它的内存地址；如果它被移动，realloc 将返回一个新地址。

更新：

您可能没有遇到的另一个问题是您如何处理read 的返回值。如果read 返回的比请求的少，你不会realloc 更多的内存，进一步的读取可能会读过缓冲区。您现在可能不会遇到这种情况，因为它只会在read 没有失败并且读取的数据量不小于请求的数据量时才会显示。包含realloc 修复的解决方案如下：

int nread = 0;
long total_read = 0;
int space_remaining = BUFSIZE;

while ((nread = read(fd, s.buffer + total_read, space_remaining)) != 0) {
        if (nread == -1) {
            if (errno == EINTR) {
                perror("error EINTR");
                continue;
            } else {
                perror("read() failed in read_file");
                close(fd);
                return error;
            }
        } else {
            printf("%ld %ld %d\n", total_read, s.size, nread);
            total_read += nread;
            s.size = total_read;
            space_remaining -= nread;
            if (space_remaining == 0) {
                void *tmp = realloc(s.buffer, s.size + BUFSIZE);
                if (tmp == NULL) {
                    perror("out of memory...");
                    free(s.buffer);  // Release the memory to avoid a leak
                    close(fd);
                    return error;
                }
                s.buffer = tmp;
                space_remaining = BUFSIZE;
            }
        }
    }

变量space_remaining 用于跟踪缓冲区中剩余的空间量。这是读取的数量，并在缓冲区大小增加时重置。由于您realloc-ing 更多空间，您不想执行之前建议的典型 (BUFSIZE-total_read) 模式，尽管这是人们看到的典型模式。

如果read 始终返回请求的数据量，您将不会看到此问题。

Answer 2

乍一看，您对realloc() 的使用看起来不对。

if (realloc(s.buffer, s.size + BUFSIZE) == NULL)

此语句检查realloc() 是否成功。如果失败，这将处理这种情况。很好。

如果realloc()成功了呢？

根据man page，

realloc() 函数返回一个指向新分配内存的指针，该指针适合任何类型的变量对齐并且可能不同于ptr，或者如果请求失败，则为 NULL。如果size 等于0，则返回NULL 或适合传递给free() 的指针。如果realloc() 失败，则原始块保持不变；它没有被释放或移动。

这意味着，您将丢失新分配的内存，然后使用 free()d 内存。

我猜，您可能已经预料到 realloc() 会调整 s.buffer 本身的大小，但恐怕这里不是这样。

解决方案：

您应该将realloc() 的返回值收集到一个临时变量中，检查NULL，如果不是NULL，则将其分配回指针s.buffer。

FWIW，不要使用原始指针本身来收集realloc()的返回值，以防万一失败，你也会失去实际的内存。