cmocka malloc 测试OOM和gcov

Question

我很难使用 cmocka、测试 malloc 是否失败（模拟）以及使用 gcov 来找到一个小问题的答案

关于 cmocka+gcov 的更新：我注意到在我的 cmocka 测试中模拟一个函数后，我会立即得到空的 gcda 文件。为什么？谷歌搜索 cmocka 和 gcov 给出了人们谈论将两者结合使用的结果。似乎大多数人都在使用 CMake，我稍后会看到，但应该没有（我能想到的）需要我使用 cmake 的理由。为什么我不能只使用带有 --coverage/-lgcov 标志的 cmocka？

原始问题：

我尝试了无数种组合，主要基于两个主要想法：

我尝试使用 -Wl,--wrap=malloc 来包装对 malloc 的调用。从我的 cmocka 测试中，我尝试使用 will_return(__wrap_malloc, (void*)NULL) 来模拟 malloc 失败。在我的 wrap 函数中，我使用 mock() 来确定我应该返回 __real_malloc() 还是 NULL。这具有理想的效果，但是我发现 gcov 无法创建 gcda 文件，这是包装 malloc 的部分原因，因此我可以测试 malloc 失败并获得代码覆盖率结果。我觉得我玩过带有符号的肮脏游戏，并且搞砸了从其他编译单元（gcov？cmocka？）调用的 malloc() 调用。

我尝试的另一种方法是对我们 gcc -include 使用 #define for malloc 来调用“my malloc”并编译要使用 mymalloc.c 测试的目标代码（定义“my malloc”）。因此，#define malloc _mymalloc 可以帮助我仅从目标测试代码中调用“特殊 malloc”，而在其他任何地方都单独调用 malloc（即，单独留下其他编译单元，以便它们始终调用真正的 malloc）。但是我不知道如何正确使用 will_return() 和 mock() 来检测失败案例与成功案例。如果我正在测试 malloc() 失败，我会得到我想要的，我会根据 mock() 返回 NULL 从“malloc”返回 NULL——这一切都是在 malloc 的包装函数中完成的，它只在目标代码中调用。但是，如果我想返回真正的 malloc 的结果，那么 cmocka 将失败，因为我没有从 mock() 返回结果。我希望我可以让 cmocka 从 mock() 宏中取出结果，然后不在乎我没有返回结果，因为我需要 malloc() 的真实结果，以便被测代码可以正常运行。

我觉得应该可以将 malloc 测试与 cmocka 结合起来并获得 gcov 结果。

无论答案是什么，我都想提取以下内容或类似内容。

int business_code()
{
    void* d = malloc(somethingCalculated);
    void* e = malloc(somethingElse);
    if(!d) return someRecovery();
    if(!e) return someOtherRecovery();
    return 0;
}

然后进行 cmocka 测试，例如

cmocka_d_fail()
{
    will_return(malloc, NULL);
    int ret = business_code();
    assert_int_equal(ret, ERROR_CODE_D);
}

cmocka_e_fail()
{
    will_return(malloc, __LINE__); // someway to tell wrapped malloc to give me real memory because the code under test needs it
    will_return(malloc, NULL); // I want "d" malloc to succeed but "e" malloc to fail
    int ret = business_code();
    assert_int_equal(ret, ERROR_CODE_E);
}

我尝试了一些 #define/wrap 想法，但最后我要么搞砸了 malloc 并导致 gcov 不吐出我的覆盖率数据，要么我没有办法让 cmocka 运行 malloc 案例并返回真实内存，即不从 mock() 调用返回。一方面，我可以从我的测试驱动程序中调用真正的 malloc 并将其传递给 will_return 但我的 test_code 不知道所需内存的大小，只有被测试的代码知道。

鉴于时间限制，我不想离开 cmocka 和我当前的测试基础架构。如果我想要的东西是不可能的，我会在未来考虑其他想法。我正在寻找的东西我知道这不是新的，但我正在尝试使用 cmocka/gcov 解决方案。

谢谢

Answer 1

这一切都归结为我使用了哪些符号，使用 -lW、--wrap 或巧妙的#defines。在这两种情况下，我要么破坏其他呼叫站点的符号并破坏代码，要么将 cmocka 与不使排队返回的出队混淆。

另外，我的 gcda 文件没有正确生成的原因是我尝试使用 -Wl,--wrap=fseek 和 cmocka 的 mock() 把我搞砸了。

fseek/malloc/etc 上的巧妙#define 结合 mock() 用于在包装器实现中调用的符号可以简单地查询测试套件以查看是否应该返回一些虚假的东西以导致测试失败或返回真实结果。有点hacky，但可以解决问题。

Answer 2

此解决方法适用于我：包装 _test_malloc() 而不是 malloc()。

可以在https://github.com/CESNET/Nemea-Framework/blob/2ef806a0297eddc920dc7ae71731dfb2c0e49a5b/libtrap 找到工作示例。 tests/test_trap_buffer.c 包含一个包装函数 __wrap__test_malloc() 的实现（注意名称中的 4x '_'）

 void *__real__test_malloc(const size_t size, const char* file, const int line);

 void *__wrap__test_malloc(size_t size)
 {
    int fail = (int) mock();
    if (fail) {
       return NULL;
    } else {
       return __real__test_malloc(size, __FILE__, __LINE__);
    }
 }

例如test_create_destroy() 测试使用 3x malloc() 的 tb_init() 函数：

 static void test_create_destroy(void **state)
 {
    trap_buffer_t *b = NULL;
    (void) state; /* unused */

    b = tb_init(0, 0);
    assert_null(b);
    b = tb_init(0, 1);
    assert_null(b);
    b = tb_init(1, 0);
    assert_null(b);

    will_return(__wrap__test_malloc, 0);
    will_return(__wrap__test_malloc, 0);
    will_return(__wrap__test_malloc, 0);
    b = tb_init(10, 100000);
    assert_non_null(b);
    tb_destroy(&b);
    tb_destroy(&b);
    tb_destroy(NULL);
 }

为了完整起见，tb_init() 在 src/trap_buffer.c 第 146 行。

编译可以像这样运行（来自 Makefile 的示例）：

buffer:
     gcc --coverage -g -O0 -DUNIT_TESTING -c tests/test_trap_buffer.c
     gcc --coverage -g -O0 -DUNIT_TESTING -c src/trap_buffer.c
     gcc -g -O0 -Wl,--wrap=_test_malloc -lcmocka --coverage -DUNIT_TESTING -o test_buffer test_trap_buffer.o trap_buffer.o

请参阅为 cmocka 定义的 UNIT_TESTING 预处理器宏，这很重要，因为它可以在我们的代码中测试分配函数。

最后，运行测试会为我们生成*.gcda 文件，因此我们可以可视化代码覆盖率。测试tb_init()的输出：https://codecov.io/gh/CESNET/Nemea-Framework/src/775cfd34c9e74574741bc6a0a2b509ae6474dbdb/libtrap/src/trap_buffer.c#L146