修改内核模块中的控制寄存器

Question

以下简单内核模块在加载后设置 cr4 寄存器 (CR4.VMXE) 的第 13 位，并在退出时清除该位。

vmx.c

#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/init.h>

MODULE_LICENSE("GPL");

static inline uint64_t getcr4(void) {
    register uint64_t ret = 0;

    asm volatile (
        "movq %%cr4, %0\n"
        :"=r"(ret)
    );

    return ret;
}

static inline void setcr4(register uint64_t val) {
    asm volatile (
        "movq %0, %%cr4\n"
        :
        :"r"(val)
    );
}

static int __init init_routine(void) {
    uint64_t cr4 = getcr4();

    printk(KERN_INFO "VTX Test loaded: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
    cr4 |= (1 << 13);
    setcr4(cr4);
    cr4 = getcr4();
    printk(KERN_INFO "cr4: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));

    return 0;
}

static void __exit exit_routine(void) {
    uint64_t cr4 = getcr4();

    printk(KERN_INFO "cr4: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
    cr4 &= ~(1 << 13);
    setcr4(cr4);
    cr4 = getcr4();
    printk(KERN_INFO "VTX Test exited: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
}

module_init(init_routine);
module_exit(exit_routine);

生成文件

obj-m += vmx.o

all:
    make -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules

clean:
    make -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean

要运行我使用make clean && make && sudo insmod vmx.ko && sudo rmmod vmx && sudo dmesg -c 的模块。这有时会给我以下（预期的）输出

[ 2295.121537] VTX Test loaded: 1312736 (0).
[ 2295.121540] cr4: 1320928 (1).
[ 2295.123975] cr4: 1320928 (1).
[ 2295.123977] VTX Test exited: 1312736 (0).

有时还有以下内容：

[ 2296.256982] VTX Test loaded: 1320928 (1).
[ 2296.256984] cr4: 1320928 (1).
[ 2296.259481] cr4: 1312736 (0).
[ 2296.259483] VTX Test exited: 1312736 (0).

第二个输出中的第二行和第三行对我来说似乎很奇怪，因为在离开init_routine 之后，修改后的控制寄存器 cr4 似乎已被重置。另外奇怪的是，在第一行中似乎设置了 VMXE 位，这实际上没有任何意义。这种行为正常吗？怎么解释？是否会运行另一个修改 CR4 的内核模块？这似乎很奇怪，因为我见过几个 VTX 实现，它们都在初始化例程中设置了 VMXE 位，并在退出例程中以与本模块相同的方式清除该位。

Answer 1

您可能已经加载了kvm 模块（以及相关的kvm-intel 或kvm-amd）内核模块。这些模块已经管理处理器的 VT 状态，如果您开始在其他地方修改它，可能会非常困惑。

查看内核源代码中的arch/x86/kvm 目录，了解已经存在的内容。

Answer 2

事实证明，问题在于寄存器没有在所有 CPU 内核上修改。为了确保修改发生在所有内核上，调用on_each_cpu 似乎就足够了。修正以下代码，Makefile 不变。

#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/init.h>

MODULE_LICENSE("GPL");

static inline uint64_t getcr4(void) {
    register uint64_t ret = 0;

    asm volatile (
        "movq %%cr4, %0\n"
        :"=r"(ret)
    );

    return ret;
}

static inline void setcr4(register uint64_t val) {
    asm volatile (
        "movq %0, %%cr4\n"
        :
        :"r"(val)
    );
}

static void setvmxe(void* info) {
    uint64_t cr4 = getcr4();

    cr4 |= (1 << 13);
    setcr4(cr4);
}

static void clearvmxe(void* info) {
    uint64_t cr4 = getcr4();

    cr4 &= ~(1 << 13);
    setcr4(cr4);
}

static int __init init_routine(void) {
    uint64_t cr4 = getcr4();

    printk(KERN_INFO "VTX Test loaded: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
    on_each_cpu(setvmxe, NULL, 0);
    cr4 = getcr4();
    printk(KERN_INFO "cr4: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));

    return 0;
}

static void __exit exit_routine(void) {
    uint64_t cr4 = getcr4();

    printk(KERN_INFO "cr4: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
    on_each_cpu(clearvmxe, NULL, 0);
    cr4 = getcr4();
    printk(KERN_INFO "VTX Test exited: %llu (%u).\n", cr4, (unsigned char)((cr4 >> 13) & 1));
}

module_init(init_routine);
module_exit(exit_routine);