对 OMP_NUM_THREADS 和 numactl NUMA-cores 绑定感到困惑答案

【问题标题】：Confused about OMP_NUM_THREADS and numactl NUMA-cores bindings对 OMP_NUM_THREADS 和 numactl NUMA-cores 绑定感到困惑
【发布时间】：2021-05-25 17:51:14
【问题描述】：

我对同一 python 命令的多次启动如何绑定到 NUMA Xeon 机器上的核心感到困惑。

我读到OMP_NUM_THREADS env var 设置了为numactl 进程启动的线程数。因此，如果我在超线程 HT 机器（下面的 lscpu 输出）上运行 numactl --physcpubind=4-7 --membind=0 python -u test.py 和 OMP_NUM_THREADS=4，它会将这个 numactl 进程限制为 4 个线程。但是由于机器有HT，我不清楚上面的4-7是4个物理还是4个逻辑。

如何找到0-23,96-119 中的哪些 numa-node-0 内核是物理的，哪些是逻辑的？ 96-119 都是合乎逻辑的还是穿插的？
如果4-7 都是物理内核，那么开启 HT 后将只需要 2 个物理内核，那么另外 2 个会发生什么？
在将线程绑定到物理内核时，OpenMP 库在哪里被调用？

（根据我有限的理解，我可以在 sh shell 中使用不同的 numactl 绑定和 OMP_NUM_THREADS 启动命令 python main.py 20 次，即使我没有明确使用 MPI lib任何地方，对吗？）

Architecture:                    x86_64
CPU op-mode(s):                  32-bit, 64-bit
Byte Order:                      Little Endian
Address sizes:                   46 bits physical, 48 bits virtual
CPU(s):                          192
On-line CPU(s) list:             0-191
Thread(s) per core:              2
Core(s) per socket:              48
Socket(s):                       2
NUMA node(s):                    4
Vendor ID:                       GenuineIntel
CPU family:                      6
Model:                           85
Model name:                      Intel(R) Xeon(R) Platinum 9242 CPU @ 2.30GHz
Stepping:                        7
Frequency boost:                 enabled
CPU MHz:                         1000.026
CPU max MHz:                     2301,0000
CPU min MHz:                     1000,0000
BogoMIPS:                        4600.00
L1d cache:                       3 MiB
L1i cache:                       3 MiB
L2 cache:                        96 MiB
L3 cache:                        143 MiB
NUMA node0 CPU(s):               0-23,96-119
NUMA node1 CPU(s):               24-47,120-143
NUMA node2 CPU(s):               48-71,144-167
NUMA node3 CPU(s):               72-95,168-191

【问题讨论】：

标签： parallel-processing openmp cpu intel numactl

【解决方案1】：

我读到 OMP_NUM_THREADS env var 设置为 numactl 进程启动的线程数。

numactl 不启动线程。它控制进程或共享内存的 NUMA 策略。但是，OpenMP 运行时可能会根据numactl 设置的环境调整区域创建的线程数（尽管 AFAIK 标准未定义此行为）。您应该使用环境变量OMP_NUM_THREADS 来设置线程数。您可以使用环境变量 OMP_DISPLAY_ENV 检查 OpenMP 配置。

如何找到 0-23,96-119 中的 numa-node-0 内核中哪些是物理的，哪些是逻辑的？ 96-119 都是合乎逻辑的还是穿插的？

这有点复杂。物理 ID 在 /proc/cpuinfo 中可用。它们不能保证随着时间的推移保持不变（例如，它们可以在机器重新启动时改变）也不能保证“直观”（即遵循规则，例如对于彼此靠近的线程/内核是连续的）。应该避免手动对它们进行硬编码。例如BIOS 更新或内核更新可能会导致以不同的顺序枚举逻辑内核。

您可以使用出色的工具 hwloc 将定义明确的确定性逻辑 ID 转换为物理 ID。在这里，您不能完全确定 0 和 96 是共享同一个内核的两个线程（尽管这对于您的处理器来说可能是正确的，看起来内核从每个物理内核中枚举了一个逻辑内核作为内核 0..95，然后每个物理核心上的另一个逻辑核心为 96..191）。另一个常见的可能性是 Linux 连续做每个物理核心的两个逻辑核心，使逻辑核心 2n 和 2n+1 共享一个物理核心。

如果 4-7 个都是物理核心，那么开启 HT 后就只需要 2 个物理核心，那么另外 2 个会怎样？

numctl 的

--physcpubind 接受物理 cpu 编号，如 /proc/cpuinfo 的“处理器”字段中关于 the documentation 所示。因此，这里的4-7 应被解释为物理线程 ID。两个线程 ID 可以引用同一个物理内核（在启用超线程的 Intel 处理器上总是如此）。

在将线程绑定到物理内核时，OpenMP 库在哪里被调用？

AFAIK，这取决于所使用的 OpenMP 运行时（例如 GOMP、IOMP 等）的实现。当遇到第一个并行部分时，OpenMP 运行时的初始化通常会延迟完成。对于绑定，一些运行时手动读取/proc/cpuinfo，而另一些使用hwloc。如果您想要确定性绑定，那么您应该使用 OMP_PLACES 和 OMP_PROC_BIND 环境变量来告诉运行时使用自定义的用户定义方法而不是默认方法来绑定线程。

如果要安全便携，请使用以下配置（使用 Bash）：

OMP_NUM_THREADS=4
OMP_PROC_BIND=TRUE
OMP_PLACES={$(hwloc-calc --physical-output --sep "},{" --intersect PU core:all.pu:0)}

OpenMP 线程将安排在 OpenMP 位置。上述配置配置了 OpenMP 运行时，以便在 4 个不同的固定内核上静态映射 4 个线程。

【讨论】：