在特定的 NUMA 节点上固定和分配张量流

Question

我的系统有两个 NUMA 节点和两个连接到 NUMA 节点 1 (XEON E5) 的 GTX 1080 Ti。

NN 模型通过使用 Keras 的 multi_gpu_model 的单机多 GPU 数据并行进行训练。

如何指示 TF 仅在 NUMA 节点 1 上分配内存和执行 TF 工作程序（合并权重）？出于性能原因，我想阻止通过 QPI 访问内存。

tf.device():

1) tf.device('/cpu:0') 是指物理 CPU 还是物理内核，还是只是一个在所有物理内核之间移动的“逻辑设备”（线程|池？）在线？

2) 如何影响 TF 调度程序将逻辑设备映射到一组物理内核？

3) 对于 NUMA 系统上的内存分配 - TF 是否支持在特定节点上分配内存？还是我必须退回到 set_mempolicy()/numactl (LINUX)？

Answer 1

不，回答...

我正在使用numactl --cpunodebind=1 --membind=1 - 将执行和内存分配绑定到 NUMA 节点 1。