DRAM Per-Rank 内存访问的性能计数器

Question

我有一个Intel(R) Core(TM) i7-4720HQ CPU @ 2.60GHz (Haswell) 处理器。随着时间的推移，我需要检索对每个 DRAM rank 的 访问次数，以 估计 其功耗。根据芯片组文档的261 页（即Datasheet, volume 2 (M- and H-processor lines)），我可以使用寄存器RAM—DRAM_ENERGY_STATUS 中的32 位值作为DRAM 能量估计。但我需要排名级别的能量估计。我还可以使用 core 和 offcore DRAM 访问性能计数器来估计功耗，但是，如前所述，我需要 per-排名统计。 除此之外，他们报告整个系统统计数据，而能量按等级计算。他们也确实不报告许多 DRAM 访问。

因此，IMC 计数器（即 uncore 计数器）应该是理想的选择。 Perf不支持per-rank计数器。我尝试使用PCM-Memory 访问IMC 柜台信息。但是/sys/bus/event_source/devices/uncore_imc 是不由内核安装的（版本是5.0.0-37-generic）并且该工具确实不检测CPU。我尝试手动访问uncore性能计数器。 整个系统 DRAM 访问计数器已记录在案，here（它们未记录在上述芯片组手册中）。我可以使用这些计数器检索 total DRAM read 和 write 访问。但是，没有关于频道或等级访问统计的信息。如何找到与这些计数器相关的偏移量？我应该使用反复试验吗？

---

P.S.：这个问题也在Intel Software Tuning, Performance Optimization & Platform Monitoring Forum问。

Answer 1

MSR_DRAM_ENERGY_STATUS 始终报告所有内存通道的能耗估计值。没有简单的方法可以将其分解为每个等级的能量。该寄存器报告了对 Haswell 的高度准确估计。

5.0.0-37-generic 内核是一个 Ubuntu 内核，并且支持 Haswell 上的 uncore_imc/data_reads/ 和 uncore_imc/data_writes/ 事件，它们分别代表来自 IMC 的数据读取 CAS 命令和数据写入 CAS 命令。完整的高速缓存行读取和完整的高速缓存行写入事务导致内存总线上的单个突发 64 字节事务到单个列。部分读取也作为总线上的单个全行读取执行，但由于协议的限制，部分写入可能需要全行读取，然后是全行写入。部分写入通常可以忽略不计。

uncore_imc/data_reads/ 和 uncore_imc/data_writes/ 事件发生在针对任何单元生成的 DRAM 内存的请求，而不仅仅是内核。这些名称由perf 给出，它们分别对应于您引用的英特尔文章中提到的UNC_IMC_DRAM_DATA_READS 和UNC_IMC_DRAM_DATA_WRITES。那里提到的其他三个事件允许您分别计算三个可能源（GT、IA 和 IO）中的每一个的请求（不是 CAS 命令！）。您不会在旧内核的/sys/bus/event_source/devices/uncore_imc/events 下找到它们。从主流内核 v5.9-rc2 开始，它们在 perf 中得到支持。

顺便说一下，PCM 也支持这些事件，它用于报告所有通道的读写带宽，但您应该使用工具 pcm.x，而不是 pcm-memory.x，它仅适用于服务器处理器。

Haswell H 处理器线处理器具有一个带有两个 DDR3L 64 位通道的片上内存控制器。每个通道可以包含零个、一个或两个 DIMM，所有通道的总容量高达 32 GB。此外，每个 DIMM 最多可以包含两个列，因此单个通道可以包含零到四个列之间的任何位置。 i7-4720HQ 是一款高端移动处理器。您可能使用的是具有 8 GB 或 16 GB 内存的笔记本电脑。如果内存拓扑自购买后未更改，它可能只有两个 4GB 或 8GB DIMM，每个通道一个，如果用户需要，每个通道还有一个空闲插槽可用于扩展。这意味着每个频道有一个或两个等级。

在了解物理地址如何映射到等级的情况下，您可以估算每个等级的访问次数。如果每个通道都装有相同容量的单列 DIMM，则在您的处理器上映射很简单。物理地址的第 6 位（即第 7 位）决定了请求映射到哪个通道，从而确定了哪个等级。您可以通过使用--phys-data 选项在MEM_LOAD_UOPS_L3_MISS_RETIRED.LOCAL_DRAM 上运行perf record，在IMC 收集一组请求的物理地址样本。显然，这组样本可能仅代表到达 IMC 的源自核心的退役负载，它们是 IMC 上所有请求的一小部分。

在我看来，您想测量每个 rank 的内存访问次数，以便从 DRAM 总能量中估计每个 rank 的能量，但这一点也不简单，原因如下：

• 并非所有 CAS 命令都具有相同的能量成本。预充电和激活命令不计入任何事件，并且可能会消耗大量能量，尤其是在行缓冲区未命中率较高的情况下。
• 即使 IMC 中的请求为零，只要至少有一个活动内核，内存通道就会被供电并消耗能量。
• 由于 rank-to-rank 周转和读写切换所需的时间延迟，处理相同类型和相同地址的请求所需的时间可能会因周围的请求而异。

尽管如此，我认为在给定每个等级的请求数量的代表性估计值的情况下（如上所述），我认为有可能建立一个关于每个等级能量上限和下限的良好模型。

最重要的是，没有简单的方法可以像在服务器处理器上那样获得按等级计数的奢侈。