nvidia-smi 是否提供瞬时信息或间隔的平均值？答案

【问题标题】：Does nvidia-smi give instantaneous informations or an average on the interval?nvidia-smi 是否提供瞬时信息或间隔的平均值？
【发布时间】：2016-06-25 01:47:55
【问题描述】：

例如，当我使用 nvidia-smi -l 60 时，我问自己是否：

给出的信息是每 60 秒使用一次时的快照
给出的信息是时间和时间 +/- 60 秒之间的平均值

你知道答案吗？我还没找到。

谢谢。

【问题讨论】：

当有很多应用程序使用 8xK80 GPU 时，查询它真的很慢。对于复杂的情况，可能每秒只有 1 个快照查询。

标签： linux gpu gpgpu nvidia

【解决方案1】：

-l 选项每隔给定的秒数在 nvidia-smi 上执行轮询（-lms，如果你想每给定的毫秒执行一次）。所以基本上是的，它是每个给定时间的快照。

实际上，如果您只是想监控它，您可以使用watch 实用程序（这是在 shell 脚本上轮询的标准方式）来做同样的事情。这将显示 nvidia-smi 输出并每 1 秒更新一次： watch -n 1 nvidia-smi

如果您想将其重定向到某个文件（如果您对某些特定指标感兴趣，则最终过滤它）您还可以构建一个简短的 shell 脚本来执行此操作，例如：

while true; do nvidia-smi | tee -a logfile && sleep 2; done

【讨论】：

嗯，我有兴趣收集这个间隔循环的平均值，而不是快照。使用 -l 或 watch 有什么意义？
它是一样的，但如果该实用程序没有这个功能，你会这样做。如果你真的想要一个平均值，你需要更频繁地轮询（例如每秒），然后进行平均。
要以毫秒为单位获取更新，请使用-lms。例如每秒更新 20 次：nvidia-smi -lms 50
使用 -lms 只是在控制台中重复输出，而不是替换输出，所以 -lms 50 在 Ubuntu 18.04 上对我来说没用。 watch 选项工作正常。