MXNet CuDNN 自动调谐管理

Question

我能否准确控制 MXNet 何时运行性能测试？

我有一个即将投入生产的 MXNet 应用程序。它运行正常，但它的批量大小可变，这会导致 MXNet 经常执行自动调整。

虽然批量大小是可变的，但通常为 1。我对较大尺寸的性能损失很好（它仍然比一直中断它进行自动调整要好）。

如果我用export MXNET_CUDNN_AUTOTUNE_DEFAULT=0 禁用自动调谐，网络运行速度会慢很多。

所以我的问题是：有没有办法只运行一次自动调谐，最好是在我的电话下？

Answer 1

目前无法只运行一次自动调谐。启用自动调整后，MXNet 将运行性能测试以找到运行卷积/反卷积算子的最佳算法。最好的算法是用特定的输入形状、输出形状缓存的。因此，只要您具有相同的输入/输出形状，性能测试就不应重新运行。但是，如果形状发生变化，则会触发算法重新运行。