Caffe：如何选择可以容纳在内存中的最大可用批量大小？

Question

由于 GPU 内存 (1Gb) 较小，我遇到了一些问题，问题是现在我通过反复试验选择了 batch_size，即使在日志中按行打印的内存大小 Memory required for data: 似乎小于 1Gb 它可能会失败。

所以我的问题是：

1. 如何自动选择适合 GPU 内存的最大可用批量大小？
2. batch_size 越大越好吗？
3. 如何计算网络部署期间训练和前向传递所需的峰值内存？

更新： 我还检查了 code ，但我不确定 top_vecs_ 是什么

Answer 1

如果日志中按行打印的内存大小 数据所需的内存小于您的​​总 GPU 内存，它仍然可能失败，因为其他程序正在使用您的一些 GPU 内存。在 linux 下，您可以使用 nvidia-smi 命令来检查统计信息。对我来说 Ubuntu 图形环境使用 97MB。

1. 没有办法说 caffe 可以自动完成。
2. 是的，用于培训。它一次处理更多数据，并且会在更少的时期内收敛，因为 SGD 每次迭代都会产生与 GD 更相似的结果。对于部署而言，这并不重要
3. 这可以让你大致了解如何计算这个：http://cs231n.github.io/convolutional-networks/