是否有使用 tensorflow 在 GPU 上耗尽内存的解决方法？

Question

我目前正在构建一个 3d 卷积网络，用于视频分类。主要问题是我太容易耗尽内存。即使我将 batch_size 设置为 1，仍然没有足够的内存以我想要的方式训练我的 CNN。

我正在使用具有 4Gb 显存的 GTX 970（3.2Gb 可供 tensorflow 免费使用）。我期待它仍然可以训练我的网络，可能使用我的 RAM 内存作为备份，或者进行部分计算。但到目前为止，我只能运行它使 CNN 更简单，这会直接影响性能。

我认为我可以在 CPU 上运行，但速度要慢得多，这也不是一个好的解决方案。

有没有比购买更好的 GPU 更好的解决方案？

提前致谢。

Answer 1

使用gradient checkpointing 将有助于解决内存限制。