【发布时间】：2022-10-12 22:15:38
【问题描述】：
我正在尝试使用 aitextgen 在数据集上微调 774M gpt 2。不幸的是，无论我做什么，培训都失败了，因为只有 80 mb 的 vram 可用。如何在不重新启动运行时清除 vram 并防止 vram 被填满？
【问题讨论】：
标签： google-colaboratory gpt-2 fine-tune vram
【发布时间】：2022-10-12 22:15:38
【问题描述】：
另一种解决方案是使用这些代码 sn-ps。
1.
!pip install numba
- 然后：
from numba import cuda
# all of your code and execution
cuda.select_device(0)
cuda.close()
您的问题在 Tensorflow 官方 github 中进行了讨论。 https://github.com/tensorflow/tensorflow/issues/36465
更新：@alchemy 报告说这在开启时是不可恢复的。 你可以试试下面的代码。
device = cuda.get_current_device()
device.reset()
【讨论】：
-
好吧，我希望它会很快解决，我厌倦了只微调 124M gpt 2
-
这是不可恢复的.. 使用
device = cuda.get_current_device(); device.reset()stackoverflow.com/a/73517694/4240654
- 在笔记本块内运行命令
!nvidia-smi。 - 查找 GPU 的进程 ID，您不需要删除它以清理 vram。然后运行命令
!kill process_id它应该可以帮助你。
【讨论】：
-
没有进程。绝不
-
只是重新检查一下，是否从“笔记本设置”选项中打开了“GPU”设置？因为如果 gpu 没有打开和使用，它就不应该发生。
-
不，不。不要误会我的意思。不要生气。我正在努力帮助你。我已经在下面提供了另一个解决方案。你可以检查一下。