Google colab 在重新启动会话后删除了我解压缩的文件

Question

我正在尝试在我的谷歌驱动器上提取 (tar.gz) 一个 2.2GB 的数据集，我需要在 Colab 上运行模型。

我使用命令!tar -xf source.tar.gz -C destination 将其解压到我想要的目录。

30分钟后解压，所有文件都正常解压。 一段时间后我重新启动会话，我发现我丢失了一半以上的文件。所以我再次提取它们并关闭我的会话，回来发现几乎所有的都丢失了。

我该如何解决这个问题？此外，谷歌驱动器界面非常滞后并且与 Colab 中发生的所有更改不同步。

我真的需要 GPU on colab。我该如何解决这个问题？

我什至尝试使用 tf.keras.utils.get_file 并启用提取选项，但在打开笔记本后我又丢失了大部分文件。

编辑：忘记提及它与我在项目中的其他一些人共享。是否有可能没有足够的空间并且它在会话运行时将它们存储在内存中并且无法将它们完全移动到驱动器？

Answer 1

不幸的是这是一个limitationGoogle Colab，基于Google's Colaboratory FAQ

问：我的代码在哪里执行？如果我执行，我的执行状态会怎样 关闭浏览器窗口？

答：代码在您帐户专用的虚拟机中执行。虚拟的 闲置一段时间的机器被删除，并且有一个最大值 由 Colab 服务强制执行的生命周期。

运行代码的虚拟机在一定数量的不活动后被回收，目前还没有机制来持久化保存在 colab 上的数据。

可能的解决方法：

我偶然发现来自 1littlecoder 频道的视频阻止了 Google Colab Session Runtime from Closing with JavaScript。

该视频使用document.querySelector 每隔setInvterval 单击一个按钮以避免空闲时间。

免责声明：我不隶​​属于该视频或 youtube 频道。

参考：

https://research.google.com/colaboratory/faq.html

https://colab.sandbox.google.com/notebooks/io.ipynb

https://www.youtube.com/watch?v=5VkKlHuE4JQ

https://developer.mozilla.org/en-US/docs/Web/API/Document/querySelector