如何增加 Google Colab 存储空间

Question

我正在处理一个 70gb 的数据集

之前使用df -BG命令

我被展示了

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay             359G    6G      335G   2% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/root             2G    1G        1G  44% /opt/bin

tmpfs                 7G    1G        7G   4% /usr/lib64-nvidia

/dev/sda1           365G    8G      358G   3% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

突然变成了

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay              40G    5G       33G  14% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/sda1            46G   40G        6G  88% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

有人可以建议任何可能的方法来制作超过 300Gbs 的新笔记本电脑或任何可能的方法来回到以前的状态。

Answer 1

我遇到了同样的问题。我不确定这是一个解决方案，因为我没有彻底测试它，但似乎 [Python 2 / No GPU] 和 [Python 3 / No GPU] 运行时只有 40GB 的存储空间，而 [Python 3 / GPU] 运行时有 359GB 的存储空间。

尝试通过转到“运行时”>“更改运行时类型”将笔记本运行时类型更改为 [Python 3 / GPU]。希望对您有所帮助！

Answer 2

如果您在Google Drive中支付额外的存储，则可以将Drive安装到/ Content / Drive /文件夹

如下

from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code

您甚至可以使用它来解压缩数据集 （我的方案是我在COLAB上有足够的空间来下载18克的Coco DataSet，但没有足够的空间来解压缩它）

!unzip /content/train2017.zip -d /content/drive/My\ Drive/COCO/train_2017

Answer 3

使用 google drive 将无法正常工作，如果文件在 google drive 上，那么由于文件太多，它将无法读取整个目录。从我所有的测试来看，我无法让它与一个包含超过 15k 个文件的目录一起工作。 您必须有足够的空间才能在 VM 上下载数据集。

更新：

我想出了如何使用 Google Drive 将整个 COCO-2017 数据集导入 Colab。基本上，我将 train2017 和 test2017 分解为最多包含 5000 个文件的子目录（我注意到 Colab 只能从目录中读取大约 15k 个文件，所以 5000 个似乎是安全的选择）。 Here 是它的代码。

然后我使用 rclone 将整个该死的数据集上传到 Google Drive，shared 任何有链接的人都可以查看。

在您的 Google 云端硬盘中拥有该共享后，为其创建一个快捷方式，以便 Colab 可以访问它。然后我只在本地目录中为火车创建 118287 和为测试符号链接创建 40670 。到目前为止，它就像一个魅力。我什至将所有输出保存到 Google Drive，以便在 12 小时后恢复。 Here 就是那个笔记本。

我现在正在训练一个 mask rcnn，完成后会报告结果，但到目前为止它看起来非常好。