如何在 google colab pro 中解压缩大的 zip 文件？

Question

无法从 colab 笔记本解压缩文件夹中的 30 GB 数据。我使用 kaggle api 调用下载了 30GB 的压缩数据集。但是，当我尝试使用 !unzip destination_folder_name -d source_name 解压缩数据集时，它会引发错误或错误的 zip 偏移。该文件夹包含 .png 格式的图像和蒙版。 zip 文件中有 2 个文件夹，每个文件夹包含 256k 个样本中的掩码和图像。下面我附上错误的图像

在 google colab pro 中尝试使用哪个命令解压缩该数据集？

数据集链接：https://www.kaggle.com/raghaw/panda-dataset-medium-25-256-256

Answer 1

在解压缩之前将文件从 Drive 复制到本地磁盘。

结果将更快、更可靠的 I/O。

原因是 DriveFS FUSE 性能受到每个文件速率限制的限制。对于解压缩大型存档的典型小文件，此速率限制将主导 I/O 性能并导致类似于您观察到的神秘错误。